ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

分布式vs.集中式,存储架构如何选?

时间:2022-05-09 10:10:56来源:互联网编辑:星辉

存储技术发展日新月异。一方面传统集中式SAN/NAS还在广泛使用,另一方面各类分布式存储产品已纷纷在新兴的海量数据场景中占据市场。如何根据业务需求选择合适的存储架构?分布式存储能否在所有场景都能取代传统集中式存储?请参考本文攻略。

传统集中式存储

传统SAN/NAS存储的硬件架构采用“控制器+硬盘柜” 的方式。中高端存储支持多个控制器,以保障高可用并提高性能。多控制器为紧耦合,通过PCIE总线或Infiniband网络互连,共享磁盘阵列,共享缓存。

传统存储的系统架构具有I/O路径短,访问延迟小的优势。传统存储通过内置BBU电池或外置的UPS来实现掉电保护,保障缓存中的数据在掉电后不丢失,结合双活、容灾、CDP等技术保障业务系统的连续性和数据安全性。

传统集中式存储起步早,技术成熟,架构简单,表现出足够的稳定性,对高IOPS、低延时、和数据强一致性有很好支持。另外,近年来全闪存阵列存储发展迅速,IOPS性能提高到机械硬盘存储的100倍以上,能够有效解决IOPS性能痛点。

传统集中式存储的特性适合作为金融/医疗等核心业务系统的数据库存储。

传统存储的系统架构决定了其扩展能力有限,无法很好支撑高并发访问性能。随着我们进入大数据时代,集中式存储增长空间越来越有限。

分布式存储

企业不断快速增长的海量数据,需要更有弹性可扩展的存储架构。

分布式存储是新兴的存储技术,采用“标准的 x 86 服务器硬件+存储软件” 的架构,将标准X86/ARM服务器通过高速以太网或Infiniband互连,通过分布式存储软件将服务器本地的HDD、SSD等存储介质组织成统一的大规模存储资源池。分布式存储实现了存储的硬件与软件解耦,数据中心能够以标准化硬件搭建存储平台,提升IT敏捷性,降低运维成本,符合软件定义数据中心的发展趋势。

分布式存储也称为软件定义分布式存储(SDS: Software Defined Storage)。

分布式存储的存储单元为x86/ARM服务器(也称为节点),以标准2U 存储服务器为例,前面板可插入12块3.5寸硬盘。

图 存储服务器:2U高度,12盘位

硬盘的容量,有4TB\6TB\8TB\10TB\12TB\16TB等。

如果选择10TB硬盘,则单个节点的物理容量为 12 * 10 = 120TB。

分布式存储有效解决了传统集中式存储的可扩展性问题,规模可扩展至上千个节点,容量扩展到上百PB甚至EB级,性能随容量线性提升。按需在线扩容后,自动实现数据再均衡。分布式存储的多个存储节点能够同时提供读写服务,因此具有很高的吞吐率,可达到几十GB/s。

分布式存储支持3种存储功能,能够打造统一的数据存储平台:

SAN块存储,SCSI/iSCSI接口协议

NAS文件存储,CIFS/NFS接口协议

对象存储,S3接口协议

分布式存储使用多副本和纠删码技术实现数据保护。多副本方式(业界常用的多副本方式一般为2副本或3副本),其优点是可靠性高,性能高;但缺点是存储容量有效利用率低(2副本为50%,3副本为33%)。业界常用的纠删码配置方式一般为8+4(8个数据块,4个校验块,容量利用率为66%)。纠删码的优点是可靠性高,容量利用率高,缺点是性能低。

一般选择原则是:

在线存储设备用多副本;备份归档用纠删码;

小文件用多副本;大文件用纠删码。

目前,国内有多种分布式存储产品可以选择,包括开源软件、基于开源软件优化的产品、国产研发的分布式存储产品等。

上海霄云研发的碧海分布式存储,性能优异,解决了海量小文件存储的痛点,性能达到传统集中式高端存储和Ceph类产品的3倍,文件数可达到百亿级以上,为医疗PACS影像、金融电子票据、自动驾驶、工业自动化等海量数据场景提供了革新的存储解决方案。

结语

综上所述,分布式存储是一种未来主流的存储技术,具备非常好的发展前景,但是分布式存储并不能适应所有的业务场景,需要根据实际的业务需求进行合理选择。


更多热门内容
不负全球玩家期待!全AI掠夺者家族50系新品重磅开售!
在高端电竞本领域,掠夺者一直以先锋姿态引领行业发展,全新掠夺者·战斧18 AI等新品在CES 2025展会一经亮相,便将2025高端AI电竞本的期待值拉满。超前的设计理念和以玩家体验为核心的产品思路,贯穿掠夺者三款重磅新品:从发烧友的终极梦想至尊机皇掠夺者·战斧18 AI,

2025-06-06

餐桌底下的清洁高手!萤石云视觉商用清洁机器人BS1革新食堂清洁模式
在智能化浪潮席卷商业领域的当下,清洁行业正迎来一场革命性变革。2024 年,萤石首款云视觉商用清洁机器人 BS1 正式亮相市场,凭借前期先锋客户端的试运行测试及系统深度对接,迅速在全国各大写字楼、展厅、银行、食堂、酒店等场景崭露头角,开启智能清洁新篇章。AI 视

2025-05-23

京东新品国补立省 潮玩新次元游戏本华硕天选6 Pro来袭
5月16日京东新品日,打开京东APP来新品频道,买华硕天选6 Pro新品享国家补贴20% #京东新品 #京东重磅新品日,到手6999元起。华硕天选6 Pro搭载RTX 5070笔记本电脑GPU,至高可选AMD锐龙9 9955HX或Intel酷睿Ultra 9 275HX高性能平台,采用全新模具和散热系统,集卓越性能

2025-05-19

一加官宣首次将风驰游戏内核写入天玑平台,并与MediaTek联合发布天玑9400系列新芯片
2024年5月14日,一加宣布将与MediaTek联合举办“芯旗舰 新上限”游戏战略沟通会暨芯片发布会,双方将在游戏技术共融、芯片定制、内核重构、技术联合等多方面展开前所未有的深度战略合作。一加将自研的芯片级游戏技术「风驰游戏内核」首次注入天玑旗舰芯片,让游戏体验再破

2025-05-13

MiTAC 神雲科技发布搭载最新AMD EPYC™ 4005系列处理器产品
【加州纽瓦克电—2025年5月13日】—作为专业的服务器设计与制造商,神达控股股份有限公司(股票代号:3706)旗下子公司神雲科技股份有限公司(MiTAC Computing Technology Corp.)推出了支持AMD EPYC™ 4005系列处理器的最新产品。这些更新的服务器解决方案可提供更高的性能和

2025-05-13