ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

EDS存储摘两金,创新架构突破小文件性能瓶颈

时间:2022-11-17 15:40:29来源:互联网编辑:茹茹

近日,由百易传媒(DOIT)主办的“2022数据与存储峰会”在北京顺利举行,本次大会以“数据觉醒新时代”为主题,旨在探讨新时代数据存储的新方向和对优秀企业进行表彰,信服云企业级存储EDS凭借其优越性能,接连斩获“2022年度分布式存储金奖”“2022年度文件存储金奖”两项大奖。

信服云EDS为何能在这次峰会上连续获得两项大奖?在深信服存储解决方案总监王志成“存储如何应对GPU算力爆炸增长下的小文件性能挑战”主题演讲中我们或许能知道答案。

01 GPU算力爆发式增长下,存储面临哪些挑战?

王志成指出,以GPU为核心的智能算力比重由2016年的3%提升至2020年的41%,GPU算力高速发展衍生出大量数据密集性行业应用,这些应用数据的存储面临三大挑战:

存储架构受限,小文件处理性能差

很多业务生产过程都会产生海量KB级小文件,比如芯片设计的前端设计场景,实景三维建模场景等,但无论是传统NAS存储还是新兴的分布式存储,由于元数据处理架构、网络时延等限制,都难以有效解决小文件处理性能差的问题上。

数据量井喷,“存不下”成为主要挑战

以基因测序为例,受当下环境和人口老龄化的影响,一个基因测序服务企业每年新增的数据量就高达10PB级。传统存储跟不上现有业务的数据增长,想要扩展却要面临硬件与厂商绑定、成本高昂、扩展周期长等一系列问题。

各场景数据复杂,存储效率提高难

行业业务需求正在呈现多样化的演进趋势,对数据存储的大带宽支持能力、海量小文件访问延时和复杂场景的适应性都提出极高的要求,存储需要更高效的数据访问能力。

“在当下的环境,用户需要一套性能更高、扩展性更强的企业级存储系统,来提升业务数据生产效率。”王志成这样说到。

02 信服云分布式存储EDS,更高性能突破瓶颈

王志成引用Gartner报告中“软件定义是存储唯一变革性技术”的观点,点明未来存储的发展之道。相比传统存储,以软件形式定义存储可提供更优秀的场景适应能力、更高的性价比和更灵活的扩容能力,在软件定义的基础上,信服云EDS通过全自研高性能文件系统PhxDFS和五大核心技术提升存储综合能力:

多活元数据服务,性能再提升

为了解决性能不足的问题,EDS将一个完整目录分片后分发到各个存储节点处理,充分利用起所有节点的CPU算力,从而突破元数据性能瓶颈。对比Ceph架构的分布式存储,元数据处理能力可提升三倍以上。

元数据高效压缩算法,数据“存得下”

在海量小文件场景下,元数据的规模可能达TB级,为了将更多的元数据缓存到有限的存储内存空间,EDS自研元数据压缩算法,该技术最大可支持7:1的压缩比。在百亿小文件场景下实现元数据、热数据百分百命中内存缓存,让数据“存得下”“找得快”。

数据三级缓存机制,数据访问更快一步

EDS追求高性能的同时,同样注重数据读取效率。在专有客户端模式下,EDS将客户端内存、存储节点内存和大容量NVMe固态盘构建成三级缓存,实现数据和元数据就近访问,命中即返回,该技术将热数据的访问时延降低到us级别。相比过去,数据访问更快、效率更高。

高性能RDMA网络,网络时延再降低

EDS在存储业务网和存储私网均支持以RoCE v2协议替代TCP/IP协议,可将网络时延降低90%以上,业务联通仅需9-16us,可大幅缩短业务数据的联通时间。

数据智能聚合追加写,效率再提升

EDS将文件IO在高性能层(NVMe或SATA SSD)聚合后追加写入容量层(机械盘),可有效解决小文件写放大造成的容量浪费,利用机械盘本身顺序写性能优势,进一步降低EC写惩罚影响,提升写性能的同时可有效提升60%以上的回刷速度,进一步减少数据存储、调用的耗时,提高业务效率。

信服云企业级存储EDS保护数据也敬畏数据。在不断的技术创新中积极实践,现已累计参与交付超过20000个客户和300+例的PB级项目。在未来,EDS将持续打磨产品,与用户携手共创高性能存储时代的数据宏图。

更多热门内容
网易云音乐“神光模式”车机端上线比亚迪DiLink 免费畅听38天
8月13日,广受用户好评的网易云音乐播放器皮肤“神光模式”正式上线车机端,大屏畅享Livehouse听歌体验。比亚迪作为首批支持该功能的合作车企,目前已在部分DiLink车型首发“神光模式”,更多车型将陆续支持该功能。“神光模式”将舞台级光影效果搬进座舱,通过智能光影

2025-08-14

阿里云助力集思科技升级电商直播数字人——AI革新电商零售,剑指万亿销售市场| 看见新力量NO.144
以技术迭代为推动力,AI正在加速行业渗透。在电商零售竞争最为激烈的直播领域,快消品、日用品等标准化商品采用AI数字人直播带货已不鲜见。然而,当向来注重品质与品牌调性的奢侈品行业试水AI数字人直播,技术创新究竟会转化为运营效率的突破,还是品牌价值的隐性损耗?

2025-08-14

多维度剖析2025年五大折叠手机品牌:一文搞懂折叠手机哪款好!
在2025年,折叠屏手机技术迎来了全面性的革新,市场竞争呈现出百花齐放的多元化态势。本文聚焦于三星、vivo、OPPO、荣耀、华为这五家品牌推出的折叠手机,从设计、性能、影像、系统等多个关键维度展开深入剖析,旨在为消费者在2025年选购折叠手机提供一份具有权威性和实

2025-08-14

2025AI消费电子大会10月深圳启幕!AI重新定义消费体验!
手机能看懂你的表情,眼镜能打通虚拟与现实,连家里的机器人都能猜透你的心思 —— 这不是科幻电影,而是 AI 正在消费电子领域创造的新可能。在 AI 技术深度渗透消费电子领域的当下,终端设备正从功能工具向智能伙伴加速演进。由AI消费电子观察与米塔之家联合主办的 202

2025-08-14

小马智行发布二季度财报,文远知行Robotaxi营收激增彰显行业潜力
8月12日,小马智行发布的二季度财报展现出强劲增长势头。其Robotaxi业务收入达1090万元,同比增幅高达157.8%,在公司总营收中占比提升至7.09%,毛利率稳定在 16.1%。这一数据印证了Robotaxi业务在商业化探索中取得的实质性进展,技术投入正逐步转化为市场回报。更早之前

2025-08-14

全球首个世界人形机器人运动会来啦!
你可能见过机器人跳舞、跑马拉松、踢足球……但你一定没有一次性见过26个不同项目的机器人比赛!全球首个世界人形机器人运动会来啦~作为世界人形机器人运动会【官方优质内容合作伙伴】,本次大赛直播、直播回放、官方视频都将在抖音抖音精选APP发布,为大家呈现科技感拉

2025-08-14

多领域专家齐聚ISC.AI 2025!解码安全智能体技术与应用创新
近日,ISC.AI 2025“安全智能体技术赋能与应用创新论坛”在北京顺利召开。论坛汇聚了网络安全领域的众多专家、企业代表及行业同仁,围绕网络安全智能体的实战应用、技术架构、行业落地及未来发展等关键议题展开深度分享,从攻防对抗、框架构建、合规风控到技术基建等多

2025-08-14

如何让直播冲出同质化?鲸红传媒借力索尼电影感直播解决方案,打造综艺感团播直播间
在短视频和直播平台高速发展的背景下,直播内容形态也不断升级迭代。从个人直播、带货直播,到如今更趋精细化与场景化的“团播”模式,整个行业正走向综艺化、多元化与专业化。在直播如今平台上,以舞台表演、多人互动、强氛围营造为特点的团播直播成为了当前具有潜力和

2025-08-14

蚂蚁国际携手ADIO,促进阿布扎比金融科技行业创新
近日,蚂蚁国际与阿布扎比投资办公室(ADIO)签署了一份合作备忘录(MoU),蚂蚁国际将为阿布扎比当地企业提供数字工具,以其技术专长推动阿布扎比金融科技行业的发展。同时,蚂蚁国际已获得阿联酋中央银行原则上批准其储值支付工具和零售支付服务及卡计划牌照(IPA)。阿布扎

2025-08-14

出生率低迷,婴童行业却逆势狂飙,BeBeBus如何做到反向增长?
根据2025年上半年婴童行业洞察报告显示,在出生率持续走低的背景下,中国婴童行业正走出一条“反向增长”的独特路径。尽管2025年上半年新生儿数量仍处低位,但婴童市场凭借精准的需求捕捉与产品创新,实现了全品类逆势增长,而社媒电商的蓬勃发展正是这一增长的核心引擎

2025-08-14