ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

深信服携手清华大学智能产业研究院:用高性能文件存储助力AI应用落地

时间:2023-02-22 17:23:21来源:互联网编辑:茹茹

“人工智能应用落地的‘高歌猛进’,是有人在‘负重前行’。”

王博士(化名)作为清华大学智能产业研究院自动驾驶课题组的一员,负责车路协同数据集的训练工作。

课题研究中,王博士在电脑上要处理成千上万张图片:每一张图片,道路轨迹、建筑形状都不尽相同,一张图片里可以拆分出好几个标签,这是他每天都要面对的“复杂”标注题。

“我们拿到这些文件之后,可以挖掘出很多信息,然后不断地去进行标注。既要保证标注的效率,也要保证质量,这样才能训练出更精准的AI模型。”

图片来源:清华大学智能产业研究院官网

自动驾驶,是清华大学智能产业研究院的研究课题之一。作为一所面向第四次工业革命的国际化、智能化、产业化研究机构,这里汇聚了来自全球的国际顶尖科学家、产业变革领袖和世界级研创团队。

他们站在国际科技前沿,引领中国的科技创新,探索着自动驾驶、生物计算、绿色计算等领域的未解之谜。

AI“更懂”人类的背后,是大量数据训练的结果。

时逢2022年的9月,清华大学智能产业研究院的多项科研工作都在和时间赛跑。就在这时,清华大学智能产业研究院的十多个课题组感受到了AI研究工作的“阻力”,“给图像做标注时,图片迟迟加载不出来;检索图片,系统也要卡很久。”

原来,训练AI数据集需要存储大量数据,数据量很快就达到百TB级,而传统存储阵列在庞大的数据量面前“不堪重负”,没有展示出最佳的性能、可扩展性等能力,导致科研工作者们在实际操作时遇到了卡慢问题。

面对存储性能提升的难题,信服云EDS为清华大学智能产业研究院设计了高性能文件存储方案。480TB存储空间配置完成后,有了充足的存储空间,科研工作者们可以放心地开展AI训练的工作。

一个可以尽情“驰骋”的存储底座,背后是信服云EDS“刚柔并济”的实力。

在硬件上,信服云EDS采用通用的X86服务器搭配NVMe固态硬盘的组合形式,构建存储高性能层,这使得训练集群访问数据时,可以优先经过高性能层的缓存加速,相较于传统磁盘阵列,存储性能有了大幅提升。

在软件上,信服云EDS通过自研的分布式高性能文件系统,利用小文件合并、phxkv分布式元数据库、智能预加载等自研技术,提高KB级小文件的元数据和数据处理效率,有效保障AI训练过程中访问数据的效率,并大幅缩短了科研中的AI训练时间。

对于清华大学智能产业研究院而言,选择一款存储产品首要关注的是性能。因为科研工作者在标注数据时,需要不停地读取文件和创建文件,频繁的操作中无疑会增加元数据的访问耗时,CPU算力也会受到影响,而信服云EDS让读写文件的性能彻底告别了卡慢。

其实,信服云EDS和用户的双向奔赴,不止于此:
 
容量与性能的同步扩展,见证千行百业的腾飞与发展。

“我们现在的容量使用率已经超过90%,但性能丝毫没有受影响。”除了提供稳定一致的性能表现,信服云EDS灵活扩展的能力,也在不断刷新用户的预期。考虑到研究院数据规模不断增长的情况,信服云EDS支持同时扩展容量和性能,这打破了传统存储架构的局限性。

在传统存储架构中,容量增长到一定程度,性能的增长不会相应增加,甚至还会出现性能下降的现象。而信服云EDS实现了容量和性能的同步扩展,在容量扩展的同时,存储性能也随之线性增长。以集群规模扩展至8节点为例,混合盘配置4KB随机读可达120万IOPS。

故障闭环处理的设计,是保障业务可靠运行的底气。

在注重高性能的同时,业务连续性和数据可靠性也不可忽视。为此,信服云EDS构建了完整的故障闭环处理框架:

在故障发生前,通过硬件亚健康预测、检测和数据多副本、纠删码等机制,帮助用户提前预防故障的发生;亚健康的可视化监控,则让用户感知硬盘健康状态,提前做好备件采购和替换准备工作。

在故障发生时,通过亚健康硬件自动隔离、智能数据修复、I/O路径自动切换等机制,自动处置问题,最大化减轻运维的压力,同时也保障了业务连续性和数据可靠性。如若发生人为误删除、恶意删除或超过冗余机制范围的故障等情况,可通过快照备份、回收站等机制快速找回数据。

这些高可靠的设计,也是用户坚定选择信服云EDS的理由之一。

截至目前,信服云EDS已经累计参与交付超过20000个客户和300+例PB级项目,在AI训练、卫星遥感、医疗影像、动漫制作、软件开发等场景获得了用户的广泛认可。

从蒸汽技术革命到信息技术革命,科技一次次改变着世界。

这一次,AI的想象力更是无限。这些面向未来交通、医疗、绿色发展的难题,也正在一步步被清华大学智能产业研究院的科学家们“拿下”:

发布全球首个真实场景车路协同数据集

研发出连续获得全球第一的自动化蛋白质结构预测平台

绿色计算5G网络智能减碳技术获得吴文俊人工智能科技进步奖

丈量寰宇,眺望星辰。在科技领航者的探索下,智能时代正以一种前所未有的清晰度呈现在我们面前。信服云EDS身处这个伟大的时代中,将集自身之所长,融用户之所需,助力科研工作者们在数据的浩瀚宇宙中,自由翱翔。

更多热门内容
贝壳董事会主席拟捐赠股票投入居住领域并长期运营
4月17日,贝壳最新公告显示,贝壳董事会主席、首席执行官及控股股东彭永东拟捐赠9,000,000股A类贝壳普通股。在承担相应的纳税义务后,此次捐赠股票将50%税后资金用于居住行业服务者及其家庭成员的医疗健康福利、50%税后资金用于应届毕业生等租客群体的租房帮扶。据悉,

2025-04-17

心所想AI所向,2025凯度品牌日暨春季新品发布会盛大举行
面对厨电行业智能化、品质化升级趋势。4月16日,凯度成功举办了以“心所想·AI所向”为主题的2025凯度品牌日暨春季新品发布会。凯度CEO柯漫、董事长傅平及明星生活家王真儿依次登场,通过理念分享、技术解读、场景演绎,全面诠释“高端新厨电”;重磅推出首个AI数字生命体“

2025-04-17

FF为股民而战:五大举措启动“非法做空阻击战”,打赢梦想实现战
4月17日,Faraday Future(简称“FF”)今日宣布,为捍卫股东价值与信心,公司正式启动五大核心举措,标志着“梦想实现战之潜在非法做空反击战”的正式打响。在公司昨日提交Form D文件后,市场上迅速传播出一系列谣言——包括错误声称Form D表明高管正在出售股份;股价跌破

2025-04-17

Mureka火爆海外,今日正式开放国内登陆入口和API
2024年4月,昆仑万维发布了第一代音乐生成模型Mureka V1(SkyMusic)。2024年8月14日,昆仑万维推出AI音乐商用创作平台Mureka。2025年3月26日,正式发布Mureka O1模型与Mureka V6模型。自Mureka上线以来,在海内外获得了非常好的市场反响,成为全球AI音乐界现象级产品。

2025-04-16

问界M8正式发布:车载小艺一路聊,随时随地问问小艺
4月16日,家庭智慧旗舰SUV鸿蒙智行问界M8正式发布上市,据悉其搭载的鸿蒙座舱重塑家庭出行交互新范式,车载智慧助手小艺能力再升级,展现出卓越的语音交互能力,有问题随时随地都可以问问小艺。全新的小艺搜歌功能,仅需告诉小艺歌词与背景信息,即可“搜”听到想听的歌

2025-04-16

掘金AI千亿赛道 金山云获战略股东持续增持
2025年4月16日,金山云(NASDAQ:KC,HKEX:3896)宣布,将公开发行18,500,000股美国存托股(ADS),每ADS代表该公司15股普通股。同时,金山云还授予ADS承销商购买额外美国存托股的30天选择权。并且,为了方便港美股两地投资者认购,投资者可以选择在此次发行中以普通股代替AD

2025-04-16

昂瑞微客户到底是谁,招股说明书闪烁其词
2025年3月28日,北京昂瑞微电子技术股份有限公司(下称“昂瑞微”)科创板IPO申请获受理,成为今年首家未盈利企业申报案例。作为射频前端芯片领域的“国产替代先锋”之一,昂瑞微凭借20.67亿元募资计划、50.88%的营收复合增长率引发市场关注。然而,对于其招股书中客户信

2025-04-16

昂瑞微靠低端产品增收,5G增长乏力,上市之路能走多远?
3月28日,北京昂瑞微电子技术股份有限公司(以下简称“昂瑞微”)向上交所递交IPO申请。作为主营射频前端芯片、射频SoC芯片的集成电路设计企业,其招股书披露的财务数据看似亮眼:2022-2024年累计营收47.19亿元,复合增长率达50.88%。但穿透数据表象可见,公司增长动能过

2025-04-16

小刀电动车怎么样?以科技、美学重构时尚标杆,三登“Ray时尚”TOP榜
凭借卓越的综合实力与对市场需求的精准洞察,近日,小刀电动车产品再次登上“Ray时尚”电动自行车TOP榜,以及“Ray时尚”可持续时尚企业。这是小刀电动车连续三年(2023-2025年)斩获殊荣。这一成就不仅体现了其产品在设计、性能、品质上的持续突破,更印证了品牌“科技

2025-04-15

京东新品成长“百千亿”计划:2025年将打造600款销售亿级新品
4月15日,2025京东新品年度盛典在北京举行,正式推出京东新品成长“百千亿”计划,即在2025年加码百亿流量和百亿资金,并围绕营销能力与数字能力全面升级,实现60000款新品年销售破百万、6000款新品年销售破千万、600款新品年销售破亿。在此次盛典活动上,京东宣布“京

2025-04-15