ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

实现数据统一管理?用深信服EDS的这两招就够了!

时间:2021-09-09 15:30:06来源:互联网编辑:星辉

对于数据管理,也许很多人都存在一个认知误区,认为数据管理即是“将数据保存起来”。如果想要更好地挖掘数据价值,仅仅做到存放是远远不够的,需要涵盖数据的上收、分层管理、检索调用、归档存放全流程,即实现数据的“全生命周期管理”。

作为面向下一代数据中心设计的存储产品,深信服分布式存储EDS要解决的问题不仅局限于存储的“存”,而是围绕着业务数据的“汇、存、管、用”提供数据全生命周期管理解决方案,帮助用户更高效、更轻松的应对海量数据的管理挑战,激发数据价值。

从整体来看,EDS数据管理解决方案可以分为“数据汇集”和“数据管理”两大部分。

数据汇集:安全与效率并驾齐驱

数据从“出生”到数据中心,再到内部的数据迁移,我们将其统称为“数据的流动”,而在数字化时代,这一流动的过程既需要保障安全性,也要保障高效性。

1、上收:终端数据统一汇聚,自动化采集

当前很多拥有分支机构或子公司的用户存在数据采集的需求,目前主流的做法是通过定期U盘邮寄、IM软件发送、邮箱附件发送等方式,这些方式存在上收效率低、数据泄漏风险大等明显缺陷。

深信服EDS提供aDMT客户端工具,可实现终端数据自动采集,安全上收至统一的存储资源池内,有效解决边缘/分支数据上收难、安全性差的问题。

根据所配置固定的时间间隔,自动识别所选定的文件目录中该时间段内增量数据和发起数据上收传输;

传输过程采用https加密协议,保证数据的安全性;

传输过程支持断点续传,保证传输的时效性;

传输完成后支持灵活配置策略,可选择继续保留或删除已传输的数据。

2、迁移:面向多类型业务数据提供迁移方案

除了数据收集以外,上收后的数据由于业务场景变更或者设备更替,还将面临复杂的迁移工作,由于业务数据量较大,手动迁移往往效率低且面临较大风险。EDS提供面向多种业务场景的数据迁移方案或服务,实现数据的高效自动迁移。

比如虚拟机数据热迁移方案、数据库迁移服务等,在共享文件数据迁移上,深信服EDS提供基于文件同步管理(File Sync Management,简称FSM)软件实现的数据自动化迁移方案,使用户存储在老旧存储设备、物理服务器上的数据可以高效迁移到由EDS组建的存储资源池中。

数据管理:多重策略的全面覆盖

相较于初期的数据收集,数据后期的管理会涉及更多的挑战,如何存?怎样管?怎么用?……深信服EDS为数据管理提供丰富的策略,对分层存储、自动归档、版本处理、快速检索、统一管理、数据互访等方面进行了全方位的覆盖。

1、多级存储:降低海量数据归档成本

就好比我们的个人衣柜,衣服虽多,但是不同时段需要经常穿的就那么几件。日常的穿着衣物我们会挂在最便于拿取的位置,不合时令的衣物则往往被存放在收纳箱,对于数据存储同样如此。在数据的生命周期中,不同阶段对数据存储的性能、可用性、成本要求也不一样,所以数据存储方案应遵守以下原则:

1、初期产生:在数据产生初期,数据访问频率高,数据量较小,需提供高性能存储方案,并确保数据具备高可用性;

2、中期管理:随着时间推移,数据的访问频率和价值下降,需提供不同级别的存储方案,为数据提供适当的性能和可恢复性;

3、后期处理:最终大部分数据不会被使用,需要进行删除或归档(部分行业数据有相关要求,需要半永久或永久保存)。

因此,EDS根据以上基本原理区分存储软件、硬件和介质的配置,划分出高性能生产型存储、标准生产型存储、低频访问存储和冷归档型存储,各自特点如下:

高性能生产型存储:承载需要实时高速访问数据的业务系统,如大型数据库、广电视频制作、航测建模等,可提供单虚拟磁盘5万+IOPS或单目录GB级吞吐能力;

标准生产型存储:承载普通业务系统、日常文件共享等数据,提供单虚拟磁盘1万+IOPS或单目录300MB级吞吐能力;

低频访问型存储:承载低频访问的业务归档数据,存储成本更低;

冷归档型存储:承载因相关法规要求需要半永久或永久保存的业务数据,长期保存成本最低。

根据实际数据情况选择对应的分级配置,可大幅降低海量数据存储成本。

2、归档:数据自动归档到多类型归档存储

由于业务发展需要,数据上云已经成为众多企业级用户的必然选择,然而这一过程并不是一成不变的,数据需要面临频繁的归档和回迁,用户也面临高频率的归档操作。深信服EDS提供基于FSM软件实现的数据自动化归档方案,可以轻松将保留在EDS生产存储资源池的数据库归档到公有云、EDS归档资源池、其它存储介质等,方案特点如下:

源端支持NAS存储,目的端支持NAS及S3,支持归档上云;

归档策略支持手动触发,也支持自动策略,支持分钟级触发自动扫描发现源端的增量数据,归档至目的端存储上;

对于归档数据的访问,支持应用直接挂载归档目录,或将归档数据迁回源端存储进行访问。

3、检索:数据秒级检索

与常规意义上的检索不同,当数据量达到上亿规模时,将会涉及更多的元数据,检索会变得异常困难。为了解决海量文件规模下传统检索方案数据检索慢的问题,深信服EDS通过内置数据检索引擎,使得用户可以直接在EDS平台上直接对文件存储及对象存储内的数据文件进行检索,全面提升检索效率。

EDS对文件和对象元数据建立索引信息,存放在EDS自研的分布式PhxKV元数据中心;

快速检索,十亿级别文件和对象规模,能够在秒(s)级别快速检索出数据所在位置;

支持通过文件名前缀直接在存储上进行检索。

4、访问:多协议数据互访,提升数据应用效率

随着Hadoop大数据应用被广泛采用,“大数据+AI”已经成为数据处理的新方向,而当前存在多种数据处理工具对于接口的要求不一致的问题,EDS分布式存储支持HDFS/ CIFS/FTP/ NFS多协议间数据互访,能够跨平台构建业务处理管线,让数据少跑腿,提升数据应用效率的同时,也减少了数据的空间占用,降低综合成本。

5、删除:数据多版本管理及过期自动删除

数据量的迸发和过长的时间跨度,会造成数据文件重复和版本众多,企业级数据更是如此。即难以区分哪些是无效数据,一刀切式的删除策略很容易造成误删。挤占空间且难以管理。针对以上问题,EDS对象存储提供数据多版本保护及过期删除策略。

开启多版本保护后,若数据产生后发生多次更改,在存储中仍保留多个版本,便于数据回溯;

结合数据过期删除策略,可灵活针对旧版本的数据和当前版本的数据分别设置是否超过规定天数,定期进行删除,释放存储空间。

6、可视化:提供面向终端用户的对象数据管理平台

相比于以前存储产品的内部不可知,用户当下更需要对数据存储状态有一个更清晰的掌握,以便做出下一步的业务决策。基于这一洞察,深信服EDS提供aDMT图形化Web应用程序,以便更轻松地访问和管理数据存储。

无需单独下载软件或工具进行安装部署,最终用户可以直接通过 Web 浏览器,可以轻松登录和可视化地管理对象存储中的文件数据;

支持用户自行完成桶管理和文件管理(上传、下载、删除)等操作;

支持全局文件检索,快速找到用户所需的文件。

从数据的收集汇聚、到数据的分级存储,再到丰富的管理策略,EDS通过完善的数据统一管理策略,为用户的业务提供坚实的数据保障。同时,EDS也秉持着为用户数据负责的态度,致力于为用户的数据价值挖掘打造最坚实的存储基石。

更多热门内容
2025最强折叠手机是哪一款?这款轻薄旗舰遥遥领先
如果说2024年是折叠屏技术的成熟年,那2025就是折叠屏旗舰全面比拼“硬实力”的时代。而在众多新品中,哪一款才配得上“2025最强折叠手机”的称号?答案已经非常明确:荣耀Magic V5凭借全球最薄的机身设计、超大电池续航以及全面均衡的性能表现,稳居行业之巅。2025最强

2025-07-21

三伏克星,智慧恒护!A.O.史密斯“数字真五恒系统”打造清凉无敏堡垒
告别闷热黏腻,远离空调病!三伏天的热浪滚滚而来,高温高湿不仅让人汗流浃背、心烦气躁,更易诱发空调病,甚至加重尘螨、霉菌滋生带来的过敏困扰。紧闭门窗躲清凉?空气沉闷、病菌滋生反而更伤身。如何在酷暑中,为家人筑起一道清凉、洁净、恒久舒适的暑期防线?A.O.史密

2025-07-21

维谛Vertiv收购定制化机柜解决方案制造商
维谛宣布收购定制化机柜解决方案制造商,此次收购将巩固维谛在高密一体化基础设施解决方案的领导地位。作为全球领先的关键数字基础设施及连续性解决方案提供商,维谛(Vertiv,NYSE:VRT)于2025年7月17日宣布,其已达成协议以2亿美元收购Great Lakes Data RacksCabinets

2025-07-21

迎14周年,春雨医生开启“线上直播感恩月”
2025年7月19日,中国移动互联网医疗的开创者春雨医生,迎来了14周岁的生日。14岁的春雨医生,已近成年。巧合的是:春雨医生在诞生之初,恰好迎来了移动互联网时代的发展,并乘势开创了在线问诊、空中诊所、开放平台等如今移动医疗行业的“标配”服务;而14年后的今年,随

2025-07-21

福昕软件"数智枫桥·数治北京"解决方案获评全国智慧检务创新案例
近日,由法制日报社主办的2025政法智能化建设案例及论文征集宣传活动评选结果揭晓。本次共评出智慧治理、智慧法院、智慧检务、智慧警务、智慧司法典型案例各10个、创新案例各20个、创新论文各30篇。福昕软件联合北京市人民检察院研发的“数智枫桥·数治北京”解决方案,

2025-07-21

从700万到800万台仅2个月,九号智能两轮电动车为何能领跑行业?
九号公司最近真的是喜事连连,最近九号公司生产的第800万台九号电动两轮车正式发车,而距离700万台发车仅仅过去了2个月的时间,毫无疑问九号电动车的增长势能领跑整个行业。在此期间,九号公司也正参展第三届链博会,并在“数字科技链条”展区展出多款重磅新品及核心零

2025-07-21

强势通过欧盟能效测试 三星Galaxy Z Flip7|Z Flip7 FE耐用性太出色
随着智能手机市场趋于饱和,消费者的换机周期越来越长。在TechInsights发布的调研报告显示,消费者的换机周期已经从此前的18个月增至51个月。因此,消费者在选择机型时,更加注重其使用寿命。近日,据外媒报道,三星全新推出的Galaxy Z Flip7和Galaxy Z Flip7 FE在续航

2025-07-21

TCL科技以绿色产业链筑牢化学品安全防线,强化绿色制造与合规运营
化学品安全是工业生产中保障人类健康、生态环境与产业可持续发展的重要环节。为确保生产运营合规稳定,TCL科技旗下生产型子公司设立专责部门,负责化学品全流程风险识别与管控,严格执行有害物质管理要求,确保产品在生产、运输、使用、处置等各环节中的安全性。全流程

2025-07-21

扬帆起航,争做行业“小龙” ——2025“直通乌镇”全球互联网大赛火热报名中
自2014年世界互联网大会乌镇峰会启幕以来,这一国际盛会已走入新的十年。“直通乌镇”全球互联网大赛作为乌镇峰会的亮点活动,历经六年深耕,已成为全球互联网领域的重要赛事之一。2025“直通乌镇”全球互联网大赛已全面开放报名,诚邀全球互联网领域项目踊跃参赛,在全

2025-07-21

从尖端技术到无障碍关怀:vivo携多项创新成果亮相联通合作伙伴大会
2025年7月18日,中国联通合作伙伴大会于上海盛大启幕,本次大会以“向实同行 共融新生态”为主题,汇聚全球伙伴共谋智能时代新机遇。vivo作为中国联通核心战略合作伙伴及创新领军企业,以“智领未来,共融新生态”为主题,全面展示其在6G技术、AI个人化智能、无障碍科技

2025-07-21