ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

湖仓一体技术解读,巨杉数据库湖仓一体打造多模数据融合管理方案

时间:2022-07-26 16:46:34来源:互联网编辑:星辉

IDC研究报告显示,到2024年,全球数据总量将超过145ZB,且每年以22%的速度持续增长。其中,非结构化数据的规模尤其明显。在金融银行业中,对非结构化数据的利用,已经成为提高业务效率和提升盈利能力的有效方法。SequoiaDB从「多模数据湖」、「实时数据湖」发展到「湖仓一体」架构,为客户提供「数据核心」所需的全量数据存储,实时对客服务,及基于统一数据源的分析能力,以湖仓一体技术充分激活客户的离线数据。

数据来自IDC

传统数据存储架构的局限性

随着移动互联网的飞速发展和企业数字化转型的深入,金融银行业的应用场景不断丰富,非结构化数据已经深入到日常业务办理的各个环节中并发挥重要作用。

一直以来,企业内容管理系统以国外ECM软件为主流, 典型产品如IBM CM、Filenet及EMC documentum等,其底层均采用集中式数据存储架构。该架构无论从性能、扩展性,还是维护成本方面,遇到了严峻的挑战,已经无法适应新时代内容数据的管理需求。

架构复杂 & 成本高昂

并发性、扩展性局限

高可用、容灾能力不足

此外,也有国内开发商采用『关系型数据库+对象存储』方案,来构建内容管理系统,例如『MySQL+Ceph及其衍生品』。相比于前一种方案,存储容量和扩展性得以增强,成本有所降低。但同样无法解决复杂的技术栈带来的学习成本高、难于维护的问题。

巨杉数据库 - 多模数据湖方案

巨杉数据库深耕金融银行业,聚焦于从 “数据湖” 到 “湖仓一体” 的技术架构,针对业界对海量非结构化数据存储管理的需求,提出“多模数据湖”技术方案。

「多模数据湖」,是一种全量、即时使用、高性能的「一站式」数据存储方案。它强调采用多模、高扩展的分布式数据库,作为内容管理平台的存储底座,实现各类数据的统一存储(结构化、非结构化、半结构化)。通过丰富、灵活的访问接口,提供多样化的数据处理及服务能力,灵活应对海量非结构化数据的应用场景。

巨杉「多模数据湖」技术架构

引擎级多模 & 丰富的开发接口

提供引擎级多模能力,支持结构化、非结构化、半结构化数据的统一存储。同时提供了丰富的开发接口,结构化数据兼容SQL语法,非结构化数据支持S3、原生API、RESTful协议等数据访问接口,可帮助企业降低业务系统的开发难度,提升开发效率。

超大容量 & 在线弹性扩容

支持百PB级存储容量,支持在线水平扩展,轻松应对数据爆发式增长,可灵活适用于不同规模、不同类型的非结构化数据应用场景。

高性能、低成本

保障企业内容数据全量在线,支持多策略分区管理及分域缓存,采用资源池化的存储引擎层,提升海量数据管理效率及处理性能,大幅降低硬件及运维成本,TCO只为传统ECM方案的1/3。

高可用、容灾

采用多副本技术,支持多种级别的容灾部署形态,如同城双中心、同城三中心、两地三中心及三地五中心等,根据实际业务及监管要求,最大程度提升系统可用性和容灾能力,降低RTO/RPO。

数据管理

数据库层支持冷热数据分层管理、多租户分域管理,支持服务器差异化部署,实现成本与性能兼顾。服务管理层提供多项内容管理特性,支持如数据生命周期管理、权限管理、对象版本控制、历史版本回溯等,进一步提升数据安全性,帮助企业提升数据治理水平。

分类传统ECM

方案RDBMS+对象存储

方案巨杉数据库

「多模数据湖」方案

复杂性高高低

运维难度高高低

扩展性低中高

性能中中高

自主可控低中高

典型案例

目前,巨杉已经和众多合作伙伴一起,基于湖仓一体「多模数据湖」存储底座,帮助超过100家金融客户,构建全类型内容管理平台,支撑众多的音视频管理、双录系统、柜面无纸化等业务系统。

某股份制银行,基于巨杉「多模数据湖」构建的新一代湖仓一体内容管理平台,已完成超过120个业务系统的接入,容量达840TB,集群规模135台服务器,现已持续稳定运行超过6年,接入系统如零售信贷、征信、单证、无纸化、会计档案、流程银行等。

某省农信内容管理平台,已实现全社近60%的非结构化数据的纳管,接入信用卡、双录、集中作业、信贷、征信、无纸化、国结等44个业务系统,更多系统仍在规划接入中。平台上线已超过3.5年,容量达350TB。

结语

巨杉数据库基于湖仓一体架构致力于为金融银行业客户,解决海量非结构化数据在存储、管理时面临痛点与挑战,实现降低成本、提升效率、提升用户体验的同时,提高数据治理水平,进一步盘活数据资产价值,为业务提供高价值的信息输入。

未来,巨杉将与合作伙伴紧密携手,以湖仓一体架构为企业构建新一代内容管理平台,提供优质的产品、技术服务及生态支持,在数字化转型过程中,以湖仓一体技术共同为客户提升数据价值。

更多热门内容
2025京东618活动什么时候开始卖最优惠力度最大,京东618第三波活动5月31日最佳购买时机
2025年的年中购物狂欢节——618活动已正式官宣!今年淘宝、京东两大电商平台首次统一活动周期,活动从5月13日持续至6月20日,跨度长达38天,创下历史最长纪录。消费者不仅能享受跨店满减、国家补贴等常规优惠,还能通过红包口令、直播秒杀等方式实现“折上折”。本文将全

2025-05-28

2025年618活动什么时候买最优惠?618活动整体时间表已确定:淘宝京东618活动5月31日晚20点开门红时段优惠力度最大!
2025年淘宝和京东的618活动从5月13日开始,一直持续到6月18日,长达37天。淘宝京东618活动第三波于5月28日正式启动,而5月31日晚20点的开门红时段是两大平台价格触底的关键节点,优惠力度最大。在该时段,数码家电、美妆爆款等将达到全年最低价,堪称年度最划算的购物时

2025-05-28

2025年618活动一般什么时候开始买最便宜划算?618活动选购攻略大全附详细时间表全览
618购物节作为中国电商年度盛事之一,每年都吸引着数以亿计的消费者。本文将为您提供2025年618活动的完整时间表、价格走势分析和实用购物策略,帮助您在众多促销活动中找到真正的优惠,避免冲动消费的陷阱。、首先 划重点!今年京东的618红包口令是「红包到手650」,淘宝6

2025-05-28

2025年淘宝京东618活动时间史上最长:从5月13号开始到6月20号结束持续39天附详细时间表一览
2025年的618购物节将迎来历史性变革,淘宝和京东两大电商平台同时宣布,今年的618活动将从5月13日持续至6月20日,总时长达到39天,创下618活动自诞生以来的最长纪录。这一超长购物季打破了往年约20天左右的传统,为消费者提供了更为宽松的购物时间和更多优惠机会。首先

2025-05-28

2025年618活动什么时候开始哪天最优惠?淘宝京东618活动时间表已确定:从5月13日开始至6月18日结束!
2025年淘宝和京东的618活动从5月13日20:00开始,一直持续到6月20日。618购物节作为一年一度的购物狂欢盛宴,吸引了无数消费者的关注。京东与淘宝作为两大电商巨头,每年都会在618期间推出各种优惠活动,让消费者眼花缭乱。以下详细了介绍京东和淘宝在2025年618期间的活

2025-05-28

2025年618活动什么时候购买最便宜??淘宝京东618活动第三波正式开始持续到6月18号正式结束
2025年618购物节已正式启动,淘宝、京东两大平台从5月13日开启超长促销周期,但消费者最关心的仍是何时购买最划算。根据平台官方政策和历年数据,5月31日“开门红”与6月18日“狂欢日”是全年最低价的核心节点。本文将结合两大平台玩法,解析这两个黄金时段的省钱逻辑。

2025-05-28

2025年618活动何时开始?最新618淘宝京东天猫红包口令更新发布
2025年的618购物狂欢节已拉开帷幕!作为年中规模最大的电商促销活动,今年淘宝、京东、天猫三大平台均以“超长周期+简化规则+多重补贴”为核心,打造了一场覆盖全品类的购物盛宴。本文将从活动时间安排、最新红包口令、优惠叠加技巧等方面,手把手教你如何高效省钱,一文

2025-05-28

2025年618最新京东淘宝天猫红包入口领取口令是什么?淘宝京东天猫618红包如何更容易领到大额红包
一、淘宝天猫618红包活动1.1、红包领取时间2025年5月15日 ~ 2025年6月18日1.2、红包领取口令淘宝天猫618超级红包领取口令:好运红包7788淘宝天猫618商品红包领取口令:好运红包77881.3、红包使用方法在2025年淘宝天猫618红包领取时间内,每天都可以打开手机淘宝,搜索框

2025-05-28