ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

星环科技自研TDH成功替换开源CDH,春秋航空挖掘数据价值落地业务创新

时间:2022-12-05 11:24:30来源:互联网编辑:茹茹

采用开源大数据平台CDP和CDH的用户,现在必须面对原有开源软件许可证变更和产品服务限制等方面的挑战。

基于Hadoop的开源软件公司Cloudera与Hortonworks于2018年10月宣布合并,并在2019年推出了结合了Cloudera原有产品CDH和Hortonworks原有产品HDP的全新的大数据平台产品CDP。

合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授权许可方式,对许可方式进行调整:Cloudera所有产品都将采用OSI批准的许可证,即Apache软件许可证(ASL)或Affero通用公共许可证(AGPL)。用户不得不面临许可变更带来的风险。

另一方面,Cloudera对原有产品的服务支持也做出调整。Cloudera会在2022年前继续支持CDH和HDP两条产品线,给用户一个过渡期。原有的CDH和HDP用户均可通过升级至CDP获得诸多新功能。也就是说,在2022年全部用户都将迁移到CDP上来。但CDP以订阅方式提供服务,用户付费成本大幅增加。

同时开源软件的安全事故迭出,影响巨大。同时,开源软件安全方面功能的缺失或者被限制,也成为用户应用的后顾之虑。

如何面对许可方式的变更,产品服务方式改变所带来的成本增加,以及不断增加的安全威胁,已经成为CDP和CDH的用户不得不面对的问题。

春秋航空公司,是国内第一家由民营资本独立经营的低成本航空公司,也是国内第一家由旅行社起家的低成本航空公司。成立37年来,春秋航空公司快速发展,从正式开航到现在,机队规模已经达到96架、国际国内航线达到210条,是国内低成本航空公司的典范。

春秋航空用星环科技大数据基础平台TDH成功替换开源大数据平台CDH,打破了新技术与业务场景之间的隔阂,用技术为业务赋能,快速挖掘数据价值。借助星环科技TDH 极速大数据平台,春秋航空快速提高了数据处理规模和数据处理性能,增强了数据管控力度,为数据挖掘和数据分析提供了全面的数据支持,堪称大数据平台国产化替代的典范。

春秋航空大数据平台建设需求和挑战

春秋航空是一家倡导旅客个性化消费的航空公司,提升利润和降低成本是春秋航空一直希望做的事情。而航空公司是重资产低利润的行业,节约成本在众多提高利润的因素中占很大的比重。航空公司的航油成本占了总成本的30%到40%,所以节省航油成为降低成本的关键。

节省航油理论上讲并不是很难,和开车的逻辑类似,按最短的路线,或控制好油门都可以省油。我们开车时能用GPS选择最短路线,对于飞机飞行来说却没有那么简单。首先,我们要对飞机的飞行日志进行分析。飞机上的QAR(Quick Access Recorder,快速存取记录器)每八分之一秒会将飞机上3000多个设备仪器的参数记录一次,飞机一天在天上要飞十几个小时,一年下来数据量非常大。每架飞机一年会记录一亿多条数据,80多架飞机一年就是80多亿条数据。因此做好节油工作首要任务是解决80多亿的数据处理问题。

早期,春秋航空引入了开源大数据平台CDH,并基于该平台开展了个性化推荐、精准营销方面的工作,但在使用的过程中发现了很多问题。对于复杂的航空业务,原平台需要大量的开发工作来适配业务,对开发人员的要求非常高,很难实现业务的快速落地和价值挖掘。

面对一些跨库关联的复杂分析场景需要数据的导入导出,过程较为繁琐,费时费力。数据分析人员需要对数据进行实时分析,以便对业务进行快速调整,而原平台只支持T+1的计算分析能力,不能满足业务分析的实时性需求。如刚才介绍,航空飞行产生海量的数据,精细化到毫秒级别,而原平台表现出存储和处理分析能力不足。

另外,其混合架构以及开源特性使得解决问题的效率相对会比较低,给系统和业务运维带来很大的压力。

星环科技TDH助力春秋航空快速实现数据价值

当前,企业数智化转型正是信息技术自主创新和国产化替代的主战场,更是需要通过提升自主创新能力、加速数字化智能化转型,全面推动整个产业数字化进程。

基于星环科技大数据基础平台TDH技术的先进性和独特性,春秋航空用TDH替换原先的开源CDH数据平台。借助星环科技TDH 高性能批处理及关系型分析引擎Inceptor等工具,春秋航空完成各种数据清洗,业务处理等工作,提高了数据处理规模,数据处理性能更快,增强了数据管控力度,为数据挖掘和数据分析提供了全生命周期的数据支持。

星环科技TDH大数据基础平台采用先进的多模型统一架构,一体化构建服务于整个企业的统一数据资源库,彻底打破不同部门间的数据隔阂,支持数据跨部门灵活调用,有效降低开发运维成本。统一的计算引擎可以跟据不同的存储引擎自动匹配高性能算法,避免数据导入导出。统一的分布式存储管理系统可以轻松实现 GB~PB级多源异构数据的高效存储和统一管理,为不同的存储引擎提供公共的存储服务,有效保障数据一致性和高可用。

基于星环大数据平台的架构设计

系统将每天产生在Oracle的数据进行T+1抽取,业务逻辑打包成各种shell脚本等脚本,通过Transwarp Workflow任务调度软件进行调度,在大数据集群内进行各种处理,完成数据清洗,业务汇总等工作。

关系型分析引擎Inceptor提供PB级海量数据的高性能分析服务,其同时支持完整的SQL标准语法,兼容Oracle、IBM DB2、Teradata方言,兼容Oracle和DB2的存储过程,可以平滑迁移应用。同时其支持分布式事务处理,保障数据强一致性。跟开源方案相比,Inceptor是全球首个通过分析决策系统国际基准测试TPC-DS及官方审计的产品,TPC-DS查询性能是开源Hive的7~25倍。

实时流计算引擎Transwarp Slipstream落地即分析,提供百万级高吞吐、毫秒级低延时业务处理支撑能力,满足业务分析实时性需求,弥补之前CDH无实时分析能力的空缺。对于之前平台无二级索引和全文搜索能力,分布式搜索引擎Transwarp Scope提供PB级海量数据的交互式多维检索分析服务,能够实现高可靠、高扩展性的全文搜索与灵活查询。

春秋航空进入数据精细化运营时代

突破关键核心技术,加快推进国产自主可控替代计划,构建安全可控的信息技术体系,发展信创产业,是国家一项长期战略。经过多年的发展,我国国产化替代不断拓展,信创产业不断发展壮大。

在数字经济时代,IT系统自主创新和国产化替代已经不再仅仅是进口的软硬件产品替换成国产产品,而是要以新的思路、新的应用,将数智化与信创化相结合,形成中国企业真正的国产化应用替代。

星环科技与春秋航空的合作,成功的用国产自主可控的国产大数据平台替代国外的开源大数据平台,应用成效突出:

利用星环科技TDH强大的数据处理能力,春秋航空完成了成本指数监控。例如上线4个月时,成本指数执行率从58%上升到69%。随后春秋航空又建立了直飞优化模型和高度优化模型,实现了飞行路线的优化。通过直飞模型可以提前分析大量的直飞机会,减少飞行距离,降低飞行成本。

同时通过对历史飞行轨迹及优化分析,可以寻找飞机携带油量的平衡点,从而降低航油消耗。基于星环科技TDH极速大数据平台,春秋航空还建立了高度优化模型。大气层越往上越稀薄,飞机飞得越高阻力越小,意味着越节油。通过海量数据监控建立高度模型对飞机飞行高度进行优化,从而达到节省航油的目的。春秋航空节油项目取得了很好的效果,据估算80架飞机每年仅燃油成本就可节省约2400万。

目前,基于星环科技TDH的大数据平台已成为春秋航空所有数据的中心,负责所有条线营销服务、飞行安全、维护维修的数据分析。

星环科技大数据基础平台TDH凭借技术的先进性,在众多行业领域完成国外产品的进口替代,帮助企业加速数字化转型,更全面、更便捷、更智能、更安全地运用数据,大幅降低综合成本。基于星环科技极速大数据平台构建核心商业系统,是企业实现一站式数字化转型、加速业务创新的致胜关键。

更多热门内容
贝壳董事会主席拟捐赠股票投入居住领域并长期运营
4月17日,贝壳最新公告显示,贝壳董事会主席、首席执行官及控股股东彭永东拟捐赠9,000,000股A类贝壳普通股。在承担相应的纳税义务后,此次捐赠股票将50%税后资金用于居住行业服务者及其家庭成员的医疗健康福利、50%税后资金用于应届毕业生等租客群体的租房帮扶。据悉,

2025-04-17

心所想AI所向,2025凯度品牌日暨春季新品发布会盛大举行
面对厨电行业智能化、品质化升级趋势。4月16日,凯度成功举办了以“心所想·AI所向”为主题的2025凯度品牌日暨春季新品发布会。凯度CEO柯漫、董事长傅平及明星生活家王真儿依次登场,通过理念分享、技术解读、场景演绎,全面诠释“高端新厨电”;重磅推出首个AI数字生命体“

2025-04-17

FF为股民而战:五大举措启动“非法做空阻击战”,打赢梦想实现战
4月17日,Faraday Future(简称“FF”)今日宣布,为捍卫股东价值与信心,公司正式启动五大核心举措,标志着“梦想实现战之潜在非法做空反击战”的正式打响。在公司昨日提交Form D文件后,市场上迅速传播出一系列谣言——包括错误声称Form D表明高管正在出售股份;股价跌破

2025-04-17

Mureka火爆海外,今日正式开放国内登陆入口和API
2024年4月,昆仑万维发布了第一代音乐生成模型Mureka V1(SkyMusic)。2024年8月14日,昆仑万维推出AI音乐商用创作平台Mureka。2025年3月26日,正式发布Mureka O1模型与Mureka V6模型。自Mureka上线以来,在海内外获得了非常好的市场反响,成为全球AI音乐界现象级产品。

2025-04-16

问界M8正式发布:车载小艺一路聊,随时随地问问小艺
4月16日,家庭智慧旗舰SUV鸿蒙智行问界M8正式发布上市,据悉其搭载的鸿蒙座舱重塑家庭出行交互新范式,车载智慧助手小艺能力再升级,展现出卓越的语音交互能力,有问题随时随地都可以问问小艺。全新的小艺搜歌功能,仅需告诉小艺歌词与背景信息,即可“搜”听到想听的歌

2025-04-16

掘金AI千亿赛道 金山云获战略股东持续增持
2025年4月16日,金山云(NASDAQ:KC,HKEX:3896)宣布,将公开发行18,500,000股美国存托股(ADS),每ADS代表该公司15股普通股。同时,金山云还授予ADS承销商购买额外美国存托股的30天选择权。并且,为了方便港美股两地投资者认购,投资者可以选择在此次发行中以普通股代替AD

2025-04-16

昂瑞微客户到底是谁,招股说明书闪烁其词
2025年3月28日,北京昂瑞微电子技术股份有限公司(下称“昂瑞微”)科创板IPO申请获受理,成为今年首家未盈利企业申报案例。作为射频前端芯片领域的“国产替代先锋”之一,昂瑞微凭借20.67亿元募资计划、50.88%的营收复合增长率引发市场关注。然而,对于其招股书中客户信

2025-04-16

昂瑞微靠低端产品增收,5G增长乏力,上市之路能走多远?
3月28日,北京昂瑞微电子技术股份有限公司(以下简称“昂瑞微”)向上交所递交IPO申请。作为主营射频前端芯片、射频SoC芯片的集成电路设计企业,其招股书披露的财务数据看似亮眼:2022-2024年累计营收47.19亿元,复合增长率达50.88%。但穿透数据表象可见,公司增长动能过

2025-04-16

小刀电动车怎么样?以科技、美学重构时尚标杆,三登“Ray时尚”TOP榜
凭借卓越的综合实力与对市场需求的精准洞察,近日,小刀电动车产品再次登上“Ray时尚”电动自行车TOP榜,以及“Ray时尚”可持续时尚企业。这是小刀电动车连续三年(2023-2025年)斩获殊荣。这一成就不仅体现了其产品在设计、性能、品质上的持续突破,更印证了品牌“科技

2025-04-15

京东新品成长“百千亿”计划:2025年将打造600款销售亿级新品
4月15日,2025京东新品年度盛典在北京举行,正式推出京东新品成长“百千亿”计划,即在2025年加码百亿流量和百亿资金,并围绕营销能力与数字能力全面升级,实现60000款新品年销售破百万、6000款新品年销售破千万、600款新品年销售破亿。在此次盛典活动上,京东宣布“京

2025-04-15