ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

分布式时序数据库TimeLyre 9.1发布:海量存储、高效压缩、实时分析

时间:2023-08-04 09:37:13来源:互联网编辑:茹茹

随着物联网、车联网和工业互联网等的迅速发展,时序数据被广泛应用在各行各业,包括工业制造、经济金融、环境监测、医学、农业生产、硬件和软件系统监控等领域都在大量使用时序数据揭示研究对象的趋势性、规律性、异常性。同时,在人工智能的浪潮下,时序数据作为大数据、机器学习、实时预测基础数据的作用日益凸显。各类应用产生的时序数据量爆炸式增长,呈现出海量性、关联性、时效性、实时性等特征,对数据库写入、存储、分析性能以及实时性提出了更高的要求,如何管理海量的实时数据、从中挖掘价值,是时序数据库需要解决的重要问题。

Transwarp TimeLyre是星环科技自主研发的企业级分布式时序数据库,其支持分布式水平扩展,同时具有极高的压缩率可以支持海量时序数据的存储,提供高吞吐实时写入、时序精确查询、多维检索等功能,可以有效支撑物联网、能源制造、金融量化交易领域等多种时序数据业务场景。

近日,TimeLyre正式发布V9.1版本,通过原生分布式架构、5-20倍无损数据压缩能力、每秒千万级数据吞吐能力、优异的查询分析性能、丰富的生态支持、灵活的部署方式,为海量时序数据的高效存储、快速查询、便捷计算提供了有力支撑,大幅降低了企业硬件成本,保障了时序数据查询分析的实效性,满足了时序数据在各类复杂业务场景的应用需求。同时新版本还提供一站式国产化替代解决方案,可以实现InfluxDB的平滑替换,助力企业打造自主可控数据平台。

原生分布式架构,集群灵活扩展,轻松实现海量时序数据存储分析

TimeLyre采用原生分布式架构,支持集群在线扩缩容,可满足海量时序数据存储和分析需求。TimeLyre的存储组件TimeLyreStorage主要由分布式数据管理系统与时序存储引擎构成。

* 分布式数据管理系统负责分布式元信息的一致性存储与分布式集群管理,基于Raft协议保证数据一致性与高可用性。

* 时序存储引擎使用类似LSM-Tree的技术,提供高吞吐的实时插入、高性能的时序数据检索,同时会对时序数据进行多种编码和压缩,保持整体数据的高压缩率。

在计算方面,TimeLyre采用星环科技分布式向量化计算引擎Crux实现快速读取批量存储文件、高速响应数据查询等功能。同时基于用于数据仓库和交互式分析的分布式编译器Quark,提供完整的SQL编译支持,兼容通用开发框架和工具,使得TimeLyre可以轻松融入企业数据仓库或数据湖体系,为企业提供高性价比和高度可扩展的解决方案。此外,Quark支持分布式计算可以同时在多个时序存储间平衡业务流量,能够有效地为客户端屏蔽掉集群细节,并且解决了时序存储超时或宕机后无法执行任务的问题。

1691112174964714.png

高吞吐、高并发,实现单节点每秒千万级数据写入的极致性能

TimeLyre支持实时、批量等多种数据写入方式。实时写入具备高吞吐、高并发,每秒千万级数据点插入的性能,可以保证数据检索的实效性,是企业搭建实时数仓的极佳选择。此外,TimeLyre支持通过SQL、文件载入、API以及多种工业物联网通信协议实现数据入库,满足各种复杂业务场景的多样化需求。

高水平无损数据压缩,实现超高数据压缩率,大幅降低硬件成本

TimeLyre采用行业领先的高水平数据压缩优化技术,在常见的时序数据上可实现5-20倍的压缩率,提高了资源的利用率,大幅降低用户硬件成本。TimeLyre提供多场景数据灵活、高效的压缩解决方案,不仅支持snapyy、gzip、lzo、zstd等常用压缩算法,还支持通过Delta编码将数据作为连续样本之间的差异来存储,同时也支持行业特征编码,根据检测值数据类型、分布范围,数据集中度进行特定的编码,通过内置多种数据压缩方式进一步提升时序数据压缩效果。

数据处理性能增强,提供时序数据存储分析极速体验

时序数据存储方面,TimeLyre内置多种索引结构,检索性能达到毫秒级的低延迟响应。数据分析方面,TimeLyre支持通过标准SQL进行数据分析,降低用户使用门槛。并且支持主流的SQL模块化扩展,兼容通用开发框架和工具,支持事务特性,保证数据的准确性。通过使用分布式向量化计算引擎,TimeLyre支持海量时序数据的计算与分析,覆盖关联查询、聚合查询、嵌套查询等多种复杂SQL分析功能,提供复杂场景构筑能力。基于星环科技多模型统一技术架构,TimeLyre时序数据可以与星环不同模型的数据统一存储管理和联合分析,打破数据存储管理屏障,实现多模型数据的统一融合。

1691112226511352.png


国产软硬件异构平台灵活部署,提供全面的安全和运维保障

TimeLyre采用星环科技自主研发的存算分离架构,基于容器技术,支持业内主流的操作系统和芯片,满足各类信创软硬件环境需求。并且可支持X86架构和各种国产芯片架构的混合架构,能够运行在异构CPU架构以及多种操作系统混合部署的集群环境中,最大化利用硬件资源,让用户逐步实现国产化平滑替代。

TimeLyre内置配套的安全授权、用户权限控制等相关安全功能,可以有效保障系统数据和访问上的安全。

* 在用户权限认证上,基于SASL提供plain与gssapi两种认证方式,同时提供用户组概念,便于通过平台实现统一管理与操作;

* 在数据权限上,基于角色的访问控制(RBAC) 机制,使用户能够通过将权限分配给角色并将角色分配给用户或组来授权用户,支持库级/表级以及列级/行级访问权限控制,同时支持20多种脱敏算法,具备优秀的数据隐私保护能力;

* 数据加密上,支持基于SSL/TLS两类协议进行数据加密,确保数据传输过程的安全。

一站式国产化替代解决方案,助力企业打造自主可控数据平台

为符合国家信创战略要求,助力企业实现软件自主可控,TimeLyre提供了InfluxDB一站式国产化替代解决方案。TimeLyre对InfluxDB有良好的兼容性,可以实现在不修改业务代码的情况下,将运行在InfluxDB中的业务和数据平滑地迁移至TimeLyre,并且在迁移过程中可以保证监控系统在线持续运行,充分保障迁移过程安全稳定进行。

替换InfluxDB涉及接口兼容度、高可用性、中间件与应用层软件兼容性等多个问题,TimeLyre采用两段式的替代方案,保障原系统和服务的低成本、安全、平滑迁移。

* 第一阶段:替换InfluxDB的数据库服务,完成InfluxQL到TimeLyre标准SQL的改造工作,实现原有业务逻辑脚本的平滑替换;

* 第二阶段:替换InfluxDB配套的grafana等运维监控组件,借助星环科技多模数据平台监控软件Aquila Insight、大数据安全管理软件Guardian等组件,完成对既有业务系统的完全国产化替换。

1691112286813471.png

打造实时高性能时序数据平台,赋能能源制造行业数据湖建设

能源制造业数字化转型是数字经济的重要环节。某能源头部企业现有大量的智能化工业设备,设备检测具有测点多、频率高、数据安全要求高等特点。

传统关系型数据库数据入库慢、存储资源消耗大、查询计算效率低,而开源时序数据库可运维性、可扩展性较差,无法支撑复杂分析业务,同时也面临数据安全问题,均无法支撑智能工业设备实时产生的大量时序数据。

该企业基于星环科技TimeLyre的实时数据存储、分析能力,打造了高性能时序数据平台。通过星环科技实时流计算引擎Slipstream实时的将散布在数万传感器中的时序数据抽取到TimeLyre中,以此为基础进一步开展行业算子计算、实时作业管理等实时分析,以及时序数据检索、时序数据开发等。同时利用星环科技分布式分析型数据库ArgoDB进行湖仓集一体化建设,实现了大数据灵活分析、离线作业管理等功能,进一步增强了企业业务数据离线分析能力。

项目建成后极大提升了时序数据存储性能,实现了每秒千万级流数据插入,入库性能提升十倍以上;实现了高性能查询,时序数据快速查询能够毫秒级返回结果,查询性能提升十倍以上;大幅提升数据压缩效率,数据平均压缩率达到10倍,有效节约企业硬件成本;联合分布式分析型数据库ArgoDB满足了之前未能实现的实时数仓与离线数仓联合查询的业务需求。

1691112322325195.png


携手头部券商,打造量化投研一体化平台,提升投研效率

金融行业数据往往具有数据架构大、数据频率高、实时性强等特征。某头部券商客户使用Python进行数据处理分析,受技术所限只能进行单机程序部署,不仅需要购买昂贵的高配置单机服务器满足性能和存储需求,还需要业务人员具有较高的技术水平完成复杂查询分析的编写,此外该技术架构也无法完成多年高频数据的分析,导致丧失部分交易机会,整体收益率显著下降。

针对该券商客户遇到的高频交易数据入库存储困难、因子数据分析函数复杂、业务人员技术水平要求高、硬件购置成本高等痛点,星环科技基于TimeLyre打造了量化投研一体化平台TransQuant。

通过TimeLyre Tools和Workflow实现多源数据接入,包括存储在Oracle/MySQL中的数据、以HDF5和PKL格式存储的用户因子数据以及第三方数据等,将这些数据统一存储在TimeLyre时序数据库中,并通过星环科技智能量化投研平台TransQuant对这些数据进行量化回测和因子研究,实现海量数据的复杂分析。

该平台提供丰富的数据接口,通过Python API与原系统通信,支持多数据源多数据格式迁移导入,实现用户业务的平滑迁移扩展,支撑多种金融应用场景。同时,TimeLyre作为分布式时序数据库大大提升了系统运算能力,提供亿级数据的高速运算,相同场景下达到Pandas单机性能的百倍以上。此外,特别支持了客户应用过程中使用的上千列因子数据表,并提供了节点横向扩展能力。最终通过运用围绕TimeLyre的系列产品实现了对金融行业海量时序数据入库、存储、复杂分析的全面支持。

1691112340245938.jpg
更多热门内容
贝壳董事会主席拟捐赠股票投入居住领域并长期运营
4月17日,贝壳最新公告显示,贝壳董事会主席、首席执行官及控股股东彭永东拟捐赠9,000,000股A类贝壳普通股。在承担相应的纳税义务后,此次捐赠股票将50%税后资金用于居住行业服务者及其家庭成员的医疗健康福利、50%税后资金用于应届毕业生等租客群体的租房帮扶。据悉,

2025-04-17

心所想AI所向,2025凯度品牌日暨春季新品发布会盛大举行
面对厨电行业智能化、品质化升级趋势。4月16日,凯度成功举办了以“心所想·AI所向”为主题的2025凯度品牌日暨春季新品发布会。凯度CEO柯漫、董事长傅平及明星生活家王真儿依次登场,通过理念分享、技术解读、场景演绎,全面诠释“高端新厨电”;重磅推出首个AI数字生命体“

2025-04-17

FF为股民而战:五大举措启动“非法做空阻击战”,打赢梦想实现战
4月17日,Faraday Future(简称“FF”)今日宣布,为捍卫股东价值与信心,公司正式启动五大核心举措,标志着“梦想实现战之潜在非法做空反击战”的正式打响。在公司昨日提交Form D文件后,市场上迅速传播出一系列谣言——包括错误声称Form D表明高管正在出售股份;股价跌破

2025-04-17

Mureka火爆海外,今日正式开放国内登陆入口和API
2024年4月,昆仑万维发布了第一代音乐生成模型Mureka V1(SkyMusic)。2024年8月14日,昆仑万维推出AI音乐商用创作平台Mureka。2025年3月26日,正式发布Mureka O1模型与Mureka V6模型。自Mureka上线以来,在海内外获得了非常好的市场反响,成为全球AI音乐界现象级产品。

2025-04-16

问界M8正式发布:车载小艺一路聊,随时随地问问小艺
4月16日,家庭智慧旗舰SUV鸿蒙智行问界M8正式发布上市,据悉其搭载的鸿蒙座舱重塑家庭出行交互新范式,车载智慧助手小艺能力再升级,展现出卓越的语音交互能力,有问题随时随地都可以问问小艺。全新的小艺搜歌功能,仅需告诉小艺歌词与背景信息,即可“搜”听到想听的歌

2025-04-16

掘金AI千亿赛道 金山云获战略股东持续增持
2025年4月16日,金山云(NASDAQ:KC,HKEX:3896)宣布,将公开发行18,500,000股美国存托股(ADS),每ADS代表该公司15股普通股。同时,金山云还授予ADS承销商购买额外美国存托股的30天选择权。并且,为了方便港美股两地投资者认购,投资者可以选择在此次发行中以普通股代替AD

2025-04-16

昂瑞微客户到底是谁,招股说明书闪烁其词
2025年3月28日,北京昂瑞微电子技术股份有限公司(下称“昂瑞微”)科创板IPO申请获受理,成为今年首家未盈利企业申报案例。作为射频前端芯片领域的“国产替代先锋”之一,昂瑞微凭借20.67亿元募资计划、50.88%的营收复合增长率引发市场关注。然而,对于其招股书中客户信

2025-04-16

昂瑞微靠低端产品增收,5G增长乏力,上市之路能走多远?
3月28日,北京昂瑞微电子技术股份有限公司(以下简称“昂瑞微”)向上交所递交IPO申请。作为主营射频前端芯片、射频SoC芯片的集成电路设计企业,其招股书披露的财务数据看似亮眼:2022-2024年累计营收47.19亿元,复合增长率达50.88%。但穿透数据表象可见,公司增长动能过

2025-04-16

小刀电动车怎么样?以科技、美学重构时尚标杆,三登“Ray时尚”TOP榜
凭借卓越的综合实力与对市场需求的精准洞察,近日,小刀电动车产品再次登上“Ray时尚”电动自行车TOP榜,以及“Ray时尚”可持续时尚企业。这是小刀电动车连续三年(2023-2025年)斩获殊荣。这一成就不仅体现了其产品在设计、性能、品质上的持续突破,更印证了品牌“科技

2025-04-15

京东新品成长“百千亿”计划:2025年将打造600款销售亿级新品
4月15日,2025京东新品年度盛典在北京举行,正式推出京东新品成长“百千亿”计划,即在2025年加码百亿流量和百亿资金,并围绕营销能力与数字能力全面升级,实现60000款新品年销售破百万、6000款新品年销售破千万、600款新品年销售破亿。在此次盛典活动上,京东宣布“京

2025-04-15