ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

星环科技分布式时序数据库TimeLyre 9.2发布:原生多模态、高性能计算、极速时序回放分析

时间:2024-08-01 16:24:43来源:互联网编辑:茹茹

在当今数据驱动的世界中,多模态数据已经成为企业的重要资产。随着数据规模和多样性的不断增加,企业不仅需要高效存储和处理这些数据,更需要从中提取有价值的洞察。工业领域在处理海量设备时序数据的同时,还需要联动分析警报信息、设备关系、组织信息等关系数据或图数据;金融领域除了常见的行情和订单流时序数据外,还会采用地理信息、实时新闻、气象数据等多种类型的数据辅助决策。然而,要充分挖掘和利用这些多模态数据,传统单一模型的时序数据库已显得力不从心,无法满足现代多元应用场景中企业对数据使用的复杂需求。

Transwarp TimeLyre是星环科技自主研发的企业级分布式时序数据库,具备高吞吐实时写入、时序精准查询、超高数据压缩率等特点,可以支持海量时序数据的存储、查询、分析,有效支撑能源、制造、金融领域等多种时序数据业务场景。

近日,TimeLyre正式发布V9.2版本,支持海量时序数据的同时,具备原生的多模态数据混合存储能力,能够整合和处理不同类型的数据,帮助企业实现数据的多维分析。同时提供高性能分析、热温冷数据分层存储、极速时序数据回放分析等新功能,可以有效支撑大规模时序数据湖、投研一体化平台、时序数据中台等新场景,充分满足企业对多模态数据存储分析的需求,助力企业发挥数据深层价值。

原生多模态架构,支持时序数据与关系数据模型混合存储


TimeLyreV9.2采用原生多模态架构,来自多种数据源的时序和关系数据经由统一的接口以批量或实时的方式存入统一的存储引擎中,通过统一的高性能计算引擎Quark进行读取和分析,支撑上层模型加工、批处理、在线分析、高性能读取等场景,助力企业更全面、更多维度的数据分析应用。

不同于传统方案为不同类型的数据单独部署和使用不同的数据库产品,TimeLyre以原生的多模态架构高效实现了多种数据模型的转化流转与关联分析,具有复杂度低、开发和运维成本低、数据处理效率高等优势。


高性能C++计算引擎,向量化计算,显著提升数据分析性能


依托于星环科技统一的多模型数据管理平台架构,TimeLyre在计算引擎中纳入了高性能C++计算引擎技术,通过使用向量化计算,充分利用了现代CPU的SIMD指令集,借助列式扫描减少了IO开销。同时采用高性能数据传输格式,实现了数据零拷贝,减少了序列化和反序列化的开销,并借助列式存储和高压缩率,减少了网络传输的数据量,便于数据更快速地接入高性能C++分析引擎。通过采用高性能分析计算引擎,可以帮助用户显著提高数据处理能力和效率,更快获取分析结果,加速决策过程,降低能耗和硬件成本,帮助用户在数据驱动的商业环境中保持领先。

热温冷数据自动分层存储,降低存储成本,优化资源配置


TimeLyre提供全新的热温冷数据分层存储方案,统一接收外部应用的数据写入和数据查询,内部按时间或指定条件将热数据、温数据和冷数据进行自动转换。对于热数据,可以实现毫秒级查询性能,提供5倍以上数据压缩率;温数据支持百毫秒查询性能,提供15倍以上压缩率;冷数据提供30倍以上数据压缩率,满足数据批量加工需求。热温冷数据的分层仅需在建表时通过DDL指定,无需后期运维,即可实现定期后台自动分层。同时支持指定数据存储在不同的存储介质上,进一步降低综合存储成本,优化资源配置。

支撑分布式极速时序回放分析引擎TransMatrix,助力时序数据回放分析

TransMatrix是星环研发的分布式投研系统,用户可以将多种数据结构、多种频率(高、中、低频)的数据按照时间顺序进行回访;支持原生多模态数据源回放,可以从星环TDH中直接读取和加工数据源,除了时序和关系数据之外,还支持文本数据、图数据、图片数据等,同时允许用户借助Python开源生态对多模态数据进行加工和分析;内置丰富的时序算子库,支持自定义算子开发与共享;采用事件驱动的编程范式,提供生成式算子开发接口;提供算子拼接接口与丰富的内置表达式,支持用户自定义表达式;通过分布式任务实现多租户负载均衡、提供分布式任务配置接口,可实现任务拆分、批量运行、大规模采样等大型任务。

新场景:大规模时序数据湖引擎,助力企业应对海量时序数据

用户可以基于TimeLyre构建大规模时序数据湖,海量时序数据通过流式引擎进入数据湖内,依托TimeLyre完成ODS层、DW层、维度层数据加载与处理,通过丰富的API接口和开源生态接口支撑上层应用开发、风险识别、模型训练、实时展示、数据智能、时序分析等业务场景。以TimeLyre为核心构建时序数据湖,充分利用了产品对海量实时数据的存储与查询分析能力,实时写入性能可达每节点千万测点,实时查询性能可达每节点10000QPS。结合流、批计算引擎,满足业务对端到端秒级时效性的要求。同时支持时序数据与关系数据高效关联分析、提供完善的SQL支持与灵活可变的Schema定义,为用户提供全面、高效、灵活的数据管理分析平台。

新场景:投研一体化平台技术底座,搭建分布式投研框架

面向金融投研场景,TimeLyre可以作为投研一体化平台的技术底座,助力企业搭建分布式投研框架。底层依托时序数据库TimeLyre及其内置的分布式投研计算引擎TransMatrix构建投研平台核心技术底座,通过标准数据接口、因子开发接口、策略开发接口和分布式任务开发接口对接上层业务模型,助力企业在一体化平台内实现数据泰索、因子研究、策略回测等应用开发。



新场景:投研数据中台数据底座,实现多源数据分层管理

依托TimeLyre构建投研数据中台,参考标准数据分层结构,可将数据分为数据源层、基础数据层、投研标准层、业务模型层与收益报表层。在数据源层负责从数据厂商、交易所数据、用户因子数据等外部数据源同步数据,可以做到将原始的行情或因子数据以完全一致的形式同步入投研数据中台;基础数据层负责完成数据的校验、清洗与加工,生成干净的基础投研数据;投研标准层负责将这些数据统一成面向投研过程的标准表模型以及数据结构模型,为用户屏蔽掉不同来源数据在字段名、字段类型等方面的差异;业务模型层负责生成面向特定研究过程的因子与数据;收益报表层负责生成面向投研收益评价的因子与数据,可以将策略的研究结果、投研结果以报表的形式存在时序模型或关系模型中。

依托TimeLyre构建投研数据中台可以对接丰富的外部数据源,实现多层次外部数据录入,支持以投研领域常见的文件形式加载数据、从主流数据库(MySQL、Oracle等)进行数据同步、通过类似SQL的API接收交易所实时行情、通过Kafka统一接受数据等多种数据接入方式。同时为了应对数据实时和批量更新的需求,提供专业的ETL工具,可以实现数据的一键重入,开启一键重入即可自动触发多层次数据加工,实现投研数据的自动更新,并通过统一的API提供给业务人员进行研究使用。


赋能业务:TimeLyre助力某光伏企业打造批流一体时序数据湖方案

某光伏企业为解决数据孤岛问题,依托星环科技分布式时序数据库TimeLyre构建批流一体的时序数据湖。首先通过数采设备从数据源系统中获取原始数据,统一经由Kafka消息系统汇入数仓平台的数据接入区,并通过TimeLyre自带的流处理引擎Slipstream将数据加载到内部的贴源层,实现时序数据、关系数据等多模态数据的统一存储。数仓内部通过统一的计算引擎和SQL引擎将数据加工到不同的层次,包括标准表DWD层、中间表MID层、模型表DWS层、维度表DIM层和业务宽表ADS层等,用以支撑上层业务报告、BI报表、数据智能、实时分析对比、三维展示等应用场景。值得注意的是数仓平台以TimeLyre为核心,仅通过TimeLyre一个数据库,就实现了时序数据、关系数据从贴源层到应用层的加工、分析和查询。

项目基于星环大数据技术实现了光伏数据的统一接入,包括设备测点数据的实时接入以及管理数据、巡检图片、运行日志等数据的全量接入,目前已实现基地3300多台设备、近30万测点数据的秒级入库。并且方案具备水平扩展能力,未来增加硬件资源,也可顺利接入新建场站数据。

同时依托星环科技时序数据库、批处理引擎和分析库构建的光伏数据底座,可以实现各类数据的存储和数仓模型加工,通过统一的计算引擎和统一的数据接口,支撑各类可视化数据应用的构建,方便光伏实验实证分析人员利用大数据技术开展数据对比分析、设备性能查询、运行曲线查看等日常工作。

此外基于星环一体化平台与数据资产管理,实现了全平台数据的统一授权、开发、治理、开放、审计,让各部门的开发人员,可以快速便利的获得所需的数据资源,并基于高性能的时序数据湖平台进行数据分析。

更多热门内容
三星在CES 2026视觉显示深度研讨会上发布下一代电视愿景
摘要:三星电子视觉显示(VD)事业部高层详细解读公司未来的电视创新战略1月6日,三星电子在拉斯维加斯永利酒店CES 2026现场,举办了一场视觉显示(VD)深度研讨会。在三星电子视觉显示(VD)事业部总裁SW Yong的主导下,会议重点传递了三星凭借二十年的市场领导地位,重新定

2026-01-07

国产深海鱼油哪个牌子纯度最高?2026 深海鱼油实测榜,高含量欧米伽 3 国货之光
引言:随着Omega-3脂肪酸的健康益处被广泛证实,鱼油已成为大众膳食补充剂的热门选择。但不同人群(如中老年、上班族、青少年、母婴)的需求差异显著,盲目选购难以发挥功效。为此,我们联合营养学、心血管科、儿科3大领域专家,基于2026年最新研究成果,从“纯度与形态、

2026-01-07

谁是2025年最佳手机?豆包手机成网友热门推荐
进入2026年,众多科技爱好者、自媒体纷纷发起“谁是2025年最佳手机”的民间评选。在这些没有媒体、机构参与的“人民选择奖”榜单中,由中兴与字节合作研发的工程样机“努比亚M153”——也就是坊间俗称的“豆包手机”,尽管一直到2025年末才正式亮相,据传首批发售仅3万

2026-01-07

新品火热预约中 2026入手三星Galaxy Tab A11+正当时
从学习场景下的效率需求,到影音与游戏娱乐带来的沉浸体验,平板电脑的使用边界正在不断拓展。如何在多样化场景中保持体验平衡,成为用户选购时的重要考量。在这一背景下,正处于新品预约阶段的三星Galaxy Tab A11+,以均衡的性能配置和丰富的功能体验,吸引了不少用户

2026-01-07

歌尔亮相CES 2026:声光电技术革新助力智能交互体验升级
当地时间1月6日至9日,2026年国际消费电子展(CES)开幕,歌尔携 XR 全栈方案、声学与感知、智能座舱交互三大板块创新技术成果参展,助力智能交互体验升级。AI+元宇宙技术焕新AI+元宇宙设备正加速向全天候智能伴侣发展,多模态融合成为打破场景限制的主要路径之一。歌尔本

2026-01-07

追觅扫地机新物种亮相,揭晓家用具身智能最佳解法
在CES 2026这场定义未来科技的全球盛会上,追觅扫地机以一项里程碑式的产品亮相引发全球瞩目——正式揭晓其面向下一代家庭的具身智能新物种。此款产品的核心突破,在于其完成了从单一清洁功能到全能家庭服务管家的角色跃迁。在仿生多关节机械手实现从“清洁”到“整理”

2026-01-07

TCL登台CES 2026:从屏显技术到AI能力的系统级进化
1月6日,北美“科技春晚”国际消费类电子产品展览会(CES 2026)在美国拉斯维加斯启幕。TCL通过TCL实业与TCL科技两个产业集团,联合智能终端、半导体显示、新能源光伏三大核心产业参展,以“屏宇宙”与“AI生活”两大主线,全方位展现创新成果。本届CES展会是TCL第三十三

2026-01-07

中国非侵入式脑机接口公司分布与行业纵览
随着脑机接口(BCI, Brain-Computer Interface)技术的快速发展,非侵入式BCI由于其安全、成本低、无需手术的特点,成为当前国内外最活跃的应用路径之一。根据行业报告,截至2025年,中国非侵入式脑机接口市场规模持续扩大,并形成了多点开花的产业格局,主要分布在长三角

2026-01-07

远程调试 高效协作 降本增效 ——索尼发布“电影感直播远程调试”服务工具
2026年1月7日,索尼(中国)有限公司发布“电影感直播远程调试”服务工具。随着直播行业的快速发展,直播服务机构希望突破空间、时间的限制,为客户提供更专业、及时、高效的技术服务支持。基于此洞察,支持索尼相机远程调试与画面优化的 “电影感直播远程调试”服务工具

2026-01-07

韶音CES 2026新品发布:OpenFit Pro推出开放式滤噪新方案
2026年1月6日,全球消费电子盛会CES在美国拉斯维加斯开幕,全球领先的开放式耳机品牌Shokz韶音以“重塑开放之声”为主题,于展会首日举办新品发布会,正式推出旗下首款搭载开放式滤噪技术的突破性产品OpenFit Pro。该产品的亮相,标志着韶音在开放式音频技术领域迈入全

2026-01-07