ClickHouse 的发展
近十年以来,交互式分析领域百花齐放,大量解决方案随着大数据技术升级而涌现,但尚未有产品达到类似 Oracle 和 MySQL 一样在 OLTP(Online Transaction Processing)领域中领先的地位。其中,ClickHouse 作为一款 PB 量级的交互式分析数据库,最早是由号称“俄罗斯 Google ”的 Yandex 公司开发,并很快作为世界第二大网络引擎的流量分析平台 Yandex.Metrica(同类产品包括 Google Analytics、友盟统计)的核心查询引擎。
综合来说,ClickHouse 作为交互式分析数据库,有几大明显优势:
• 多:大规模并行计算框架,超高吞吐的实时写入能力;
• 快:极致的查询性能,尤其是在大宽表为主体的数据模型中;
• 好:无侵入式架构,轻松集成到现有系统,可复用上下游数据开发工具;
• 省:充分利用硬件资源,以极低的成本分析海量数据;
DB-Engine 上 ClickHouse 的排名趋势图
自 2016 年开源以来,ClickHouse 凭借其数倍于其他顶尖交互式分析数据库的极致性能,成为该领域的后起之秀,发展速度非常迅猛。截止 2021 年 8 月份,ClickHouse 已在 Github 上获得 18.2K Star,DB-Engines 排名近一年上升 16 位,并在国内获得字节跳动、快手、京东等互联网企业的生产级使用。
ClickHouse与字节跳动的故事
近年来,字节跳动旗下抖音、今日头条等产品的成长速度之快引人注目。事实上,承载着这些产品持续高速增长的关键所在,是背后的中台化技术底座。无论是在算法、AI 还是数据分析等核心技术上,字节跳动在相关领域中一直保持着领先水平。
字节跳动:中台化的技术底座
其中字节跳动对 ClickHouse 的选型和使用也是如此,从 2017 年最早的用户行为分析场景开始,逐渐开始支持广告业务、用户增长、A/B测试、算法模型优化等大量内部场景,并演化成国内最大规模的ClickHouse使用者。
目前字节内部的 ClickHouse 节点总数超过1万5千个,管理总数据量超过600PB,最大的集群规模在 2400 余个节点。字节跳动内部广泛的业务增长分析很多都建立在ClickHouse为基础的查询引擎上。
在从 0 到 15000 节点的过程中,字节跳动的技术团队也遇到了很多开源 ClickHouse 的运维痛点和技术挑战。如多表关联查询、复杂嵌套子查询等复杂场景下,仍有性能不足、无法支持数据按条更新、实时数据写入的性能有限、集群扩展难度较高、运维复杂度高等问题。
对此,随着业务场景持续增多,字节 ClickHouse 技术团队通过自研的方式极大地丰富了 ClickHouse 可使用的场景,提高运维的人效,不仅解决了开源技术上手难和试错成本高的痛点,同时已经有足够能力来提供商业产品和企业级技术支持服务。
火山引擎正式发布 ByteHouse
过去,与开源社区用户的交流中,经常听到的反馈是 ClickHouse “上手容易,用好很难”,或由于没有经验而“想用不敢用”,这对于性能如此出众的存储引擎来说,不免遗憾。
现在,字节跳动旗下企业级技术服务平台火山引擎正式对外发布「ByteHouse」,为大家提供企业级技术支持服务。作为 ClickHouse企业版,ByteHouse经过了字节跳动内部海量数据场景的打磨和极限的业务要求,更加符合企业高速增长诉求,其主要亮点如下:
• 分布式查询增强:支持星型模型等复杂的多表关联场景,进一步去除数据冗余和数据准备成本;
• 支持Upsert 语义:既保留了ClickHouse高效的数据写入性能、又支持 Upsert(update or insert) 写入方式,帮助业务更简单地开发实时分析应用;
• 实时数据引擎:支持实时数据高效写入,支持 exactly once 语义,写入性能远超原生架构;
• 数据分级存储:冷热数据分级存储在HDFS和本地存储,自动化管理数据热度,自动转存不同存储,有效缓解业务存储空间持续增长的问题;
• 企业级运维工具:自助运维能力,包括配置下发、指标告警、集群健康度监控、查询任务诊断、集群负载管理等功能,极大提高了运维人效。
作为国内 ClickHouse 技术的多年深度实践者,ByteHouse 现基于自研技术能力和超大规模使用经验,为更多的企业大数据团队带来新的选择和支持,以应对复杂多变的业务需求,高速增长的数据场景。未来,ByteHouse 将不断以字节跳动和外部最佳实践输出给行业用户,帮助企业更好地构建交互式大数据分析平台,并更广泛的与 ClickHouse 研发者社群共享经验,共同推动 ClickHouse 社区的发展。
