Apache IoTDB 简介

Apache IoTDB 简介

Apache IoTDB 是一款端边云协同的工业物联网开源时序数据库,采用端边云协同的轻量化架构,支持一体化的物联网时序数据收集、存储、管理与分析,具有多协议兼容、超高压缩比、高通量读写、工业级稳定、极简运维等特点,可以解决企业组建物联网大数据平台时所遇到的应用场景复杂、数据体量大、采样频率高、数据乱序到达、数据处理耗时长、分析需求多、存储与运维成本高等多种问题。

功能架构

Apache IoTDB 独立自研紧致列式存储文件格式 TsFile、树形元数据组织技术、低流量端边云数据同步方案、时间、设备双维度的元数据与数据分区方法、IoT Consensus 多主共识协议等核心技术,提出存储引擎、查询引擎、分析引擎解耦的产品架构,覆盖时序数据写入、存储、查询、计算全生命周期,并支持端-边-云一体化部署应用。

功能特性

  1. 树形时序模型:采用存储和计算分离的架构,一份数据同时支持实时查询和大数据分析。

  2. 存储引擎:自研时序列式存储,支持对齐和非对齐序列存储,允许数据乱序写入、覆盖、删除,并支持有损、无损等多种高效编码、压缩方法。

  3. 查询引擎:通过预聚合和时序索引支持快速数据过滤、高效聚合查询、降采样查询等典型时序数据查询种类,并提供触发器、用户自定义函数(UDF)、查询结果写回、连续查询等功能。

  4. “端-边-云”一站式解决方案:提供文件格式、数据库、数据仓库,可一种文件格式贯穿“端-边-云”。

  5. 部署集成:支持单机版、分布式、边缘版多环境部署,并可与 PLC4X、Pulsar、Flink、Spark、Grafana、Zeppelin 等大数据系统集成。

应用范围

据不完全统计,IoTDB 已服务规模以上中央骨干、工业龙头企业超过 1000 家,在钢铁冶炼、石油化工、飞机制造、核电、风电、智慧电厂、城市交通运输等行业均得到应用,并扩展至期货、基金等金融行业。

部分 IoTDB 应用场景举例如下:

  1. 智能制造场景:设备状态监控及异常处理、生产工艺控制与改进、故障预测与数字孪生。

  2. 智慧车辆场景:车辆传感器数据存储,车况数据系统查询,车辆远程诊断平台告警处理。

  3. 能源场景:能源智慧管控终端数据接入、用电调控终端数据监测、物联管理平台数据聚合。

发展历程

2011 年

蕴育期:清华大学团队成员在国家 863 计划课题“复杂装备状态监测与运维服务支撑软件平台开发”中, 开始在三一重工实践海量机器数据管理,深刻感受到传统技术与工业物联网应用之间的功能与性能鸿沟。

2015 年

自研期:团队开启时序数据管理系统“清华IOTDB”研制,2016 年 3 月提出时序数据列式紧致文件存储格式 TsFile。发布 0.7.0 版本,标志着从技术原型向软件产品迈进,并在国家重点研发计划支持下开始在金风科技等企业进行技术验证。

2018 年

开源孵化:11月,经 Apache 软件基金会公开投票,IoTDB 正式成为 Apache 旗下孵化器项目,成为我国高校目前唯一主导发起的 Apache 项目,并吸引了来自德国、美国、澳大利亚等国际开源与物联网界人士的关注并参与指导孵化。

2020 年

项目毕业:经社区公开讨论投票、董事会举手表决,Apache 软件基金会正式发出决议,将 Apache IoTDB 升为全球 Top-Level 项目(TLP)。这标志着 IoTDB 建成了全球认可的国际开源社区,并成为我国高校主导的在 Apache 社区中唯一孵化成功的项目。

2021 年

延展服务:10 月,IoTDB 部分核心研发团队成立天谋科技 Timecho,持续为开源版 IoTDB 贡献更多功能,并围绕开源版 IoTDB 打造企业版及可视化工具产品体系,旨在继续参与开源社区建设的同时,为全球用户提供更专业、更稳定的技术服务与时序数据解决方案。

2022 年

生态共建:IoTDB 商业化公司天谋科技 Timecho 获得红杉领投的近亿元天使轮融资。IoTDB 1.0 分布式版本正式发布,并首次举办 2022 IoTDB 物联网生态大会,打造 IoTDB 专属研发、用户、合作伙伴圈层,发力 IoTDB 在多行业龙头企业的商业化应用。