时序数据库IoTDB的功能特性

IoTDB 是一款国产自研的物联网原生时序数据库,其技术发源于清华大学,目前已历经 13 年的发展。主要是为了解决工业物联网时序数据管理的实时性、压缩比、分布式部署等多方面痛点。

IoTDB 的功能特性

IoTDB 能够实现稳定、高效、易用的时序数据管理方案,在国际数据库基准测试性能排行榜 benchANT 中,IoTDB 的读、写、压缩指标均排名第一。其功能特性可简单归结为“管得好、接得住、存得下、处理强、实时性、智能性、协同性”七个词。

一、管得好:基于业务,便捷建模

对于一款时序数据库而言,在面对海量的时序数据时,首先需要在最底层,也就是数据建模层面,需要确保这些时序数据能够被很好地管理。

从 OT 视角而言,物联网场景中产线、设备产生的 BOM 数据是按照层级,彼此关联起来的。比如集团下可能有很多工厂,工厂中有很多的产线,产线中有很多设备,最终这些设备再产生数据。

因此,IoTDB 实现了树形时序数据模型,能够直观地与 BOM 数据进行对应。同时对需要新增或变更的设备,也能够做到自动化同步,这使得时序数据管理与运维的成本得到有效降低。

同时,IoTDB 自研的元数据管理模型,可以实现亿级的时间序列管理规模,并降低数据冗余,通过高效的元数据存储来提高 IoTDB 管理的数据质量。

最后,在树形模型基础上,IoTDB 可以对序列级的权限进行更好的控制,比如可以为集团级、工厂级、产线级数据设置不同的权限范围,进而达到多层级数据高效管理的目的。

 

二、接得住:高频数据、乱序数据高写入

底层数据建模在确定后,IoTDB 在物联网时序数据生命周期的多个环节也都能够解决一些常见的难题。

第一个环节自然是时序数据的写入,该环节第一个难题是高频数据的写入。针对前面提到的振动场景 1kHz 的采集频率,传统时序数据库一般因为采用行式数据写入,所以只能支持到秒级数据接入。

而 IoTDB 可通过底层文件 TsFile 支持的列式数据写入,能够达到毫秒级的数据接入,相比竞品有 10 倍的性能优势。

第二个难题是乱序数据的写入。乱序数据可以简单理解为“早产生的数据后到了,晚产生的数据先到了”。在实际场景中,因为弱网环境出现的断网、延迟等问题,数据无法保序到达,产生乱序数据的情况比较多。针对这一问题,IoTDB 首创了乱序分离存储引擎,用独有的顺乱序判断的机制,将顺序数据与乱序数据分开,并通过多种空间合并的方法,可以去消除乱序数据。IoTDB 的乱序数据处理效率可以达到竞品的 4 倍以上。

 

三、存得下:首创标准文件格式 TsFile

时序数据存储方面一直面临着海量数据导致的存储成本高昂的问题,而 IoTDB 通过自研的时序数据标准文件格式 TsFile 解决了这一难题。

TsFile 结合列式存储、编码算法、分段摘要信息、文件级索引等架构,相比通用的文件格式,对时序数据的压缩比可以提升 20% 以上,达到无损压缩 10 倍以上、无损压缩 100 倍以上的压缩比。

另外,TsFile 架构针对时序数据特性的优化,也使得 IoTDB 有效提升了时序数据的写入与查询效率。相比竞品,IoTDB 的写入吞吐量提升了 2-3 倍,查询吞吐量则提升了 2-10 倍。

值得一提的是,继 IoTDB 之后,TsFile 已经被 Apache 基金会通过成为时序数据领域第二个 Top-Level 项目,这就意味着其不但能够与 IoTDB 共同使用,还可以作为单独文件格式进行使用。

四、处理强:支持时序特性查询分析

解决了写入、存储问题,下一步就是运用数据。时序数据因为强时间属性,在查询时用户很可能有一些特殊的、强关联时间的需求。常见场景包括在数据密集情况下,想清晰地知道数据的走势、最新值;想以时间为维度,查询一段时间内的数据情况等等。

这些特性的交互式查询 IoTDB 都是支持的,比如针对上述的场景,IoTDB 可提供降采样查询、最新点查询和时间分段查询。

降采样查询可以去掉原始高频数据不必要的细节,还原数据的基本趋势;最新点查询通过缓存每个设备的最新值,实现毫秒级响应;时序分段查询可以根据数据的变化阈值、中断间隔等等维度进行多样的分段查询。

再进一步,IoTDB 还提供一套 UDF(用户自定义函数)体系,提供超过 70 种内置函数,可满足数据修复、数据图像、异常检测等时序数据计算需求。如果用户还有在这套体系之外的计算需求,也可自行在 IoTDB 中编辑、保存常用的 UDF 函数。

查询、计算双管齐下,IoTDB 希望帮助用户最大化地开发时序数据的价值。

 

五、智能化:AINode 拥抱机器学习

现在正迎来智能时代,IoTDB 自然要拥抱 AI。为了更好地让 IoTDB 实现智能化分析,IoTDB 团队在 2023 年为 IoTDB 集群引入了智能分析节点 AINode。

AINode 通过与集群管理节点(ConfigNode)、数据节点(DataNode)的交互,可以为用户提供模型注册、管理、推理的能力,结果可直接在 IoTDB 返回。同时也涵盖了时序数据适用的多类算法和自研模型,能够实现序列预测、异常预测等时序分析场景需要的深度学习功能。

IoTDB 支持让时序数据与机器学习、模型分析领域的技术成果更好地结合,为用户提供更深入、多样的数据分析方法。

六、实时性:内置实时流处理功能

在时序数据的基础场景之外,IoTDB 团队在 2023 年加入了实时流处理功能,可不间断地处理数据,并及时发现异常或分析趋势。

IoTDB 中,一个流处理任务(Pipe)包含抽取(Extract)、处理(Process)、发送(Connect)三个子任务,三个子任务可由三种独立插件进行实现,并允许用户自定义配置三个子任务的处理逻辑和具体属性,通过组合不同的子任务内核,实现灵活的数据 ETL 能力。

利用流处理框架,可以在 IoTDB 搭建完整、灵活的数据链路,实现毫秒级的低延迟响应,满足端边云数据同步、双活集群部署、网闸穿透、实时告警、数据订阅、异地灾备、读写负载分库等场景需求。

 

七、云边协同:文件+引擎,全面数据协同

在工业物联网应用场景中,产生数据的设备可能来自于多个厂站,数据经常需要汇总至省域或集团进行分析,所以时序数据库需要多终端、多环境、多平台部署。

IoTDB 的数据同步便解决了这一问题。该方案基于可插拔的 TsFile 文件,并支持操作级、文件级的多种传输模式,与跨网闸传输、加密传输。同一个文件类型可在端、边、云侧进行协同传输,同步方案的易用性得以保障;传输模式多样则保障数据传输的实时性、吞吐量、安全性。

同时,IoTDB 的数据同步支持数据在边侧进行必要的数据清洗与计算操作,再向云侧进行同步,能够最大化地利用边侧的算力资源,同时节省云侧算力资源。

此外,企业因为业务扩张,也需要扩展数据库部署规模。IoTDB 的分布式架构具备高扩展性,可以达到秒级扩容、无需迁移数据、灵活调整。

 

在过去的 13 年里,IoTDB 打破了海量时序数据管理的瓶颈,将最初的技术思考转化为一个成熟的项目,实现了多项自研技术突破,也将产品体系商业化。这期间,天谋科技扮演着不可或缺的的角色,让 IoTDB 技术创新不止停留在科研、论文,而是真正在多个行业落地,帮助用户挖掘时序数据的价值,并根据用户反馈确定下一步的研发方向。