InfluxDB 简介
InfluxDB 是一款开源时序数据库,支持纳秒级时间戳和高频数据写入,并集成数据采集工具与可视化工具,广泛应用于物联网、监控系统和实时分析场景。
TimescaleDB 简介
TimescaleDB 是一款由 Timescale 公司(于 2025 年 6 月 17 日更名为“TigerData”)开发的开源时序数据库。该数据库基于 PostgreSQL 扩展,通过额外的 SQL 函数和表结构,专门为大规模时序数据提供了存储优化、性能提升及分析功能支持。
综合对比
InfluxDB 功能
1. 写入与存储
写入优化:通过 TSM 引擎优化,每秒可处理数百万数据点,适用于物联网、工业传感器等高频写入场景
压缩存储:采用 TSM 格式实现高效数据压缩,降低存储空间占用。
2. 查询与分析
多语言查询支持:支持 InfluxQL 语法,兼容传统 SQL 习惯,同时提供脚本式语言 Flux,支持复杂分析
查询扩展功能:支持滑动窗口计算、窗口函数等功能,适用于实时指标监控场景
3. 可视化与监控
Grafana 集成:原生支持,快速创建仪表盘。
内置 UI:InfluxDB 2.x 提供数据探索和可视化界面
告警功能:通过 Flux 或 API 设置阈值告警
4. 生态集成
开发者友好接口:内置 HTTP API,提供便捷的 SDK 集成方案
Telegraf:轻量级数据采集代理
Chronograf:官方可视化工具,2.x 中整合到 Web UI
Kapacitor:流式处理与告警引擎,2.x 由 Flux 替代
5. 运维管理
数据保留策略:支持自定义数据生命周期策略,自动清理过期数据
权限控制:提供用户分级授权机制,支持数据库访问权限的精细化控制
6. 分布式架构
分布式集群:多节点部署,保障分布式架构高扩展、高可用
数据分片、复制:支持数据分片和复制,保障系统稳定性,提升系统容错
7. 安全和管理
用户管理:支持多用户、多权限管理
HTTPS 支持:HTTPS 保障数据传输安全
数据加密:支持数据加密存储和传输
TimescaleDB 功能
1. 时序存储管理
超表(Hypertable):自动按时间维度分区,支持跨维度分区(如设备 ID+时间)
混合行列式存储引擎(Hypercore):行式存储用于存储最新数据,列式存储用于提高分析性能
分布式架构:如果主实例不可用,将自动故障转移到高可用性 (HA) 副本
2. 时序数据写入
写入数据:可以使用 INSERT、UPDATE 和 DELETE 语句在常规表和超表中添加和修改数据
3. 持续聚合引擎
增量刷新机制:基于 Postgres 物化视图的持续聚合,仅计算变更数据而非全量更新
近实时聚合:支持低延迟的聚合数据查询,降低资源消耗
4. 高性能时序处理
时段函数(Time Bucket):提供灵活的时间粒度聚合
超函数(Hyperfunction):旨在高效处理、聚合和分析海量数据,同时保持高性能
5. 全生命周期数据管理
分层存储策略(Tiered Storage):高性能存储层存储最新且最常查询的数据,对象存储层存储很少访问且性能要求较低的数据
数据保留策略(Data Retention):自动清理过期数据,支持与持续聚合联动实现数据降采样
生态支持:支持写入、查询、流处理、可视化、系统管理等维度软件生态集成
6. 无缝兼容性
完整 SQL 支持:100% 兼容 PostgreSQL 生态,支持所有 PG 工具链
InfluxDB 数据建模概念
Database: 数据库名,在 InfluxDB 中可以创建多个数据库
时间戳 Time:每条数据记录的时间,也是数据库自动生成的主索引,默认为当前系统的时间戳(纳秒)
字段 Field:包含数据的实际值,可以是各种数据类型,字段在查询时可以进行数学运算
标签 Tag:用于索引和过滤数据
Point:表里面的一行数据,由时间戳(timestamp)、标签(tag)、字段(field)和组成
Measurement: 存储具有相似特征或属于同一类别的数据点集合,包含了列 Timestamp 时间戳,Field 字段和Tag 标签
Field Set:每组 field key 和 field value 的集合
Tag Set: 不同的每组 tag key 和 tag value 的集合
Retention Policy:定义了数据在数据库中的保存期限。当数据超过了指定的时间限制,它们将自动被删除
Series:共同 Retention Policy,Measurement 和 Tag set 的集合
TimescaleDB 数据建模及部分功能概念
超表(Hypertable):基于普通的 PostgreSQL 表创建,可以使用标准 SQL 语法对超表进行插入和查询等操作,并在普通表的基础上超表添加了自动分区、压缩和连续聚合的功能,以更高效地存储和查询时间序列数据。
块(Chunk):Hypertable 按照时间范围分割成的多个连续的数据块,以存储时序数据。
时段(Time Buckets):实现实时分析的核心功能,可以将 Hypertable 中的数据按时间粒度聚合为不同的时段单元。
InfluxDB 数据模型
数据库服务器包含逻辑数据库,逻辑数据库包含表,表包含列。V3 与之前的 InfluxDB 版本相比,在 V2 版本中,用户可以将数据库视为存储桶(bucket),在 V1 版本中,则可以将其视为 db/retention_policy。
表相当于一个测量值(measurement),其列可以是 tag(字符串字典)、int64、float64、uint64、bool 或 string 类型,最后,每个表都有一个时间列,该列的精度为纳秒级时间戳。
在 InfluxDB 3 中,每个表都有一个主键(标签和时间的有序集合),用于存储其数据。所有创建的 Parquet 文件都使用主键进行排序。当创建表时(无论是通过显式调用还是首次将数据写入表),系统都会按照标签到达的顺序将主键设置为标签的主键。这是不可变的。表的标签列定义也是不可变的。
标签应包含唯一的标识信息,例如 sensor_id、building_id 或 trace_id。所有其他数据应保存在字段中。用户将能够为任何列(无论是字段还是标签)添加后 N 个值和不同值查找功能。
TimescaleDB 数据模型
TimescaleDB 的底层数据结构为 Hypertable(超表),是一种逻辑上的时间分区表。每个 Hypertable 可以自动将数据按时间分割成多个块(Chunk),以实现对时序数据的高效管理。
时间分区方面,每个 Hypertable 块都会被分配一个时间范围,并且仅包含该范围内的数据。当运行查询时,TimescaleDB 会识别正确的块并对其运行查询,而无需遍历整个表。默认情况下,每个 Hypertable 块会保存 7 天的数据,用户可以根据自己的需求进行更改。
空间分区方面,TimescaleDB 支持在创建超表时(即表为空时),在非时间列(如位置或设备 UUID)上添加分区维度,并指定分区数量,以适配特定条件查询。随着数据增长,用户也可以调整分区数量以提升查询性能。
InfluxDB 应用场景
监控运维:在企业服务器集群中,InfluxDB 能快速采集 CPU 负载、内存占用等性能指标,记录网络流量变化情况,保存应用程序响应时间等数据。这些数据为管理员和开发人员提供了实时系统状态视图,便于及时发现异常波动,快速定位故障点,提升系统运维效率
实时数据分析:对于海量实时数据的分析处理需求,InfluxDB 支持数据持续高速写入,配合查询机制可快速完成时序数据可视化图表生成、异常数据自动检测、实时阈值报警等操作
日志数据管理:InfluxDB 将日志数据按照时间序列有序存储,尤其适用于分布式系统和微服务架构下海量日志的管理。通过时间维度的有序组织,开发人员能更便捷地回溯、查询和分析日志信息,实现系统运行问题诊断与优化