PCB 行业龙头企业*IoTDB | 利用 IoTDB 替换HBase,打破查询功能局限性

某PCB行业国内龙头上市企业主营印制线路板(PCB)生产、加工业务。其中,时序数据主要产生于生产设备采集的运行参数(温度、压力等)和检验设备采集的产品批次信息。

在原有解决方案存在局限性的情况下,基于IoTDB时序数据库的特点和优势,该公司选择使用IoTDB作为其生产与质量分析系统的时序数据处理方案。使用此方案将有效提高存储与查询维度的性能。

1. 业务需求痛点

1.1 查询无法支持SQL语言

时序数据的查询功能是工业互联网领域的核心功能,而市场较普及的数据库查询语言为SQL。公司原来采用HBase作为数据存储与处理的核心,但此方案无法支持SQL语言的数据查询,只能通过后台单独编写代码建立查询逻辑,降低了查询效率。

1.2 查询方式局限

不同查询方式将使数据呈现出不同的形态,并与后续是否能实现各类分析需求紧密挂钩。原有方案仅支持单点位查询时序数据,而分析需求往往需要有更多元的查询和数据处理方式,如将时序数据按照时间进行排序后查询,或多点位多时间点数据的联合查询。原有方案能够达成的查询有效性较低。

2. 选型 IoTDB 的原因

2.1 支持多种数据处理及查询

IoTDB通过预聚合和时序索引支持快速数据过滤、聚合查询、降采样查询等典型时序数据查询种类,同时支持使用IoTDB SQL进行查询,能够实现每秒数百万数据点查询的快速查询功能,以及满足用户对各类查询方式、多点位同时查询的需求。同时,IoTDB能够支持在存储时将时序数据处理为按时间对齐或非对齐序列存储,进而满足用户对时序数据排序的数据处理需求。

2.2 满足数据分析工具需求

随着业务发展,公司表示对于分析函数、统计函数等数据分析工具后续将有大量需求,需要更深入的运用。IoTDB包含统计分析计算函数,可简便进行进行基于各类时间单位的统计计算。用户也可在IoTDB中自定义计算公式,能够对原始数据进行个性化的复杂计算。此外,IoTDB能够实现与PLC4X、Pulsar、Flink、Spark、Hadoop、Grafana等大数据系统的无缝集成,通过对接生态中的各种软件,进一步扩大用户对于存储、查询、分析工具的选择范围。

2.3 超十倍无损压缩比

业务的拓展和时序数据本身产生频率高、数据量大的特点,使公司面对数据占用空间大的问题。IoTDB针对时间序列优化的文件存储格式 TsFile支持有损压缩、无损压缩、二级压缩等多种压缩方法,可大幅提升历史数据压缩比,有效减少总数据量占用空间。目前使用IoTDB后,无损压缩比已达到10倍以上。

2.4 品牌信任度高

IoTDB 创始团队汇集了来自清华大学、UC Berkeley、德国 Fraunhofer 研究所、德国法兰克福能源集团、微软等一批数据库核心技术专家和工业资深专家,拥有十几年研究和服务工业用户的经验。在时序数据管理领域,团队成员拥有中国、美国、欧洲等发明专利30余项,有着坚实的先进理论基础。团队在产品与用户的交互层面,如性能测试报告、用户使用手册等产出均十分详尽,并积极支持即时技术运维服务及客制化需求,最终的处理结果也较为满意。研发团队的深厚研发背景及对用户需求的重视让该PCB行业龙头企业对于IoTDB的品牌信任度较高,相信产品的可靠性与未来的发展性。

3. 解决方案架构

公司采用 IoTDB 时序数据库作为质量分析系统的时序数据库产品,数据流全图如上图所示,共分为5个步骤。

首先,将从各设备 PLC 中获取的时序数据参数,通过工业协议转换将数据转入边缘硬件上的网关软件 Neuron。然后,将 Neuron 上的时序数据通过 MQTT 协议转换,进入边缘数据流式分析引擎 eKuiper。

接下来,通过 EMQ 规则引擎,eKuiper 上的数据保存至 IoTDB。IoTDB 服务器将发挥在存储、查询性能上的优势,满足业务的多类查询需求,同时通过自带的统计函数、自定义函数与平台集成,参与后续进一步的数据分析。

该公司目前涉及的业务场景随其用户的需求提出而将变得更加丰富。后续天谋科技将与该 PCB 行业龙头企业密切合作,针对其关注的主要问题做出重点突破,希望能在各类业务场景深度交集,做出专项专领域更优的时序数据库。

更多内容推荐:

了解更多 IoTDB 应用案例