利用 IoTDB 替换 OpenTSDB,服务大唐集团 60 家电厂,减少95%运维成本

本文作者:大唐先一数据库研发负责人 张景

1. 公司介绍

中国大唐集团有限公司(China Datang Corporation Ltd,简称中国大唐集团)是一家特大型发电企业集团,成立于2002年12月29日,是中央直接管理的国有独资公司。主要从事电力能源的开发建设、经营管理、电力设备制造、检修等。

大唐logo.png

湖南大唐先一科技有限公司属于中国大唐集团有限公司旗下的信息化专业公司,是全国首家发电行业全业务覆盖、全过程管控的IT整体解决服务商。致力于智慧能源、智慧电网、智慧园区、智慧政务、新“基建”等业务的开拓。

2. 业务场景

大唐先一为大唐集团的六十余家电厂提供相关解决方案。

对于电厂来说数据有以下几个特点:

数据量大:每家电厂的测点数量达10万及以上,按照每个测点(传感器)平均每5秒钟更新一次数据。从而可以看到,每家电厂的日数据量达到了 17亿 及以上。该数据量级对于写入、查询等都来相当大的挑战。

保存时间长:出于业务考虑,每份数据希望至少保存5年。每家电厂存储量级达 3万亿 ,因此希望数据库的压缩能力足够强。

稳定性要求高:时序数据库常布置在无人区,对系统稳定性要求高。

3. 技术方案选型

原先的各个电厂解决方案中采用开源时序数据库 OpenTSDB 作为基础数据库。但在使用过程中遇到了相关的痛点。

技术运维难度大:OpenTSDB 的技术方案较为复杂,存在适应各自场景的相关组件。在现场部署过程中,运维人员需要了解 HBase 等各类知识,来进行系统组件的安装。同时,出问题定位也较为困难。对于运维人员要求高。而 IoTDB 仅有一个组件,部署运维简便,上手成本低,对于运维人员的要求也大幅降低。

技术运维频率高:OpenTSDB 的运维频率较高,由于运维难度大,常需要研发工程师进行现场支持。高频的技术问题的出现对于客户来说也是一个棘手问题。而 IoTDB 较为稳定,运维频率降低95%,且得益于低运维难度,远程的技术支持可以解决绝大多数问题。客户满意度明显得到提升。

除了痛点的解决, IoTDB 在其他方面的表现也很亮眼。

高性能:写入、查询、压缩比等各个方面都达到了较高的性能。我们在具体生产环境做的测试的具体数据会在稍后给出。

丰富的查询处理:我们的应用场景中需要多维度分析。IoTDB 的自定义函数和丰富的查询功能等完美的满足了我们分析团队的诉求。

强大的社区支持: IoTDB 是一个开源软件,社区支持对于用户来说十分重要。IoTDB 的社区由一帮真正热爱的程序员组建起来。稳定、可靠、响应积极且快速。我们遇到的问题在很短时间内会获得到较多实质性的帮助。久而久之,对于社区的信任度水涨船高。常和别人打趣,就是信任,IoTDB 一旦发布新版本,就大胆更新,更新也简单,远程操作就可以。

总的来说,从性能、稳定性、运维各个方面来看,可以说 IoTDB 都是非常适合我们业务场景的。我们也在业务中把 OpenTSDB 全面替换成了 IoTDB,截止到2022年3月,我们共服务了大唐集团的60余家电厂。除了电厂业务以外,湖南省能源局的风电集中监测项目、湖南省环保局环保数据监测平台等各大重大项目中, IoTDB 也呈现了很多亮眼表现。

4. IoTDB 测试具体情况

IoTDB 在性能和功能上的优势完全满足了我们的需求,截止到2022年3月,在我们服务60余家电厂的过程中,不断跟随 IoTDB 开源社区的脚步更新迭代,此处提供我们在2020年实际生产环境下的测试情况。

软硬件环境

table1.png

性能测试结果

table2.png

稳定性测试结果

table3.png

更多内容推荐:

了解更多 IoTDB 应用案例