2023 IoTDB Summit:清安储能技术(重庆)有限公司高级 Java 工程师杨泰贤《IoTDB 在清安云能源数据集成的解决方案》

12 月 3 日,2023 IoTDB 用户大会在北京成功举行,收获强烈反响。本次峰会汇集了超 20 位大咖嘉宾带来工业互联网行业、技术、应用方向的精彩议题,多位学术泰斗、企业代表、开发者,深度分享了工业物联网时序数据库 IoTDB 的技术创新、应用效果,与各行业标杆用户的落地实践、解决方案,并共同探讨时序数据管理领域的行业趋势。

我们邀请到清安储能技术(重庆)有限公司高级 Java 工程师杨泰贤参加此次大会,并做主题报告——《IoTDB 在清安云能源数据集成的解决方案》。以下为内容全文。

大家下午好,我是来自清安储能的杨泰贤,非常荣幸能够参加此次 IoTDB 用户大会。接下来我为大家带来分享:《IoTDB 在清安云能源数据集成的解决方案》。

我将从以下四个方面开始我的分享:第一是清安储能的业务介绍;第二是清安在能源管理的应用实践;第三是 IoTDB 在清安能源数据集成中的应用;最后是对未来的展望。

01 清安储能业务介绍

首先,我为大家介绍一下我们公司。清安储能是从事能源存储与管理的新能源科技公司,致力于提供安全、经济、绿色的能源解决方案,扎根重庆,面向全球,力争成为 21 世纪清洁能源安全利用的领导者。公司依托于清华大学欧阳明高院士团队的研究成果,聚焦于储能安全,开展技术攻关和产业转化。我们为客户提供全场景的完整储能系统解决方案和数字能源管理服务。

我们公司的产品体系涵盖了核心部件、系统集成以及平台服务。整个公司目前是以储能为核心,在核心部件方面,我们有自己的一个电池 PACK 产线,同时我们也有自主研发的电池管理系统 BMS。在系统集成上,我们是有 400V 低压系列的一个分布式储能系统产品,以及 10kV/35kV 高压系列的储能系统,不管是用户侧还是源网侧,我们都有相关的应用。同时我们也为客户提供平台和服务,帮助用户实现储能系统全天候的实时监控,并且实现远程运维,我们也为部分客户提供园区级的数字能源管理服务。

接下来,我会重点为大家介绍一下我们的智慧能源业务。随着整个储能市场的发展,储能设备已不再是单一的、小范围的电力存储,它的经济模式也不再是单单的峰谷套利,而是参与到了整个园区,甚至于区域范围内的整体能源管理与协同调度。我们以一个零碳的智慧园区为例,在这样一个智慧园区,我们可能会有一些储能设备,还会有一些光伏发电设备;另外,我们还会有充电桩,包括一些普通充电桩,以及具有反向供电能力的 V2G 充电桩;同时,我们园区还会有大量的用电设备,对于这样的整个园区系统的能量管理其实是非常具有挑战的。针对这样的场景,我们也研发了与之适应的能量管理系统,通过实时的数据采集与分析,实现了整个系统的实时监控,同时实现了综合调度,帮助我们整个系统实现更加安全可靠的运行。

我们通过端云的协同,在电池管理上也实现了应用。对于我们的电池系统来讲,出于安全方面的考虑,我们会在本地有能量管理,但是由于资源受限的情况,本地的能量管理其实是没有办法做到大规模的数据计算与分析的。针对这样的情况,我们是将电池的电压、电流等数据,通过采集到云端,利用我们云端的全生命周期电池数据存储,然后通过我们的一些智慧算法模型,将这些数据导入,进行实时的计算与分析,从而对一些核心的参数,比如说 SOC、SOH 可以进行修正,得到更加精确的参数;并且我们可以把这些参数下放到本地,从而实现对整个系统的修正,保证系统更加稳定高效的运行,这样其实也是实现了对电池全生命周期的管理。

我们也为客户提供了一些非常友好的可视化界面。从能源管理的维度,对储能设备、光伏设备等数据进行实时监控与实时告警。同时,对于一些有比较高需求的客户来讲,我们也提供了一些差异化的服务,我们会运用一些数字孪生的技术,对储能场景状态进行一个高保真的还原,帮助他们更好、更直观地进行设备监控。

02 清安能源管理应用实践

接下来我为大家介绍清安在能源管理的应用实践。首先为大家介绍一下我们整个能量管理系统的数据采集。对于我们来讲,目前数据采集的一个难点,也是一个核心,还是对于储能系统的数据采集。储能系统尽管我们看起来可能是一个单一的设备,但它其实是包含了大量、甚至成千上万的子设备,而在这其中,比较核心的有电池管理系统 BMS,还有 PCS,以及空调热管理等系统。

对于这样一个系统来讲,它对于数据采集的实时性,同时对于策略以及控制的实时性,其实是要求非常高的。所以我们都会在本地部署一个与之适应的能量管理系统,对其进行实时的监控;然后我们通过 4G 或者有线网络的形式,会将数据汇聚到云端。那么对于我们云端的系统来讲,设备数据也是其中非常核心的一项。同时,我们在整个能量管理系统的运行过程中,也会产生大量的业务数据、分析数据,还会有大量的操作日志。这样一些数据我们都需要进行汇聚处理,进行分类与存储,为我们的业务提供支撑。

我们公司相对来讲是比较新的一个公司,是前年才成立的,所以说我们没有历史的包袱。我们在进行整个能源管理系统的架构设计的时候,也是充分参考了物联网应用领域的一些实践。我们在整个设计之初就构建了一个物联网平台,通过我们平台对于设备以及边侧的一些数据进行汇聚处理,形成对上的一个统一的 API,为我们整个的业务提供支持。

我们系统部署的架构是基于云原生的架构进行的开发与部署。我们借助 GitLab、K8s 等目前比较热门的一些技术,对我们的整个系统进行管理,从而实现自动化运维。同时,我们也大量使用了一些云原生的托管服务,来降低我们的运维成本。像设备数据这一块,这个是我们的核心,我们是使用了 IoTDB,借助 IoTDB 的能力支持我们的整个业务。

为了让我们更好地进行 IoTDB 的使用,因为我们的开发人员,他们可能不一定是来自于物联网领域,他们对于时序数据库的结构可能也不是特别的了解,所以我们开发了一个 ORM 框架小工具,帮助我们的开发者更好的去运用 IoTDB。他们可以保持原有的使用习惯,像使用传统数据库那样,用 MyBatis 的形式进行开发,从而提升我们的开发效率。

我们的应用成果是实现了百万级的数据吞吐量,而且我们目前的整个数据规模也在持续地增长,因为我们单个储能设备的数据量其实是非常大的,而且目前增长也非常快,在这种情况下我们的系统还是保持了稳定运行。同时,我们借助于一些边缘侧的计算网关采集工具,也实现了多种电力能源行业协议的接入能力,比如比较常见的 Modbus、CAN、IEC104,还有 IEC61850 等等,都实现了支持。另外是实现了远程配置,实现了 OTA 升级,也能支持配置参数的实时下发,从而实现了无人监管与远程运维。最后,借助于我们实时采集的能力,也帮助我们实现了整个设备运行状态的实时感知,对于一些预先预警的场景,我们也能够实现实时的预警处置的功能。

我们列举了实际场景的一些应用案例。我们在重庆主导建设了一个百兆瓦级的电化学储能电站;同时我们也有一些用户侧的场景,我们提供了比如说电力潮流图,通过数字孪生的技术,为用户的场景进行了一些高保真的还原,包括对于储能集装箱的还原。对于储能系统来讲,它的物理量非常多,所以对于实时查询,我们的性能要求也比较高。

03 IoTDB 在数据集成的应用

接下来为大家介绍 IoTDB 在清安能源数据集成中的应用。我们数据交互的技术架构中,不管是在平台侧还是在边缘侧的数据存储,都是用到了 IoTDB 的能力,借助于 IoTDB 高性能读写的能力,为我们的业务提供支撑。

为什么会用到 IoTDB 呢?我们也是做了多方面的考虑。首先,我为大家介绍一下我们储能系统的数据特征。对我们储能系统来讲,有一个非常明显的特征,就是它的数据量大和采集频率高。储能系统尽管看起来是一个设备,但其实它是有许许多多的子设备,这就意味着我们储能系统测点的数量至少达到了上千个,平均是上万点以上,这就要求我们平台具有千万级测点的数据接入能力。同时,储能系统的数据频率也是很高的,我们需要进行毫秒级的采集计算,因为它是跟电力的运行息息相关的,需要进行实时响应来保证我们控制的可靠性、安全性。最后还有高性能的读写需求,因为我们储能系统的应用场景,是一个典型的多读、多写的场景,中短期数据查询的效率要求非常高。

这些特征带来的一些问题,一个是存储空间。我们单台储能设备每年都会产生上百甚至上千 GB 的数据,那么我们设备量很大的话,对我们的存储空间要求就会非常的高,数据存储的成本也很大。还有多样化的数据结构,不同储能设备的数据结构是不一样的,我们的储能设备有的大、有的小,那么它的物理量的数量也是有的多、有的少,这其实就带来了非结构化数据处理的需求。另外是数据安全性,我们对于储能设备的数据安全性要求非常高,需要防止它的泄漏、篡改或者丢失,因为一旦出现这种情况,对于我们整个系统运行的安全性影响是非常大的。最后,我们因为涉及到电力行业,其实有许多的用户要求我们使用国产化的数据库,我们在进行数据库选型的时候也需要充分考虑这个因素。

基于这样一些原因,我们也进行了许多的对比,最后是选择了 IoTDB。其实这里面还有一些其他的原因,包括我提到我们公司具有清华大学的背景,所以我们和 IoTDB 也是比较契合。关于选择 IoTDB 的原因,比较重要的有几点:首先是它灵活的数据模型。我们在选型的时候发现,IoTDB 的树形结构其实是非常符合我们的需求的,我们只需要去简单定义它的存储模型,而不再需要去思考它的表结构要怎么进行设计,因为它可以进行灵活的扩张,这非常契合我们的需求。同时,它对于单个设备下的物理量也没有明显的限制,可以实现自由伸缩,在我们实际测试的场景中,我们单个设备可能会有 2 万多个测点,这个情况下存储和查询的性能表现也非常良好。另外,更重要的一点就是它的写入吞吐量。IoTDB 和其他数据库相比,它的写入吞吐量确实有明显的优势,对于我们储能设备大规模数据写入的要求也是非常的契合,所以我们选择了 IoTDB。

带来的应用获益也比较明显。首先是实现了稳定高效的数据查询。我们的实时数据的查询场景非常的多,IoTDB 的引入帮助我们实现了毫秒级的响应,非常符合我们的业务需求;包括前面提到的数字孪生的场景,其实每一次查询都会涉及数百个测点,IoTDB 在这方面的查询性能表现也符合我们的需求。同时也实现了历史数据聚合查询的毫秒级响应。此外还带来一个额外收益,就是 IoTDB 很高的压缩比。我们在实际使用的过程中,发现 IoTDB 的压缩比达到了 90 倍以上,有效节省了我们的磁盘空间,降低了我们的存储成本。

另外,IoTDB 对我们的算法平台也起到了很好的支撑作用。我们公司有自己的算法团队专门进行数据模型的计算,IoTDB 的支持能力帮助他们进行了数据很好的取用,通过我们的 IoTDB 备用库为他们的数据提供了支撑,为他们的离线计算任务提供了很好的支持。

04 未来展望

最后是对未来的展望。

首先是边缘侧的应用。对于储能场景来讲,边缘侧对于数据写入的性能其实有很高的要求。IoTDB 其实是符合我们的需求的,所以我们也在边缘侧尝试进行使用。我们将 IoTDB 用到边缘侧的能量管理,帮助我们进行读写的业务支持。但是对边缘侧来讲,它有比较明显的特征,一个是系统架构,另一个就是它的内存资源是受限的,所以我们也比较期待 IoTDB 能够在边缘侧有更好的支持,能够以更小的资源代价来对业务进行支撑。

另外是对云原生的支持。我们公司其实有大量的中间件的业务是直接使用了云原生的托管服务,从而降低我们的运维成本,提升我们的稳定性。我们也非常期待 IoTDB 能够在云原生的产品上有一些更好的应用,能够进行完全托管式的使用,这样对于运维成本的降低是非常有效的。

还有是在实时运行监控方面。运行状态的监控对我们来讲也是至关重要的,这一块上午我们看到,1.3 版本的发布其实进行了很好的解决,我们后期也会有这方面的布局和考虑。

最后就是分布式的、高可用的支持,我们目前也在做充分的验证与测试,后面会进行分布式改造的尝试。

以上就是我的分享,感谢大家!

更多内容推荐:

了解更多 IoTDB 应用案例

回顾 IoTDB 2023 大会全内容