2022 Apache IoTDB 物联网生态大会成功举办,见证工业数据已然创造的未来

2022年12月3日、4日,由中国通信学会作为指导单位,Apache IoTDB Community、清华大学软件学院、中国通信学会开源技术委员会联合主办,“科创中国”开源产业科技服务团和天谋科技(北京)有限公司承办的 2022 Apache IoTDB 物联网生态大会在线上圆满落幕。

大会以“开放、互联、共生”为主题,清华大学软件学院院长、中国通信学会开源技术委员会主任、Apache IoTDB项目发起人王建民教授主持,邀请超20位行业专家,共同洞悉物联网和工业物联网领域数据应用管理的技术趋势、应用前景与合作生态。

产学研用深度融合 高效物联网数据解决方案势在必行

在 12 月 3 日上午的大会主论坛上,国家科技部高新技术产业与发展司尉迟坚处长、科创中国开源创新联合体副理事长兼秘书长及中国科协科学技术传播中心陈锐主任、中国通信学会副理事长兼秘书长张延川先生先后致辞,高度评价了相关组织在工业物联网数据管理方面取得的成果,鼓励进一步开展工业互联网开源技术创新。

中国工程院倪光南院士做大会报告,报告中指出,开源模式大幅推动了创新发展。开源具有规模化、生态化、平民化的特点,让创新的可能无处不在。目前以我国在国际开源界的地位而言,还处在开源发展的跟跑阶段。要想从开源大国走向开源强国,我们还要注重开源人才培养,要发挥开源人才优势,培育出具有国际影响力的开源社区,加大开源的贡献人数。

工业领域京东集团副总裁、IoT事业部负责人周炯在大会做主题报告,介绍了万物互联时代,物联网和工业物联网行业的发展方向,指出能够高效处理时序数据特征的工业物联网场景数据管理方案的重要性。

Apache IoTDB 全新分布式 1.0 版本重磅发布

针对行业发展带来的工业领域数据管理新挑战,12 月 3 日上午的大会主论坛上正式发布“时序数据库管理系统 Apache IoTDB” 1.0 版本。

“社区里一直有一个呼声,说 IoTDB 只有零点几的版本,什么时候才能出1.0?” Apache IoTDB PMC Chair 黄向东在大会上表示:“数据库这样的基础软件,十年磨一剑,才能真的形成从0到1的产品。”

Apache IoTDB 发展至今已历经11年,在此发展过程中,团队已相继研发了紧致时序文件结构、乱序数据处理技术、边云数据同步技术、实时库新值缓存机制、时序数据计算库等核心技术。而全新的 1.0 版本的主题定为“端边云协同,为工业物联网而生”,标志着更加适配工业物联网的特性场景。

黄向东表示:“此次我们重新打磨了单机版本,并推出了全新的分布式架构,且创新了基于操作同步和基于文件同步的“端-边-云”多粒度、多延迟容忍的协同模式。通过多版本多形态部署,最终工业物联网端侧、边侧将具备更强的本地数据管理能力,已经组织好的数据也不需要在云端重复消费资源,从而大幅减小用户管理数据的成本和代价。”

Apache IoTDB 1.0 版本经历了一年的研发迭代,社区集结了140名代码贡献者,通过跨公司、跨地域、跨时区的协同研发,新增了近百万行代码,研制了101个新特性,优化完成82个改进点,数千名开源用户对新功能进行了验证。

12 月 3 日 下午的 Apache IoTDB V1.0 核心技术分论坛上,Apache IoTDB PMC 乔嘉林,天谋科技高级开发工程师、Apache IoTDB PMC 曹高飞、张金瑞、田原、侯昊男,详细阐述了 Apache IoTDB 1.0 版本研发迭代的技术成果,包括端边云协同核心能力的实现方式、全新单机分布式架构解析、集群数据分区管理、简易扩容与存算分离能力、共识协议框架与配置、MPP查询引擎的架构与执行方案、边缘计算应用、时序顺乱序分离存储引擎IoTLSM的架构与存储流程。

在上述技术成果的加成下,Apache IoTDB 实现了单机版2966万点每秒、边缘侧超过740万点每秒的写入性能;数据读取性能超过了5500万点每秒;可百毫秒级别完成50亿数据点的聚合查询;完成了超5000个集群节点、超100亿条时间序列的测试,集群扩容速度平均耗时在1.5秒以内/节点。

八大行业实战案例 深度解析物联网数据管理落地方案

伴随着 Apache IoTDB 技术上的进步,Apache IoTDB 已应用于300多个国内外不同工业领域龙头企业,在工业企业高度需要的稳定性、可靠性及灵活性方面,获得了诸多认可。

在 12 月 3 日上午的大会主论坛上,分享了 Apache IoTDB 在中国核电和国网信通两个规模企业的优秀实践案例,及 IoTDB 在德国汽车生产线多级数据同步中的应用实践。

在民生相关的电力领域,大会邀请了中国核能电力股份有限公司进行了实践分享。中国核电数字化创新中心负责人刘旭嘉在大会上表示,中核核电工业互联网平台 DHP 使用 IoTDB 作为数据处理核心,支撑中国核电工业信息化系统开发、运维和持续升级,可支持 100 TB 时序数据存储,支持每秒10000以上的并发访问请求,支持4万用户在线处理业务的能力,达到99.99%可靠性。此外,中核与清华大学团队还联合研发了ASP-2课题——核电厂关键与敏感设备智慧管理系统,提升核电设备可靠性管理水平,填补国内国产化工业软件行业空白。

北京国网信通埃森哲信息技术有限公司总经理谢可也在大会上表示,信产集团自研的物联管理平台内置高并发的多协议解析组件以及 IoTDB 的桥接组件,目前整体性能达到了千万级设备并发,每秒五千万点数据的实时写入能力。以南方某省为例,五千万电力用户采集不同种类的电气量数据,每天产生500亿条数据,要求集群具备3000万/分钟的处理能力,遥信及事件类等要求较高的操作实时性时延小于等于30秒,可靠性大于等于99.99%。依托 IoTDB 高吞吐、高压缩、低延时、丰富查询的产品能力以及良好的物联网领域的应用生态,国网信通实现了高效的平台性能搭建和数据计算分析拟合。

同时,IoTDB 的全球化应用也在大会上进行了分享。德国普戈曼公司 CEO Dr. Julian Feinauer 在大会上表示,IoTDB 目前应用于德国某著名品牌汽车生产线的电动机数据实时采集和存储,利用边缘版数据库存储非实时需求数据,并通过 IoTDB 的同步协议,将传输的数据量从超过 6 Gbit/s 减少到仅 1.2 Gbit/s,大大减少了网关和带宽压力,并保证了数据的实时调用与分析,解决了汽车制造场景中普遍面临的难题。

在 12 月 4 日上午的物联网解决方案分论坛上,进一步分享了 IoTDB 的五个优秀实践案例。京东作为第一批用户验证和试用 Apache IoTDB 分布式 1.0 版本的用户,京东IoT技术负责人刘刚则在大会上表示,IoTDB 在京东的数字能源、数字仓库、智能家居水电气等多方面广泛应用,灵活的适应了多方面的不同应用场景,良好的实现了边缘节点数据采集、实时感知、数据监控报警、聚合查询计算等多个功能,IoTDB 开放的系统架构、灵活的扩展性、简便的数据同步逻辑、及高效的写入、存储、查询能力均获得了京东的关注和认可。

在高科技需求的航空工业方面,中航机载航空工业机载共性中心高级工程师王闯在大会上表示,中航机载基于 IoTDB 构建机载云制造系统数据中台,处理工业现场的多设备实时数据的采集和边缘缓存、数据中心数据的集中存储与云上业务系统的数据交互和调用。IoTDB 的多协议数据采集、分布式数据集成能力、UDF 和自研算法等性能与功能优势均被落地实践。

在国内的汽车工业领域,长安汽车使用 IoTDB 构建了智能汽车云的大数据处理架构。长安汽车智能化研究院车云高可用技术主管黄立在大会上表示,车联网场景主要面对的挑战还是数据体量方面,在长安汽车目前以量产车为主的场景下,目前 IoTDB 有效管理了57万辆网联车、实现了150万/每秒数据写入、1.5亿时间序列毫秒级采集的高效传输和处理,也有效支持了实时车况、离线车况、历史车况的数据多样查询场景,实现单车时间范围查询及单车全时间序列最新值查询的毫秒级返回。

在国民经济核心的钢铁工业领域,宝武装备智能科技技术中心主任工程师徐少峰在大会上表示,IoTDB 作为远程智能运维软硬件平台的重要组成部分,可以收集数百万装备、千万级时间序列的全量数据,多频及高频采集数据依然可保持稳定写入,并采用复合压缩算法,数据大小缩减为1/10。此外,IoTDB 还有效支持超过10年装备数据的降采样查询,帮助宝武装备用更低的成本,进一步的实现了智能运维的目标。

IoTDB 在中冶赛迪也参与了时序数据采集、存储、处理、分析的全流程应用。中冶赛迪高级架构师郑强在大会上表示,中冶赛迪的水土云工业互联网平台与 CISDigital-TimeS(基于Apache IoTDB)作为统一数字化底座,IoTDB 帮助实现了算法模型训练、全流程温度管控、高炉炉况智能分析等业务特性场景,其中 IoTDB 帮助某项目一共组成了1647个模型,378个业务模型表,可以很好的解决类似的需求,在业务中得到广泛使用。

开放社区带来共赢 各方共创开源数据软件更光明未来

物联网和工业物联网行业发展至今,数据管理软件技术逐步成熟、应用领域逐步拓展,亟需多方物联网和工业物联网从业者和关注者共同商讨如何进一步共建技术生态,促进产品与行业发展。同时,开源作为全球技术创新的新模式,Apache IoTDB 的开源社区逐渐在帮助产品迭代的过程中起到了愈发重要的作用,如何与开源社区更好合作的经验也变得更加值得分享。

在 12 月 4 日下午的物联网软件生态论坛上,大会介绍了孵化于 IoTDB 的商业化公司 Timecho(天谋科技)及其核心产品 TimechoDB,并邀请了用友、东方国信、华为、阿里的企业代表嘉宾分享 Apache IoTDB 如何应用于其物联网行业场景,以及他们如何与 Apache IoTDB 的开源社区合作共赢,满足应用需求,并回馈社区。

天谋科技公司项目研发部负责人刘海在大会上表示,TimechoDB 围绕 IoTDB,支持时序数据的全生命周期管理,包括数据采集、入库存储、基于规则引擎计算和告警、工业领域组态显示,可视化数据,交互式分析和大数据分析等。TimechoDB通过提供包括数据的实时和历史数据的存储,建模、查询、处理、分析等功能,组成一整套的强大的数据库引擎。

对于和 IoTDB 开源社区的合作及对社区的贡献,用友高性能多维数据引擎和时序数据库负责人,多维计算与时序数据库专家郭关飞在大会上表示,用友在 IoTDB 的社区贡献主要为两部分,一部分是对于新特性的研发,包括新路径模式支持、根据 tag 过滤时间序列等;一部分是对于新工具的研发,包括数据备份和迁移工具、IoTDB 独创列式存储文件 TsFile 管理工具等。

东方国信分布式数据库事业部时序数据库负责人,Apache IoTDB PMC 王超在大会上表示:“我们从2020年参与社区到现在将近三年了,累计提交了230+个PR,共计有10万多行的代码修改,主要覆盖了五个方面:高可用版本、权限管理、多租户、集群运维工具、和监控项。”

华为云 MRS 时序数据库研发负责人,Apache IoTDB Committer 王超在大会上表示,自 IoTDB 诞生之初,华为就深度参与 IoTDB 的架构设计和核心代码贡献,提出了多项企业级特性增强功能,在安全、传输、加密保证、可靠性和运维备份恢复,多模融合技术等方向帮助 IoTDB 进步。

阿里云技术专家、Apache IoTDB Committer 白渐在大会上表示:“马上发布的 1.0 版本中,我们主要贡献了MPP框架的调度以及部分内存管理模块的开发和设计。为了保证我们在 1.0 的开发过程中的快速迭代,我们还贡献了集群测试框架,便于完成数据一写多读及多架构测试。同时我们还将一些云边同步的插件功能以及查询引擎设计新功能反馈到社区。”

未来,Apache IoTDB 将继续以开源为精神内核,加强各方合作,致力于让更多企业挖掘时序数据的更大价值。

更多内容推荐:

回顾 IoTDB 2022 大会全内容