11 年积累 20 亿观测点:用 IoTDB 实现秒级查询,还能用时序大模型做预测
用户案例

11 年积累 20 亿观测点:用 IoTDB 实现秒级查询,还能用时序大模型做预测

天谋科技 ·
IoTDB 为持续积累的科研观测数据提供了更加高效的管理与检索方式,TimechoAI 则帮助研究人员快速建立预测基线、探索复杂时间变化规律。

编者按:

 
8 月 22 日,2026 时序数据技术创新大会在北京成功举办,引发广泛关注。本次大会以「DB × AI」为主题,多位院士专家领衔,超 30 位嘉宾齐聚一堂,共同探讨数据库与人工智能融合发展的新趋势、新技术与新实践。
 
我们邀请到中国地质大学齐一凡博士带来以“把空间科学写进时序数据库的探索:从 GNSS 掩星数据治理到科学时序预测”为题的主题演讲。他分享了空间科学数据从文件管理走向数据库治理与时序预测的实践:团队借助 IoTDB,将 11 年积累的约 2000 万份文件、约 20 亿个观测点组织为可查询数据,核心查询实现秒级响应;并使用 TimechoAI 开展 F10.7 与 Dst 指数预测实验,展示了时序大模型在科学预测中的应用潜力,也为进一步探索复杂物理机制提供了新的工具。
 
全文约 4 千字,阅读约需 7 分钟,以下是演讲主要内容:
 
 

空间科学时序数据的背景与挑战

 
齐一凡博士首先介绍了空间物理的研究对象。空间物理关注太阳到地球之间的空间环境,电离层和磁层是其中的重要组成部分。这个学科的鲜明特点是科学研究与工程应用紧密相连:电离层会随昼夜、季节和太阳活动变化,其变化既值得研究,也直接影响无线电通信与导航。
 
这一特点与学科的发展历程有关。1901年,马可尼在加拿大纽芬兰接收到跨大西洋无线电信号。远距离通信的实现,促使研究者探索无线电波如何传播,并逐渐认识到电离层的作用;而电离层状态的变化又会影响通信质量。对自然现象的探索与解决实际通信问题的需求相互推动,促进了空间物理的发展。
 
 
从太阳到地球的影响可以沿一条物理链条理解:太阳风暴发生后,相关扰动随太阳风传播至地球,与地球磁层相互作用,进而影响电离层和中高层大气。这些变化可能造成无线电通信衰落、导航误差,也可能影响输油管道、铁路和电力系统。因此,研究人员需要持续观测空间环境,及时识别其变化。
 
 
为了解太阳活动如何影响地球大气和电离层,齐一凡博士介绍了 GNSS 掩星这一观测手段。它需要两类卫星配合:一类是 GPS、北斗等 GNSS 卫星,另一类是位置较低的低轨卫星。当两颗卫星形成合适的观测几何关系时,GNSS 信号掠过地球边缘、穿过大气,由低轨卫星接收。随着卫星相对位置变化,信号经过的大气高度不断改变。研究人员根据接收到的信号变化,获得不同高度的大气及电离层信息,形成一条观测剖面。
 
掩星观测有两个特点。第一,观测位置相对分散,数据量随卫星数量增长。多颗 GNSS 卫星与低轨卫星持续相对运动,能够形成大量随机的观测组合;当两颗卫星之间的信号路径掠过地球大气时,就会产生一次掩星事件。不同事件分布在不同时间和地点,每次又形成一条包含多个高度观测点的剖面,因此卫星越多,产生的剖面和观测数据也越多。
 
第二,一次掩星事件会产生多个层级、涉及不同物理量的数据产品,包括原始观测、轨道与相位数据,以及大气廓线、电离层电子密度等派生结果。科研人员既要从大量事件中找到目标剖面,也要准确关联同一事件的各类数据产品。
 
 
随着低轨卫星和 GNSS 卫星数量增加,观测数据迅速增长。齐一凡介绍说,早期德国 CHAMP 卫星每日产生约 200 条廓线;美国 COSMIC-2 每日产生超过 5000 条中性大气廓线;目前国内天目、云遥等星座每日产生的业务掩星廓线超过 4.5 万条。
 
下图展示了中国区域半小时内的观测分布:图中每个点代表一条掩星廓线,每条廓线又包含数十至数千个观测点。面对不断扩大的数据规模,逐个查找和处理文件的传统方式已越来越难以满足科研需求。
 
 
齐一凡将科研数据的使用需求归纳为四点:按时间和空间范围准确发现目标剖面;区分并对齐事件时间、发布时间和入库时间;追溯原始数据、派生数据及其质量状态;在需要时重新运行分析流程,复现结果。
 
在改进 GNSS 掩星数据管理方法时,空间物理领域的科研人员期待从其他具有相似特征的领域寻找借鉴,例如掩星剖面与海洋温盐剖面都分布在不断变化的时间和空间位置,研究人员需要先找到目标剖面,再读取其中的详细观测数据。
 
 
而近年来,火山观测、时域天文、核聚变实验和中微子探测等科研领域开始引入时序数据库,尝试将持续接入、快速检索、跨源关联和及时验证转化为科研能力。
 
 
既然时序数据库能够处理这些相似的数据需求,能否用它来管理持续增长的 GNSS 掩星数据?
 

用 IoTDB 将掩星文件组织为可查询的科研数据

 
齐一凡进一步介绍,过去的 GNSS 掩星数据主要以 NetCDF 文件保存在硬盘或服务器中,数据管理水平比较落后。科研人员如果需要分析某一时段、某一区域的数据时,往往先从大量文件中找出目标,再逐个读取,用于查询、统计、可视化或物理建模。随着观测数据增长,这种依赖文件遍历的方式越来越费时。
 
为此,团队在原始数据归档层与科研应用层之间引入 IoTDB 时序数据库,让观测数据可以按时间、空间和其他条件查询,同时保留原始文件以供核验。
 
 
建模首先要解决的是,如何定义空间物理数据的“Device(设备)”。在工业场景中,设备通常是相对稳定的实体;掩星观测却不断产生新的剖面。如果把每条剖面设为一个 Device,Device 数量就会随每日数以万计的剖面持续增长。若改为一颗低轨卫星对应一个 Device,也无法找到唯一的科学语义:同一颗卫星可以通过不同天线与多颗 GNSS 卫星同时形成链路,产生时间重叠、空间位置却彼此独立的剖面。
 
 
团队最终选择以实际观测的物理链路作为建模基础,穷举不同掩星星座、星座内卫星及其天线与 GNSS 卫星之间的组合。这样定义的 Device 虽然达到了几万个,但不会像掩星剖面那样每天持续增加;即使未来新增卫星或星座,数量增长仍相对可控。
 
在此基础上,团队建立了“剖面—观测点”两层模型。
 
剖面层以一份文件对应一条剖面、一行记录,保存文件来源、时间范围、空间位置、处理状态和版本等信息,负责快速发现目标数据。
 
观测点层记录剖面内具体的科研技术参数,如卫星位置、信噪比等信息,供后续分析使用。
 
两层数据通过 profile_key 和共同的标签关联。科研人员可以先按条件找到目标剖面,再查看与该剖面关联的各个观测点及其参数,无需逐个打开原始文件。
 
 
这一建模方案的关键,在于根据 GNSS 掩星观测的物理关系重新定义 “设备”:以相对稳定的观测链路作为数据组织单元。这样既避免了 Device 数量随观测剖面持续增长,也保留了不同观测事件的独立性,为后续数据检索与分析奠定了基础。
 
齐一凡强调,科研数据写入 IoTDB 后,团队首先通过回读和逐点核验,检查数据库中的观测值是否与原始文件一致,确保数据在转换、写入和读取过程中没有发生非预期变化。对科研而言,这一步尤为重要:部分异常观测可能来自仪器误差或外部干扰,也可能包含值得进一步研究的物理信息,因此不能仅因其偏离常态就直接剔除。
 
 
在此基础上,团队将约 11 年积累的约 2000 万份文件、约 20 亿个观测点组织为可查询的数据。针对一项具体研究,科研人员按约四个月的目标时段、特定空间范围和物理参数筛选数据,核心查询实现秒级响应,完整筛选流程达到分钟级。原本需要跨年度逐个查找文件的工作,由此转化为可保存、可重复执行的科研查询。
 

用 TimechoAI 进行科学时序预测

 
在介绍如何用 IoTDB 管理 GNSS 掩星数据后,齐一凡将话题从海量科研数据治理转向时序预测。
时序数据库能够帮助研究人员更高效地组织、检索和使用持续积累的观测数据,而时序基础模型则为分析数据中的时间变化规律提供了新的工具。IoTDB 采用自研的原生时序文件格式 TsFile 存储数据,经过治理的时序数据也可以进一步面向具体预测任务组织为数据集,为 TimechoAI 等时序智能分析平台提供数据基础。
 
齐一凡介绍了两项使用 TimechoAI 的预测实验:在 F10.7 指数预测中,模型仅依据该指数的历史数据进行预测,以检验长期数据中包含多少可被时序模型识别的预测结构;在 Dst 指数预测中,团队加入提前获取的太阳风观测数据作为协变量,以检验模型能否更好地预测出即将到来的外部冲击。
 
 
第一个案例以 F10.7 指数为预测对象。团队向模型输入跨越多个活动周的 F10.7 历史数据,不提供新的变量,也不显式告知模型太阳活动以约 11 年为周期。
 
下图中,黑色曲线表示实际观测数据:左侧是提供给模型的历史序列,右侧用于与预测结果对照;右侧的彩色曲线分别代表在 TimechoAI 平台中使用不同时序模型的预测结果。整体来看,时序大模型预测的变化趋势与实际观测较为接近。
 
 
上图:TimechoAI 内置 Timer、Chronos-2、AutoARIMA、Holt-Winters 等多种时序大模型,支持 Auto 自动模式
传送门:
https://ai.timecho.com/
 
齐一凡认为,这组预测中最令人惊喜的是模型对第 24 个太阳活动周的预测表现(上图右数第二个波峰)。实测曲线显示,该周期的活动强度明显低于相邻周期,但其偏弱的成因至今尚无科学定论。在未额外输入物理背景信息的情况下,时序大模型仅依据历史序列,就预测出了这一偏弱特征。
 
 
在第二项实验中,团队以 Dst 指数为预测目标,并将太阳风观测数据作为辅助预测的“未来协变量”。Dst 指数用于表征地磁扰动,尤其反映磁暴期间环电流增强所造成的地磁场变化;太阳风携带的能量和动量可通过太阳风与地球磁层的相互作用注入磁层,引发磁暴并导致 Dst 指数显著下降。
 
太阳与地球之间的拉格朗日点附近部署有卫星,可提前观测太阳风的速度、密度等参数。太阳风从观测位置传播至地球需要时间,而观测数据能更早传回,因此这些数据可在地球磁环境发生响应前获得,并作为模型预测时的“未来协变量”。
 
上图:TimechoAI 允许添加多个协变量
 
太阳风持续存在,但强度会有相对平静期与强磁暴过程之分,齐一凡用“日常呼吸与打喷嚏”作比喻。下图展示了两种状态下的预测结果:在平静状态下,时序大模型的预测与实际 Dst 观测较为一致,误差大致围绕零值分布;在太阳风暴引发的磁暴过程中,模型较好地捕捉了 Dst 变化的响应时机,以及磁暴主相和恢复相的整体趋势。
 
这组实验体现了引入具有物理意义的外部观测信息对科学时序预测的价值。相比仅依据 Dst 自身的历史变化进行外推,提前获取上游太阳风观测数据,有助于模型更好地捕捉外部扰动及其引发的地磁响应,提升预测准确性。
 
 
齐一凡指出,时序大模型的预测表现仍有提升空间,其突出价值在于能够快速建立预测基线,为研究人员进一步探索物理机制提供起点。模型评估也需要相应的“护栏”,例如区分平静期与极端过程,并与物理模型协同发展,避免因预测速度快而忽视适用边界。
 
 
齐一凡介绍了团队正在探索的后续方向,预测中高层大气风场的研究项目。这里的中高层大气是指距地约 100 公里的区域,该区域的风场变化与航天活动密切相关,可为火箭发射等任务提供参考。
 
团队计划将物理驱动模型与 TimechoAI 结合,让时序大模型从历史观测中学习风场变化特征,并探索预测局地未来数小时至数天的中高层大气风场。
 
 
在演讲最后,齐一凡将时序大模型用于科学预测的方法概括为四步:首先建立单变量预测基线,再逐步加入预测时已知的条件,随后引入具有物理意义的因素;评估时则区分常态与极端过程,并采用滚动起报——即按时间顺序不断更新预测起点,模拟模型在实际运行中的连续预报过程。
 
 
这一方法强调,科学预测不必一开始就追求复杂模型,而可以从简单基线出发,逐步融入更多数据与物理信息,并通过针对不同情景的评估检验模型能力。
 
从海量 GNSS 掩星文件的组织管理,到太阳活动与地磁扰动的时序预测探索,齐一凡的分享展示了数据库与人工智能技术在空间科学领域的不同应用价值。IoTDB 为持续积累的科研观测数据提供了更加高效的管理与检索方式,TimechoAI 则帮助研究人员快速建立预测基线、探索复杂时间变化规律。未来,随着数据驱动方法与物理模型的进一步融合,时序数据库与时序基础模型有望在更多科学研究场景中发挥价值。