PhysAttNet：通过物理信息注意力增强工业与天体物理时间序列的预测性能

arXiv:2608.07681v1 公告类型：新论文 摘要：在涉及物理过程的许多应用中，如制造监测和天体物理事件检测，准确且稳健的时间序列预测至关重要。在这些场景中，预测模型必须在噪声、变异性和测量不确定性下保持可靠性，同时捕捉与物理意义事件对应的局部时间结构。卷积神经网络（CNN）因其计算效率和强大的表示能力而被广泛用于此类任务。然而，它们学习到的时间表示往往表现出不稳定或物理上不一致的注意力模式，降低了鲁棒性、泛化能力和可解释性。 本文介绍了PhysAttNet，一种用于时间序列预测的物理信息注意力框架。PhysAttNet通过一个受领域信息正则化引导的注意力头增强轻量级CNN预测器，该正则化反映了物理信号的结构特性。具体而言，训练过程中施加三个互补约束：对齐正则化鼓励注意力遵循从输入信号导出的平滑、峰值中心的时间结构；平滑正则化强制连续的时间演化；稀疏正则化促进对信息丰富区间的选择性聚焦。这些可微正则化项引入了物理引导的归纳偏置，无需注释解释或手动监督。 PhysAttNet的设计动机源于传统CNN在时间序列预测中的局限性。尽管CNN能够高效提取局部特征，但其注意力权重通常缺乏物理一致性，导致模型对噪声和异常值敏感，并在面对分布变化时泛化能力下降。通过将物理先验嵌入注意力机制，PhysAttNet旨在缓解这些问题，同时保持计算效率。 对齐正则化是PhysAttNet的核心组件之一。它促使注意力权重与输入信号的平滑、峰值中心结构对齐，这些结构通常对应于物理事件（如冲击或耀斑）。这种对齐不仅提高了预测的准确性，还增强了模型的可解释性，因为注意力图直接反映了物理上有意义的时间位置。 平滑正则化则确保注意力权重在时间上连续演化，避免突然跳变。这一约束基于物理信号通常具有时间连续性的观察，有助于减少预测中的不稳定性，并提高模型在噪声环境下的鲁棒性。 稀疏正则化鼓励模型仅关注信息丰富的时间区间，而非分散注意力于无关区域。这种选择性聚焦机制模仿了物理学家在分析信号时优先处理关键事件的方式，从而提升了预测性能，尤其是在处理结构重要事件时。 实验部分，PhysAttNet在两个不同的应用场景中进行了评估：铣削过程中的切削力预测和蝎虎座BL天体时间序列的耀斑预测。这些应用分别代表了工业过程和天体物理现象，具有不同的动态特性和噪声水平，为验证模型的通用性提供了坚实基础。 结果表明，PhysAttNet在预测准确性、泛化能力和对结构重要事件的预测性能上均优于基线CNN模型。具体而言，在切削力预测中，PhysAttNet显著降低了均方误差；在耀斑预测中，它更好地捕捉了耀斑的峰值和持续时间，展示了其处理复杂物理信号的能力。 总之，PhysAttNet通过物理信息注意力机制，为时间序列预测提供了一种新颖且有效的解决方案。它无需额外标注或人工干预，即可将物理知识融入深度学习模型，提高了模型的可靠性、可解释性和实用性。未来工作可能包括扩展到更多物理应用领域，以及探索更复杂的正则化策略。