首个多模态工业信号基座模型FISHER，权重已开源，来自清华&上交等

主要观点总结

本文介绍了来自清华大学、上海交通大学等研究者联合发布的首个多模态工业信号基座模型FISHER。该模型采用搭积木的方法对异质工业信号进行统一建模，解决了工业信号多模态、多采样率等问题。通过预训练，FISHER模型能够发掘大数据训练的优势，利用不同模态之间的互补性，实现强大的表征能力。文章还介绍了FISHER模型的技术细节、实验结果的评估以及未来的发展方向。

关键观点总结

关键观点1: 研究背景

随着工业设备的增多，如何高效分析工业信号成为了一个重要的问题。由于不同传感器采集的工业信号具有极大的异质性，因此需要使用统一的模型进行建模分析。

关键观点2: 研究动机

虽然工业信号表面上差异大，但内在特征和语义信息却很相似。基于此，研究者认为可以使用单一模型对异质工业信号进行统一建模。

关键观点3: FISHER模型介绍

FISHER模型是首个面向多模态工业信号的基座模型，以子带为建模单元，通过堆积木的方式表征整段信号，可处理任意采样率的工业信号。

关键观点4: 技术细节

FISHER模型采用固定宽度的子带作为建模单元，利用短时傅里叶变换（STFT）作为信号输入特征。模型架构包括1个ViT Encoder和1个CNN Decoder，采用“老师-学生”自蒸馏预训练。

关键观点5: 实验结果

在RMIS基准上，FISHER模型的三个版本较基线有显著提升，展现出强大的泛化能力。此外，FISHER的预训练模式优越，scaling效果更好。

免责声明