烟影智援

问题定义：浓烟让可见光「失明」

问题

火灾浓烟中，烟雾颗粒强烈散射和吸收可见光，普通摄像头只能拍到一片模糊。传统视觉手段依赖光照，在浓烟里准确率不足 60%、延迟超 500ms，无法为救援提供可靠信息。

思考

单一可见光模态的失效是根本矛盾。但热成像能穿透烟雾感知人体轮廓，只是细节差、缺少纹理。与其死磕可见光，不如让多种模态互补——同时，还需要专门处理「去烟」和「低光增强」两个前置问题。

解决

确立「多模态融合 + 去烟」的技术路线：低光增强（LLNet）提升微弱可见光 → 视频帧对齐 → 可见光+热成像融合（MMDRFuse）→ 去烟（暗通道先验 / DehazeFormer）→ YOLO11 检测。

多模态对齐：让可见光与热成像「对得上」

问题

可见光与热成像来自不同传感器，帧率、视角、畸变都不同，两路视频在时间上对不齐。直接融合会产生「重影」，反而降低检测精度。

思考

融合的前提是「对齐」。可以用特征匹配找到两路视频中同一目标的特征点，再用最小化重投影误差求出变换矩阵，把两路视频在几何上对齐。这个方法无需额外标定设备，对尺度变化和轻微畸变有良好鲁棒性。

解决

先拆帧补帧对齐帧数，再用特征匹配 + 最小化重投影误差计算变换矩阵，完成可见光与热成像的空间对齐，为后续融合奠定基础。

轻量化：把融合模型压到 0.44KB

问题

救援机器人部署在瑞芯微 RK3588 边缘芯片上，算力有限。多模态融合模型若体积大、参数多，推理速度就上不去，无法满足实时救援。

思考

这本质是「精度-效率」的权衡。可以用教师-学生蒸馏：让一个能力强的教师网络，把知识「消化式」传递给一个极简的学生网络。学生模型仅 113 个可训练参数、体积 0.44KB，却能逼近教师的效果。

解决

采用 MMDRFuse 框架：教师-学生架构 + 消化式蒸馏，输出缓冲模块与特征图分布约束，让极简学生网络学到复杂特征。

反思

轻量化让我第一次体会到「模型部署」与「模型训练」是两回事——实验室里跑得通的模型，到边缘设备上可能根本跑不动。工程落地要求从设计之初就考虑资源约束。

鲁棒性：用对抗样本训练更稳的模型

问题

真实火场环境复杂多变——烟雾浓度、光照、背景干扰都在变。只在干净数据上训练的模型，一到复杂现场就容易误判或漏检。

思考

要让模型在「恶劣环境」下也稳，可以主动让它在训练时「见过更坏的情况」。FGSM 对抗样本生成技术，能在训练中人为制造干扰样本，让模型学会应对各种扰动。

解决

训练时加入 FGSM 对抗样本，让模型在对抗扰动下依然稳定，显著提升复杂多变环境下的泛化性与鲁棒性。

反思

这让我理解了「鲁棒性」不是调参调出来的，而是要靠训练策略主动设计。对抗训练是科研里很值得继续深挖的方向。