近日，杏吧原创 农情信息获取技术与装备研究团队在跨模态冗余特征消解机制研究取得新进展，研究成果“CSAFNet: Cross-modal spatial alignment and fusion network for RGB-T crowd counting”在国际模式识别领域权威期刊《Pattern Recognition》上发表。论文第一单位为杏吧原创 ，博士研究生赵永杰为论文第一作者，姜波副教授为论文通讯作者。

RGB与热红外（RGB-T）图像融合可有效缓解低光照场景下的信息缺失，但受不同成像设备异质性影响，现有方法仍面临两项关键挑战：其一，RGB与热红外图像之间存在空间错位，且多数RGB-T人群计数方法未能对该错位进行有效建模与校正，导致融合效果受限；其二，现有方法难以充分区分两种模态的特异特征与共性特征，造成冗余融合，进而削弱特征表征能力并影响计数精度。为此，提出跨模态空间对齐与融合网络CSAFNet。CSAFNet由跨模态特征空间对齐（CFSA）、多尺度空间位移补偿（MSDC）与跨模态特征解耦融合（CFDF）三部分组成：CFSA通过特征窗口实现精细空间对齐，并结合MSDC扩展至更大范围的空间一致性；CFDF引入KL散度与JS散度进行跨模态特征解耦融合，在保留模态特异细节的同时增强跨模态共性、抑制冗余信息并强化判别性表征。大量实验表明，CSAFNet在RGBT-CC与DroneRGBT数据集上取得了具有竞争力的性能，验证了其在跨模态人群计数任务中的有效性与应用潜力。研究成果受到国家自然科学基金资助。研究成果有望为畜禽夜间群体监测提供稳定支撑。

Pattern Recognition是Elsevier旗下模式识别与机器学习领域的权威期刊，属于中科院SCI一区Top期刊，影响因子7.6。在人工智能、计算机视觉及模式识别领域享有较高的学术声誉。

原文链接：//www.sciencedirect.com/science/article/pii/S0031320326002153