清华大学提出二值化光谱重建算法BiSRNet 计算需求降为1%

要点:

清华大学提出的二值化光谱重分布网络（BiSRNet）降低了计算需求至1%，相比全精度CNN性能几乎持平，存储空间仅需0.06%。

该算法采用二值神经网络（BNN）和二值化光谱重分布卷积(BiSR-Conv)，在移动端设备上表现出色，解决了全精度模型难以部署的问题。

BiSRNet在光谱压缩重建领域显著超越其他二值化算法，仅需1%的计算代价，同时代码全开源，可在光谱图像应用中取得与全精度CNN相媲美的效果。

清华大学在NeurIPS2023上首次提出的「二值化光谱重建算法」引起了广泛关注。该算法的核心优势在于将计算需求降低至仅1%的水平，相较于全精度CNN，性能几乎持平，而存储空间却只需0.06%。这一创新主要得益于二值神经网络（BNN）和二值化光谱重分布卷积(BiSR-Conv)的引入，使得算法在移动端设备上具备了可行性，解决了全精度模型难以部署的问题。

论文链接:https://arxiv.org/abs/2305.10299

代码链接:https://github.com/caiyuanhao1998/BiSCI

代码链接:https://github.com/caiyuanhao1998/MST

高光谱图像在医疗、地形勘探和农业等领域应用广泛，但传统成像设备采集这类图像存在一定难度。为此，科学家们设计了单曝光压缩成像系统，通过光谱压缩重建任务从二维的压缩估计图中恢复出三维的高光谱数据。当前主流方法采用全精度模型，但由于复杂的计算单元和无法在移动端设备上运行的问题，推动光谱重建算法的实际应用成为挑战。

为解决这一问题，清华大学的研究人员提出了BiSRNet，这是光谱压缩重建领域内首个基于二值神经网络的算法。通过设计新的二值化卷积单元和多个二值化卷积模块，BiSRNet不仅在性能上超越了当前最先进的二值化算法，还取得了与全精度CNN相媲美的效果，同时仅需约0.06%的存储空间和1%的计算代价。这一成果的代码已全面开源在BiSCI工具包中，支持八类主要的二值网络。

基础模型的重新设计是该算法的关键之一，采用轻量、易于部署的U形结构，所有计算单元都可在移动端设备上运行。另外，二值化光谱重分布卷积单元的创新也在算法的成功中发挥了关键作用，通过可缩放的双曲正切函数在反向传播中更灵活地逼近符号函数，解决了以往逼近函数的不足。

这一研究对光谱压缩重建算法的实际应用具有重要意义，为移动端设备上的高效图像处理提供了新的思路。BiSRNet的出现为光谱图像处理领域带来了突破，有望推动相关技术更广泛地应用于医疗、地质勘探和农业等领域。