Mamba架构遭同行评审质疑，LeCun自曝类似经历

要点:

Mamba架构论文，去年底发布，挑战Transformer，但在ICLR2024同行评审中得到低分，可能被拒收。

LeCun自曝类似经历，指出自己曾有类似经历，即使成就显著的论文也可能被顶会拒收。

审稿人给出低分的理由，主要集中在对Mamba模型设计和实验的质疑，作者进行rebuttal但未得到重视。

近期，Mamba架构论文因在ICLR2024评审中得到低分而引起关注。该架构去年底由CMU和普林斯顿的研究者提出，被认为有颠覆Transformer的潜力。然而，ICLR评审中，有一位审稿人给出3分的低分，引发疑虑。LeCun也跃出来分享自己类似的遭遇，指出即便成就显著的论文也可能被拒收。这一事件引起了学术界的不满和质疑。

论文地址:https://arxiv.org/pdf/2312.00752.pdf

审稿人给出低分的理由主要涉及对Mamba模型设计和实验的质疑。其中，审稿人提到Mamba的设计动机，质疑其在与其他模型的比较中的性能表现。作者在rebuttal中指出，他们的重点是大规模预训练的复杂性，而Mamba在Wikitext-103上的表现明显优于其他模型。审稿人还对Mamba是否具有长度泛化能力提出了质疑。对此，作者回应称他们在长序列方面进行了实验，但这些回应未能得到审稿人的认同。

LeCun回忆了自己的类似经历，表示即便拥有引用超过1880次的论文，也曾被拒收。这凸显了同行评审体系的不确定性和主观性。虽然Mamba架构在学术界产生了深刻影响，但遭遇评审的波折，使得学术界对同行评审的公正性产生质疑。此外，审稿人在rebuttal中提出的问题，虽然作者进行了解答，但最终未能改变审稿人的评分，加剧了学术界对同行评审的不满。

整个过程显示，学术界对于同行评审制度的信任程度在下降。有人认为，Mamba获得3分的低分是业界的笑话。这一事件或许需要学术界进一步探讨和改进同行评审制度，以确保更公正、客观的评价，避免因为主观因素而损害具有潜力的研究。在这个过程中，LeCun的经历成为引发讨论的契机，引导学术界关注同行评审制度的合理性和公正性。