突破性视觉模型发布：自我调整学习规则的创新骨干网络

研究表明，人眼在观察新鲜事物时，并非按固定程序运作。例如，当我们阅读潦草的手写信时，初始几个字的识别往往最具挑战性，而随着阅读量的增加，我们逐渐适应了书写者的风格，后续文字也变得更易理解。医生和考古学家的工作同样受益于这种逐步积累的识别经验。然而，对视觉 AI 来说，实现这一点并非易事。虽然现代模型可以基于当前图片即时调整注意焦点和特征关联，但它们在学习和更新规则方面还受限于训练阶段的设定，导致模型在面对不同图片时不能灵活调整学习策略。为了解决这一问题，明略科技与中国科学院自动化研究所的研究团队推出了 VisionHOPE，这是首个以自我修改学习系统为核心的通用视觉骨干网络。该网络能够在一次前向计算中，读取和保存图像信息，并根据已获取内容调整学习方式，让前面识别的区域参与后续特征的关联与学习进程。

这项研究不仅在理论层面具有创新意义，在实际应用中也展现出强大的能力。在 ImageNet-1K 图像分类基准中，参数为 52.9M 的 VisionHOPE-S 达到 85.2% 的 Top-1 准确率，其参数量不足 VMamba-B 的六成，却准确率高出 1.3 个百分点；VisionHOPE-B 的准确率则为 85.6%。同时，其自我修改机制的计算量随 Token 数量线性增加。该研究发布后曾位列 Hugging Face 每日论文榜第二，GitHub开源项目也迅速获得了近千颗星标。目前，研究团队已经按照MIT协议向公众开放了代码及预训练权重。

为了更好地理解 VisionHOPE 的创新，可以回顾一下视觉骨干网络的发展历程。早期的卷积神经网络（CNN）善于捕捉局部边缘和纹理信息，但面对较远的区域需要多层处理来建立联系。随后，视觉 Transformer（ViT）通过自注意力机制使不同位置能够直接交互，看到了更大范围的信息，但注意力的计算量依然随 Token 数量平方增加，并且计算压力在大图像中愈发明显。进而，通过状态空间模型如 Mamba，将计算复杂度降至线性。然而，负责从输入生成状态映射的规则仍由训练阶段决定。TTT（测试时训练）进一步提升了模型的灵活性，允许在特定条件下更新学习参数，但生成学习表征及控制更新规则仍然主要在训练期间完成。 南宫体育

VisionHOPE 的设计灵感来源于嵌套学习及其自指机制，使得处理图像时积累的信息不仅仅用于最终的识别输出，同时还回馈至学习规则的调整。这一创新不仅对基础视觉表现具有重大意义，还有助于多模态系统的提升。通过优化视觉表征，模型的表现能力得以拓展，进而影响其生成的信息质量。VisionHOPE 的推出，带来了视觉骨干网络学习规则的新思路，具有重要的理论与实践价值。