本文由大发娱乐整理发布：

人眼在观察陌生事物时，从来不是按一套死板的程序走到底的。

读一封字迹潦草的手写信，最难认的往往是开头几个字。

看得多了，我们渐渐摸清写信人的笔画和连笔习惯，后面的字也就越认越顺。

医生阅片、考古学者辨认拓片，也有类似的经验：前面识别出的线索，会影响后面如何观察和判断。

这看起来是一件很自然的事，但对视觉 AI 而言，要实现并不简单。

一张图片进入模型后，哪些区域需要重点关注、不同位置的特征怎样关联，模型已经能够根据眼前的画面作出调整。

可在很多现有架构里，决定信息如何被学习、该更新多少、哪些旧信息应当保留的规则，仍主要由训练阶段确定。

换一张图片，模型的计算结果会改变，背后的许多学习规则却不会跟着改变。

明略科技与中国科学院自动化研究所 的研究团队，正试图推动这一步。

双方联合提出 VisionHOPE—— 首个以自修改学习系统为核心构建的通用视觉骨干网络 它让模型在一次前向计算中，一边读取和保存图像信息，一边根据已读到的内容更新自己的学习方式。

前面看过的区域，能够参与决定后面的特征怎样建立关联、学习步长该有多大、已有记忆应保留多少。

这项研究并不只停留在机制设计上。

在 ImageNet-1K 图像分类基准上，拥有 52.

9M 参数的 VisionHOPE-S 取得 85.

2% 的 Top-1 准确率，参数量不到 VMamba-B（89M）的六成，准确率高出 1.

3 个百分点；

VisionHOPE-B 的准确率达到 85.

6%。

同时，其自修改机制的核心计算量随 Token 数量线性增长。

论文发布后曾登上 Hugging Face 每日论文榜第 2 名，GitHub 开源仓库也在短时间内收获了近 1000 Stars。

目前，研究团队已将全部代码、底层算子与预训练权重按 MIT 协议向社区开放。

论文标题：VisionHOPE: Visual Backbones as Self-Modifying Learning Systems Hugging Face 论文页：https://huggingface.

co/papers/2609.

33325 Hugging Face VisionHOPE 主页：https://huggingface.

co/PSRben/VisionHOPE GitHub 代码：https://github.

com/PSRben/VisionHOPE 视觉模型越来越会 “看”，但学习规则还可以更灵活 要理解 VisionHOPE 的新意，可以先看视觉骨干这些年的变化。

早期的卷积神经网络（CNN）擅长从局部捕捉边缘、纹理等信息。

它使用训练好的卷积核提取特征，图像中距离较远的区域，需要经过多层计算才能建立联系。

后来出现的视觉 Transformer（ViT），借助自注意力机制，让不同位置能够根据当前图像直接交互。

模型看到了更大范围的内容，但生成注意力的投影参数依然固定，而且全局注意力的计算量会随着 Token 数量平方增长，图像尺寸越大，计算压力越明显。

再往后，Mamba 等状态空间模型通过沿序列传递状态，将计算复杂度降至线性。

状态转移可以随当前输入变化，但负责从输入生成状态转移的映射，仍由训练阶段确定。

TTT（测试时训练）又向前走了一步：它在网络内部设置小型学习器，允许学习器处理图像时更新自身参数。

不过，生成学习表征，以及控制更新步长和记忆保留的规则，仍主要在训练时设定。

沿着这条路线看，研究者一直在扩展模型对 “当前这张图” 的适应范围：从局部特征，到全局交互、动态状态，再到内部学习器的参数更新。

VisionHOPE 进一步把决定学习方式的参数也纳入了图像内部的更新过程 图片 1｜不同视觉架构对当前图像的适应方式：从局部特征、全局交互和状态转移，到内部学习器更新，再到自修改学习。

箭头表示图像内适应范围逐步扩大。

这一设计建立在嵌套学习（Nested Learning，NL）及其 HOPE 架构的自指机制之上。

简单说，模型处理图像时积累的内容，不只留待最后生成识别结果，还会反过来参与下一步学习规则的调整。

这件事之所以值得关注，也与视觉骨干本身的地位有关。

无论是图像识别，还是需要结合图像与语言的多模态系统，视觉骨干都负责提供最基础的视觉表征。

此前，MMVP 已揭示多模态模型在基础视觉辨别能力上的缺陷；

Cambrian-1 的研究则表明，改善视觉表征能够进一步提升多模态能力。

视觉底座怎样理解图像，关系到上层模型能够获得怎样的信息。

表1｜不同视觉架构对当前图像的适应方式 把 “怎么学” 交给记忆：VisionHOPE 的三个关键设计 让模型修改自己的学习规则，可以拓展模型的表达能力，但也带来了理论和工程上的新问题。

在以自指嵌套学习模块 SRNL 构建通用视觉骨干时，研究团队重点解决了三个问题：记忆如何组织与更新，自指

以上内容由大发娱乐整理发布。