详情

开云体育

这项由同济大学计划机科学与工夫学院主导的研究效果以arXiv预印内容式于2026年6月22日公开导布，论文编号为arXiv:2606.22749，题为《RaysUp: Ultra-light Universal Feature Upsampling via Geometry-Aware Ray Representation》，感敬爱的读者可通过该编号查阅完好意思论文。

**一个不得不先讲的故事：AI的眼睛为什么"看不清"**

假定你拿到一张仅有16×16像素的相配迁延相片，试图从中阔别出相片里停着哪种鸟。你省略能猜出简陋轮廓，却很难判断是麻雀如故燕子，更别提数清羽毛的纹理了。当代最弘大的AI视觉模子，比如谷歌、Meta和OpenAI背后平凡使用的那些"基础视觉模子"（不错把它们相识为AI界的"全能眼睛"），濒临的恰是这种窘境。

这些模子在考查时，会把输入的图片切割成一块块小方格（专科上叫"patch"），就像把一幅画剪成邮票大小的碎屑，然后对每块碎屑进行相识和编码。处理完之后，输出的"特征图"——也即是模子对图像的相识放胆——分辨率频频极低，可能唯独原图的1/14甚而1/32。这就好比把一幅高清油画相识成了一张16格的马赛克拼图：大意能懂，细节全无。

但是，很多真是宇宙的视觉任务偏巧需要精确到每一个像素：要给相片中每个物体准确标出规模（语义分割），要估算相片中每个点距离镜头多远（深度算计），要分析每个名义的朝向（法线算计）……这些任务就像外科手术，需要精确的"手术刀"，而不是迁延的"简陋判断"。

这就产生了一个中枢矛盾：AI模子相识图像的"眼睛"自然灵巧，却是"近视眼"——它相识图像语义的才智很强，但输出的空间分辨率太低，得志不了详细任务的需求。

同济大学的研究团队针对这个矛盾，建议了一种名为**RaysUp**的有野心。这个有野心的念念路不错用一句话来综合：**不改换AI模子的眼睛自己，而是给它配一副细密的"放大镜"，把低分辨率的"马赛克相识"无损地还原成高清细节图**。更重要的是，这副放大镜既鄙俚又快速，仅用了现存最先进同类有野心16%的参数目，推理速率却快了约7倍。

**一、 现存的"放大有野心"都有哪些问题**

在RaysUp之前，研究界也曾尝试过多种给低分辨率特征"升清"的办法，但每种有野心都有显着的短板，就像厨师手边唯独几种有弱势的刀具。

最简约的有野心是双线性插值——本质上即是"凑近看迁延的马赛克然后用周围格子的神志平均填补空缺"。这种纪律极快，但完全莫得智能，生成的高分辨率特征迁延、规模涣散，就像把一张低像素图片径直放大后失真的效果。

更灵巧一些的有野心是"有学习才智的上采样"，代表纪律有FeatUp、LoftUp、JAFAR等。这些有野心通过神经集合学习怎样把低分辨率特征回应成高分辨率，效果确乎比插值好不少。但它们有一个共同的弱势：**每种AI基础模子都需要从新考查一次**。换句话说，你为DINOv2（Meta的视觉模子）考查好的放大镜，换成CLIP（OpenAI的视觉模子）就不好用了，得从新再来。关于一个每隔一段时辰就会出新版块、新架构的领域，这种有野心显豁不够纯真。

最接近RaysUp定位的竞争者是AnyUp，它已矣了"不管哪种基础模子都能用归拢个放大镜"的主见，也解救大肆分辨率输出。但代价是架构很"重"——参数目达到0.87M，在448×448分辨率下推理速率唯独5帧/秒，在896×896分辨率下唯独1帧/秒，遭遇2K分辨梗径直内存溢出，根柢跑不起来。

RaysUp的主见，是同期措置以上通盘问题：既不依赖特定模子、解救大肆分辨率，还要轻量、快速，同期在精度上不输给甚而高出这些前辈。

**二、 从"平面相片"到"3D射线"：RaysUp的中枢灵感**

RaysUp最有敬爱的场地，是它换了一个看问题的角度——**把图像上采样从一个"二维平面问题"酿成了一个"三维几何问题"**。

传统的特征上采样纪律，本质上都是在二维的图片坐标系里责任：哪个像素点勾通哪个像素点，就用周围点的信息来填充。但这里有一个根人性的症结：**在二维图片上相邻的两个点，在真是三维空间中可能相距甚远**。

举个直不雅的例子：一张室内相片里，窗框的边缘左侧是白墙，右侧是窗外的蓝天。在图片坐标系中，这两个像素点挨得终点近，但它们在现实三维空间均分辨代表了一个在室内几十厘米处的墙壁，和一个在室外几百米外的天外——两者完全莫得物理上的关联。要是用二维坐标系作念上采样，就会额外地用蓝天的信息去"填补"白墙的细节，导致规模迁延和不自然的搀和。

RaysUp的作念法是：把每个像素点从"图片上的一个点"从新界说为"从相机启航、穿过这个像素的一条三维明后"。这个主意叫作念"射线（ray）"，是计划机图形学和NeRF（神经放射场，一种用AI重建三维场景的工夫）里的中枢主意。

把上采样问题翻译成射线谈话：AI基础模子给出的低分辨率特征，相配于对场景作念了"粗粒度射线采样"（每隔很远才发出一条射线来探伤场景）；咱们想要的高分辨率特征，相配于"细粒度射线采样"（更密集地发出射线，探伤到更多细节）。上采样的任务，就酿成了**把疏淡的射线探伤放胆，合理地"插值"到密集射线网格上**——而这个插值过程，应当受命三维几何的规章，而不单是是二维平面的距离关系。

这个念念路的精妙之处在于：从相机打出的射线，自然地佩带着三维空间的几何信息。两条标的邻近的射线，在真是宇宙中对应的频频是归拢物体名义上的相邻点；而标的各异大的射线（比如一条指向近处的桌子，一条指向远方的窗户），即使在二维图片上挨得很近，在三维空间中也相距甚远，不应该彼此"借用"信息。

RaysUp的全部遐想，都围绕着这个"射线"框架伸开，共由三个中枢模块组成。

**三、 第一块拼图：用"四路视察兵"替代"单一视角"**

要让放大镜责任，率先需要一个"辅导者"——一种能告诉放大镜"原图里的细节到底长什么样"的高分辨率信息源。在RaysUp里，这个辅导者是原始输入的RGB彩色图像，而处理这张图像的模块叫作念**空间解耦辅导编码器（Spatially Decoupled Guidance Encoder）**。

研究团队在分析前东说念主有野心时发现了一个敬爱敬爱的快意：在JAFAR这类纪律里，使用表率3×3卷积核（不错把卷积核相识为一个小小的"感知窗口"，用来捕捉局部图案）来索要图像辅导特征时，这个窗口对不同位置的"敏锐进度"并不均匀。具体来说，窗口四个边缘的感知权重（0.97-0.99）显着高于中心位置（0.78）。这种"爱重边缘、残酷中心"的倾向，导致索要出的特征在中心区域穷乏填塞的通说念搀和，最终让上采样后的特征图出现"破洞"——也即是某些区域信息丢失、出现不通顺的斑块。

RaysUp的措置有野心是把这个单一的"感知窗口"拆分红四条专职"视察道路"并行责任。第一条道路精致感知正中心（使用1×1的小窗口），确保中心区域的信息得到充分处理；第二条道路专诚沿水平标的扫描（使用1×3的横条窗口）；第三条道路专诚沿垂直标的扫描（使用3×1的竖条窗口）；第四条道路精致感知对角标的（使用带拆开的2×2窗口）。四条视察道路各司其职，终末把网罗到的信息合并在全部。

这么作念的放胆是：中心位置的权重被进步到1.00（满分），水平、垂直和对角标的的感知权重保管在0.89-0.99的高水平，举座特征索要变得均匀而完好意思，再也不会出现"破洞"问题。更令东说念主爽直的是，这种"四路并行"的遐想还大幅镌汰了参数目——表率3×3卷积需要27×Dg个参数（Dg是特征维度），而四路解耦编码器只需要约8.25×Dg个参数，从简了约69.4%的参数支拨。"四路视察兵"不仅干得更好，还比单兵作战低廉得多。

**四、 第二块拼图：不错"变焦"的在意力机制**

辅导编码器索要出高分辨率的图像辅导特征之后，下一步是用这些特征来"辅导"低分辨率的AI特征进行放大。RaysUp聘用了一种叫作念**大肆分辨率交叉在意力（Any-Resolution Cross-Attention）**的机制来完成这个任务。

"在意力机制"是当代AI里一个终点中枢的主意，不错用一个类比来相识：假定你要还原一张迁延的老相片，你手边有一张拍摄归拢场景的明晰新相片手脚参考。你的责任是：关于迁延相片里的每一个区域，在明晰相片里找到最相似、最关联的区域，然后用明晰相片里的细节来填补迁延之处。"在意力机制"作念的事情与此完全一致——它让输出特征图上的每个位置，去"参议"输入特征图里哪些位置与我方最关联，然后加权网罗信息。

"交叉在意力"的敬爱，是"参议者"（查询，Query）和"被参议者"（键值，Key-Value）来自不同的开始：高分辨率输出位置手脚Query，低分辨率AI特征手脚Key和Value。这么就能已矣：高分辨率输出的每个像素点，都去低分辨率特征图里找到对应的语义信息，从而"学到"应该在这个位置呈现什么样的特征。

"大肆分辨率"的已矣面容则相配玄妙：不管输出分辨率是若干（224×224、448×448，如故896×896），都只需要对辅导特征图作念一次自适合平均池化（肖似于"适合缩放"）就能生成对应的Query和Key，不需要从新考查任何东西。这就像一个变焦镜头，不管你要拍多大的相片，镜头自己的光学旨趣是不变的，只需要诊疗焦距就行。

**五、 第三块拼图：给每条射线一个私有的"几何身份证"**

前边两个模块措置了"怎样辅导"和"怎样交互"的问题，但还有一个深头绪的问题莫得措置：怎样让在意力机制信得过相识三维几何筹划，而不单是是二维坐标关系？

这即是**射线位置编码（RayPE, Ray Positional Encoding）**要措置的问题。

在AI里，"位置编码"是一种给序列或空间中的每个位置打上私有象征的工夫，目的是让模子知说念"这个信息来自那儿"。传统的位置编码（比如RoPE）使用的是二维图片坐标（第几行、第几列），本质上是把图片相识成一个平铺的二维格子，不佩带任何三维信息。

RayPE的作念法是：把每个像素点的"身份"从"图片里的第i行第j列"替换为"从相机启航经过这个像素的一条三维射线"。这条射线由两部分姿色：射线的最先（也即是相机在三维空间中的位置）和射线的标的（也即是从相机指向这个像素所对应的三维空间标的）。把这两个三维向量拼在全部，就得到了一个6维的"射线姿色符"，专科上叫作念6D Plücker坐标。

每个像素因此得到了一张私有的"三维几何身份证"，不仅纪录了它在图片里的位置，还纪录了它在三维空间中对应的不雅察标的。两个像素的"身份证"越相似，阐发它们在三维空间中的不雅察标的越接近，对应的频频是归拢物体名义；反之，即使两个像素在图片里紧挨着，要是它们的射线标的各异大（比如远景的物体边缘），它们的"身份证"也会天壤之隔，在意力机制就不会额外地让它们彼此借用信息。

具体的编码过程聘用了一种叫作念"多频谐波相位编码"的工夫：用一组从低频到高频摆设的数学函数（肖似于傅里叶分析中的不同频率重量）来处理射线姿色符，从而在多个空间表率上捕捉几何变化。编码放胆再通过旋转调制（这是RoPE位置编码的精髓：用旋转矩阵把位置信息"烙迹"进特征向量的相位中，而不是简约地相加）作用于辅导特征，就完成了从二维坐标到三维射线的质变。

这个遐想的妙处在于：它完全不加多参数目，只是改换了位置信息的暗示面容，却让模子在作念特征上采样时自动受命三维几何规章。消融实验（即逐个关掉某个模块来测试其孝顺的实验）讲解，去掉RayPE后平均性能下跌了约1.12个百分点，而换成传统的RoPE只可回应其中一部分性能，用其他射线编码有野心（SinRays）效果也不如RayPE，阐发RayPE的三维几何先验是信得过灵验的。

**六、 第四块拼图：局部邻域里的"几何感知团员"**

有了辅导特征、大肆分辨率的交叉在意力框架，以及三维射线位置编码，终末一步是信得过实行特征团员——把低分辨率AI特征"搬运"到高分辨率的主见位置上。

RaysUp聘用了**几何感知邻域交叉在意力（Geometry-Aware Neighborhood Cross-Attention）**来完成这一步。

全局在意力的计划量与分辨率的平方成正比：要是要把1024×1024的Query与32×32的Key作念全局在意力，计划量是(1024×1024)×(32×32)=约10亿次乘加运算，代价极高。邻域在意力的作念法是：关于每个高分辨率Query位置，不去参议通盘Key位置，而只参议其在低分辨率Key图中对应位置近邻的k×k个邻域（RaysUp中k=6，即36个邻居）。这么计划量从O(HanyWany × HlrWlr)镌汰到了O(HanyWany × k?)，大幅进步了效劳。

为了让高分辨率Query和低分辨率Key的邻域正确对王人，RaysUp引入了彭胀因子：当输出分辨率是输入分辨率的s倍时，邻域采样步长也设为s倍，确保隐敝的空间范围保合手一致。这就像用一个放大镜看舆图时，你需要让放大镜出动的步幅也按比例放大，才能让视线恒久瞄准归拢派区域。

而RayPE编码后的Query和Key特征，使得在意力权重的计划自然地反应了三维射线标的的相似性：标的接近的射线（对应归拢物体名义的点）之间在意力权重高，标的各异大的射线（高出深度不通顺区域的点）之间在意力权重低。通盘这个词团员过程由此在物理上对应"沿着光滑变化的射线标的进行特征传播"，保合手了三维几何一致性。

**七、 考查：只需一块GPU，一个小时**

RaysUp的考查战略相通体现了"轻量"的遐想玄学。考查在表率的ImageNet数据集上进行，使用一块NVIDIA A100 GPU，耗时约1小时（对比之下，AnyUp需要约5小时，LoftUp考查经由更为复杂）。

考查时，就地及第高分辨率图片，用2到4倍的就地消弱比例生成低分辨率版块，将两者都输入冻结的基础视觉模子（不修改模子参数），分辨得到主见高分辨率特征和源低分辨率特征。然后让RaysUp用低分辨率特征和高分辨率原图重建出高分辨率特征，用重建放胆与主见特征之间的余弦相似度损结怨L2距离耗损的组合来优化RaysUp的参数。

研究团队还遐想了一个进阶的"局部编著"考查战略：额外从高分辨率图片中就地编著局部小块，以这些局部小块索要的特征手脚额外监督信号，迫使RaysUp学会对大肆子区域的局部细节也能精确重建。聘用这个战略后，在多个语义分割数据集上的性能进一步进步，举例Cityscapes上的mIoU从61.88进步到63.04，ADE20K上从42.34进步到42.60，额外考查约4小时。

**八、 实验放胆：全面超越敌手，以极小代价**

RaysUp在五大类密集瞻望任务上进行了系统评估，敌手包括双线性插值、FeatUp、LoftUp、JAFAR和AnyUp。

在**语义分割**任务上，研究团队在COCO-Stuff、Pascal-VOC、ADE20K和Cityscapes四个数据集上测试了用线性探针（仅在冻结特征上接一个1×1卷积层）进行分割的性能。RaysUp在简直所少见据集上都达到了最好或第二好的放胆，举例Pascal-VOC上mIoU为84.64（高出AnyUp的84.18和JAFAR的83.89），Cityscapes上mIoU为61.88（高出AnyUp的60.62）。

在**深度算计和名义法线算计**任务上，体现了RaysUp的射线几何遐想的私有上风。在NYUv2数据集的深度算计任务中，RaysUp十足深度RMSE为0.4658，低于AnyUp的0.4781和JAFAR的0.4693；相对深度RMSE为0.3195，相通优于通盘敌手。在名义法线算计中，RaysUp的RMSE为27.69，高出AnyUp的27.83和JAFAR的27.80。这些几何密集型任务上的上风，恰是三维射线位置编码遐想收效的径直体现。

在**视频主见分割**任务中，RaysUp在DAVIS数据集上的J&F均值为71.47，高出AnyUp的70.98和LoftUp的70.92，展现出更强的时序一致性。这背后的旨趣是：由于RaysUp产生的特征具有更好的几何一致性，跨帧的特征匹配更为精确，物体规模在不同帧之间的传播也愈加舒服。

在**零样本盛开词汇分割**任务中，RaysUp将索要的特征接入ProxyCLIP框架进行测试，在COCO-Stuff、Pascal-VOC、ADE20K、Cityscapes等数据集上的推崇与LoftUp和JAFAR相配或略有差距。研究团队分析觉得，LoftUp在这类任务上的上风来自于考查时引入了SAM（Segment Anything Model）生成的掩码手脚额外监督，这是RaysUp（仅用自监督重建主见考查）莫得的"外挂"，因此在语义分割等任务上的一丝差距是自制比拟下合理的放胆。

**在VFM通用性上**，与惟一相通具备跨模子通用才智的敌手AnyUp进行了对比。测试隐敝DINOv2、DINOv3、SigLIP2、PE Spatial四种基础模子，以及ViT-S、ViT-M、ViT-L三种范围。在通盘12个测试组合中，RaysUp在Pascal-VOC语义分割（mIoU）和NYUv2深度算计（RMSE）两个目的上全面高出AnyUp。举例，DINOv2-ViT-L上：RaysUp的mIoU为86.33（AnyUp 85.47），十足深度RMSE为0.376（AnyUp 0.393）；DINOv3-ViT-L上：RaysUp mIoU 88.07（AnyUp 87.48），十足深度RMSE 0.398（AnyUp 0.402）。

**在效劳上**，差距更为悬殊。RaysUp仅有0.14M参数（AnyUp为0.87M，JAFAR为0.62M），在224×224分辨率下豪侈10.17 GFLOPs、1.26GB显存，推理速率55 FPS；AnyUp在同瓜分辨率下84.21 GFLOPs、2.19GB显存，仅有11 FPS。在448×448分辨率下，RaysUp 27 FPS vs AnyUp 5 FPS；在896×896分辨率下，RaysUp 8 FPS vs AnyUp 1 FPS；而在2K×2K分辨率下，RaysUp仍然能以1 FPS的速率初始，其他通盘纪律均内存溢出，完全无法责任。这种在超高分辨率下的可初始性，关于需要处理医学影像、卫星图像等高分辨率场景的应用来说至关紧要。

**九、 消融实验：每一块拼图都弗成或缺**

为了考据每个遐想取舍的必要性，研究团队系统地"拆卸"RaysUp的各个零件，分辨测试了不同遐想有野心。

关于辅导编码器的遐想，单歧路（仅1×1卷积）平均性能81.87%，双歧路（1×1加3×3）81.87%，多歧路（四种卷积并联但包含3×3）82.09%，而空间解耦歧路（四标的专职卷积）82.17%且参数最少（0.14M vs 多歧路的0.268M）。这阐发"标的解耦"而非单纯"多路并联"才是性能进步的重要。

关于辅导特征维度，Dg=128时平均性能82.02%，Dg=256时82.17%，Dg=512时82.20%，Dg=768时82.19%。不错看到从256到512的性能进步极为有限（仅0.03%），却需要约3倍的参数加多，量度之下256维是最优取舍。

关于位置编码，完全不使用时平均性能81.05%（最差），使用传统RoPE时81.92%，使用SinRays时81.59%（参数还更多，达0.47M），使用RayPE时82.17%（最好，无额外参数）。这组对比最有劲地讲解了将位置编码从"二维坐标"升级到"三维射线"的必要性。

关于相机姿态信息，使用恒等矩阵（即假定通盘图片都是从正前线拍摄的简化假定）的默许修复达到82.17%；要是引入Depth Anything 3算计的真是相机姿态，性能可进一步进步至82.41%-82.44%，但代价是DA3模子自己需要5至55小时的额外考查时辰。研究团队综合酌量效劳，取舍了恒等姿态手脚默许竖立，同期这组实验也阐发RaysUp具备哄骗更准确相机信息进一步进步的后劲。

---

归根结底，RaysUp作念了一件看起来并不复杂，但此前莫得东说念主正确系统地作念过的事：它把特征上采样这个"二维图像处理"问题，从新相识成了一个"三维几何推理"问题，然后用极其精简的面容已矣了这个念念路滚动，顺遂还措置了现存纪律"太重、太慢、依赖特定模子"的三大恶疾。

关于真是宇宙的应用来说，这意味着：搭载了大型视觉基础模子的自动驾驶系统、医疗影像分析软件、机器东说念主视觉系统，不错用极低的额外计划老本，让AI的"观点"从迁延的马赛克升级为明晰的细节图，而况不管底下用的是哪家的AI基础模子，这副"放大镜"都能径直套用，不需要从新考查。0.14M参数、55帧每秒，在大模子动辄数十亿参数的期间，这种极致轻量的遐想反而显得尤为稀少。自然，RaysUp现在在零样本盛开词汇分割等部分任务上仍与哄骗SAM额外监督的LoftUp略有差距，如安在不额外加多监督数据的前提下进一步消弱这一差距，可能是下一步研究值得探索的标的。

有敬爱真切了解工夫细节的读者，不错通过arXiv编号2606.22749查阅完好意思论文，代码也已在GitHub上公开（账户MAP-RaysUp/RaysUp）。

---

Q&A

Q1：RaysUp和普通双线性插值放大图片有什么本质区别？

A：普通双线性插值只是把周围像素神志作念加权平均，完全不酌量图像内容，放大后会迁延。RaysUp则有学习才智：它用原图手脚辅导，通过在意力机制判断高分辨率位置应该"参考"哪些低分辨率特征，还引入了三维射线几何信息，让规模处不同物体的特征不会彼此欺凌，最终保留了语义精确性和几何明晰度。

Q2：RaysUp需要针对每种AI视觉模子单独考查吗？

A：不需要。这恰是RaysUp的中枢上风之一。RaysUp只需要在DINOv2-S这一种模子上考查一次，就能径直用于DINOv2、DINOv3、SigLIP2、PE Spatial等多种不同架构和不同大小的视觉基础模子，无需任何额外微调或从新考查，实考据明在通盘测试模子上都高出了相通具备通用性的AnyUp纪律。

Q3：RayPE里用到的"相机参数"在普通应用场景里奈何得到？

A：消融实验标明，即使把相机外参设为单元矩阵（相配于假定通盘图片都从正前线水平拍摄），RaysUp也曾能达到最优的效劳-性能均衡，这亦然论文默许竖立。要是使用Depth Anything 3等用具算计真是相机姿态，性能还能进一步小幅进步。是以在本质应用中，不需要拍摄时纪录相机参数开云体育，径直使用默许修复即可平淡责任。