尽管10B级工业基础模型突破了图像绘制的界限,但其高昂的计算成本严重阻碍了实际部署。构建高度优化的特定任务专家提供了一个有前景的解决方案;然而,极端的结构压缩不可避免地会引发严重的表征瓶颈。为了克服这一点,我们提出了Moebius,一个高效轻量化的画框。我们通过引入本地- 混合交互 区块。本地组合 互动 模块将空间上下文和全局语义先验完美地概括为固定大小的线性矩阵,在保留复杂潜在交互的同时,大幅缩小参数。此外,为了释放这种高度紧凑架构的全部代表性,我们将其与自适应的多粒度蒸馏策略协同结合。严格在潜在空间内操作,以避免昂贵的像素空间解码,该策略可动态平衡多种基于梯度的损耗,以实现高保真对齐。跨越自然和纵向基准的广泛实验表明,这种最佳协同效应使莫比乌斯能够与10B级工业综合派FLUX.1-Fill-Dev的发电质量相媲美甚至超越。值得注意的是,Moebius 使用的参数(0.22B 与 0.22B)的 2% 比例不足。11.9B)在交付时 总推理时间加速,为高保真画设定了新的效率标准。项目页面 此 https URL。

传统图像复原侧重于感知质量,而任务驱动图像复原(TDIR)则旨在最大限度地提升下游高层视觉任务的性能。近期利用生成性先验的方法显示出对TDIR的前景;然而,它们通常因计算效率低下以及可能通过随意更新所有潜在代币而产生潜在的语义改变。本文指出,并非所有视觉信息对机器感知都同样重要。通过对潜在代币空间的分析,我们观察到与任务相关的线索在代币序列中分布不均,表现出索引方面的专业化。这表明,选择性地改进某个代币集,足以实现任务驱动目标。利用这一见解,我们提出TaskTok,这是一个新颖的框架,通过可学习的代币切换和轻量级令牌优化模块,仅选择性地恢复与任务相关的代币。跨图像分类、语义分割和物体检测的广泛实验表明,TaskTok 以高计算效率显著提升了任务性能。源代码可在此 https URL 获取

图像复原旨在从退化的低质量输入中重建高质量的图像。随着图像复原模型的计算需求不断上升,人们对针对快速高效推理而优化的轻量级架构产生了越来越多的兴趣。逻辑门网络(LGN)采用NAND和XOR等基本逻辑运算,最近已成为实现高效计算的有前景的方向。然而,它们在图像复原领域的潜力在很大程度上尚未得到充分发掘。在本文中,我们介绍了 LogicIR,这是首款专为图像复原任务设计的 LGN。LogicIR 融合了一种完全由逻辑门组成的 UNet 设计架构。此外,我们建议采用可区分的位解码层和索引洗牌机制,以改进逻辑门间的信息传播。多个图像修复基准的实验结果表明,LogicIR 以显著降低的计算成本实现了强大的性能,使 LogicIR 成为图像复原的可行且高效的替代方案。源代码可在此 https URL 获取

邻近的切片自我监督去噪对体积医学成像具有吸引力,但片间错位会打破解剖学对应关系,并常常产生模糊和模糊的误差,而相邻的切片则被天真地用作目标。我们提议采用邻方引导的补丁抽样(NGPS),这是一种轻量级框架,可在局部片间错位下构建周边监管,且无需明确注册。为避免从误导性目标中学习,以往的方法通常会掩盖不透明区域,但这会稳定训练,代价是导致一些非次要的邻近证据无法利用,尤其是在高频解剖学边界方面。NGPS通过将结构匹配与信号检索分开来解决:对于每个遮蔽位置,它通过简单的导览图像(例如快速双侧过滤),搜索一个与结构相似的区域,同时直接从匹配坐标处的原始噪声邻居处取回监督信号。通过在获取降噪指南的同时从相邻切片中取回原始值,NGPS无需学习注册模块即可构建局部伪目标。在经过评估的CT和合成的Rician磁共振成像环境中,NGPS可提高保真度和结构敏感度指标。代码可在此 https URL 获取。

自我监督的视频消噪方法通常将基于图像的框架扩展到时间维度,但往往难以将帧间时间一致性与内部空间特异性相结合。现有的视频盲点网络(BSN)通过遮盖中心像素需要噪音独立性,这种约束会阻止使用空间证据进行纹理恢复,从而切断时间相关性并导致纹理丧失。为此,我们提出了Frames2Residual(F2R)这一时间形式脱钩框架,该框架明确将自我监督的训练分为两个不同阶段:盲间一致性建模和非盲度空间纹理恢复。在第一阶段,盲时估计器通过帧式盲法来学习帧间一致性,从而产生时间一致的锚点。在第二阶段,一个非盲空间精炼器利用这种锚点安全地重新引入中心框架,并在保持时间稳定的同时,恢复内部高频空间残差。广泛的实验表明,我们的脱钩策略使F2R在sRGB和原始视频基准测试中均优于现有的自监督方法。

现代立体声智能手机可实现沉浸式XR内容的拍摄。然而,相机模块之间的硬件异质性常常会引起严重的不对称模糊产物。现有的方法和基准在很大程度上假设了同质立体声设置,因此并未明确解决此类不对称的退化问题。为了弥合这一差距,我们为异构立体声衰减提供了一个专门的框架。首先,我们介绍由真实智能手机立体声捕捉(通过多帧集成)构建的异构立体声生成(HSD)数据集。其次,我们提出物理和超极限制交叉注意力(PECA),这是一种轻量级模块,可将交叉视图匹配限制为由光学衍生差异上界约束的超极搜索窗口。通过执行物理上有效的差异限制,PECA 实现了高效且可靠的交叉视图功能融合。此外,我们通过残余融合实现自信均衡的注意力,强调当对应关系可靠时,交叉引导的脱毛,同时在封闭或不可靠的区域自然回落至自降解。PECA 与架构无关,且持续改进了基于 CNN、Transformer 和 NAFNet 的基准。对HSD进行的广泛实验表明,PECA增强型模型以优高的效率实现修复性能的提升。

:Diffusion模型在真实世界图像超分辨率(Real-ISR)中表现出色,因其具有强大的生成性先验,但存在缓慢的迭代采样问题。尽管现有的一步蒸馏方法能加速推理,但它们通常需要辅助教师模型来充气训练记忆,并限制其在大规模架构上的可扩展性。此外,这些固定步幅模型缺乏灵活性,无法以速度换取质量。本文中,我们提出了TEASR,这是Real-ISR的一种训练高效性任意步骤的扩散框架,能够在统一模型中实现一步和多步骤的修复。我们的关键理念是在单一的扩散模型中进行自我对抗性的蒸馏,从而消除对辅助教师或歧视性障碍的需求。具体而言,我们提出一种具有时间感知的整改策略,以稳定噪声水平之间的一步生成。这两种设计进一步实现了单个GPU上20B参数扩散模型的蒸馏,显著提高了训练效率。此外,我们推出了具有解耦时间步长的双支扩散变压器,以分离当前噪声状态和去噪目标,从而提升采样质量。广泛的实验表明,TEASR 支持无缝的任意步骤采样,并且在多个数据集中始终优于最先进的方法。

单图像超分辨率(SISR)是一项基本的计算机视觉任务,旨在从低分辨率(LR)输入中重建高分辨率(HR)图像。基于变形金刚的方法通过对退化图像中的长距离依赖建模,取得了显著的性能。然而,其特征密集型注意力计算导致计算成本过高。为了提高效率,大多数现有方法将图像划分为固定组,并限制每个组内的注意力。这种群体式的关注忽视了代币相似性中固有的不对称性,从而无法实现灵活且具有代币适应性的注意力计算。为应对这一局限,我们提出了个性化探索性变换器(IET),引入了一种新颖的个性化探索注意力(IEA)机制,使每个代币都能自适应地选择自己具有内容感知能力且独立的注意力需求。这种具有代币适应性且不对称的设计能够实现更精确的信息聚合,同时保持计算效率。对标准SR基准进行的广泛实验表明,IET在可比计算复杂性下实现了最先进的性能。

Diffusion 变压器(DiT)架构在真实图像超分辨率(Real-ISR)方面具有巨大潜力。然而,它们计算成本高昂的迭代采样需要一步一步的蒸馏。现有的单步骤蒸馏方法在DiT上与Real-ISR存在挑战。它们存在基本的轨迹不匹配,并产生类似网格的周期性遗留物。为应对这些挑战,我们提出了StrSR,这是一个采用光谱和轨迹规律化的新型分步对抗蒸馏框架。具体而言,我们提出一种非对称的判别式蒸馏架构,以弥合轨迹差距。此外,我们设计了一种频率分布匹配策略,以有效抑制高频光谱泄漏引起的DiT特异性周期性工件。广泛的实验表明,StrSR在实际应用中,在定量指标和视觉感知方面均实现了最先进的性能。代码和模型将在此 https URL 上发布。