基于事件相机的自监督快门复原方法

基于事件相机的自监督快门展开方法 研究背景与问题提出 在计算机视觉领域,从滚动快门(Rolling Shutter, RS)图像中恢复无失真的全局快门(Global Shutter, GS)视频一直是一个极具挑战性的问题。RS 相机由于逐行曝光机制,在动态场景中容易产生空间扭曲(如抖动和倾斜),这在高速运动场景中尤为明显。尽管现有的方法可以通过人工假设或特定数据集的特性来纠正 RS 效应,但这些方法往往在复杂非线性运动的真实场景中表现不佳。此外,许多方法依赖于合成数据集进行训练,导致在真实场景中性能下降,即所谓的“合成到真实”差距。 为了解决这些问题,本文作者提出了一种基于事件相机的自监督学习框架——SelfUnroll,旨在通过利用事件相机的高时间分辨率信息,实现从 RS 图像到连续时间 ...

基于高流视频的自监督生产异常检测与进度预测

基于高流视频的自监督生产异常检测与进度预测 背景介绍 在现代化的制造业中,实时生产监控、进度预测和异常检测是确保生产质量和效率的关键。然而,传统的基于视觉的异常检测方法在处理生产过程中的背景噪声方面存在显著不足,且往往忽略了生产阶段的异质性。许多制造环境,如飞机生产,涉及人机协作或高精度手动装配任务,这些操作通常难以通过嵌入式数字传感器进行监控,而实时操作视频却易于获取。虽然视觉生产监控已在产品表面检测等应用中广泛使用,但现有算法在区分正常背景变化与生产相关异常方面仍面临挑战。 为了解决这些问题,来自清华大学工业工程系的Yifan Li等人提出了一种集成方法,将进度预测与异常检测相结合,采用自编码过程概率嵌入(Autoencoder Process Probability Embedding...

使用自监督深度学习解决冷冻电镜中的偏好取向问题

克服单粒子冷冻电镜中的优选取向问题:深度学习的创新解法 背景介绍 近年来,单粒子冷冻电子显微镜(Single-Particle Cryo-EM)技术因其能够解析生物大分子在接近天然状态下的原子分辨率结构,已成为结构生物学领域的核心技术。然而,在实际应用中,研究者一直面临一个棘手的技术瓶颈,即“优选取向”(Preferred Orientation)问题。这一问题主要由于生物分子在冷冻电镜网格上分布不均,导致在某些方向上的数据采样不足。这种取向偏差通常是由样品制备过程中分子与空气-水界面(Air-Water Interface, AWI)或支撑膜-水界面的相互作用引起的。 优选取向问题在三维重构中显得尤为突出,因为它带来的各向异性(Anisotropy)会使三维结构受损,甚至失真,具体表现为二...

深入研究长尾图像识别中的简单性偏差

学术背景与问题提出 近年来,深度神经网络在计算机视觉领域取得了显著进展,尤其是在图像识别、目标检测和语义分割等任务中。然而,当面对长尾分布(long-tailed distribution)数据时,即使是目前最先进的深度模型也表现不佳。长尾分布指的是数据集中少数类(tail classes)的样本数量远远少于多数类(head classes)的样本数量。这种数据不平衡问题在许多实际应用中普遍存在,例如管道故障检测和人脸识别等。 长尾图像识别的主要挑战在于如何有效处理数据不平衡问题,尤其是如何提升少数类的泛化性能。常见的解决方案包括重采样(re-sampling)、损失重加权(loss re-weighting)和数据增强(data augmentation)等。然而,这些方法往往无法从根本上...

基于高阶几何结构建模的点云无监督域适应

基于高阶几何结构建模的点云无监督领域适配 研究背景及动因 点云数据是一种描述三维空间的关键数据形式,广泛应用于自动驾驶、遥感等现实场景中。点云可以捕获精确的几何信息,但在跨设备或跨场景应用时,采集点云的几何特性可能会由于传感器噪声、采样方式及环境影响而发生显著改变。这种显著的几何变化(即领域间差距,domain gap),导致了在一个领域进行训练的神经网络难以在其他领域上保持性能。这一问题限制了点云深度学习方法在实际应用中的推广。 目前,无监督领域适配(Unsupervised Domain Adaptation, UDA)为解决这一问题提供了一种有效途径。其核心目标是将源领域(有标签数据)的知识迁移至目标领域(无标签数据),通过学习共享结果的跨域特征表征来缩小领域间差距。然而,已有方法主要...