在野外使用SAM学习检测新物种

研究论文报告:基于 SAM 的开放世界物体检测框架 背景介绍 随着生态系统监测的重要性不断提升,野生动植物及植物群体的监测已成为生态保护和农业发展的关键手段。这些监测工作包括估算种群数量、识别物种、研究物种行为以及分析植物病害或多样性。然而,传统的封闭世界物体检测模型通常训练于已标注的单一物种数据,难以泛化到新的物种分类。 当前的生态系统研究在数据和方法上存在诸多挑战,特别是标注数据的不足以及模型对新物种的适应能力有限。基于此,来自美国伊利诺伊大学香槟分校的 Garvita Allabadi、Ana Lucic、Yu-Xiong Wang 和 Vikram Adve 提出了一种面向开放世界的物体检测框架,利用视觉基础模型 Segment Anything Model(SAM),在无需标注新物...

MassiveFold:通过优化和并行化的大规模采样揭示AlphaFold的潜在能力

解读《MassiveFold:通过优化和平行化大规模采样揭示AlphaFold潜在能力》 背景和研究问题 蛋白质结构预测是生命科学中重要的研究领域,对于揭示分子生物学的基本机制具有重要意义。近年来,DeepMind开发的AlphaFold在这一领域取得了革命性进展,其模型在预测单一蛋白质链的结构方面表现卓越,广泛应用于蛋白质组学研究。然而,随着研究需求的增加,AlphaFold在处理复杂蛋白质组装和抗原-抗体等特定相互作用时存在诸多局限,例如计算时间长、对GPU资源需求高等问题。此外,虽然通过增加预测中的循环次数和采样密度可以提升预测质量,但这些方法进一步加重了计算负担。 为应对上述挑战,本文的研究者提出了一个名为MassiveFold的新框架。MassiveFold通过优化算法和大规模采样...

从目标到源:域自适应语义分割的新视角

关于领域自适应语义分割的新视角:T2S-DA研究 背景与研究意义 语义分割在计算机视觉领域中具有重要的应用,但其性能往往依赖于大量标注数据。然而,标注数据的获取成本极高,特别是在复杂场景中,为此,许多研究转向利用合成数据来缓解标注需求的问题。然而,由于领域间的差异性(domain gap),基于合成数据训练的模型难以泛化到真实场景中。这种情况下,无监督领域适应(Unsupervised Domain Adaptation, UDA)方法成为解决此问题的有效手段,其目标是从标注的源域(source domain)迁移知识到未标注的目标域(target domain)。 传统的UDA方法主要分为两类:对抗训练和自训练。对抗训练通过分布对齐来缩小领域间的差异,而自训练则利用目标域的伪标签进行直接监...

基于三维生成对抗网络的一次性生成域适应

One-shot Generative Domain Adaptation in 3D GANs 近年来,生成式对抗网络(Generative Adversarial Networks, GANs)在图像生成领域取得了显著进展。传统的二维生成模型已经能够在多种任务中展现出极高的能力。然而,将这一技术扩展到三维领域(3D-aware image generation),以同时生成二维图像并学习三维结构,仍然面临诸多挑战。本文报道了发表在 International Journal of Computer Vision 上的一篇题为《One-shot Generative Domain Adaptation in 3D GANs》的文章。该研究由 Ziqiang Li、Yi Wu、Chaoyue...

卷积神经网络中归因图可靠性的扰动评估方法

深度学习解释性研究:基于扰动的归因图评估方法 背景和研究动机 随着深度学习模型在各种任务中取得显著成功,人们越来越关注这些模型的解释性和透明性。然而,尽管模型在准确性上表现卓越,其决策过程的可解释性仍然存在很大不足。这种不足限制了模型在实际应用中的推广,因为许多场景需要模型不仅能提供准确的预测,还需具备鲁棒性、不确定性估计以及对决策过程的直观解释能力。 在计算机视觉领域,归因方法(Attribution Methods)被广泛应用于神经网络的解释性研究。这些方法通过生成归因图(Attribution Maps,AMs),显示输入图像中哪些区域对模型的决策贡献最大。然而,由于归因图的定性特性,如何定量评估这些图的有效性仍是一个未解决的问题。本研究旨在解决归因图评估中面临的可靠性和一致性问题,为...

跨尺度共生局部二值模式用于图像分类

基于跨尺度共现局部二值模式的图像分类方法研究 图像分类技术在计算机视觉领域中占据重要地位,而图像特征提取是该领域的核心研究方向。近年来,局部二值模式(Local Binary Pattern, LBP)由于其高效性和描述能力被广泛应用于纹理分类、人脸识别等视觉任务中。然而,传统的LBP方法在处理几何变换(如旋转、缩放)和图像噪声时表现出明显的局限性。针对这些问题,重庆邮电大学的肖斌等研究团队在《International Journal of Computer Vision》期刊上发表了题为“CS-COLBP: Cross-Scale Co-Occurrence Local Binary Pattern for Image Classification”的研究论文,提出了一种新的图像特征提取...