基于LiDAR引导的几何预训练方法提升视觉中心3D目标检测性能 背景介绍 近年来，多摄像头3D目标检测在自动驾驶领域受到了广泛关注。然而，基于视觉的方法在从RGB图像中精确提取几何信息方面仍面临挑战。现有的方法通常利用深度相关任务对图像骨干网络进行预训练以获取空间信息，但这些方法忽略了视角转换的关键问题，导致空间知识在图像骨干和视角转换模块之间存在错位，从而影响了性能。为了解决这一问题，本文提出了一种新颖的几何感知预训练框架——GAPretrain。 论文来源 该论文由Linyan Huang, Huijie Wang, Jia Zeng等作者撰写，他们分别来自厦门大学人工智能系、上海AI实验室OpenDriveLab以及上海交通大学。论文发表于《International Journal ...

一种通过掩码图像建模预训练探索强轻量级视觉Transformer的实验研究 学术背景 近年来，自监督学习（self-supervised learning, SSL）在计算机视觉领域取得了显著进展。特别是掩码图像建模（masked image modeling, MIM）预训练方法在大规模视觉Transformer（vision transformers, ViTs）上的成功应用，使得基于这些模型的下游任务性能得到了极大提升。然而，现有的研究主要集中在大型ViTs上，对于轻量级ViTs的预训练方法及其效果的研究相对较少。此外，尽管许多研究致力于设计复杂的轻量级ViTs架构以提高性能，但很少有工作关注如何优化预训练策略来进一步提升现有轻量级模型的表现。本文旨在探讨MIM预训练能否同样有效应用于...

高精度预测蛋白片段抑制活性的新方法：FragFold的应用 学术背景 蛋白质相互作用在细胞生命活动中扮演着至关重要的角色，而小肽（peptides）或蛋白片段（protein fragments）可以通过与特定蛋白界面结合，调节蛋白功能，甚至作为抑制剂发挥作用。近年来，高通量实验技术的发展使得在活细胞中大规模测量蛋白片段的抑制活性成为可能。然而，迄今为止，尚未有相应的计算方法能够预测哪些蛋白片段能够与目标蛋白结合并发挥抑制作用，更不用说预测它们的结合模式。这一领域的研究空白促使研究人员开发新的计算工具来解决这一问题。 AlphaFold的推出为蛋白质结构预测带来了革命性的突破，但其在预测蛋白片段与全蛋白结合方面的应用仍然有限。为了填补这一空白，Andrew Savinov等研究人员开发了一种...

在当今信息爆炸的时代，决策者面临着海量的信息，而并非所有信息都与决策相关。为了更好地在信息丰富的环境中做出最优决策，理性疏忽模型（Rational Inattention, RI）被引入经济学领域。这一模型的核心思想是，决策者需要根据信息的“显著性”来分配注意力，以减少不必要的信息处理成本。然而，传统的RI模型假设决策者完全依赖于一个主观的先验分布（prior distribution），这种假设在实际应用中可能存在偏差，特别是在先验分布存在不确定性时。 本文旨在解决这一问题，提出了一种基于先验不确定性的鲁棒理性疏忽模型（Robust Rational Inattention）。通过允许决策者对先验分布存在模糊性（ambiguity aversion），作者试图构建一种更稳健的决策框架，以应...

基于小波分析识别金融价格跳跃的新类别研究报告 学术背景 金融市场中的价格跳跃（price jumps）是指在极短时间内价格发生显著波动的现象，通常由外生因素（如突发新闻）或内生因素（市场内部反馈机制）引起。区分这两种不同类型的价格跳跃对于理解市场动态、预测极端事件以及制定有效的监管策略至关重要。然而，现有的研究方法多依赖于监督学习，需要明确的标签（如新闻事件）来分类跳跃，这在实际应用中存在局限性，因为许多价格跳跃可能并没有明确的新闻背景。 为了更好地识别和分类价格跳跃，特别是那些没有明显外生触发的内生跳跃，研究人员提出了一种无监督的分类框架，利用多尺度小波表示（multiscale wavelet representation）来分析时间序列。这一框架不仅能够捕捉价格跳跃的时间不对称性（ti...

大语言模型中的分布外泛化与组合机制研究 论文背景 近年来，大语言模型（Large Language Models, LLMs）如 GPT-4 在处理新颖任务时表现出惊人的创造力，通常只需少数示例即可解决问题。这些任务要求模型在不同于训练数据的分布上进行泛化，即所谓的“分布外泛化”（Out-of-Distribution Generalization, OOD Generalization）。尽管 LLMs 取得了巨大成功，但其如何实现分布外泛化仍是一个未解之谜。本文旨在通过研究 LLMs 在隐藏规则生成的任务中的表现，特别是通过聚焦于一种称为“归纳头”（Induction Heads, IHs）的组件，揭示分布外泛化与组合机制之间的关系。 本文的研究主要针对 LLMs 在符号推理等任务中的表...