这篇文档属于类型a，是一篇关于大语言模型（LLM）零样本推理能力的原创研究论文。以下为针对该研究的学术报告：
一、作者与发表信息
主要作者：Takeshi Kojima（东京大学）、Shixiang Shane Gu（Google Research, Brain Team）、Machel Reid（Google Research）、Yutaka Matsuo与Yusuke Iwasawa（东京大学）。
发表会议：第36届NeurIPS（2022年）。
二、学术背景
研究领域：自然语言处理（NLP）中的大语言模型（LLM）推理能力。
研究动机：尽管LLM在少样本学习（few-shot learning）中表现优异，但其在需多步推理的“系统2任务”（如数学计算、符号推理）中的零样本（zero-shot）能力未被充分探索。传统方法依赖任务特定的示例设计（如Chain-of-Thought, CoT），而本研究提出了一种无需示例的通用提示方法。
核心问题：能否通过简单提示（如“Let’s think step by step”）激发LLM的零样本多步推理能力？
三、研究流程与方法
1. 实验设计
- 任务类型：涵盖算术（如MultiArith、GSM8K）、符号推理（如Last Letter、Coin Flip）、常识推理（如CommonsenseQA）和逻辑推理（如日期理解、对象追踪）等12个数据集。
- 模型选择：包括InstructGPT（text-davinci-002）、GPT-3（175B参数）、PaLM（540B参数）等17种不同规模的模型。
- 基线对比：对比标准零样本（zero-shot）、少样本（few-shot）及少样本CoT（few-shot-CoT）方法。
2. 方法创新：Zero-Shot-CoT
- 两阶段提示：
- 推理生成阶段：在问题后添加触发句（如“Let’s think step by step”），引导模型生成逐步推理过程（如“There are 16 balls… half are golf balls…”）。
- 答案提取阶段：基于生成的推理文本，通过二次提示（如“Therefore, the answer is”）提取最终答案。
- 通用性：同一提示模板适用于所有任务，无需针对不同任务调整示例或模板。
3. 数据处理与分析
- 答案清洗：从模型输出中提取首个符合格式的答案（如数值、选项字母）。
- 评估指标：准确率（accuracy），对比基线方法的性能提升。
四、主要结果
1. 性能提升
- 算术任务：
- MultiArith：准确率从17.7%提升至78.7%（InstructGPT）。
- GSM8K：从10.4%提升至40.7%，优于微调GPT-3（33%）和少样本PaLM（17.9%）。
- 符号推理：Last Letter任务准确率从0.2%提升至57.6%，Coin Flip从12.8%提升至91.4%。
- 模型规模效应：Zero-Shot-CoT的性能随模型规模增大显著提升（如PaLM 540B在GSM8K达70.1%）。
2. 与基线对比
- 少样本CoT依赖任务匹配：若示例与任务类型不匹配（如用常识推理示例解决数学问题），性能下降27%。
- Zero-Shot-CoT稳定性：单一提示在所有任务中表现稳健，无需人工设计示例。
3. 错误分析
- 常见错误类型：
- 多余推理步骤导致答案修正错误（如算术任务中正确结果后被错误覆盖）。
- 常识推理任务中生成合理但最终错误的逻辑链（如“玩具车应在房子内”，正确答案为“儿童房间”）。
五、结论与价值
- 科学价值：
- 揭示了LLM未被开发的零样本多步推理能力，证明简单提示可激发其“广义认知能力”（broad cognitive capabilities）。
- 提出了一种最小化人工干预的通用推理方法，为复杂任务提供了新的基准。
- 应用价值：
- 减少对少样本示例的依赖，降低实际部署成本。
- 为后续研究探索LLM的隐藏能力（如逻辑推理、系统2任务）提供了范式。
六、研究亮点
- 方法创新性：首次通过零样本提示实现多任务推理，突破传统少样本CoT的限制。
- 可扩展性：在175B至540B参数的模型上均验证了性能增益，符合LLM的缩放定律。
- 跨任务通用性：单一提示覆盖算术、符号、常识等多样任务，暗示LLM可能存在高级别的统一推理机制。
七、其他发现
- 提示模板鲁棒性：实验对比16种提示模板，发现鼓励分步思考的语句（如“First,” “Let’s think logically”）均有效，但“Let’s think step by step”最优。
- 社会影响：研究强调需优先挖掘LLM的零样本知识，而非依赖微调或少样本设计，可能减少数据偏见引入的风险。
此研究为LLM的推理能力探索开辟了新方向，其方法论和结论对NLP领域具有深远意义。