CADialogue：基于多模态大语言模型的对话式辅助系统，实现直观参数化CAD建模的学术研究报告
一、 研究团队与发表信息
本研究由Jiwei Zhou（Heliponix, LLC）、Jorge D. Camba*（Purdue University）和Pedro Company（Universitat Jaume I）合作完成。研究论文《CADialogue: A multimodal LLM-powered conversational assistant for intuitive parametric CAD modeling》于2025年10月28日在线发表于计算机辅助设计领域的国际期刊《Computer-Aided Design》第191卷。
二、 学术背景与研究目标
本研究属于计算机辅助设计（Computer-Aided Design, CAD）、人机交互（Human-Computer Interaction, HCI）与人工智能交叉领域。其背景在于传统CAD建模存在两大挑战：1) 图形用户界面（GUI）依赖用户手动操作，学习曲线陡峭，效率受限于设计师技能；2) 新兴的基于编程的CAD（Programming-based CAD）虽然灵活、可重复，但要求用户具备编程知识，对非程序员设计师门槛极高。近年来，生成式人工智能，特别是大语言模型（Large Language Models, LLMs）的突破，为通过自然语言、图像等直观方式与CAD系统交互提供了新范式。然而，现有的AI辅助CAD工具多专注于代码生成，缺乏对多模态交互、上下文感知编辑和迭代式、对话式设计流程的系统性支持。
因此，本研究旨在开发并验证一个名为CADialogue的系统。该系统是一个多模态、LLM驱动的对话式助手，其核心目标是降低参数化CAD建模的技术门槛，使设计师能够通过自然语言、语音、图像及几何选择等直观方式，与CAD系统进行协作式、迭代式的设计对话，从而生成和修改参数化模型。研究的具体目标包括：1）构建一个模块化、后端无关的系统架构；2）评估系统在几何创建和编辑任务上的性能；3）探索多模态输入（文本与图像）对任务成功率的影响；4）验证本地缓存机制对提升重复任务执行效率的价值。
三、 详细研究流程与方法
本研究是一项应用性系统开发与评估研究，其工作流程主要包括系统设计与实现、实验设计、性能评估与对比分析三个阶段。
第一阶段：CADialogue系统设计与实现 研究首先构建了CADialogue系统，它是一个集成在开源CAD软件FreeCAD中的插件。系统采用模块化架构，包含七个核心组件，协同工作以支持交互式设计流程： 1. 多模态提示输入模块：支持文本输入、语音（通过OpenAI Whisper实时转录）和图像（PNG, JPG, JPEG格式）上传，允许用户通过多种方式表达设计意图。 2. 缓存宏检索模块：在向LLM发送请求前，系统会利用预训练的sentence-transformers模型计算当前提示与本地缓存库中已确认“良好”的宏指令之间的语义相似度。若相似度超过预设阈值（提示相似度>0.95，几何选择相似度>0.9），则直接复用缓存的宏代码，绕过LLM调用，极大减少延迟。 3. LLM驱动的脚本生成模块：这是系统的智能核心。它将用户的多模态输入（包括几何选择上下文，如选中的面、边、顶点及其坐标）整合成结构化的任务描述，发送给通用大语言模型（如GPT-4o或GPT-4.1）。系统通过精心设计的系统提示词，引导LLM生成可在FreeCAD中执行的Python宏代码。 4. 脚本验证模块：生成的宏代码会自动在FreeCAD环境中进行解析和执行测试。此模块充当安全网，过滤掉存在语法错误或运行时错误（如API调用错误、几何冲突）的代码。 5. 自动精炼模块：如果宏执行失败，该模块会将原始提示、错误信息和失败代码打包，重新提交给LLM进行修正。系统支持用户可配置的自动修正尝试次数（默认为3次），实现有界的自我修正循环。 6. 人在回路精炼模块：当自动修正无法解决问题时，系统允许用户介入。用户可以直接编辑代码，或通过对话提供更明确的指令（例如“把孔改小点”并附上截图）。系统还提供“解释模式”，LLM会生成带注释的代码供用户审查后再执行。 7. 模型审查与迭代精炼模块：支持用户对生成的模型进行视觉审查，并通过后续对话指令进行持续迭代修改，形成一个完整的设计-反馈-修正闭环。
系统的用户界面以可停靠面板的形式集成在FreeCAD中，包含提示输入区、控制按钮、模型选择器、响应显示区和手动宏执行区，确保用户无需切换环境即可完成整个交互流程。
第二阶段：实验设计与评估对象 为了系统评估CADialogue，研究设计了三类任务，共涉及80个具体案例： 1. 创建任务（70个）：基于并扩展了已有的Query2CAD数据集。研究团队对原始数据集进行了系统性的优化：解决了描述模糊问题、补充了明确尺寸、增加了新提示，并创新性地根据生成的FreeCAD宏代码所包含的CAD操作步骤数量，对任务难度进行了定量重分类（简单：≤3步；中等：3-6步；困难：>6步）。最终得到23个简单、23个中等、24个困难任务。每个任务在两种输入模式下测试：纯文本、文本+参考图像。 2. 编辑任务（10个）：这是本研究新引入的任务类别，用于评估系统基于上下文（用户选择的几何元素）进行模型修改的能力。任务包括在选定顶点创建坐标系、对选定边倒角、在选定面上添加圆柱体、克隆选定体等，涵盖了顶点、边、面、体及混合选择类型。 3. 缓存性能对比测试：针对64个在纯文本模式下成功的创建任务，对比了两种执行路径的完成时间：a) 从缓存中检索并执行已确认的宏；b) 通过实时调用LLM生成并执行新宏。
评估指标包括：创建/编辑成功率、首次尝试成功率、自动精炼迭代次数、人在回路精炼迭代次数、选择解释成功率（编辑任务）以及任务完成时间。
第三阶段：工作流程与数据分析 所有实验均在统一配置的环境中进行，使用GPT-4.1作为后端LLM。对于每个创建任务，研究者依次输入提示，记录系统从生成到最终成功（或失败）的整个过程，包括中间的精炼步骤、用户反馈（如使用“好/差”按钮）以及时间数据。对于编辑任务，首先在FreeCAD中加载基础模型，用户选择特定几何元素后输入指令，系统生成并执行修改宏。性能数据（成功率、迭代次数、时间）被系统记录并汇总。对于缓存测试，则直接重新执行已缓存的任务并计时。数据分析采用描述性统计方法，比较不同任务难度、不同输入模式下的各项指标，并通过具体案例进行定性分析，以揭示系统在不同场景下的表现模式、优势与局限。
四、 主要研究结果
研究结果全面验证了CADialogue系统的有效性和实用性。
1. 创建任务总体性能（纯文本输入）： 在70个纯文本创建任务中，系统整体最终成功率为91.43%（64/70）。任务难度对性能有显著影响：简单任务首次尝试成功率高达100%，且无需任何精炼；中等和困难任务首次尝试成功率分别为78.26%和70.83%，但通过系统的自动精炼和人在回路精炼机制，最终成功率分别提升至86.96%和87.50%。这表明系统的迭代修正机制对于处理复杂任务至关重要。平均完成时间随难度增加而上升（简单5.27秒，中等7.54秒，困难10.52秒，不含失败案例）。失败案例多涉及需要特定领域知识或复杂几何推理的任务，如生成弯管、为螺栓添加螺纹、创建弹簧等。
2. 多模态输入的影响分析： * 对已成功任务的影响：在64个纯文本已成功的任务上，增加参考图像后，最终成功率保持100%，但平均完成时间增加了近50%（从7.70秒增至11.39秒）。进一步分析发现，对于简单任务，图像未带来成功率提升，反而增加了处理开销；对于中等任务，图像略微提升了首次尝试成功率（从78.26%到80.00%），但导致精炼迭代次数和完成时间显著增加；对于困难任务，图像输入显著提升了首次尝试成功率（从70.83%到85.71%），并减少了所需的精炼迭代。这表明图像输入在解决复杂、空间关系模糊的提示时最有价值，但在简单或中等任务中可能引入额外处理负担。 * 对失败任务的恢复能力：在6个纯文本失败的任务中，有3个（50%）在提供文本+图像输入后得以成功恢复，全部来自困难任务。这证明了多模态输入在解决文本描述歧义方面的潜力。然而，仍有3个任务未能恢复，突显了当前LLM在理解复杂CAD操作和生成精确API调用方面的局限性。
结合纯文本的91.43%成功率和多模态恢复的3个额外成功案例，CADialogue在全部70个创建任务上的综合成功率达到95.71%。
3. 编辑任务性能： 在10个上下文感知的编辑任务中，CADialogue表现优异，取得了100%的最终编辑成功率，首次尝试成功率为90%，且系统100%正确解读了用户的几何选择上下文。平均完成时间为7.26秒，与中等难度创建任务相当。这些结果表明，通过恰当的提示工程，通用LLM能够有效理解并执行基于选择的CAD编辑操作，无需领域特定的微调。
4. 缓存机制效率： 性能对比测试显示，与实时调用LLM生成宏相比，从缓存中检索并执行已确认的宏，平均完成时间减少了超过85.71%。这证明了缓存机制对于加速重复性或相似设计任务的巨大价值，能够显著提升用户体验和系统响应速度。
五、 研究结论与价值
本研究表明，将通用大语言模型与适当的系统架构和提示设计相结合，无需领域特定的微调，即可实现一个强大、直观的参数化CAD对话式助手。CADialogue成功地将自然语言、图像和几何选择转换为可执行的CAD操作，在几何创建和编辑任务上均取得了高成功率。
其科学价值在于：1）提出了一个模块化、可扩展的多模态CAD交互系统架构，为未来AI辅助设计工具的开发提供了蓝本；2）通过严格的定量和定性评估，实证了多模态输入（尤其是图像）在解决复杂CAD任务歧义中的作用及其带来的效率权衡；3）验证了基于语义相似度的缓存机制在提升交互式系统效率方面的有效性；4）展示了“人在回路”的迭代精炼工作流程在实现可靠AI辅助设计中的关键作用。
其应用价值在于：CADialogue能够显著降低参数化CAD建模的技术门槛，使非编程背景的设计师也能利用代码驱动的CAD工作流的强大功能。它支持快速原型设计和迭代修改，有潜力整合到早期概念设计和教学等场景中，提高设计效率和可及性。
六、 研究亮点
七、 其他有价值内容
研究在讨论部分指出了未来方向：1）需要开发超越几何正确性的、关注参数化质量和模型语义丰富度的评估指标；2）探索集成开源权重模型以实现本地部署和领域自适应；3）长期目标是生成蕴含功能意图的、具有高层语义的CAD模型，而不仅仅是几何形状。这些展望为AI在CAD领域的深度应用指明了道路。