多智能体人机协同将手绘平面图转换为三维BIM模型

重点推荐

题目： 多智能体人机协同将手绘平面图转换为三维BIM模型

原题： Multi-agent human-AI collaborative framework for converting hand-drawn floor plans to 3D BIM

作者： Abir Khan Ratul, Sanjay Acharjee, Somin Park, Md Nazmus Sakib

发表日期： 2026-09（出版社卷期日期，论文已在线发布）

来源： Automation in Construction, Volume 189, Article 106984

关键字： 手绘图到BIM、多模态大模型、多智能体、几何信息提取、人机协同

研究方向： 方向1：多模态大模型与BIM融合、方向5：BIM自动重建与参数化生成

DOI： 10.1016/j.autcon.2026.106984

摘要： 现有平面图自动转BIM方法通常要求输入为干净、带比例的CAD图，对含有非平行或非正交墙体、不完整房间边界、比例不一致和个性化符号的手绘草图支持有限。本文提出人机协同的Sketch2BIM框架，把手绘平面图转换为结构化LOD 200 BIM模型。框架在多智能体系统中使用多模态大语言模型，迭代提取墙、门、窗的结构化JSON布局，再将其转化为BIM生成脚本。十张平面图实验表明，首轮即可可靠检测门窗；墙体识别取决于草图复杂度，最低精确率为0.83，并可通过迭代反馈提升至接近完全一致。后续迭代能够修正几何，使早期BIM模型与设计意图相符。

总结：
过去：传统平面图自动转BIM方法依赖干净、带比例的CAD图纸，无法处理手绘草图中常见的非正交墙体、不完整房间边界、比例不一致及个性化符号等问题，导致手绘草图在BIM建模中应用受限。

现在：本文提出人机协同的Sketch2BIM框架，利用多智能体系统与多模态大语言模型，迭代从手绘平面图中提取墙、门、窗的结构化JSON布局，并转换为LOD 200 BIM模型。实验表明首轮即可可靠检测门窗，墙体识别精确率最低0.83，经迭代反馈可接近完全正确，有效解决了手绘图几何不规范的难题。

工程价值：该框架可应用于建筑设计初期的概念草图快速转化为BIM模型，辅助建筑师进行方案推敲与迭代；也可用于老旧建筑手绘图纸的数字化重建，降低手动建模成本。未来有望与实时设计协同平台结合，提升人机协作效率。

========================================================== ==========================================================

相关推荐

1. Alchemy：基于模型的核系统二维到三维自主设计方法

原题： Alchemy: A model-based approach for 2D to 3D autonomous nuclear system design

作者： Harleen Kaur Sandhu、Nicholas Cole Crowder、Peter Anton Suyderhoud、Abhinav Gupta、Adam Pluth、Samantha Thueson、Drew Rizk、Maria Eduarda Montezzo Coelho

发表日期： 2026-07-15

来源： Nuclear Engineering and Design

关键字： Engineering、Systems design、Computer science、Control engineering、Systems engineering、Control system、Mechanical engineering、Nuclear power、Nuclear industry、Mockup

DOI： https://doi.org/10.1016/j.nucengdes.2026.115100

摘要： 核电站（NPP）管道与设备系统的工程设计常常绕过关键的二维系统规划，直接进入三维建模。这往往导致设计超出建筑围护结构约束，迫使进行昂贵且耗时的重新设计。当采用二维建模时，将系统图转换为三维模型需要在互不兼容的专有工具之间进行劳动密集的人工工作流，每一步都会引入解读错误和数据丢失。目前尚无现有框架能够直接从二维核系统定义端到端自主生成符合工业基础类（IFC）标准的三维建筑信息模型（BIM）。本文提出了Alchemy，一个基于模型的自主框架，通过将四种能力集成到单一共享数据模型中来弥补这一空白：（i）捕获层级化核系统拓扑、设备几何及组件间连接性的基于Web的界面；（ii）两阶段设备布局优化算法；（iii）通过确定性A*搜索和随机蚁群优化（ACO）实现的自动化管道布线方法；（iv）原生IFC 4.0几何生成管线，可直接在符合标准的BIM层级结构中实例化建筑、设备和管道对象，无需专有软件或转换伪影。通过一个共享数据模型集成这些能力（而非单独任一能力）是主要贡献，从而在从二维图到最终IFC几何的全过程中保持系统同一性，无需专有转换。在两个典型压水堆（PWR）反应堆配置上的验证表明，Alchemy生成了完全连接、符合IFC标准的三维设施模型，满足所有几何和系统约束，案例1（五台设备、六条管道连接）用时47秒，案例2（十台设备、八条管道连接）用时约2分钟。这项工作标志着核设施初步设计迈向数字工程的基础性一步，未来将持续开发以面向设计规范合规性和更复杂的系统。

2. 面向构件BIM模型迭代生成的视觉语言模型BIMVLM

原题： BIMVLM: A vision-language model for iterative generation of component BIM models

作者： Hao Zhang, Junwei Yan, Quan Liu, Jun Yang, Yiwen Su, Zhewen Li, Shujie Chen

发表日期： 2026-06-10

来源： Expert Systems with Applications, Volume 315, Article 131765

关键字： 视觉语言模型、构件BIM生成、建模动作规划、Revit API、参数化建模

DOI： 10.1016/j.eswa.2026.131765

摘要： BIM是建筑与交通基础设施全生命周期管理的重要基础，但现有模型生成方法在效率和灵活性方面仍有不足。多模态大语言模型的理解与生成能力为BIM生成提供了新思路，然而多模态输入与结构化BIM表达之间的模态鸿沟仍是关键挑战。本文提出用于构件BIM模型迭代生成的视觉语言模型BIMVLM。研究首先把BIM生成形式化为由自然语言描述驱动的建模动作序列；随后联合自然语言和多视图图像，由视觉语言模型自动规划动作序列；最后通过提示工程将动作转化为可执行代码，生成相应BIM模型，并根据生成结果迭代优化。不同复杂度模型的实验获得了令人满意的建模表现，原型系统进一步证明了该方法的工程可行性。

3. 集成Rhino与多模态大语言模型的强类型施工装配代理

原题： A Strongly Typed Assembly Agent for Construction Integrating Rhino and Multimodal Large Language Models

作者： Song Du、Wei Tong、Yiwei Weng

发表日期： 2026-06-22

来源： Proceedings of the ... ISARC

关键字： Computer science、Artificial intelligence、Programming language、Human–computer interaction、Field (mathematics)、Natural language processing、Semantics (computer science)、Natural language、Modeling language、Set (abstract data type)

DOI： https://doi.org/10.22260/isarc2026/0043

摘要： 建筑中的装配任务具有定制化构件、复杂连接关系和动态环境的特点，使得为固定工作流程设计的传统方法难以可靠地复用。本文提出了一种装配代理框架，该框架集成Rhino空间数据与多模态大语言模型，实现了从数字模型到机器人执行的端到端闭环控制。首先，该框架将Rhino和机器人功能封装为强类型API，将代理决策约束在可执行的动作空间中，以减少幻觉调用。然后，该框架建立了Rhino空间与机器人空间之间的坐标一致性，确保规划和执行在统一的参考系下进行。第三，该框架采用构件颜色标注机制，在视觉输入中持续反映装配进度，并与执行日志一起形成可追溯的证据。在两个缩尺装配案例（一个桌子和一个建筑立面）上进行的实验表明，装配序列准确率和安全规划率均超过95%，表明所提框架在闭环决策下具有序列规划一致性和执行安全保障能力。

4. 融合拓扑优化的全自动混合学习Scan-to-BIM管线

原题： BIMStruct3D: A Fully Automated Hybrid Learning Scan-to-BIM Pipeline with Integrated Topology Refinement

作者： Mahdi Chamseddine, Fabian Kaufmann, Marius Schellen, Christian Glock, Didier Stricker, Jason Rambach

发表日期： 2026-04-27

来源： European Conference on Computing in Construction 2026；arXiv:2604.24311

关键字： Scan-to-BIM、结构构件识别、点云语义分割、拓扑重建、IFC生成

DOI： https://arxiv.org/abs/2604.24311

摘要： 从建筑扫描数据自动生成BIM是建筑与施工领域的重要挑战。本文提出BIMStruct3D模块化管线，用于从三维点云生成符合IFC标准的BIM。该混合方法将基于学习的语义分割与拓扑感知的几何重建相结合，以准确建模结构构件。论文提出vIoU指标，将基于体素的重叠评价适配到Scan-to-BIM任务，从而无需实例匹配即可整体比较重建模型与真实模型。研究还发布了德国医院数据集DeKH，包含高分辨率点云、真实BIM和语义标注。在DeKH和CV4AEC数据集上的实验相较于RANSAC基线取得了显著改进，显示出良好的稳健性和可扩展性。

5. 基于点云数据的混凝土箱梁内部三维重建框架

原题： A Framework for 3D Reconstruction of Concrete Box-Girder Interiors from Point Cloud Data

作者： TaeGyu Kim、Seunghun Im、Duho Chung、Sungwoo Cho、신일형、Hyeongu Ji、Hyoungkwan Kim

发表日期： 2026-06-22

来源： Proceedings of the ... ISARC

关键字： Point cloud、Geology、Point (geometry)、Computer science、Artificial intelligence、3D reconstruction、Computer vision、Remote sensing、Key (lock)、Cloud computing

DOI： https://doi.org/10.22260/isarc2026/0265

摘要： 混凝土箱梁的检查对于确保PSM桥梁在服役期内的结构性能至关重要。随着3D感知和点云处理技术的进步，基于3D数据的方法越来越多地应用于桥梁检查。本文提出了一个混凝土箱梁内部三维重建流程，可直接从扫描数据生成CAD模型。通过配备LiDAR传感器的四足机器人获取箱梁内部的点云数据，进行预处理，然后使用深度学习模型语义分割为内部组件。分割后的点云数据通过基于切片块的重建算法转换为3D CAD模型。该方法在真实混凝土箱梁内部数据上进行了验证。点云分割达到94.1%的mIoU。生成的CAD模型的几何精度通过网格到点云距离评估，平均距离为0.025 m。结果表明，该流程可以有效构建混凝土箱梁内部的竣工3D模型，支持高效的数据驱动检查。