2026年11月10日,研究人员Xianchuan Meng与Ziyu Tong公布一项面向建筑设计领域的多模态检索增强生成框架研究,相关成果发表于《Architectural Intelligence》。该框架将多模态大语言模型与统一知识库结合,用于处理建筑规范、结构图示、性能表格和施工图纸等异构资料。

传统文本检索增强生成在处理建筑技术资料时存在明显局限。建筑消防、无障碍和结构细化的要求经常通过图示、剖面标注及矩阵表格表达,若仅将其转换为纯文本,几何关系、空间布局和层级标题容易丢失,进而影响系统对监管约束的判断及回答与权威文件之间的可追溯性。
为解决这一问题,研究团队提出领域定制化的M-RAG框架,通过统一语义嵌入空间、表格双模式分解和自适应查询处理构建跨模态检索流程。在数据预处理阶段,框架使用Qwen2.5-VL等视觉语言模型将表格逐行解析为自然语言段落,同时保留高分辨率表格图像,并结合自动筛选与人工校正修复旧图和合并单元格。
框架分别以文本编码器和视觉编码器处理两类内容,再利用加权特征融合生成共享语义向量。用户以文字、图片或混合形式提出问题时,系统可在同一向量空间内计算相似度并检索对应资料。团队还加入相关性过滤、查询规范化及领域门控模块,以减少无关上下文进入生成环节。

研究使用CLIP、VisualBERT和字节跳动的Doubao三种多模态嵌入模型进行对比,评估集包含80组图文样本和20组纯文本建筑样本。CLIP的平均图文余弦相似度为0.25,VisualBERT为0.46,Doubao达到0.55;统计检验显示Doubao与前两者的差异显著,p值小于0.001,因此被选为核心嵌入模型。
查询预处理实验还显示,将冗长、含礼貌用语及疑问前缀的提示逐步规范化为精简查询后,其与原始技术文本的余弦相似度由0.62提升至0.72。该机制有助于系统更稳定地定位规范条款、图表和工程说明。

这项研究的资料来源包括《民用建筑设计统一标准》GB50352-2019、中国建筑学会编制的《中国建筑设计手册》、专业教材及经验证的工程案例,并排除非正式网络博客。M-RAG通过保留视觉结构和表格层级,为建筑设计中的复杂技术问答提供可追溯依据,同时降低技术幻觉风险。
OpenClaw—AI研究