AR Digi-Component
参数化建筑领域的AR辅助沉浸式设计与机器人建造工作流
-
by YANG SONG1, RICHARD KOECK2 and SHAN LUO3
1,2 Department of Architecture, University of Liverpool
1,2 {yang.song|rkoeck}@liverpool.ac.uk
3 Department of Computer Science, University of Liverpool
3 Shan.Luo@liverpool.ac.uk
CAADRIA 2021, Volume 2, 253-262.
本文试图将建筑中的构件进行数字化处理，结合AR技术来探索新的建筑设计与建造的可能性。AR技术和数字化的构件将帮助我们实现沉浸式的设计和AR辅助机器人建造的流程。我们搭建了三种不同的使用场景作为实验原型。1）在沉浸式的设计流程场景中，设计师的手势将会被识别，便于设计方案的修改。2）在现场建造场景中，三维的全息投影将会替代二维图纸来指导工人建造。3）在机械臂搭建的场景里，在AR环境中对机械臂的模拟与操控，提高了建造效率与安全性。在本文中，我们把初步的研究成果公布出来跟大家分享。我们进行了三个场景原型的AR辅助实验，使用到的硬件包括优傲UR10机械臂和微软Hololens，软件包括Rhino 和 HAL Robotics, FURobot, PX Simulate, Fologram等Grasshopper插件，展现了AR技术在实时、沉浸式设计和机器人建造方面的新应用和新工作流。
增强现实，沉浸式设计，全息投影辅助建造，机器人建造，实时交互
自从互联网和移动计算机等新技术出现以来（包括我们的手机），我们在日常生活中看待周围环境以及与周围环境进行互动的方式都发生了巨大变化。最近出现的 AR 技术似乎又开辟了沉浸式领域的另一个新方向。AR（增强现实）是一个相对较新的技术领域，它生成可以在现实世界中查看和交互的虚拟模型和信息 (Do Carmo, 2007 年) 。换句话说，AR 在虚拟和现实世界之间搭起了一座桥梁，提供了在不久的将来可以为建筑和施工领域中利用的各种新的交互场景。让我们一起来看看三个常见的设计工作场景原型的实验，并探究 AR 技术如何优化它们。
场景1 — 设计流程
在当前的设计流程中，建筑设计师和场外技术人员习惯使用二维平面图、三维模型和效果图来了解复杂的建筑，并配合局部的修改来完善他们的设计草稿。这些信息通过纸张和屏幕来传达，但纸张和屏幕提供的是平面化的预览，设计师没有身临其境预览的可能性，这意味着他们无法在方案被建造之前体验他们设计的建筑空间，也无法在传统设计流程中根据身临其境般的空间体验来进一步优化并修改设计草案。
AR 在设计流程中提供了一个新的功能，设计师可以在身临其境的空间中以全息投影的方式展示他们的设计草案，并可以直接使用基于手势识别和基于手柄的输入来进行互动交互 (Sheldon，2016 年) 。AR 的特点是简单、对用户很友好以及直观交互。我们想在场景1中，通过结合 AR 的上述功能特点来创建一个沉浸式的设计流程，以探索 AR 是否真的可以在设计过程中为设计师提供身临其境的修改和预览方式，实现现场预览和实时输入交互。
场景2 — 现场建造流程
传统的建筑建造过程需要熟练的劳动力和复杂的设备来将非常详细的二维图纸定位，并将其转换为现场的施工指南。传统的建造方式在施工中的许多领域都得到了普遍的应用，但其仍存在一系列不足，包括当前的工作流程不够省时，并且容易出现人为的错误；所有这些不足都是由于在建造过程中将二维信息转换为现场三维施工时的误差造成的，尤其是对于某些复杂的建筑结构而言 (Jahn, 2019) 。从事建造工作的人在很大程度上依赖于二维施工图。结构越复杂，在施工信息转译的过程中就越费时并且越容易出现错误。
为了减少二维图纸和三维建造操作之间的误差，AR 技术采用了一种基于全息投影的高精细度现场图像化指南，用于指导建筑建造过程 (Tsai，2020) 。比例为 1:1的全息投影施工指南，使用户能够在实际施工之前浏览项目，并使非熟练工人在建造过程中逐步学习施工技术 (Imani, 2017) 。这可能为 AR 技术在辅助施工方向，尤其是在复杂和非典型形态的建筑施工中，提供新的可能性。场景2产生的研究问题是，AR 技术能否在施工过程中替代传统的二维详图。
场景3 — 机器人建造流程
尽管数字制造在建筑施工等许多领域得到了广泛应用，但也仅限于建筑材料或构件不适合手工制作时，并且目前还存在着一系列问题。机器人的操作过程需要拥有计算机学科和编程背景知识的专家，这类专家在传统的建筑设计工作室中是找不到的 (Schmidt，2017) 。此外，尽管大多数机器人都是通过远程操作来控制的，并且在实际操作之前都需要进行基于操控面板的可视化模拟，但它在操作过程中仍然会涉及一些难以预估的危险情况 (Olar，2019) 。
AR 通过直观的现场三维全息投影，使机器人操作更简单、更安全，并提供比传统技术更快、更直观的基于手势的机器人编程方法 (Ong，2020) 。我们认为，AR 的这种可视化属性可以为用户提供直观的、基于手势的机器人运动轨迹编程，而不需要依赖传统的计算机代码编程，并提出在实际建造之前进行现场的虚拟机器人的全息投影操作模拟，以更直观地预测危险或错误发生的可能性。在场景3中，我们研究的问题是 AR 技术将如何改进传统机器人在建造过程中的一系列操作。
图 1. AR 辅助设计 + 建造的完整工作流 图源：作者自绘
本文将详细阐述参数化建筑的 AR 辅助设计和建造工作流。希望我们的研究能够展示 AR 的潜力，因为它可以应用于很多建筑专业的场景中，例如在立面施工或其他高度劳动密集型的建造过程中。在此，我们希望能够为 AR 技术和人机协作在建筑专业中的应用提出一些见解（图1）。
为了测试这种沉浸式的，身临其境的设计流程和机器人建造的工作场景，我们一直在寻找一种在当前施工过程中十分依赖人工的材料，这种材料应该易于在 AR 系统中被识别，并且易于与软件中的参数化设计逻辑相连接。经过多次探讨，最终我们选择使用标准英国砖作为 AR Digi-Component 的主要设计和建造材料来进行我们的原型测试。英式砖块的标准尺寸为 215 x 120.5 x 65 mm，便于 AR 设备跟踪、识别和预览。对砖材料的应用启发了我们如何将新技术应用于传统建筑材料以取得独特的成果，并且可以被重新设计和重新利用。
关于 AR 设备，我们选择了常用的手持和头戴式显示器 (HMD)：Apple 的 iPhone 以及 Microsoft 的 HoloLens 1。对于手持式的AR设备，iPhone 的 ARKit 使我们能够实现基于屏幕的 AR 体验。对于 头戴式的 AR 设备，Microsoft HoloLens 能够为用户提供释放双手的 AR 体验，使用户能够沉浸在数字内容中并与现实世界中的全息图互动 (Song，2020) 。
在软件和插件方面，我们的 AR 辅助设计与建造工作流主要在安装有 Fologram 插件的 Grasshopper 中设计，并应用于安装有 Fologram App 的 iPhone 11 和 HoloLens 1 。Fologram 插件提供了在 AR 环境中与 Grasshopper 中的参数进行交互的可能性，Fologram App 提供了人体手势识别、屏幕点击识别、设备空间位置以及手机和 HoloLens 上的客户端。为了整合 Grasshopper 的功能和第三方 API - Fologram，我们创建了一个独特的 AR 设计和建造的工作流程。
在我们的原型实验示例中，我们设置了影响设计输出结果的多个参数变量。这些参数变量与 Grasshopper 中的参数相连，并作为参数滑块显示在 Fologram App上，供设计师进行交互。为了完成整个工作流，我们还将 Fologram App 与 FURobot 和 HAL robotics 插件相结合，以实现基于 AR 手势的操作命令和机器人制造的现场虚拟仿真。
总之，在以下三个实验中将介绍，我们创造了一种多阶段的方法，使我们能够开发、测试和改进 AR 辅助的实时、沉浸式设计流程和参数化建筑的机器人建造流程。
AR Digi-Component Tests
情景化场景实验
图 2. 基于手机屏幕客户端交互界面的AR辅助设计流程 图源：作者自绘
场景实验1运用手持 AR 设备 iPhone 11，探索 AR 实时设计修改与辅助建造的可行性。实验1在手机客户端设置了许多可调参数滑块，它们会影响设计的结果。可调参数滑块包括多个部分，涵盖了整个设计过程，如砖砌体基本层形状布置、堆叠层数、砌体柱的旋转角度、砌体柱的变形控制线、砌体叠加图案的间隙距离等。这些滑块显示在 Fologram App 中，并直接与 Grasshopper 中的参数连接，实时显示在移动设备屏幕上的 Fologram App 界面中，供设计人员使用手机屏幕上的“按下”、“拖动”、“释放”等操作进行修改。在扫描AR二维码进行现场定位确认后，设计结果会根据实时的参数输入，动态地显示在 iPhone 11 屏幕上（图2）。这种动态设计方式，为设计者和参与者提供了直观的全息投影结果预览视图和实时修改的交互方式。形体设计完成后无需进一步修改，电子模型将被发送到 Grasshopper 中的 PX Simulate 插件。设计人员可以在 AR 环境中身临其境地预览整个砌体构筑物的物理表现。
图 3. 结构稳定性模拟以及基于手机的AR现场建造指引 图源：作者自绘
对于 AR 辅助的建造过程，实验1 提供了按步骤详解的全息投影指引。用户可以将 Fologram App 界面上的开关从“AR 设计”切换到“AR 建造”。激活建造界面后，用户将首先预览要使用的砖块数量，然后被移动设备上显示的虚拟指令引导至每块砖块的位置。例如，用户可以在屏幕上看到第一层砖块所在位置的红色目标线，然后将砖块一个接一个地按红色全息投影放好，使其与第一层的红色目标线对齐。之后，用户可以通过应用程序滑动滑块以继续完成接下来一层的组装。已经完成的层将不再显示虚拟模型。只有正在建设的一层会用直观的红色目标线高亮显示。用户只需按照现场的红色目标线，以及手机上显示的虚拟模型一步步完成建造即可（图3）。
实验1展示了 AR 修改设计稿的直观方法与激发用户创意的可能性。虽然我们没有测试完成建造所需的时间，但很明显能够看出，AR 全息投影的建造引导指南有可能减少将二维图纸转换为三维建造指南所花费的时间，从而提高整个建造过程的效率。这种 AR 辅助的建造过程不再需要熟练的施工人员。在这个设计、建造系统中，设计师和工人可以是同一个人。
虽然本次的实验1很成功，但由于设计人员只能通过调整数量有限的滑块来输入参数，所以它对设计的多样性的局限性很大。手机端的 AR 体验在实践中也存在很多不足，并且这种基于屏幕的沉浸式体验也不太好，因此目前对于真实尺度的沉浸式设计体验来说并不理想。这是因为虚拟模型的预览和所有交互输入都发生在屏幕上，与手机屏幕设备的交互自然会意味着缺乏更沉浸式的体验。此外，由于移动设备对空间环境的扫描识别的精度不够，人们观察显示在手机屏幕上的全息模型与实物结果之间往往存在1~2厘米的误差。此外，施工人员需要用一只手握住手机，另一只手进行建造，在操作过程中并不方便而且还存在着安全隐患。因此，下一步就是要找到一种集成度更高的 AR 沉浸式体验方法，该方法能够通过全息头戴式设备而不是手持设备提供建造指引。
场景2 — AR增强的沉浸式设计修改与辅助建造
场景实验2 探索了使用头戴式显示器 (HMD) 进行 AR 沉浸式设计与建造的可能性，该显示器能够直接在工作人员的视野中投射数字信息和 三维物体，形成具有空间属性的全息投影。为了完成这个实验，我们使用 Microsoft HoloLens 1设备，该设备利用基于红外传感器和镜头空间识别与探测等技术来辅助我们的设计与建造流程。
我们通过手势追踪、手势识别、设备位置识别等方式，给设计师更多的可能性，以及更真实、流畅、直观的 AR 沉浸式设计体验。首先，设计师可以扫描 AR 二维码，通过 HoloLens 进行现场确认。之后，设计师可以通过 Hololens 中的手势操作，在 AR 环境中现场“绘制”出砖墙的平面控制线。
图 4. 基于手势的沉浸式设计流程 图源：作者自绘
在之前的实验场景中用手机预览设计造型的基础上，这次的实验更进一步，将建筑以三维全息投影的形式直接叠加在建筑工地上，并实时调整控制线。在此之后，设计师可以通过“点击并按住”的 Hololens 手势调整表面上显示的控制点进而修改造型（图4）。方案造型确定后，设计师可在HoloLens 中用全息模型的方式在施工现场预览砖墙，并可通过与 AR 交互来调整砖块数量、砖块角度、砖块结构密度、砖块图案排列等。
对于 AR 全息建造部分，实验2为用户提供了与实验1一样直观的沉浸式全息建造指引。实验2没有使用手持式设备 (iPhone 11)，而是选择了头戴式设备 HoloLens，因此设计师可以在现场的全息投影模型中走动并使用手势调整建造进度。与实验1的主要区别在于，实验2是一种释放双手的工作流程，可为用户提供更灵活的操作和更身临其境的 AR 体验。
实验2的方法更加身临其境，更加直观。极高的沉浸度也更有助于佩戴 HoloLens 的设计师修改现场模型并将其转化为真实结构。操作起来比使用手机更方便，因为 HoloLens 可以识别手势甚至是语音命令。
然而，这样的系统也存在技术问题。HoloLens 中的传感器会受到周围光线条件的影响。例如，如果自然光线的过多或过少，全息模型则会难以将模型锁定在我们想要的位置。此外，Grasshopper 和 HoloLens 之间的实时通信速度为 4.136 Mb/s。因为这个过程比实验 1 需要进行更多的计算，所以全息图的显示会有一点滞后。从 Grasshopper 到 HoloLens 的信息转换需要具有良好连接和速度的互联网，例如 wifi 和 4G。如果网络连接不佳，也会导致全息图和实时修改的延迟。因此，有时需要重新启动设备并重新扫描二维码以修正施工的位置。
此外，对于大型的建造项目，某些材料可能超出人的手工作业范围，如混凝土砌块、大型木材、金属砌块等。所以对于大型建造项目，这种 AR 辅助设计与建造的工作流程将需要机器人的介入。
场景3 — AR增强的机器人建造
场景实验3选择了与实验1相同的砖柱设计，但这次我们将机器人建造添加到 AR 辅助设计与建造的工作流程中。一般来说，我们需要掌握计算机科学和相应编程知识来规划机械臂的操作。在实际运行中，机械臂的错误通常比计算机模拟的时候更多。如果工人与移动的机械臂恰巧处于同一空间或在机械臂的移动路径上，就能发现，这个过程是很危险的。AR 为我们提供了一种交互式的虚拟机器人控制方法和现场全息机器人轨迹模拟，避免了传统机器人工作流程的缺陷。为了进行此实验，我们决定使用头戴式设备 HoloLens 1 和 UR10 机械臂。图 5. AR辅助的机械臂建造流程 图源：作者自绘
对于这个 AR 辅助机械臂建造实验，我们从简单的“拾取和放置”等机械臂操作开始。首先，用户可以通过HoloLens预览备料区的起始位置和搭建区的目标位置。用户在备料区准备好实体砖块后，只需“点击”虚拟砖块全息图，通过 HoloLens 识别并转化为 AR 的虚拟指令，将虚拟砖块全息投影“拖拽”与“放”到高亮的目标位置。接下来，控制机械臂的命令将从 HoloLens 传感器发送到 Grasshopper 中的 FURobot 插件。虚拟的现场全息模拟将被发送回 HoloLens 并准备好进行模拟操作。最后，用户可以以全息投影动画预览整个模拟流程并在客户端界面将开关切换到“操作”以完成实体机械臂的建造过程（图5）。
实验3提供了一种更安全、更有效的方法，通过现场手势命令和全息轨迹模拟等 AR 操作来引导式的编程机械臂。所有的计算机科学编程技术都已经在 Grasshopper 中预编程，用户只需在 AR 客户端界面中指出“准备”和“目标”的位置。这样，机械臂搭建工作流程将不需要特定的对计算机科学知识和编程很熟练的人员。
最后一个实验也突显出了一些问题。实验3当前的功能非常有限。我们仅使用砖作为原型材料进行测试，其他类型的材料尚未经过测试和确认是否可以很好地配合 AR 辅助机械臂来完成建造工作流。但更多的建筑材料将在未来的研究中进行测试。
图 6. AR辅助的机械臂建造流程在大尺度建筑项目中的应用场景 图源：作者自绘
上述三个 AR Digi-Component 场景实验概述了当前最先进的 AR 技术，例如 AR 实时设计修改、AR 沉浸式设计和全息建造以及 AR 辅助机械臂建造。我们的研究在建筑设计和施工领域以及关于全尺寸建筑构件组装方面提出了三项建议（图 6）。
在 AR 实时设计修改和沉浸式设计方面，我们的研究表明，AR 技术可以将设计师的手势转化为 Grasshopper 中相应的参数来进行调整，并实现设计的沉浸式预览。这种方法为用户提供了一种通过 AR 实时修改设计和预览其在现场位置的新方法。我们发现，在某些情况下（例如复杂的设计和劳动密集型建造等），更直观和动态的 AR 辅助工作流程可以增强或取代传统的方法。
在 AR 全息建造指南方面，该技术可以提高建造的效率和准确性，特别是对于非熟练工人来说，可以按照一步接一步的虚拟指令进行操作。这种方法还可以节省将设计的二维信息转换为三维现场位置所需的时间。尽管在虚拟信息转换为建造命令时仍然存在误差，但随着 AR 技术的发展，这种情况将得到改善。
在 AR 辅助机械臂建造方面，研究已经表明与传统工业机器人的操作方式相比，使用 AR 全息模拟是更安全的。它为不具备计算机科学或编程知识的设计师提供了一种便捷的方式，可以直接通过 AR 操作机器人来搭建纯手工无法实现的造型。
总之，AR Digi-Component 项目通过一个包括 AR 沉浸式设计、AR 全息辅助建造和 AR 辅助机械臂建造的三个工作流程，弥合了数字设计和实体结果之间的差距。使用这个工作流程， AR 设备可以随时检测和识别设计师的想法；将他们的手势操作转换为 Grasshopper 中的参数并计算出数字模型的结果；通过 AR 设备实时预览叠加在现实世界上的全息图；在 AR 辅助的全息建造方法或 AR 辅助的机器人建造方法中获得的实体成果能够发挥出每种材料独特的性能。AR 带来了交互的全新可能性，以及实时向设计师提供反馈的巨大优势。
今后的研究工作将会在整个 AR 工作流中引入多个参与者，提高工人之间协同作业的效率。并且将使用更多的传感器来捕捉复杂的人体手势，以更加精确地修改设计细节。人机协作建造部分将增强 AR 实时环境中多个机械臂的配合。开发并完善整个 AR 辅助设计和建造流程，整合成为 Grasshopper 插件，对材料属性进行物理模拟以进行碰撞和坍塌检测。最终目标是针对一个完整的建筑生命周期，实现简化和易于修改的 AR 设计与建造工作流。
参考文献
Do Carmo, R.M.C., Meiguins, B.S., Meiguins, A.S.C., Pinheiro, S.C.V., Almeida, L.H. and Godinho, P.I.A.: 2007, Coordinated and multiple views in augmented reality environment.11th International Conference Information Visualization, Zurich, 156–162.
Imani, A.: 2017, Reality or Unreality, Prediction of Architecture Dreams., 3rd InternationalConference on New Trends in Architecture and Interior Design, Helsinki.
Jahn, G., Wit, A. and Samara, J.P.: 2019, BENT: Holographic handcraft in large-scale steam-bent timber structures, ACADIA 2019, Austin, Texas.
Olar, M.L., Risteiu, M., Panaite, A.F., Rebrisoreanu, M. and Musetoiu, O.: 2019, Controlling a robotic arm with Augmented reality, MATEC Web of Conferences..
Ong, S.K., Yew, A.W.W., Thanigaivel, N.K. and Nee, A.Y.C.: 2020, Augmented reality-assisted robot programming system for industrial applications., Robotics and Computer Integrated Manufacturing, 61, 101820.
Schmidt, B., Borrison, R., Cohen, A., Dix, A., Gärtler, M., Hollender, M., Klöpper, B., Maczey, S. and Siddharthan, S.: 2018, Industrial Virtual Assistants: Challenges and Opportunities, ACM International Joint Conference, Singapore, 794-801.
Sheldon, A., Dobbs, T., Fabbri, A., Gardner, N., Haeusler, M.H., Ramos, C. and Zavoleas, Y.: 2016, Putting The AR in (AR)chitecture: Integrating voice recognition and gesture control for Augmented Reality interaction to enhance design practice., CAADRIA 2016.
Song, Y.: 2020, BloomShell: Augmented Reality for the assembly and realtime modification of complex curved structure, eCAADe 2020, 345-354.
Tsai, C.Y., Liu, T.Y., Lu, Y.H. and Nisar, H.: 2020, A novel interactive assembly teaching aid using multi-template augmented reality, Springer Science+Business Media, 7, 1-28.
内容来源 | CAADRIA 2021, Song Yang
翻译、编辑 | Liu Hanning
校对 | Song Yang
原文链接请戳左下角“阅读原文”
DigitalFUTURES is launched by College of Architecture and Urban Planning(CAUP), Tongji University and Shanghai Digital Architecture Fabrication Technology Center (SFAB) in 2011. International Union of Architects (UIA), Architectural Society of China (ASC), National Engineering Technology Research Center for Prefabrication Construction in Civil Engineering, and The Architectural Society of Shanghai China (ASSC) collaborate with global renowned scholars, architects, designers, enterprises and academic media in this field to establish an online and offline integrated educational platform relying on DigitalFUTURES. The events are consisting of lectures, conferences, workshops and exhibitions, etc. Nowadays, DigitalFUTURES as a global architecture exchange community, with the platform www.digitalfutures.world, encourages the inheritance and innovation, collaboration and communication of global knowledge in architecture and emphasizes scientific research about digital design theory, technology and artificial intelligence algorithms, robotic fabrication, etc. in the field of architecture and built environment.
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
不错