Spatial Augmented Reality in der industriellen Großgeräte- und Baustellenmontage

Bildquelle: TU Wien - Institut für Managementwissenschaften

Patrick Rupprecht

Spatial Augmented Reality in der industriellen Großgeräte- und Baustellenmontage

Entwicklung eines Assistenzsystems mit dynamischer In-situ-Projektion und nutzeradaptiver Gesteninteraktion

Die industrielle Großgeräte- und Baustellenmontage ist aufgrund der großen Montageobjekte, der geringen Losgrößen und der verschiedenen Bereitstellungsflächen geprägt durch einen geringen Automatisierungsgrad, einen hohen manuellen Arbeitsanteil und den Bedarf an qualifizierten Mitarbeiter*innen.

Die Montage von großen Objekten (z. B. Zügen, Getrieben, Flugzeugkomponenten, Großmaschinen etc.) wird üblicherweise in der Montageorganisationsform der Baustellenmontage durchgeführt, wobei das Montageobjekt während des kompletten Montageprozesses stationär bleibt und alle Komponenten, Materialien, Werkzeuge, Informationen und Mitarbeiter*innen sich zum Bauteil begeben (Lotter & Wiendahl, 2012). Die Anzahl der industriellen Baustellenmontagearbeitsplätze beträgt konservativ geschätzt ca. 50 000 der rund 270 000 Industriearbeitsplätze im Bereich der Großproduktefertigung in Österreich (Statistik Austria, 2019). Abbildung 1 zeigt beispielhaft Montagearbeitsplätze für die Herstellung einer Lokomotive sowie einen CFK-Layup-Prozess einer Flugzeugkomponentenmontage.

Der große Arbeitsraum dieser Montageform erfordert, über die Kenntnis der einzelnen Montagetätigkeiten hinausgehend, ebenso das Wissen über die Bereitstellungsorte der Montageobjekte sowie die Information über deren definierte Montagepositionen. Aktuell werden die Informationen über Papieranweisungen oder zentrale PC-Terminals bereitgestellt, woraus sich folgende Herausforderungen für die aktuelle Informationsbereitstellung bzw. Interaktion in der Großgerätemontage ergeben:

„ lange Wege zur Informationserhaltung und Informationsklärung, bedingt durch zentrale Terminals und zentrale Datenablage „ hoher Aufwand zur Aktualisierung von Papierdokumenten „ fehlende (digitale) Informationsbereitstellung und Interaktionsmöglichkeit direkt am

Abbildung 1 (Quelle: Aviation Media & IT GmbH [aero.de], 2021; Siemens AG, 2021)

Abbildung 2 (Quelle: Rupprecht, 2022)

Montageobjekt bzw. am Ort der

Montagetätigkeit „ fehlende Informationen von

Montageobjekten und Montagepositionen direkt im Arbeitsraum bzw. am Ort des Geschehens „ fehlende Führung durch den

Montageprozess Demnach besteht der Bedarf an einem geeigneten Assistenzsystem zur Informationsbereitstellung, das klar strukturierte Arbeitsanweisungen über einen großen Arbeitsbereich anzeigt, den Menschen gezielt durch den Montageprozess führt und durch eine intuitive Interaktionsmöglichkeit gesteuert werden kann.

Da in der Großgerätemontage aktuell noch kaum Assistenzsysteme zur dynamischen Informationsbereitstellung (z. B. mit Projektoren) eingesetzt werden und bestehende Konzepte sich auf Montagestationen mit kleinem Arbeitsbereich beziehen, stellt die Entwicklung eines Spatial Augmented Reality Assistenzsystems mit dynamischer Projektion und nutzeradaptiver Steuerung speziell für die Anforderungen der Großgeräte- und Baustellenmontage den Kern der Entwicklung dar.

Dabei wurde ein dynamisches Projektionssystem für die Anforderungen der Montage adaptiert und eine nutzeradaptive Gesteninteraktion mittels Kamerasystemen und Bilderkennung implementiert. Des Weiteren wurde durch die Gestaltung der Informationsbereitstellung und Mensch-Maschine-Interaktion ein Mehrwert für Mensch und Unternehmen geschaffen, welcher in praxisrelevanten Experimenten evaluiert wurde.

Das Ziel der Forschung war, durch Gestaltung eines Spatial Augmented Reality Assistenzsystems mit dynamischer In-situ-Projektion und nutzeradaptiver Gesteninteraktion einen wissenschaftlichen und praxisrelevanten Beitrag zur Verbesserung der Informationsbereitstellung und Interaktionsgestaltung im Kontext der industriellen Großgeräte- und Baustellenmontage zu schaffen.

Zur Umsetzung des Forschungsvorhaben wurde nach der Design-Science-Research-Methode von Hevner et al. (2004) und Hevner (2007) vorgegangen, welche eine iterative Vorgehensweise mit mehreren Designzyklen ermöglicht. Des Weiteren wurde eine Systematische Literaturrecherche durchgeführt und die Design-Artefakte anhand von Demonstratoren in der TU Wien Pilotfabrik aufgebaut und evaluiert.

Dynamisches Projektionssystem

Das dynamische Projektionssystem, welches bereits in der Veranstaltungstechnik etabliert ist, wurde für den Einsatz zur dynamischen Informationsbereitstellung in der industriellen Großgerätemontage adaptiert und mit einem visuellen Interaktionssystem verbunden. Abbildung 2 zeigt

Spatial Augmented Reality

Spatial Augmented Reality (SAR), ist die „räumlich erweiterte Realität“, verzichtet auf das Tragen von Devices am Körper (Funk, 2016; Mengoni et al., 2018) und verwendet stattdessen Projektionssysteme für die Informationsbereitstellung (Funk, 2016). Das Konzept des Spatial Augmented Reality Assistenzsystems für den Einsatz in der Baustellenmontage wird schematisch in Abbildung 2 dargestellt.

Das entwickelte SAR-System besteht im Detail aus folgenden Komponenten:

1. Dynamisches Projektionssystem

a. Full-HD+ Projektor mit motorbetriebenem Linsensystem und digitalen Schnittstellen b. Digital steuerbares Spiegelsystem c. Medien- und Projektorsteuerung (Desktop-PC mit Ubuntu Linux) i. Authoring- und Medienbe arbeitungssoftware inklusive Mapping Engine ii. User-Interface zur Steu erung des Projektor- und Spiegelsystems iii. Adaptive Homographie zur automatisierten Einstel lung der Verzerrung

2. Visuelles Interaktionssystem

a. Full-HD-Kamera mit hochauflösendem RGB-Videostream b. Echtzeitobjekterkennung mit Deep-Learning-Algorithmus „YOLO“ zur Gesteninteraktion c. Synthetisch erzeugter Gestendatensatz

Abbildung 4 (Quelle: Rupprecht, 2022)

das dynamische Projektionssystem und das visuelle Interaktionssystem am Demonstrator in der TU Wien Pilotfabrik.

Das dynamische Projektionssystem verwendet einen hochauflösenden Projektor und ein digital steuerbares Spiegelsystem zur Ablenkung des Projektionsstrahles. Die Ablenkung des Bildes durch das Spiegelsystem beruht dabei auf das Patent mit der Patentnummer „DE202013010365U1“ und dem Titel „Vorrichtung zum Projizieren eines Bildes“ (Dynamic Projection Institute, Herstellungs- und Vertriebs GmbH, 2015). Projektoren mit digitalen Schnittstellen und einer motorbetriebenen Linse zur dynamischen Einstellung des Zooms und Fokus sind bereits unter 10 000 Euro erhältlich und mit wartungsarmen Leuchtmittel mit hoher Helligkeit von 6200 ANSI Lumen erhältlich (Dynamic Projection Institut GmbH, 2020). Mit einer Auflösung von FullHD oder 4K und einem Kontrast von 10 000:1 sind sie für den Einsatz bei Tageslicht und somit auch für die Anwendung im industriellen Umfeld zur Anzeige von Informationen direkt am Ort der Montagetätigkeit geeignet.

Visuelles Interaktionssystem

Ausgehend von den Anforderungen, dass ein Spatial Augmented Reality Assistenzsystem nach der Definition von Azuma (1997) eine Interaktion in Echtzeit benötigt und der Mensch ein zentraler Handlungsakteur in der manuellen Montage ist, bedarf es an Konzepten zur Erkennung des Menschen und zur Auslegung einer natürlichen Mensch-Maschine-Interaktion (Garcia et al., 2019; Gorecky et al., 2014). Für die Umsetzung der Interaktion und Objekterkennung wurde ein visuelles Interaktionssystem implementiert. Dabei wurde eine RGB-Kamera (Intel RealSense D435i) eingesetzt, um die Montageszene zu erfassen und ein echtzeitfähiger Objekterkennungsalgorithmus (YOLOv3) (Redmon et al., 2016) implementiert, welcher die Gesten und Posen des Menschen erkennt und anschließend die Steuerung des Projektionssystems ermöglicht.

Für die Gesteninteraktion wurde ein eigener Gestendatensatz für die Anforderungen der Großgerätemontage erstellt und mit Hochleistungsrechnern der TU Wien trainiert.

Neben dem Aufbau der technischen Komponenten wurden verschiedene Designelemente der intuitiven und projektionsgerechten Informationsgestaltung, der dynamischen In-situProjektion und Informationsführung sowie der nutzeradaptiven Gesteninteraktion mittels Kamerasystemen und Deep Learning entwickelt und am Demonstrator getestet.

Evaluierung und Ergebnisse

Das Assistenzsystem wurde in drei aufeinander aufbauenden Experimenten in zwei unterschiedlichen Montage Use Cases (Fan-Cowl-Montagestation und Spielzeugbausteinmontage) getestet und evaluiert. Abbildung 4 zeigt die zwei Use Cases in der TU Wien Pilotfabrik.

Dabei wurde im Experiment 1 die Informationsbereitstellung mittels dynamischem Projektionssystem und herkömmlichen PC-Terminals verglichen, im Experiment 2 verschiedene Informationsdesigns getestet, die statische In-View-Projektion und die dynamische In-Situ-Projektion mit Informationsführung zur Montageposition verglichen sowie die erste Version der Gesteninteraktion evaluiert. Im finalen Experiment 3 wurden die Erkenntnisse aus den ersten beiden Experimenten auf einen erweiterten Use Case angewandt und Verbesserungen der dynamischen Projektion (In-Situ-Projektion mit Informationsführung zur Entnahme- und Montagestation) und nutzeradaptiven Interaktion evaluiert. Hierbei wurde die Informationsbereitstellung und Interaktion mittels Spatial Augmented Reality System und der Bereitstellung über ein statisches Tablet verglichen und der Mehrwert für Mensch und Unternehmen evaluiert. Abbildung 5 zeigt den schematischen Aufbau der Varianten des Experiments 3 in der Spielzeugbausteinmontage.

Bei der Evaluierung wurden anerkannte Methoden zur Ermittlung der Prozess- bzw. Montagezeit sowie der Bewertung der Usability und kognitiven Arbeitsbelastung verwendet. Zur Evaluierung der Usability wird der „System Usability Scale“ (SUS) (Brooke, 1996), zur Evaluierung der Nutzerakzeptanz neuer Technologien das „Technology Acceptance Model“ (TAM) (Davis et al., 1989) und für die Erfassung der kognitiven Arbeitsbelastung die vereinfachte NASA-RTLX-Methode (Hart, 2006; Hart & Staveland, 1988) eingesetzt. Zur Evaluierung der Prozesseffizienz wurde die „Task Completion Time“ (TCT)

Abbildung 6 (Quelle: Rupprecht, 2022)

nach dem „General Assembly Task Model“ (GATM) nach Funk, Kosch et al. (2015) herangezogen. Des Weiteren wurden durch Kurzinterviews und offene Fragen qualitatives Feedback der Teilnehmer*innen eingeholt. Das finale Experiment 3 wurde von 30 Teilnehmer*innen (63,33 % männlich, 23,33 % weiblich, 13,33 % keine Angabe) mit einem Alter zwischen 19 und 53 Jahren durchgeführt. Bei den Personen handelte es sich hauptsächlich um Studierende und interessierten Laien mit technischem Background. Die Ergebnisse der Evaluierung der kognitiven Arbeitsbelastung sowie der Task Completion Time werden in Abbildung 6 dargestellt.

Aus den Ergebnissen der kognitiven Arbeitsbelastung konnte festgestellt werden, dass der

Total RTLX Score bei der dynamischen In-situ-Projektion mit 33,2 Punkten im Vergleich zur TabletAnweisung mit 37,3 Punkten besser bewertet wurde. Außerdem konnte die In-situ-Projektion bei den Einzelauswertungen „Mentale Belastung“, „Temporäre Belastung“ sowie „Leistungsfähigkeit“ und „Effort“ besser abschneiden.

Die Analyse der Taskzeiten der GATM-Phasen geben einen Überblick über die Dauer des Montageprozesses sowie über die Verbesserung durch den Einsatz des Assistenzsystems. Aus der Evaluierung der Experimente konnte festgestellt werden, dass die In-situ-Projektion und dynamische Informationsführung auch im Use Case der Spielzeugbausteinmontage Verbesserungen im Bereich der Lokalisierungszeiten sowie der Reduktion der kognitiven Arbeitsbelastung mit sich bringt. Neben der Verbesserung des Zeitanteils t_lokalisieren Montageposition um 39,5 % konnte zusätzlich durch die dynamische Führung zur Entnahmeposition der Zeitanteil t_lokalisieren Bauteil um 50,9 % im Vergleich zur Tablet-Arbeitsanweisung verbessert werden. Des Weiteren konnte die Gestenerkennungszeit im Vergleich zum Experiment 2 um den Faktor 4 verbessert werden und eignet sich demnach mit einer Erkennungszeit von rund 2,6 Sekunden für den Einsatz in der Großgeräte- und Baustellenmontage.

Aus der Evaluierung des finalen Experiments kann ermittelt werden, dass durch den Einsatz der In-situProjektion und dynamischer Führung zur Entnahme- und Montageposition eine erhebliche Verbesserung der Lokalisierungszeit der Bauteilpositionen erreicht wurde und damit der Montageprozess, bei gleichzeitiger Reduktion der kognitiven Arbeitsbelastung, effizienter gestaltet wurde. Des Weiteren eignet sich die Gesteninteraktion zur Steuerung des Projektionssystem und für den Einsatz in der Großgeräte- und Baustellenmontage, dadurch dass die Interaktion direkt am Ort der Montage durchgeführt werden kann. Auch aus den qualitativen Ergebnissen kann ermittelt werden, dass die In-situ-Projektion sowie die dynamische Informationsführung für effektiv und angenehm empfunden wurde und dadurch die Bereitstellungsflächen, die Bauteile sowie Montagepositionen intuitiv gefunden werden konnten. Vor allem zeigte sich im Experiment 3, dass der Einsatz des Spatial Augmented Reality Assistenzsystems eine gute Usability aufweist und auf verschiedenste Anwendungsfälle in der Großgeräte- und Baustellenmontage skalierbar ist.

Zusammengefasst wurde in der Forschungsarbeit ein geeignetes Spatial Augmented Reality Assistenzsystem für die Anwendung in der industriellen Großgeräte- und Baustellenmontage entwickelt, welches vor allem eine Verbesserung der Informationsbereitstellung und Interaktion und schließlich einen Mehrwert für Unternehmen und den Menschen bringt. Die Ergebnisse wurden mittels der Demonstratoren in der TU Wien-Pilotfabrik der praxisorientierten Community präsentiert und in facheinschlägigen Papers und Konferenzen vorgestellt.

Literatur:

Azuma, R. T. (1997). A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, 6(4), 355–385. Brooke, J. (1996). SUS: A quick and dirty usability scale. In Jordan, P, W, B. Thomas, McClelland, I, L & B. Weerdmeester (Hrsg.), Usability evaluation in industry. Taylor & Francis. Davis, F. D., Bagozzi, R. P. & Warshaw, P. R. (1989). User Acceptance of Computer

Technology: A Comparison of Two Theoretical Models. Management Science, 35(8), 982–1003. https://doi.org/10.1287/ mnsc.35.8.982 Dynamic Projection Institut GmbH. (2020). Dynamic Projection. https://www. dynamicprojection.com Dynamic Projection Institute, Herstellungs- und Vertriebs GmbH. (2015). Vorrichtung zum Projizieren eines Bilds(DE202013010365U1). https://worldwide.espacenet.com/patent/search/family/052673459/publication/ DE202013010365U1?q=DE20201301036 5U1 Funk, M. (2016). Augmented reality at the workplace : a context-aware assistive system using in-situ projection. Garcia, M. A. R., Rojas, R., Gualtieri, L., Rauch, E. & Matt, D. (2019). A humanin-the-loop cyber-physical system for collaborative assembly in smart manufacturing. Procedia CIRP, 81, 600–605. Gorecky, D., Schmitt, M., Loskyll, M. & Zuhlke, D. (2014). Human-machineinteraction in the industry 4.0 era. In C. E. Pereira (Hrsg.), 2014 12th IEEE International Conference on Industrial Informatics (INDIN 2014): Porto Alegre - RS, Brazil, 27 - 30 July 2014 (S. 289–294). IEEE. Hart, S. G. (2006). Nasa-Task Load Index (NASA-TLX); 20 Years Later. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 50(9), 904–908. Hart, S. G. & Staveland, L. E. (1988). Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. In Advances in Psychology. Human Mental Workload (Bd. 52, S. 139–183). Elsevier. Hevner, A. R. (2007). A Three Cycle View of Design Science Research. Scandinavian Journal of Information Systems, 19 (2), 87–92. Hevner, A. R., March, S. T., Park, J. & Ram, S. (2004). Design Science in Information Systems Research. MIS Quarterly Vol. 28 No.1, 75–105. Lotter, B. & Wiendahl, H.-P. (2012). Montage in der industriellen Produktion: Ein Handbuch für die Praxis (2. Aufl.). VDI-Buch. Springer. Mengoni, M., Ceccacci, S., Generosi, A. & Leopardi, A. (2018). Spatial Augmented Reality: an application for human work in smart manufacturing environment. Procedia Manufacturing, 17, 476–483. Redmon, J., Divvala, S., Girshick, R. & Farhadi, A. (2016). You Only Look Once: Unified, Real-Time Object Detection. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (S. 779–788). IEEE. Rupprecht, P. (2022). Spatial Augmented Reality in der industriellen Großgeräte- und Baustellenmontage: Entwicklung eines Assistenzsystems mit dynamischer In-situ-Projektion und nutzeradaptiver Gesteninteraktion [Dissertation]. Technische Universität Wien Statistik Austria. (2019). WKO Statistik: Industriebeschäftigte nach Branchen.

Dr.techn. Patrick Rupprecht, MSc MSc MA

Wissenschaftlicher Mitarbeiter am Institut für Managementwissenschaften an der TU Wien

http://wko.at/statistik/jahrbuch/sachibesch-branchen.pdf

Autor:

Dr.techn. Patrick Rupprecht, MSc MSc

MA studierte Wirtschaftsingenieur und High-Tech Manufacturing und ist seit November 2017 als wissenschaftlicher Mitarbeiter im Forschungsbereich Mensch-Maschine-Interaktion am Institut für Managementwissenschaften an der TU Wien beschäftigt. Er forschte im Rahmen seiner Dissertation im Bereich der dynamischen Informationsbereitstellung und MenschMaschine-Interaktion und entwickelte dabei ein Spatial Augmented Reality Assistenzsystem mit dynamischer Insitu-Projektion und nutzeradaptiver Gesteninteraktion für den Einsatz in der Großgeräte- und Baustellenmontage. Er blickt auf mehrjährige Berufserfahrung in der Automotive-Industrie zurück, wo er unter anderem in den Bereichen Industrial Engineering und Lean Management tätig war.