Potenziale und Anwendung des Industrial Metaverse – Konvergenz von der Simulation bis zur Realität

Die Möglichkeiten des Industrial Metaverse

Das Konzept des „Metaverse“ beschreibt im Wesentlichen eine Umgebung, in der die physische und digitale Welt miteinander verschmelzen [1]. Durch den kombinierten Einsatz von Mixed-Reality-Technologien ermöglicht das Metaverse eine multisensorische und dynamische Interaktion in Echtzeit mit virtuellen 3D-Umgebungen, digitalen Objekten und anderen Menschen [2]. Dabei lassen sich zwei Hauptbereiche im Metaverse unterscheiden, die jeweils unterschiedliche Nutzungspotenziale bieten: Im Consumer Metaverse liegt der Schwerpunkt auf der Weiterentwicklung sozialer Interaktion, Events und Gaming, während im Industrial Metaverse vielfältige Möglichkeiten zur innovativen Gestaltung der produzierenden Industrie bestehen [3]. In Bild 1 ist der strukturelle Aufbau des Industrial Metaverse in Form eines Plattformbildes dargestellt. Den Kern der virtuellen Umgebung bildet ein integriertes 3D-Model, welches physische Assets, Umgebungen und Eigenschaften abbildet. Auf Basis dieser Umgebung können verschiedene Funktionalitäten realisiert und genutzt werden. Grundsätzlich lassen sich drei funktionale Teilbereiche unterscheiden: Kommunikation, Kollaboration und Simulation.

Der Teilbereich der Kommunikation umfasst alle Dienste, Services und Schnittstellen, die zur Verbindung der virtuellen und physischen Umgebung notwendig sind. Hierbei können Maschinen und Produktionssysteme über standardisierte Schnittstellen mit ihren digitalen Abbildern verknüpft werden, um das Verhalten des physischen Systems in der virtuellen Umgebung präzise darzustellen. Programme und Tools aus verschiedenen Domänen können über entsprechende Schnittstellen an die virtuelle Umgebung angebunden werden, um einen nahtlosen Datenaustausch zu realisieren. Gleichzeitig erhalten Menschen die Möglichkeit, per multimodalen Interfaces mit der virtuellen Umgebung zu interagieren. Neben den herkömmlichen Geräten, wie Computern, Smartphones oder Tablets, lassen sich moderne Technologien aus dem Bereich der Augmented Reality (AR) und Virtual Reality (VR) nutzen.

Im Bereich der Kollaboration lassen sich durch die nahtlose Verknüpfung verschiedener Programme und Tools und die vielfältigen Möglichkeiten zur Interaktion von Menschen und virtueller Umgebung völlig neue Workflows entwickeln. Teams können über Domänen hinweg an global verteilten Orten gemeinsam an einer Aufgabe arbeiten. Dabei können sie die 3D-Modelle nutzen, um sich in einer beliebigen Umgebung virtuell zu treffen und bei der Entwicklung von neuen Produkten oder Produktionssystemen bereits im Entwicklungsprozess einen umfassenden, visuellen Eindruck der später physischen Gestalt zu erhalten. Diese Möglichkeit des immersiven Erlebens kann außerdem für Qualifizierung und Ausbildung von Fachkräften genutzt werden.

Bild 1: Plattform Industrial Metaverse.

Das integrierte 3D-Model und die darin erlebbaren Umgebungen können durch die Nutzung von Funktionen aus dem Bereich Simulation erweitert werden. Mittels fotorealistischem Rendering können Assets und Umgebungen realistischer als jemals zuvor dargestellt werden und somit die Immersion in neue Dimensionen heben. Durch die Simulation von physischem Verhalten und von Prozessabläufen lassen sich in der virtuellen Umgebung wertvolle Einblicke in mögliche Szenarien gewinnen. Das Entwickeln von Prototypen, die Validierung neuer Konzepte und sogar die Vorhersage von Systemverhalten werden möglich.

Einzelne Aspekte der drei Bereiche sind schon seit Jahren etabliert und gehören vielfach zum Stand der Technik der Industrie. So werden beispielsweise im Engineering-Prozess CAx -Tools eingesetzt, um die Gestaltung von Assets mit Hilfe von 3D-Visualisierung zu unterstützen. Im Konzept des Metaverse soll diese Unterstützung jedoch völlig neue Dimensionen erreichen: Durch die Integration der drei Bereiche Kommunikation, Kollaboration und Simulation können Entwickler standort- und domänenübergreifend Produkte nun nicht mehr nur gestalten, sondern mittels Mixed-Reality-Technologien auch in der zugehörigen Umgebung aus neuen Perspektiven betrachten und deren Funktionalität durch Kinematisierung und Simulation überprüfen. Auf diese Weise können beispielsweise einzelne Arbeitsplätze und ganze Fabriken im virtuellen Raum gestaltet und validiert werden, noch bevor sie physisch gebaut werden. Einige der größten deutschen Unternehmen haben bereits erste Schritte zur Umsetzung dieser Vision unternommen [4, 5, 6].

Starke Funktionalitäten eröffnen ­zahlreiche Anwendungsfelder

Aus den zuvor beschriebenen, funktionalen Teilbereichen können zusammenfassend vier konkrete, technische Funktionalitäten des Industrial Metaverse mit großer Relevanz für produzierende Unternehmen und Netzwerke geclustert werden. Zunächst das fotorealistische Rendering, das einen Technologietransfer aus der Gaming-Industrie darstellt und die Schaffung von immersiven Umgebungen und die Erzeugung realitätsnaher, synthetischer Daten erlaubt. Des Weiteren erlauben physikalische Simulationstools die Erprobung von Prozessen und physikalischen Zusammenhängen. In Kombination mit dem angesprochenen Fotorealismus ergeben sich innerhalb des Metaverse als Plattform neuartige Möglichkeiten für kollaborative Workflows, in denen Entwicklungsteams synchronisiert und toolübergreifend zusammenarbeiten können. Wenn die so im Engineering aufgebauten Modelle nachgelagert im produktiven Betrieb mit Echtzeitdaten angereichert werden, verstetigt sich dessen Nutzen und ermöglicht tiefgreifende Einblicke und Analysepotenziale in einem Digitalen Zwilling.

Bild 2: Anwendungen des Industrial Metaverse entlang des Lebenszyklus.

Aus diesen technischen Kernfunktionalitäten lassen sich, wie in Bild 2 dargestellt, über den gesamten Produktlebenszyklus hinweg zahlreiche Applikationen und Anwendungen für die Industrie ableiten. Diese können wiederum in drei Hauptbereiche geclustert werden. Der erste dieser Bereiche fasst Anwendungen zusammen, welche der Befähigung oder Unterstützung von Menschen dienen. So können immersive Umgebungen zum Beispiel für virtuelle Qualifizierungsmaßnahmen genutzt werden. Außerdem erlauben Simulationsumgebungen mit einer Konnektivität zur realen Produktion eine Fernsteuerung und -wartung realer Assets über die virtuelle Repräsentanz oder ermöglichen anschauliche Monitoring-Anwendungen und Assistenzsysteme, welche über einfache Dashboards oder grafische Arbeitsanweisungen weit hinausgehen.

Ein weiterer Anwendungsbereich umfasst neuartige Engineering Ansätze. Diese bringen breite Potenziale vor allem vom Produktdesign, über die Fabrik- und Produktionsplanung bis hin zur Inbetriebnahme. Die Möglichkeit mit diversen Tools wie CAx-, Simulations- und Planungssoftware auf eine zentrale Datenbasis zugreifen zu können, ermöglicht es etwa, das Produktdesign in engen Zyklen als virtuelle Prototypen auf Funktionalität und Produzierbarkeit zu testen und zeitgleich bereits Automatisierungslösungen und Anlagenkonzepte zu planen. Dadurch lassen sich bisher sequenziell ablaufende Engineering-Prozesse parallelisieren und der Produktionsstart deutlich früher erreichen, was große wirtschaftliche Potenziale mit sich bringt. Außerdem kann parallel zur Entwicklung bereits die Produktion in verschiedenen Szenarien simuliert werden, was Analysen über die Effizienz, Resilienz und die Nachhaltigkeit der Produktion ermöglicht.

Auch für die intelligente Automatisierung in der Produktion ist das Industrial Metaverse ein ­Enabler. Es lassen sich bereits früh im Lebenszyklus synthetische Daten erzeugen, welche etwa dem Training von KI-Applikationen dienen können. Im folgenden Kapitel wird eine solche Pipeline genauer beschrieben. Kognitive Roboteroperationen, Anwendungen des maschinellen Sehens etwa für die Qualitätssicherung, die Optimierung von Betriebspunkten von Produktionsanlagen oder die intelligente Navigation von fahrerlosen Transportsystemen für mobile Manipulatoren oder die Intralogistik sind nur einige von zahlreichen Beispielen für Anwendungen, die durch das Konzept des Industrial Metaverse effizienter umgesetzt werden können.

Bild 3: Pipeline für die synthetische Datenerzeu- gung für die KI-basierte Produktion.

Zusammenfassend können durch die Nutzung des Ökosystems des Industrial Metaverse zahlreiche Produktivitäts- und Nachhaltigkeitspotenziale ausgeschöpft werden. Außerdem ergeben sich neuartige, immersive Modelle für die Interaktion mit technischen Systemen. Die Simulationsfunktionalitäten erlauben eine virtuelle Optimierung der Produktionsprozesse, Anlagenparameter und eine Steigerung der Resilienz hinsichtlich Störungen. Durch diese Vorteile wird ein starkes Wachstum der für das Metaverse relevanten Märkte auf das zehnfache des heutigen Niveaus prognostiziert [7].

Synthetische Datenerzeugung für ­Produktionsnahe KI-Applikationen

In diesem Kapitel wird vertiefend auf die Erzeugung synthetischer Daten für die Nutzung in Trainingsprozessen von KI-Applikationen eingegangen. Die Nutzung synthetischer Daten in einer Pipeline, wie sie exemplarisch in Bild 3 dargestellt ist, hat einige Vorteile gegenüber klassischen Trainingsdaten, welche in der Realität erfasst werden. Die Daten werden dabei in der Regel entweder in Form von Bilddaten durch fotorealistisches Rendering generiert [8] oder in einer physikalischen Simulation [9]. Dabei können für den Aufbau der Simulationsumgebung vorliegende CAD-Modelle verwendet werden. Durch die Vernetzung einer Metaverse-Toolchain können somit synthetische Bilddaten bereits parallel zur Produktentwicklung erzeugt werden, weit bevor das Produkt in die Serienfertigung geht. Darüber hinaus können auch Defekte auf den Bauteilen randomisiert erzeugt werden, ohne eine große Menge von realem Ausschuss produzieren zu müssen. Eine derartige Anwendung wurde am Werkzeugmaschinenlabor WZL in Aachen in Kooperation mit BCG und AWS performant umgesetzt. Ebenso können auf virtuellen Anlagen ganze Prozesse simuliert werden, um Datensätze zu erzeugen, bevor die physische Linie aufgebaut wird. So können zum Produktionsstart bereits zahlreiche Erkenntnisse zur Produktion vorliegen und KI-Algorithmen noch vor ihrem Eintritt in eine reale Lernumgebung vor-trainiert werden.

Ein weiterer bedeutender Vorteil liegt in den erheblichen Einsparpotenzialen beim Labeling, das für zahlreiche KI-Algorithmen erforderlich ist. Herkömmlicherweise erfordert die manuelle Kennzeichnung von Bilddaten einen zeitaufwändigen Prozess. Wenn die Bilder jedoch in der Simulationsumgebung synthetisch erzeugt werden, kann die Beschriftung der Bilder automatisiert erfolgen. Dadurch ergeben sich erhebliche Zeit- und Kosteneinsparungen. Darüber hinaus bietet die Simulation auch eine deutlich höhere Flexibilität in Bezug auf das Format und die Merkmale der Daten. Auf diese Weise können schadhafte Teile in beliebigen Varianten generiert werden, wodurch auch bei der Produktion von langlebigen Produkten mit geringer Stückzahl der Einsatz von Computer Vision ermöglicht wird. Zudem können Daten aus gefährlichen Grenzbereichen, in denen aus sicherheitstechnischen Gründen keine reale Maschine betrieben werden kann, risikofrei erzeugt werden.

Eine Herausforderung bei der Umsetzung einer solchen Pipeline liegt aktuell noch in der erforderlichen Kompetenz zum Aufbau und zur Parametrisierung der Simulationsumgebung, die insbesondere in KMU selten vorliegt. Um die breite Anwendbarkeit von synthetischen Daten und dem Metaverse-Konzept zu ermöglichen, müssen daher noch einfachere Einführungskonzepte entwickelt werden. Eine weitere Herausforderung liegt im sogenannten Sim2Real Transfer, also dem Transfer von simulativ generierten Mehrwerten, wie beispielsweise trainierten KI-Modellen, in die reale Produktion. Beim Sim2Real Transfer besteht das Phänomen der sogenannten "Domain Gap", bei dem die Simulation immer nur eine modellhafte und unscharfe Abbildung der Realität ist, was die Übertragbarkeit in die reale Welt einschränken kann. Die Erhöhung des Fotorealismus der Simulation ist ein Beispiel, wie die Funktionalitäten des Industrial Metaverse die Übertragbarkeit erheblich erhöhen können.

Virtuelle Qualifizierung und ­Wissensmanagement der Zukunft

Die vorgestellten Möglichkeiten der Vision des Industrial Metaverse können nicht nur für effizientes Engineering oder Smart Automation entlang des Lebenszyklus genutzt werden, sondern bieten dem Menschen vielfältige Möglichkeiten zur Exploration neuer Umgebungen, Abläufe und Maschinen [10]. Dank der immersiven, virtuellen Umgebungen können Personen jederzeit kontrolliert und wiederholbar in Szenarien, Produktionsstätten und Abläufe versetzt werden, die sie in der physischen Realität nur unter gewissen Umständen erleben könnten. Die Besichtigung von Produktionsstätten auf der anderen Seite des Globus, die frühzeitige Ausbildung an prototypischen Systemen und das Erlernen des Umgangs mit kritischen Situationen lassen sich somit effizient realisieren. Auf diese Weise kann Mitarbeitenden beispielsweise veranschaulicht werden, welche Konsequenzen es hat, wenn eine Maschine falsch bedient wird und es zu einem Crash kommt, ohne dass dabei Material- oder Personenschäden entstehen können. Darüber hinaus bietet diese Art der Wissensvermittlung eine hohe Skalierbarkeit: Obwohl in der realen Welt nur eine Maschine vorhanden sein kann, haben in der virtuellen Umgebung beliebig viele Mitarbeitende die Möglichkeit, den Umgang damit zu erlernen. Trotz des aktuell bestehenden Potenzials des Metaverse zum Erreichen dieser Vision, sind noch weitere Forschungsarbeiten notwendig, um die Erfahrung im Metaverse und die Erfahrung in der Realität anzunähern. Während die audiovisuelle Immersion dank moderner VR-Brillen bereits enorm hoch ist, fehlt es zum Teil noch an dem notwendigen haptischen Feedback, um Prozesse in der Industrie vollkommen realistisch abzubilden.

Neben der Nutzung der virtuellen 3D-Umgebungen zur Qualifizierung von Mitarbeitenden kann auch das Thema Wissensmanagement vom Potenzial des Industrial Metaverse profitieren. Trotz des mittlerweile hohen Grads an Automatisierung und Digitalisierung in der produzierenden Industrie beruht der Erfolg vieler Unternehmen auf dem Wissen und den Erfahrungen der Mitarbeitenden im Umgang mit den Maschinen und bei der Durchführung von Prozessen. In Bild 3 sind zwei mögliche Szenarien zur Realisierung von virtuellen Qualifizierungsmaßnahmen und Wissensmanagement schematisch dargestellt.
Die Interaktion von Mensch und Maschine kann technisch über die Bedienelemente und die dahinterliegende Steuerungselektronik erfasst und in der Vision des Industrial Metaverse per standardisierter Schnittstelle in die virtuelle Umgebung übernommen werden. Dieser Input kann anschließend für das Training von unerfahrenen Mitarbeitenden verwendet werden, indem die erfassten Interaktionen analysiert und die effektivsten Methoden identifiziert werden. Wird nun ein unerfahrener Mitarbeiter in dem entsprechenden Szenario in der virtuellen Umgebung geschult, kann dieser von den Erfahrungen seiner Mitmenschen profitieren.

Einige Tätigkeiten auf dem Shopfloor sind aufgrund ihres manuellen Charakters jedoch deutlich schwieriger nachvollziehbar, sodass es innovativer Konzepte bedarf: Durch die Kombination von Computer-Vision-Systemen und KI-Applikationen lassen sich die Bewegungen von Menschen auf dem Shopfloor exakt in Form von Koordinaten oder Punktwolken erfassen. Dadurch können Prozessabläufe und Handhabungsvorgänge von Montagen oder manuellen Fertigungsprozessen, wie beispielsweise Schweißvorgängen, digital gespeichert werden. Diese Dokumentation kann im nächsten Schritt als Input für innovative Trainingskonzepte bieten, bei denen unerfahrene Mitarbeitende per AR- oder VR-Brille die Bewegungsabläufe der Experten visualisiert erfahren und diese erlernen bzw. nachahmen können. Erfasst man die Bewegungen der unerfahrenen Mitarbeitenden ebenfalls, kann sogar ein systemseitiges Feedback erfolgen. Auch in diesem Anwendungsbeispiel zeigt sich die Skalierbarkeit: Lerninhalte können bei Bedarf abgerufen und an beliebig viele Menschen verteilt werden.

Bild 4: Schematische Darstellung der Konvergenz von Produktion und Metaverse zur
Realisierung von virtueller Qualifizierung und Wissensmanagement.

Die Vision auf dem Weg zur Wirklichkeit

Das Konzept des Industrial Metaverse bietet durch die Konvergenz von virtueller und physischer Umgebung viel Potenzial zur nachhaltigen Veränderung unserer Arbeitsweisen im industriellen Umfeld. Die Grenzen zwischen Realität und Simulation verschwimmen und befähigen uns zu mehr Nachhaltigkeit, Flexibilität und Resilienz. Der Mensch steht dabei weiterhin im Fokus: Neuartige Interaktions- und Kollaborationsmöglichkeiten sowie immersive Formen von Training erweitern unsere Fähigkeiten und bringen uns auf eine neue Stufe der Mensch-Technik-Beziehung. Damit diese Vision wahr wird, müssen jedoch noch einige Hürden genommen werden. Momentan befinden wir uns noch am Anfang der Entwicklung. Viele der für die Realisierung des Industrial Metaverse notwendigen Technologien existieren bereits. Die Herausforderung der nahen Zukunft besteht nun darin, diese überwiegend noch separierten Technologien stärker zu integrieren, um die angestrebte, gekapselte Umgebung bzw. Plattform zu generieren. Erste Möglichkeiten zur Implementierung des Industrial Metaverse, wie das von NVIDIA entwickelte Omniverse, werden aktuell für die Allgemeinheit verfügbar und ermöglichen uns erste Einblicke in die Vision [11]. Unsere zukünftige Aufgabe wird es jedoch auch weiterhin sein, die technologischen Grenzen der Machbarkeit auszuloten, auf Sinnhaftigkeit zu prüfen und gewissenhaft umzusetzen.

Das erste diesem Artikel zugrunde liegende Vorhaben wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen 02L19C400 gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autoren.

Das IGF-Projekt 22648 N/2 (ROOKIE) der Forschungsvereinigung FVP wurde über die AiF im Rahmen des Förderprogramms "Industrielle Gemeinschaftsforschung und -entwicklung (IGF)" durch das Bundesministerium für Wirtschaft und Klimaschutz (BMWK) aufgrund eines Beschlusses des Deutschen Bundestages gefördert. Das Projekt liefert ebenfalls Erkenntnisse, welche die Autoren in diesem Beitrag veröffentlichen.

Beitrag als pdf herunterladen

Schlüsselwörter:

Literatur:

[1] Lee, L.-H. u. a.: All One Needs to Know about Metaverse: A Complete Survey on Technological Singularity, Virtual Ecosystem, and Research Agenda. 2021. DOI: 10.48550/arXiv.2110.05352.
[2] Mystakidis, S.: Metaverse. In: Encyclopedia 2 (2022) 1, S. 486-497. DOI: 10.3390/encyclopedia2010031.
[3] Grasso, A.: Industrial Metaverse: The autonomous business ecosystem paving theway toward Industry 5.0. URL: www.antgrasso.medium.com/in-dustrial-metaverse-the-autonomous-business-e..., Abrufdatum 21.06.2023.
[4] BMW Group: BMW Group und NVIDIA heben virtuelle Fabrikplanung auf die nächste Ebene. URL: www.press.bmwgroup.com/deutschland/article/detail/T0329569DE/bmw-group-u..., Abrufdatum 21.06.2023.
[5] Shapiro, D.: Manufactured in the Metaverse: Mercedes-Benz Assembles Next-Gen Factories With NVIDIA Omniverse: Premium automaker implements digital-first approach to production. URL: www.blogs.nvidia.com/blog/2023/01/03/mercedes-benz-next-gen-factories-om..., Abrufdatum 21.06.2023
[6] Siemens: Siemens and NVIDIA partner to build the Industrial Metaverse. URL: www.siemens.com/global/en/company/insights/siemens-and-nvidia-partner-to..., Abrufdatum 15.08.2023.
[7] Dotson, K..: How the industrial metaverse will transform manufacturing. URL: www.siliconangle.com/2022/12/24/industrial-metaverse-will-transform-manu... ring/, Abrufdatum 21.06.2023.
[8] Petrovic, O.; Dias Duarte, D. L.; Storms, S.; Herfs, H.: Ontology-based Generation of Synthetic Datasets for Computer Vision Projects in production. In: 2023 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM).
[9] Petrovic, O.; Schaper, L.; Roggendorf, S.; Storms, S.; Brecher, C.: Sim2Real Deep Reinforcement Learning of Compliance-based Robotic Assembly Operations. In: 26th International Conference on Methods and Models in Automation and Robotics (MMAR): IEEE (2022), S. 300-305.
[10] Hwang, G.-J., Chien, S.-Y.: Definition, roles, and potential research issues of the metaverse in education: An artificial intelligence perspective. In: Computers and Edu-cation: Artificial Intelligence 3 (2022). Art.-Nr. 100082. DOI: 10.1016/j.cae-ai.2022.100082.
[11] NVIDIA: NVIDIA and Microsoft bring the Industrial Metaverse and AI to hundreds of millions of enterprise users via Azure Cloud. URL: www.investor.nvidia.com/news/press-release-details/2023/NVIDIA-and-Micro..., Abrufdatum 15.08.2023.