ATLAS

Worum geht es?

Im Rahmen der ersten Projektarbeit entwickelten zwei Studierende des Bachelorstudiengangs Digitale Technologien die Anwendung ATLAS. Dieser Name steht für eine "Augmentier-Technik für linguistische Analyse und Steuerung" und besteht aus einer Anwendung für die HoloLens 2, einem Augmented Reality Headset des Unternehmens Microsoft. ATLAS ermöglicht seinen Nutzer*innen mittels sprachbasierter Interaktion mit der OpenAI-Schnittstelle für Generative Pretrained Transformer – und damit mit generativen künstlichen Intelligenzen – zu interagieren.

Zusätzlich zu allgemeinen Informationsausgaben lassen sich mit der Anwendung verschiedene Funktionen der HoloLens 2 durch die gesprochene Konversation starten. Zu diesen Funktionen gehören das Fotografieren, das Generieren von Bildern, die visuelle Darstellung längerer Ausgaben und das Anzeigen der von der HoloLens erkannten Umgebung im Bereich des Nutzenden.

Wie wurde es realisiert?

Die Anwendung basiert auf der Unity Spiel-Engine und dem Mixed Reality Toolkit 2 (MRTK2) von Microsoft. Mithilfe des MRTKs wurden die von OpenAI generierten Ausgaben in einer interaktiven Augmented Reality-Darstellung visualisiert. Das Transkribieren der gesprochenen Eingabe des Nutzers (Umwandlung von Sprache in Text), sowie das Synthetisieren der Ausgabe (Umwandlung von Text in Sprache) erfolgt ebenfalls durch die Sprach-Bibliotheken innerhalb des MRTKs. Für die Implementierung der Anwendung kam die Programmiersprache C# zum Einsatz.