Prof. Dr. Jörg Thiem

Projektart: öffentliche Förderung (BMBF, KMU-innovativ Medizintechnik)

Laufzeit: 3 Jahre

Bislang nutzen Mediziner 3D-Endoskope, um ihre Krankheitsdiagnose auch visuell zu untermauern. Dabei produzieren die Endoskope allerdings nur Bilder, auf deren Basis der behandelnde Arzt Abstände in der erkrankten Körperregion abschätzen muss. Für die minimal-invasive Chirurgie und die Frage, ob und in welchem Umfang operiert werden muss, sowie für die

entsprechende Therapieempfehlung, sind aber Größenbestimmungen von Läsionen bzw. die genaue Vermessung der Abstände zwischen diesen von zentraler Bedeutung.

Das messende 3D-Endoskop ermöglicht dem Mediziner, die Größe von beispielsweise Tumoren, Zysten etc. in der zu behandelnden Region genau zu bestimmen und auf Basis exakter – und nicht geschätzter – Werte die Therapie zu definieren.

Projektart: öffentliche Förderung (BMBF, FH Ingenieurnachwuchs)

Laufzeit: 4 Jahre

Unbemannte Flugobjekte (Unmanned Aerial Vehicle – UAV) dringen aus dem Bereich der Spielgeräte (Drohnen) immer weiter in den professionellen Einsatz vor. So sind die Vorteile bei Brandbekämpfung, Brandabwehr und der Überwachung kritischer Infrastrukturen von Feuerwehren und Hilfsorganisationen erkannt.

Das Partner Institut für Feuerwehr- und Rettungstechnologie stellt die Verknüpfung zur zivilen Sicherheitsforschung her. Der Partner Jet Propulsion Laboratory (JPL) in Kalifornien eröffnet internationale Zugänge im Bereich Raumfahrt. Über den Partner smart mechatronics GmbH erfolgt die Validierung und Erprobung.

Projektart: öffentliche Förderung (EFRE, Leitmarkt.NRW LifeSciences)

Laufzeit: 3 Jahre

Die Therapie kindlicher Artikulationsstörungen – wie etwa Lispeln –fordert von Kindern und Eltern auch ein intensives Üben zu Hause. Das neue Forschungsprojekt „AVATAR“ entwickelt zur Unterstützung einen „Logopädie-Assistenten“.

Auf den Punkt gebracht besteht das Projekt aus audio-visueller Spracherkennung, Sprechübungen und einem Avatar als persönlichem Helfer. Aus dem aufgenommenen Audio- und Videosignal werden markante Merkmale mit einer speziellen Software für Signalverarbeitung gewonnen. Das System fusioniert dann die Audio- und Videosignale mittels künstlicher neuronaler Netze, um Aussprache-Fehler klassifizieren zu können. Der Avatar erkennt automatisch, wie das Kind die Laute bildet und unterstützt kindgerecht die Bildung korrekter Laute.

Projektart: öffentliche Förderung (MIWF, FH-Basis 2014)

Laufzeit: >5 Jahre

Intelligente Kamerasensoren mit neuartigen Hyperspektralen Bildsensoren ermöglichen im Gegensatz zu gewöhnlichen Kamerasystemen eine spektrale Analyse der Bilddaten. Somit gewinnt man nicht eine Bildmatrix, sondern ein Kubus mit der Wellenlänge als dritte Dimension. Hierdurch wird eine genauere Analyse und Erkennung der betrachteten Objekte möglich, was z.B. Anwendung in der Medizintechnik (Krebsdiagnostik), Agrarwirtschaft (Umweltana-lysen) oder auch der Automatisierungstechnik (Qualitätssicherung) finden kann.

Projektart: öffentliche Förderung (MIWF, FH-Basis 2013)

Laufzeit: >5 Jahre

Das Institut IfIT verfügt über eine mit öffentlichen Fördermitteln finanierte Master-Slave 6-Achs Robotermanipulatoreinheit der Firma DENSO mit hoher Positioniergenauigkeit, wie sie in der Fertigungsautomatisierung für fest einprogrammierte Prozesse, z.B. der Automobilindustrie eingesetzt wird. Ein Schwerpunkt der geplanten Forschungsaktivitäten ist die intelligente Ansteuerung der Robotereinheit mit Hilfe einer Multisensorplattform, um die Bewegungen der Greifer für komplexe Manipulationsaufgaben zu regeln.

In Synergie mit vorhandenen Projekten und Kompetenzen der Fachhochschule sind mit dem Aufbau vielfältige Szenarien der Automatisierungstechnik realisierbar. Bei mehr als einem Manipulator spielen aber intelligente Systeme mit komplexer Sensorik und Regelung eine immer größere Bedeutung. Der Trend zeigt zudem den Bedarf an Produktionsstätten auf, die nicht nur fest einprogrammierte Abläufe, sondern auch unbekannte, sich wechselnde Bedingungen und Anforderungen bedienen können. Im industriellen Umfeld kommen derartige Robot-Vision Systeme bereits zum Einsatz, wobei das Potenzial hier noch nicht ausgeschöpft scheint.

Neben der Automatisierungstechnik soll das Haupteinsatzfeld der Manipulatoreinheit in der Medizintechnik, genauer der Medizinrobotik liegen. Auf Basis des 3D-Endoskops als optischer Sensor werden herausfordernde Themen wie die automatische Navigation / Bahnführung oder die Positionsregelung medizinischer Instrumente in aktuellen Forschungsaktivitäten verankert. Das 3D-Endoskop wird mit Algorithmen der Bildanalyse zu einem messenden Instrument ausgebaut. Auf dieser Basis wird man in der Lage sein, die räumliche Lage von Objektpunkten zu messen. Ist diese Information verfügbar, lassen sich Instrumente oder das Endoskop selbst autonom oder semi-autonom durch Verfahren der Regelungstechnik in der Position stabilisieren, in komplexen Bewegungsbahnen führen oder gar für medizinische Eingriffe nutzen. Im Folgenden seien exemplarisch zwei Applikationsszenarien genannt.

• Operative Eingriffe durch kleinste Öffnungen im Körper stellen sehr hohe Anforderungen an die Geschicklichkeit des Chirurgen bei der Handhabung der Instrumente. Hier steht die intrakorpale Positions- und Lageregelung im Vordergrund, welche eine echtzeitfähige Ansteuerung der Manipulatoreinheit bzw. der Instrumente voraussetzt.
• Das autonome Agieren im Operationsgebiet und die Durchführung von Teilaufgaben durch den Roboter soll den Mediziner unterstützen und z.B. durch die Positionierung von medizinischen Instrumenten von Routinearbeiten entlasten. Die höchste Herausforderung an ein technisches System und die zugleich sicherheitskritischste Applikation wäre jedoch sicherlich der aktive chirurgische Eingriff, also das Durchtrennen und Veröden von Gewebestrukturen und Gefäßen oder die Ausführung eines Nahtvorgangs. Laparoskopische Operationen sind für den Mediziner von besonderem Schwierigkeitsgrad, da das Fehlen der taktilen Rückkopplung eine sehr gute Hand-Auge-Koordination erforderlich macht, so dass ein aktives Assistenzsystem Vorteile liefert.

Projektart: öffentliche Förderung (MIWF, FH-Basis 2012)

Laufzeit: >5 Jahre

Wie auch in zahlreichen Veröffentlichungen, Studien und Positionspapieren [VDE/DGBMT] aufgezeigt, nehmen assistive Technologien in der Medizin und Chirurgie einen immer größeren Stellenwert ein. Die 3D-Endoskopie, auf dem Markt mit ein paar wenigen Produkten bereits verfügbar, zählt zu diesen Technologien, die durch das dreidimensionale Sehen dem Chirurgen eine optimierte Handhabung der Instrumente ermöglicht. Der Fokus aktueller Forschungsgruppen geht aber noch über der reinen 3D-Visualisierung hinaus [DRL: Medizinische Assistenzsysteme, TU München: SFB 453 Wirklichkeitsnahe Telepräsenz und Teleaktion]. Zukünftige Systeme werden den Chirurgen durch gezielte computergestützte Zusatzinformationen unterstützen oder gar (semi-) autonom Teilaufgaben übernehmen, um entweder zur Entlastung Routinearbeit zu erledigen oder präzisere Manipulationen durchzuführen. Dieser Entwicklungsschritt stellt den Übergang von der reinen Visualisierung bis hin zur OP-Robotik dar.

Voraussetzung derartiger innovativer Assistenzsysteme ist u.a. die exakte räumliche Vermessung des Arbeitsbereiches des Endoskops, z.B. im Bauchraum. Dieser beinhaltet Gefäße, Organe, krankhafte Veränderungen/Objekte oder auch medizinische Instrumente. Das 3D-Endoskop kann aber prinzipiell nicht nur eine stereoskopische Tiefenwahrnehmung für den Operateur leisten. Mit Hilfe von Methoden der Stereobildverarbeitung, wie im industriellen Alltag bereits etabliert, kann aus den Bilddaten der beiden Optiken des 3D-Endoskops (der Stereokamera) die dritte Dimension rekonstruiert werden. Man ist damit in der Lage das Endoskop zusätzlich als Messinstrument für die räumliche Lage von Objektpunkten zu erweitern. Erste Forschungsansätze zur 3D-Rekonstruktion [FH Reutlingen/IFA: Messendes 3D-Endoskop] und die damit verbundenen Assistenzsysteme gibt es bereits, marktfähige Realisierungen und Produkte im medizinischen Umfeld lassen jedoch noch auf sich warten. Hier sind noch erhebliche Forschungsanstrengungen nötig, wofür das beschriebene Forschungsprojekt seinen Beitrag liefern soll. Die Performance aktueller embedded Prozessoren verspricht jedoch eine echtzeitfähige Implementierung von Live-Stereobildverarbeitung und damit die Realisierbarkeit medizinischer Produkte.

Gegenstand der geplanten Forschungsaktivitäten ist zum einen die echtzeitfähige 3D-Rekonstruktion in endoskopischen Bilddaten unter dem Gesichtspunkt zukünftiger Assistenzsysteme. Neben der Entwicklungsmethodik und den Algorithmen zur (Stereo-)Bildverarbeitung, spielt im Rahmen der angewandten Forschung auch die Implementierung der Verfahren auf produktnaher Hardware (embedded Prozessoren) eine Rolle, um die prototypische Reife demonstrieren zu können. Hierfür besteht noch großer Forschungs- und Entwicklungsbedarf. Im Folgenden seien exemplarisch zwei Applikationen beschrieben.

• Eine mögliche Assistenzfunktion ist die Überlagerung (Augmentierung/Overlay) des 3D-Bildes mit virtuellen Zusatzinformationen. Dies können z.B. präoperative Daten aus anderen diagnostischen Untersuchungen sein, wie die Vermessung von Gefäßen und Gewebestrukturen, Organe oder zu lokalisierende Objekte/Anomalien mittels US/CT. Die eingebrachten Zusatzinformationen dienen der Orientierung und Navigation von Endoskop und Instrumenten und können so auch helfen, Verletzungen von empfindlichen Organstrukturen, wie Nerven und Blutgefäße zu vermeiden. Sind in einem anderen Fall durch Trübungen die optischen Sichtverhältnisse beeinträchtigt, so kann aus dem vom Computer berechneten 3D-Modell eine Darstellung für den Operateur erzeugt werden, in der teilweise virtuelle Objekte enthalten sind. Dies entspräche quasi in der Luftfahrt einem Blindflug mit Navigationshilfen. Zusatzinformationen müssen jedoch sicherlich stets so selektiert und präsentiert werden, dass der Operateur damit nicht überlastet wird.
• Operative Eingriffe durch kleinste Öffnungen im Körper stellen sehr hohe Anforderungen an die Geschicklichkeit des Chirurgen bei der Handhabung der Instrumente. Vor der Einführung der 3D-Endoskopie begünstigte dies die Entwicklung innovativer Roboter-assistierter Systeme, welche die automatische Steuerung/Navigation und die stabilisierte intrakorpale Ausrichtung von Endoskop und Instrumenten im Arbeitsraum zum Ziel haben. In diesem Applikationsbeispiel steht die Positions- und Lageregelung im Vordergrund, welche wiederum eine akkurate 3D-Rekonstruktion über das messende 3D-Endoskop und der nachgeschalteten Stereosignalverarbeitung voraussetzt.

Projektart: internes Projekt

Laufzeit: 2 Jahre

Kamerasensorik ist mittlerweile als Primärsensorik für Überwachungs-, Steuer- und Regelungsanwendungen im industriellen und alltäglichen Umfeld etabliert. Die Bedeutung insbesondere kleiner Systeme, z.B. in mobilen Applikationen, nimmt mit dem rasanten technologischen Fortschritt der Prozessor- und Rechnerarchitekturen stetig zu.

Die Verarbeitung von Daten komplexer Sensoren, wie Kamerasensoren (aber durchaus auch Daten von Radarsensoren, Laserscanner, …) ist jedoch je nach Anforderungen und Aufgabenstellung sehr komplex und rechenintensiv und stellen den Prozessor in kleinen eingebetteten Systemen vor großen Herausforderungen. Dies trifft natürlich in besonderem Maße bei Stereokamerasystemen zu.

Aus diesem Grund stellen sich aktuelle eingebettete Produktlösungen entweder noch als größere (PC-basierte oder PC-ähnliche) Mikroprozessor-Systeme dar oder es kommen leistungsfähige, kleinere Systeme unter Verwendung von Spezialprozessoren (DSP, FPGA) zum Einsatz. Auch die manuelle Codeoptimierung und die aufwendige Nutzung des prozessorspezifischen Befehlssatzes stellen die Praxis dar. Dies schränkt jedoch in vielen Fällen die Portierbarkeit, Skalierbarkeit und Weiterentwicklung von Systemen unvorteilhaft ein, was den Produktentwicklungsprozess ineffizient und teuer macht.

Das vorliegende Forschungsprojekt befasst sich mit der Entwicklungsmethodik von kleinen eingebetteten Bildverarbeitungssystemen, insbesondere zur Stereobildverarbeitung und soll primär mindestens eines der beiden Konzepte

• Einsatz von modellbasierten Entwicklungsmethoden und Codegenerierung
• Adaptierung der Hardware und SW-Algorithmen auf die Aufgabenstellung

untersuchen.

Nach Abschluss des Projekts stehen die Erkenntnisse und die Gerätschaften bereit, um hierauf aufbauend Folgeprojekte zu definieren. Die Schwerpunkte können sowohl die Entwurfsmethodik weiter voranbringen, aber auch in der Entwicklung neuer Bildverarbeitungsalgorithmen und deren Anwendungen liegen.

Projektart: Industrieprojekt/Auftragsforschung

Laufzeit: 2 Jahre

Das Projekt „Automotive Vision“ befasst sich mit der Entwicklung von Sensor- und Regelungsalgorithmen für das zukunftsweisende Gebiet der Fahrerassistenzsysteme. In Kooperation mit dem Institut für Regelungstechnik (IfR) der TU Braunschweig stehen Applikationen für eine autonome Fahrzeugführung eines PKW im Vordergrund. Eine Applikation ist die Entwicklung und Implementierung eines eingebetteten Systems, welches mit Hilfe von Kamerasensorik die Fahrspurgeometrie und die Lage des Fahrzeugs in der Fahrspur erfassen, um eine Regelung des Fahrzeugs in der Fahrspur zu realisieren. Weitere Arbeiten sollen komplexe Szenen des innerstädtischen Bereichs wahrnehmen, wie z.B. Ampellichtzeichen detektieren und klassifizieren, um eine autonome Navigation zu unterstützen.

Embedded Hardware

• Programmierung eines Multicore-DSP Prozessorboards für Bildverarbeitungsanwendungen
• Programmierung einer Multicore-DSP PCIe-Prozessorkarte für Bildverarbeitungsanwendungen
• Programmierung einer intelligenten embedded Kamera mit ARM/DSP Architektur
• Messtechnik und Sensorik
• Aufbau eines Testrack für das GPS3+ Navigationssystem

Steuer- und Regelungstechnik

• Inbetriebnahme, Programmierung und Sicherheitskonzept für ein 6-Achs Master-Slave Robotersystem

Bildverarbeitung

• Smart camera real-time image processing for autonomous robotic platforms
• Optimierte kamerabasierte Echtzeit-Niveaumessungen zur Füllstandsüberwachung im Gießtrichter
• Anbindung und Test eines 3D-Endoskops an MATLAB mit der Image Aquisition Toolbox
• Überblick und Simulation von Verfahren zur spektroskopischen Gewebeanalytik