Zur Person
Werdegang
Seit 03.2013 | Professor für Computer Vision und Robotik an der Fachhochschule Dortmund |
2010 – 2013 | Professor für Elektrotechnik an der Fachhochschule Bielefeld |
2009 – 2010 | Lehrbeauftragter an der Fachhochschule Dortmund |
2003 – 2010 |
Hella KGaA Hueck & Co. in Lippstadt
Projektleitung Taskforce Radarsysteme |
1997 – 2003 |
Wissenschaftlicher Mitarbeiter an der Universität Paderborn
Promotionsstipendium am Graduiertenkolleg am Heinz Nixdorf Institut
|
Forschung
Forschungsprojekte
MessEnd - Messendes 3D-Endoskop
Projektart: öffentliche Förderung (BMBF, KMU-innovativ Medizintechnik)
Laufzeit: 3 Jahre
Bislang nutzen Mediziner 3D-Endoskope, um ihre Krankheitsdiagnose auch visuell zu untermauern. Dabei produzieren die Endoskope allerdings nur Bilder, auf deren Basis der behandelnde Arzt Abstände in der erkrankten Körperregion abschätzen muss. Für die minimal-invasive Chirurgie und die Frage, ob und in welchem Umfang operiert werden muss, sowie für die
entsprechende Therapieempfehlung, sind aber Größenbestimmungen von Läsionen bzw. die genaue Vermessung der Abstände zwischen diesen von zentraler Bedeutung.
Das messende 3D-Endoskop ermöglicht dem Mediziner, die Größe von beispielsweise Tumoren, Zysten etc. in der zu behandelnden Region genau zu bestimmen und auf Basis exakter – und nicht geschätzter – Werte die Therapie zu definieren.
Software4Robots
Projektart: öffentliche Förderung (BMBF, FH Ingenieurnachwuchs)
Laufzeit: 4 Jahre
Unbemannte Flugobjekte (Unmanned Aerial Vehicle – UAV) dringen aus dem Bereich der Spielgeräte (Drohnen) immer weiter in den professionellen Einsatz vor. So sind die Vorteile bei Brandbekämpfung, Brandabwehr und der Überwachung kritischer Infrastrukturen von Feuerwehren und Hilfsorganisationen erkannt.
Das Partner Institut für Feuerwehr- und Rettungstechnologie stellt die Verknüpfung zur zivilen Sicherheitsforschung her. Der Partner Jet Propulsion Laboratory (JPL) in Kalifornien eröffnet internationale Zugänge im Bereich Raumfahrt. Über den Partner smart mechatronics GmbH erfolgt die Validierung und Erprobung.
AVATAR – Audiovisuelles individualisiertes Assistenzsystem als Therapieunterstützung bei kindlichen phonetisch-phonologischen Artikulationsstörungen
Projektart: öffentliche Förderung (EFRE, Leitmarkt.NRW LifeSciences)
Laufzeit: 3 Jahre
Die Therapie kindlicher Artikulationsstörungen – wie etwa Lispeln –fordert von Kindern und Eltern auch ein intensives Üben zu Hause. Das neue Forschungsprojekt „AVATAR“ entwickelt zur Unterstützung einen „Logopädie-Assistenten“.
Auf den Punkt gebracht besteht das Projekt aus audio-visueller Spracherkennung, Sprechübungen und einem Avatar als persönlichem Helfer. Aus dem aufgenommenen Audio- und Videosignal werden markante Merkmale mit einer speziellen Software für Signalverarbeitung gewonnen. Das System fusioniert dann die Audio- und Videosignale mittels künstlicher neuronaler Netze, um Aussprache-Fehler klassifizieren zu können. Der Avatar erkennt automatisch, wie das Kind die Laute bildet und unterstützt kindgerecht die Bildung korrekter Laute.
Hyperspectral Imaging
Projektart: öffentliche Förderung (MIWF, FH-Basis 2014)
Laufzeit: >5 Jahre
Intelligente Kamerasensoren mit neuartigen Hyperspektralen Bildsensoren ermöglichen im Gegensatz zu gewöhnlichen Kamerasystemen eine spektrale Analyse der Bilddaten. Somit gewinnt man nicht eine Bildmatrix, sondern ein Kubus mit der Wellenlänge als dritte Dimension. Hierdurch wird eine genauere Analyse und Erkennung der betrachteten Objekte möglich, was z.B. Anwendung in der Medizintechnik (Krebsdiagnostik), Agrarwirtschaft (Umweltana-lysen) oder auch der Automatisierungstechnik (Qualitätssicherung) finden kann.
Robotik
Projektart: öffentliche Förderung (MIWF, FH-Basis 2013)
Laufzeit: >5 Jahre
Das Institut IfIT verfügt über eine mit öffentlichen Fördermitteln finanierte Master-Slave 6-Achs Robotermanipulatoreinheit der Firma DENSO mit hoher Positioniergenauigkeit, wie sie in der Fertigungsautomatisierung für fest einprogrammierte Prozesse, z.B. der Automobilindustrie eingesetzt wird. Ein Schwerpunkt der geplanten Forschungsaktivitäten ist die intelligente Ansteuerung der Robotereinheit mit Hilfe einer Multisensorplattform, um die Bewegungen der Greifer für komplexe Manipulationsaufgaben zu regeln.
In Synergie mit vorhandenen Projekten und Kompetenzen der Fachhochschule sind mit dem Aufbau vielfältige Szenarien der Automatisierungstechnik realisierbar. Bei mehr als einem Manipulator spielen aber intelligente Systeme mit komplexer Sensorik und Regelung eine immer größere Bedeutung. Der Trend zeigt zudem den Bedarf an Produktionsstätten auf, die nicht nur fest einprogrammierte Abläufe, sondern auch unbekannte, sich wechselnde Bedingungen und Anforderungen bedienen können. Im industriellen Umfeld kommen derartige Robot-Vision Systeme bereits zum Einsatz, wobei das Potenzial hier noch nicht ausgeschöpft scheint.
Neben der Automatisierungstechnik soll das Haupteinsatzfeld der Manipulatoreinheit in der Medizintechnik, genauer der Medizinrobotik liegen. Auf Basis des 3D-Endoskops als optischer Sensor werden herausfordernde Themen wie die automatische Navigation / Bahnführung oder die Positionsregelung medizinischer Instrumente in aktuellen Forschungsaktivitäten verankert. Das 3D-Endoskop wird mit Algorithmen der Bildanalyse zu einem messenden Instrument ausgebaut. Auf dieser Basis wird man in der Lage sein, die räumliche Lage von Objektpunkten zu messen. Ist diese Information verfügbar, lassen sich Instrumente oder das Endoskop selbst autonom oder semi-autonom durch Verfahren der Regelungstechnik in der Position stabilisieren, in komplexen Bewegungsbahnen führen oder gar für medizinische Eingriffe nutzen. Im Folgenden seien exemplarisch zwei Applikationsszenarien genannt.
- Operative Eingriffe durch kleinste Öffnungen im Körper stellen sehr hohe Anforderungen an die Geschicklichkeit des Chirurgen bei der Handhabung der Instrumente. Hier steht die intrakorpale Positions- und Lageregelung im Vordergrund, welche eine echtzeitfähige Ansteuerung der Manipulatoreinheit bzw. der Instrumente voraussetzt.
- Das autonome Agieren im Operationsgebiet und die Durchführung von Teilaufgaben durch den Roboter soll den Mediziner unterstützen und z.B. durch die Positionierung von medizinischen Instrumenten von Routinearbeiten entlasten. Die höchste Herausforderung an ein technisches System und die zugleich sicherheitskritischste Applikation wäre jedoch sicherlich der aktive chirurgische Eingriff, also das Durchtrennen und Veröden von Gewebestrukturen und Gefäßen oder die Ausführung eines Nahtvorgangs. Laparoskopische Operationen sind für den Mediziner von besonderem Schwierigkeitsgrad, da das Fehlen der taktilen Rückkopplung eine sehr gute Hand-Auge-Koordination erforderlich macht, so dass ein aktives Assistenzsystem Vorteile liefert.
Assistierte 3D-Endoskopie
Projektart: öffentliche Förderung (MIWF, FH-Basis 2012)
Laufzeit: >5 Jahre
Wie auch in zahlreichen Veröffentlichungen, Studien und Positionspapieren [VDE/DGBMT] aufgezeigt, nehmen assistive Technologien in der Medizin und Chirurgie einen immer größeren Stellenwert ein. Die 3D-Endoskopie, auf dem Markt mit ein paar wenigen Produkten bereits verfügbar, zählt zu diesen Technologien, die durch das dreidimensionale Sehen dem Chirurgen eine optimierte Handhabung der Instrumente ermöglicht. Der Fokus aktueller Forschungsgruppen geht aber noch über der reinen 3D-Visualisierung hinaus [DRL: Medizinische Assistenzsysteme, TU München: SFB 453 Wirklichkeitsnahe Telepräsenz und Teleaktion]. Zukünftige Systeme werden den Chirurgen durch gezielte computergestützte Zusatzinformationen unterstützen oder gar (semi-) autonom Teilaufgaben übernehmen, um entweder zur Entlastung Routinearbeit zu erledigen oder präzisere Manipulationen durchzuführen. Dieser Entwicklungsschritt stellt den Übergang von der reinen Visualisierung bis hin zur OP-Robotik dar.
Voraussetzung derartiger innovativer Assistenzsysteme ist u.a. die exakte räumliche Vermessung des Arbeitsbereiches des Endoskops, z.B. im Bauchraum. Dieser beinhaltet Gefäße, Organe, krankhafte Veränderungen/Objekte oder auch medizinische Instrumente. Das 3D-Endoskop kann aber prinzipiell nicht nur eine stereoskopische Tiefenwahrnehmung für den Operateur leisten. Mit Hilfe von Methoden der Stereobildverarbeitung, wie im industriellen Alltag bereits etabliert, kann aus den Bilddaten der beiden Optiken des 3D-Endoskops (der Stereokamera) die dritte Dimension rekonstruiert werden. Man ist damit in der Lage das Endoskop zusätzlich als Messinstrument für die räumliche Lage von Objektpunkten zu erweitern. Erste Forschungsansätze zur 3D-Rekonstruktion [FH Reutlingen/IFA: Messendes 3D-Endoskop] und die damit verbundenen Assistenzsysteme gibt es bereits, marktfähige Realisierungen und Produkte im medizinischen Umfeld lassen jedoch noch auf sich warten. Hier sind noch erhebliche Forschungsanstrengungen nötig, wofür das beschriebene Forschungsprojekt seinen Beitrag liefern soll. Die Performance aktueller embedded Prozessoren verspricht jedoch eine echtzeitfähige Implementierung von Live-Stereobildverarbeitung und damit die Realisierbarkeit medizinischer Produkte.
Gegenstand der geplanten Forschungsaktivitäten ist zum einen die echtzeitfähige 3D-Rekonstruktion in endoskopischen Bilddaten unter dem Gesichtspunkt zukünftiger Assistenzsysteme. Neben der Entwicklungsmethodik und den Algorithmen zur (Stereo-)Bildverarbeitung, spielt im Rahmen der angewandten Forschung auch die Implementierung der Verfahren auf produktnaher Hardware (embedded Prozessoren) eine Rolle, um die prototypische Reife demonstrieren zu können. Hierfür besteht noch großer Forschungs- und Entwicklungsbedarf. Im Folgenden seien exemplarisch zwei Applikationen beschrieben.
- Eine mögliche Assistenzfunktion ist die Überlagerung (Augmentierung/Overlay) des 3D-Bildes mit virtuellen Zusatzinformationen. Dies können z.B. präoperative Daten aus anderen diagnostischen Untersuchungen sein, wie die Vermessung von Gefäßen und Gewebestrukturen, Organe oder zu lokalisierende Objekte/Anomalien mittels US/CT. Die eingebrachten Zusatzinformationen dienen der Orientierung und Navigation von Endoskop und Instrumenten und können so auch helfen, Verletzungen von empfindlichen Organstrukturen, wie Nerven und Blutgefäße zu vermeiden. Sind in einem anderen Fall durch Trübungen die optischen Sichtverhältnisse beeinträchtigt, so kann aus dem vom Computer berechneten 3D-Modell eine Darstellung für den Operateur erzeugt werden, in der teilweise virtuelle Objekte enthalten sind. Dies entspräche quasi in der Luftfahrt einem Blindflug mit Navigationshilfen. Zusatzinformationen müssen jedoch sicherlich stets so selektiert und präsentiert werden, dass der Operateur damit nicht überlastet wird.
- Operative Eingriffe durch kleinste Öffnungen im Körper stellen sehr hohe Anforderungen an die Geschicklichkeit des Chirurgen bei der Handhabung der Instrumente. Vor der Einführung der 3D-Endoskopie begünstigte dies die Entwicklung innovativer Roboter-assistierter Systeme, welche die automatische Steuerung/Navigation und die stabilisierte intrakorpale Ausrichtung von Endoskop und Instrumenten im Arbeitsraum zum Ziel haben. In diesem Applikationsbeispiel steht die Positions- und Lageregelung im Vordergrund, welche wiederum eine akkurate 3D-Rekonstruktion über das messende 3D-Endoskop und der nachgeschalteten Stereosignalverarbeitung voraussetzt.
Embedded Stereo Vision
Projektart: internes Projekt
Laufzeit: 2 Jahre
Kamerasensorik ist mittlerweile als Primärsensorik für Überwachungs-, Steuer- und Regelungsanwendungen im industriellen und alltäglichen Umfeld etabliert. Die Bedeutung insbesondere kleiner Systeme, z.B. in mobilen Applikationen, nimmt mit dem rasanten technologischen Fortschritt der Prozessor- und Rechnerarchitekturen stetig zu.
Die Verarbeitung von Daten komplexer Sensoren, wie Kamerasensoren (aber durchaus auch Daten von Radarsensoren, Laserscanner, …) ist jedoch je nach Anforderungen und Aufgabenstellung sehr komplex und rechenintensiv und stellen den Prozessor in kleinen eingebetteten Systemen vor großen Herausforderungen. Dies trifft natürlich in besonderem Maße bei Stereokamerasystemen zu.
Aus diesem Grund stellen sich aktuelle eingebettete Produktlösungen entweder noch als größere (PC-basierte oder PC-ähnliche) Mikroprozessor-Systeme dar oder es kommen leistungsfähige, kleinere Systeme unter Verwendung von Spezialprozessoren (DSP, FPGA) zum Einsatz. Auch die manuelle Codeoptimierung und die aufwendige Nutzung des prozessorspezifischen Befehlssatzes stellen die Praxis dar. Dies schränkt jedoch in vielen Fällen die Portierbarkeit, Skalierbarkeit und Weiterentwicklung von Systemen unvorteilhaft ein, was den Produktentwicklungsprozess ineffizient und teuer macht.
Das vorliegende Forschungsprojekt befasst sich mit der Entwicklungsmethodik von kleinen eingebetteten Bildverarbeitungssystemen, insbesondere zur Stereobildverarbeitung und soll primär mindestens eines der beiden Konzepte
- Einsatz von modellbasierten Entwicklungsmethoden und Codegenerierung
- Adaptierung der Hardware und SW-Algorithmen auf die Aufgabenstellung
untersuchen.
Nach Abschluss des Projekts stehen die Erkenntnisse und die Gerätschaften bereit, um hierauf aufbauend Folgeprojekte zu definieren. Die Schwerpunkte können sowohl die Entwurfsmethodik weiter voranbringen, aber auch in der Entwicklung neuer Bildverarbeitungsalgorithmen und deren Anwendungen liegen.
Automotive Vision
Projektart: Industrieprojekt/Auftragsforschung
Laufzeit: 2 Jahre
Das Projekt „Automotive Vision“ befasst sich mit der Entwicklung von Sensor- und Regelungsalgorithmen für das zukunftsweisende Gebiet der Fahrerassistenzsysteme. In Kooperation mit dem Institut für Regelungstechnik (IfR) der TU Braunschweig stehen Applikationen für eine autonome Fahrzeugführung eines PKW im Vordergrund. Eine Applikation ist die Entwicklung und Implementierung eines eingebetteten Systems, welches mit Hilfe von Kamerasensorik die Fahrspurgeometrie und die Lage des Fahrzeugs in der Fahrspur erfassen, um eine Regelung des Fahrzeugs in der Fahrspur zu realisieren. Weitere Arbeiten sollen komplexe Szenen des innerstädtischen Bereichs wahrnehmen, wie z.B. Ampellichtzeichen detektieren und klassifizieren, um eine autonome Navigation zu unterstützen.
Mitgliedschaften
- Forschungsschwerpunkt BioMedizinTechnik der Fachhochschule Dortmund
- IEEE Germany Section
- IEEE Signal Processing Society
- VDE Verband der Elektrotechnik Elektronik Informationstechnik e.V.
- Fachgesellschaft ITG (Informationstechnische Gesellschaft)
- FA „Signalverarbeitung und maschinelles Lernen“
- Fachgesellschaft DGBMT (Deutsche Gesellschaft für Biomedizinische Technik)
- FA „Bildgestützte navigierte Intervention“
- FA „Endoskopie, Chirurgische Instrumente und Telemanipulatoren“
- Fachgesellschaft ITG (Informationstechnische Gesellschaft)
- Promotionskolleg NRW (Öffnet in einem neuen Tab)
- Fachgruppe Technik und Systeme
- GETTEG e.V.
Publikationen
- F. Tanriverdi and J. Thiem:
„Stereo Reconstruction with a 3D-Endoscope“,
BMT 2015 / DGBMT 49th Annual Conference, in Biomedical Engineering/Biomedizinische Technik - H. Schroeder and J. Thiem:
„Spatial Analysis of Hemoglobin Concentration with Hyperspectral Imaging Techniques“,
BMT 2015 / DGBMT 49th Annual Conference, in Biomedical Engineering/Biomedizinische Technik - F. Tanriverdi and J. Thiem:
„Stereo-Rekonstruktion mit einem 3D-Endoskop“,
Endo heute, vol. 28, no. 01, 2015
Lehre
Lehrangebot
Im Sommersemester:
- Regelungstechnik (Bachelor)
- Bildgebende Verfahren der Medizintechnik 1 (Wahlfach Bachelor)
- Robotic Vision (Wahlfach Master)
Im Wintersemester:
- Regelungstechnik (Bachelor)
- Modellbildung und Simulation in der Biomedizintechnik (Bachelor)
- Advanced Robotic Vision (Wahlfach Master)
Studentische Arbeiten
In den Anwendungsfeldern
- Automotive
- Medizintechnik
- Industrierobotik
- mobile Robotik (krabbelnd, fliegend)
- Assistenzsysteme
biete ich Themen für studentische Arbeiten (Projektarbeiten, Abschlussarbeiten) an. In den Projekten geht es vielfach inhaltlich um die Methoden:
- Regelungstechnik
- Bildverarbeitung
- Messtechnik und Sensorik
- Embedded Systems (µC/ARM/DSP/ePC)
- Modellbasierte Entwicklung
Seit einigen Jahren pflege ich den Kontakt zum JPL der NASA am California Institute of Technology und habe den Austausch von Studierenden in die „JPL Mobility and Robotic Systems Section“ vorangetrieben. Unsere Hochschulleitung ist daran interessiert, den Kontakt weiter auszubauen. Wenn Sie über gute Programmierkenntnis (vorzugsweise in C/C++) verfügen, Erfahrungen im Bereich Computer Vision oder Embedded Processing verfügen, dann sprechen Sie mich an.
Bei Interesse an Projekt- und/oder Abschlussarbeiten zu diesen Bereichen oder an einer Betreuung extern durchgeführter Arbeiten nehmen Sie bitte mit mir Kontakt auf. Sprechen Sie mich einfach an.
Studentische Arbeiten 2015
Embedded Hardware
- Implementierung eines Algorithmus zur 3D-Rekonstruktion auf einer intelligenten ARM/DSP-Kamera
Messtechnik und Sensorik
- Funksteuerung eines Flug-Modells mit einem Arduino
- Aufbau eines DGPS-Sensorsystems zur Messung von Relativpositionen
- Aufbau eines DGPS-Sensorsystems zur Messung von Relativpositionen (2)
- Aufbau und Test einer bidirektionalen 868MHz Funkbrücke für Messdatenanwendungen
Steuer- und Regelungstechnik
- Objektverfolgung mit einer schwenkbaren Kamera
- Erfassung und Analyse von EMG-Signalen unter MATLAB/Simulink
- Untersuchungen zur Flugfähigkeit einer funkgesteuerten Drohne mittels eines Arduino
- Entwicklung einer Akku-Management-Einheit für Embedded Vision Anwendungen
- Überprüfung der inversen Kinematik des Hexapods Mark II von Trossen Robotics unter Zuhilfenahme der Robotics Toolbox in MATLAB
- Einsatz einer Kraft-Momentensensorik für die Medizinrobotik
- Echtzeitsteuerung eines Industrieroboters mit der xPC-Target Plattform (Teil 2)
- Programmierung einer GUI für das Ansteuern und Einlesen der Achs-Winkel eines sechsachsigen Industrieroboters
Bildverarbeitung
- Tracking von Objekt-Hypothesen mittels Kalman-Filter
- Micro Air Vehicle vision-based navigation with a rolling-shutter camera
- Benchmarking einer aktiven Tiefenkamera für die Objekterkennung
- Aufbau und Kalibrierung eines 3D Robot-Vision Systems
- Entwicklung und Verifizierung eines Robot-Vision-Systems zur invarianten Erkennung von Piktogrammen mit MATLAB
- 3D-Rekonstruktion in der Endoskopie mit MATLAB/Simulink
Studentische Arbeiten 2014
Embedded Hardware
- Codegenerierung für ein DSP-Prozessorboard für Bildverarbeitungsanwendungen
- Implementierung von Algorithmen zur Bildverarbeitung auf einer intelligenten ARM/DSP-Kamera mit MATLAB/Simulink
- Verarbeitung von Bilddaten auf einem DSP-Prozessorboard mit MATLAB/Simulink
- Algorithmen zur Disparitätsanalyse in segmentierten Stereobilddaten auf einem embedded Multimedia-Prozessor
Steuer- und Regelungstechnik
- IR-Steuerung eines Helikopters mit einem Arduino
- Aufbau einer Roboterhalterung für ein medizinisches Endoskop
- Echtzeitsteuerung eines Industrieroboters mit der Ethernetschnittstelle b-CAP (Teil 1)
- Steuerung eines 6-Achs Roboters unter MATLAB mit der Programmierschnittstelle ORiN
- Erarbeitung und Umsetzung eines Greiferkonzepts für die medizinische Robotik
- Aufbau eines Multi-Roboter Systems
Bildverarbeitung
- Implementation of a vision-based pose estimation filter for Micro Air Vehicles
- Multi-Objekt Tracking in Bildsequenzen mit MATLAB
- Implementation eines kollaborativen Stereo Vision Systems
- Evaluierung von Ähnlichkeitsmetriken für die Objektverfolgung in Farbbildsequenzen
- Kalibrierung und Disparitätsanalyse eines 3D-Endoskops mit MATLAB
- Analyse und Modellierung der Autofluoreszenzbildgebung für die medizinische Diagnostik
- Verarbeitung hyperspektraler Bilddaten
- Aufbau und Erprobung einer Versuchsumgebung für die kamerabasierte Objektanalyse unter Anregung mit UV-Licht
- 3D-Rekonstruktion in der Endoskopie mit MATLAB/Simulink
Studentische Arbeiten 2013
2013
Embedded Hardware
- Programmierung eines Multicore-DSP Prozessorboards für Bildverarbeitungsanwendungen
- Programmierung einer Multicore-DSP PCIe-Prozessorkarte für Bildverarbeitungsanwendungen
- Programmierung einer intelligenten embedded Kamera mit ARM/DSP Architektur
- Messtechnik und Sensorik
- Aufbau eines Testrack für das GPS3+ Navigationssystem
Steuer- und Regelungstechnik
- Inbetriebnahme, Programmierung und Sicherheitskonzept für ein 6-Achs Master-Slave Robotersystem
Bildverarbeitung
- Smart camera real-time image processing for autonomous robotic platforms
- Optimierte kamerabasierte Echtzeit-Niveaumessungen zur Füllstandsüberwachung im Gießtrichter
- Anbindung und Test eines 3D-Endoskops an MATLAB mit der Image Aquisition Toolbox
- Überblick und Simulation von Verfahren zur spektroskopischen Gewebeanalytik