AMI - Advanced Multimodal Imaging

Projektlaufzeit: September 2022 – August 2025

Das AMI-Bündnis entwickelt multimodale bildgebende Verfahren, die Bildverarbeitungstechnologien aus unterschiedlichen Spektralbereichen von ultravioletten (UV), visuellen (VIS), Nah- (NIR) über den kurzwelligen (SWIR) bis hin zum langwelligen Infrarotbereich (LWIR) sowie Echtzeit-3D-Bilder verknüpfen und somit eine erweiterte Objekt- und Szenenbeschreibung ermöglichen, für in Mittel- und Südthüringen relevante industrielle Wachstumsfelder.

Bündnispartner:

  • Steinbeis Qualitätssicherung und Bildverarbeitung GmbH
  • Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF
  • Sielaff Software und Service GmbH & Co. KG
  • LUCAS instruments GmbH
  • 3plusplus GmbH
  • AIM Micro Systems GmbH
  • InfraTec GmbH Infrarotsensorik und Messtechnik
  • Materialforschungs- und -prüfanstalt an der Bauhaus-Universität Weimar
  • TechnoTeam Bildverarbeitung GmbH
  • Technische Universität Ilmenau
  • Vision & Control GmbH
  • Zentrum für Bild- & Signalverarbeitung e.V.

Weitere Informationen zum Bündnis

gefördert vom Bundesministerium für Bildung und Forschung

Im Bündnis bearbeitet der ZBS e.V. drei Vorhaben, die sich mit Basistechnologien zur multimodalen Szenenerfassung (Single-Shot-3D-Bildgebungen) und Werkzeugen zur multimodalen (multispektralen) Datenverarbeitung sowie der Umsetzung in 2 Anwendungsprojekten befassen. 

Echtzeitfähige SingleShot-3D-Bildgebungen für unterschiedliche Einsatzfälle

Im Vorhaben wurden Konzepte und Lösungen für SingleShot-3D-Bildgebungen erarbeitet und umgesetzt. Im Mittelpunkt der Entwicklungen standen die Applizierbarkeit in unterschiedlichen Bändern des optischen Spektrums (VIS-SWIR), die Umsetzung von Lichtmustern mit dem effizienten Prinzip der diffraktiv optischen Musterformung sowie latenzarme Dekodierungs- und 3D-Rekonstruktionstechniken. 

Werkzeuge zur spektralen/multispektralen Datenverarbeitung

Gegenstand der Vorhaben war die Entwicklung allgemein nutzbarer Softwarewerkzeuge und Workflows zur spektralen Datenvorverarbeitung sowie die Erarbeitung von sensornahen Verarbeitungskonzepten mit engem Bezug zu multispektralen Bildgebungen des multimodalen Sensorverbundes. Die Methodenentwicklungen umfassen generisch-nutzbare Methoden zum Datenimport und -export, zur Datenverbesserung, -verrechnung, visualisierung sowie zur Daten- und Systemsimulation.

Wesentliche Ergebnisse der Entwicklungen finden sich im Softwareframework „SpecWorks“. Dieses bietet als Prototyping-Tool für spektrale und colorimetrische Verarbeitungen optimale Voraussetzungen für diese und ähnlich gelagerte Zwecke.

Neuartig sind Verfahren zur automatischen spektralen Konfiguration von multispektralen Sensoren und Bildgebungen (MSI), die es ermöglichen, eine anwendungsbezogen optimale Festlegung von spektralen Systemeigenschaften zu ermöglichen. Diese sind der Ausgangspunkt für die technologische Umsetzung derartiger Systeme mit einer abgestimmten Auswahl von optischen Komponenten (Beleuchtungen, Filter, Sensoren). In die Auswahl sind auch technologische Randbedingungen der Umsetzung einbezogen. Die Verfahren wurden im Vorhaben für die Konfiguration und technologische Umsetzung multispektraler Systeme im VIS  bis MWIR genutzt.

Werkzeuge zur sensornahen multimodalen Bildverarbeitung

Beim Einsatz multispektraler Bildgebungen treten zwischen den spektralen Auszügen häufig Verschiebungen gleicher abgebildeter Szenenorte auf, wenn diese aus dynamischen Szenen nicht zeitgleich (SingleShot) gewonnen werden können oder zwischen den Orten der Erfassung der Spektralauszüge signifikante räumliche Unterschiede bestehen (Parallaxeproblem). Die Stärke und Relevanz der Verschiebungen, die abhängig von der Bildposition sein können (inhomogen), hängt von den geometrischen Abbildungsverhältnissen und der Szene selbst ab. Immer dann, wenn multispektrale Textureigenschaften objektbeschreibend und –erkennungsrelevant sind, ist eine Korrektur dieser Verschiebungen im Rahmen der sensornahen Datenvorverarbeitung einer mehrkanalig spektralen Bildmodalität wichtig, bevor diese Daten der weiteren Vorverarbeitungsschritte und der multimodalen Fusion und Analyse zugeführt werden können.

Im Rahmen des Vorhabens wurde ein Verfahren zur datengetriebenen automatischen geometrischen Feinregistrierung entwickelt. Die Registrierung umfasst vollständige linear-affine Transformationen, die Transportbewegungen bei zeitlich sequentieller Erfassung und kleinere perspektivische Verzerrungen bei SingleShot-Erfassungen mit örtlich versetzten Bildsensoren anstelle einer geometrischen Kalibrierung und Registrierung kompensieren können. Die Transformation mit den automatisch ermittelten Parametern wird subpixelgenau unter Verwendung optimaler Interpolation umgesetzt. Das Verfahren ist universell einsetzbar.

Software zur höheren multimodalen Datenanalyse

Veröffentlichungen

Lennard Wunsch; Martin Hubold; Rico Nestler; Gunther Notni: Realisation of an Application Specific Multispectral Snap-Shot-Imaging System based on Multi-Aperture-Technology and Multispectral Machine Learning Loops, Sensors 2024, 24, 7984. https://doi.org/10.3390/s24247984

Evengy Degtyarev; David Reese; Rico Nestler: Modular Target and Approach for Geometric Calibration of Multimodal Imaging Systems. In Anwendungsbezogener Workshop „3D in Science & Applications“ (3D-iSA), GFaI-Tagungsband  e. V. Berlin, S. 26-30, ISBN: 978-3-942709-34-7, 2024.