Das AMI-Bündnis entwickelt multimodale bildgebende Verfahren, die Bildverarbeitungstechnologien aus unterschiedlichen Spektralbereichen von ultravioletten (UV), visuellen (VIS), Nah- (NIR) über den kurzwelligen (SWIR) bis hin zum langwelligen Infrarotbereich (LWIR) sowie Echtzeit-3D-Bilder verknüpfen und somit eine erweiterte Objekt- und Szenenbeschreibung ermöglichen, für in Mittel- und Südthüringen relevante industrielle Wachstumsfelder.
Weitere Informationen zum Bündnis
gefördert vom Bundesministerium für Bildung und Forschung
Im Bündnis bearbeitet der ZBS e.V. drei Vorhaben, die sich mit Basistechnologien zur multimodalen Szenenerfassung (Single-Shot-3D-Bildgebungen) und Werkzeugen zur multimodalen (multispektralen) Datenverarbeitung sowie der Umsetzung in 2 Anwendungsprojekten befassen.
Im Vorhaben wurden Konzepte und Lösungen für SingleShot-3D-Bildgebungen erarbeitet und umgesetzt. Im Mittelpunkt der Entwicklungen standen die Applizierbarkeit in unterschiedlichen Bändern des optischen Spektrums (VIS-SWIR), die Umsetzung von Lichtmustern mit dem effizienten Prinzip der diffraktiv optischen Musterformung sowie latenzarme Dekodierungs- und 3D-Rekonstruktionstechniken.
Gegenstand der Vorhaben war die Entwicklung allgemein nutzbarer Softwarewerkzeuge und Workflows zur spektralen Datenvorverarbeitung sowie die Erarbeitung von sensornahen Verarbeitungskonzepten mit engem Bezug zu multispektralen Bildgebungen des multimodalen Sensorverbundes. Die Methodenentwicklungen umfassen generisch-nutzbare Methoden zum Datenimport und -export, zur Datenverbesserung, -verrechnung, visualisierung sowie zur Daten- und Systemsimulation.
Wesentliche Ergebnisse der Entwicklungen finden sich im Softwareframework „SpecWorks“. Dieses bietet als Prototyping-Tool für spektrale und colorimetrische Verarbeitungen optimale Voraussetzungen für diese und ähnlich gelagerte Zwecke.
Neuartig sind Verfahren zur automatischen spektralen Konfiguration von multispektralen Sensoren und Bildgebungen (MSI), die es ermöglichen, eine anwendungsbezogen optimale Festlegung von spektralen Systemeigenschaften zu ermöglichen. Diese sind der Ausgangspunkt für die technologische Umsetzung derartiger Systeme mit einer abgestimmten Auswahl von optischen Komponenten (Beleuchtungen, Filter, Sensoren). In die Auswahl sind auch technologische Randbedingungen der Umsetzung einbezogen. Die Verfahren wurden im Vorhaben für die Konfiguration und technologische Umsetzung multispektraler Systeme im VIS bis MWIR genutzt.
Beim Einsatz multispektraler Bildgebungen treten zwischen den spektralen Auszügen häufig Verschiebungen gleicher abgebildeter Szenenorte auf, wenn diese aus dynamischen Szenen nicht zeitgleich (SingleShot) gewonnen werden können oder zwischen den Orten der Erfassung der Spektralauszüge signifikante räumliche Unterschiede bestehen (Parallaxeproblem). Die Stärke und Relevanz der Verschiebungen, die abhängig von der Bildposition sein können (inhomogen), hängt von den geometrischen Abbildungsverhältnissen und der Szene selbst ab. Immer dann, wenn multispektrale Textureigenschaften objektbeschreibend und –erkennungsrelevant sind, ist eine Korrektur dieser Verschiebungen im Rahmen der sensornahen Datenvorverarbeitung einer mehrkanalig spektralen Bildmodalität wichtig, bevor diese Daten der weiteren Vorverarbeitungsschritte und der multimodalen Fusion und Analyse zugeführt werden können.
Im Rahmen des Vorhabens wurde ein Verfahren zur datengetriebenen automatischen geometrischen Feinregistrierung entwickelt. Die Registrierung umfasst vollständige linear-affine Transformationen, die Transportbewegungen bei zeitlich sequentieller Erfassung und kleinere perspektivische Verzerrungen bei SingleShot-Erfassungen mit örtlich versetzten Bildsensoren anstelle einer geometrischen Kalibrierung und Registrierung kompensieren können. Die Transformation mit den automatisch ermittelten Parametern wird subpixelgenau unter Verwendung optimaler Interpolation umgesetzt. Das Verfahren ist universell einsetzbar.
Lennard Wunsch; Martin Hubold; Rico Nestler; Gunther Notni: Realisation of an Application Specific Multispectral Snap-Shot-Imaging System based on Multi-Aperture-Technology and Multispectral Machine Learning Loops, Sensors 2024, 24, 7984. https://doi.org/10.3390/s24247984
Kompetenzschwerpunkt: Verarbeitung und Analyse multimodaler Bilder und Bildfolgen