Landminen-Erkennung in Echtzeit: Integration von FLIR-Kameramodul, RGB-Kamera und neuronalem YOLO-Netzwerk

Den ersten Roboter, mit dem ich nach Landminen/Metallen im Boden suchte, baute ich 2015 selbst in meiner Werkstatt. Im Jahr 2023 begann ich mit dem Training von neuronalen Netzen zur Erkennung von Antipersonenminen wie der PFM-1. Dann pausierte ich das Projekt und nahm es im April 2024 wieder auf, nachdem ich von der NRO https://www.deminefoundation.com gebeten worden war, dem Team beizutreten, um die Kräfte und Bemühungen zu bündeln.

Die Bedrohung durch Landminen ist in vielen Teilen der Welt nach wie vor groß, so dass effiziente Methoden zur Detektion erforderlich sind. Jüngste Fortschritte in der Robotik, Objekterkennungsalgorithmen wie YOLO (You Only Look Once) und Bildgebungstechnologien bieten die Möglichkeit, dieses Problem in Echtzeit zu lösen. In diesem Blog-Beitrag soll untersucht werden, wie die Integration von FLIR-Kameramodulen und RGB-Kameras mit dem neuronalen YOLO-Netzwerk zu einer effektiven Erkennung von PFM-1-Anti-Personen-Landminen durch Robotersysteme führen kann.

danger mines

Roboter-Konfiguration: Die Idee im Allgemeinen

In meinen verschiedenen „Entminungsroboter“-Projekten habe ich verschiedene Roboter entworfen, die mit fortschrittlichen Sensoren für verschiedene Aufgaben im Zusammenhang mit der Detektion von Landminen und der Entminung ausgestattet sind. Sobald ich die beste Lösung gefunden habe, muss eine Flotte von Robotern gebaut werden, um die Idee zu testen. Eine solche Roboteridee, an der ich derzeit arbeite, ist der so genannte „Langbeinroboter“, der eine entscheidende Rolle beim Aufspüren von Landminen spielt, indem er eine Reihe hochentwickelter Sensoren wie Thermomodule, RGB-Kameramodule, Beschleunigungsmesser und hochpräzises GPS mit einer bemerkenswerten Positionsgenauigkeit von 5 cm einsetzt. Die Software im Inneren des Roboters wird nicht nur Oberflächenminen wie die PFM-1-Minen aufspüren, sondern auch in der Lage sein, Stolperdrahtsysteme zu erkennen, um bestimmte Minentypen wie „Seesterne“ oder EODs zu erkennen, die mit fast unsichtbaren Stolperdrähten verbunden sind, die eine Detonation auslösen und den Entminer und den Roboter verletzen können.

Der Roboter wird aus billigen Autoteilen gebaut, die weltweit erhältlich sind.

long leg demining robot

Bildsensorik: FLIR Kameramodul und RGB-Kamera

Für die Echtzeit-Erkennung von Landminen auf der Oberfläche wird der Langbeinroboter sowohl mit einem einfachen RGB-Kameramodul-Array als auch mit einem Infrarot-Kameramodul-Array (FLIR) ausgestattet sein. Die Integration dieser beiden Bildgebungstechnologien versorgt das System mit umfassenden visuellen Daten, die für eine effiziente Objekterkennung entscheidend sind. Mit Hilfe von OpenCV werden diese Bilder überlagert und für die Analyse zusammengesetzt. Während RGB-Kameras hochauflösende Farbbilder erfassen, sind FLIR-Kameras auf die Erkennung von Temperaturunterschieden innerhalb einer Szene spezialisiert – eine Funktion, die besonders nützlich ist, wenn es darum geht, Landminen zu identifizieren, die sich möglicherweise in ihre Umgebung einfügen oder unter bestimmten Bedingungen schwer zu erkennen sind. Denken Sie nur an die wachsende Vegetation, die je nach Jahreszeit in wenigen Tagen über die Landminen wächst.

Warum ein Roboter und nicht eine Drohne? Abhängig von den Sensoren und dem Energieverbrauch ist eine landgestützte Lösung derzeit vielleicht die beste Idee. Aber die schnelle Entwicklung von Drohnen in den letzten zwei Jahren für militärische Zwecke könnte dazu führen, dass Drohnen in großen Mengen zur Verfügung stehen und viele Sensoren bereits in den Drohnen eingebaut sind. Aus der Kostenperspektive ist ein Roboter, der sich auf dem Boden bewegt, vielleicht die beste Lösung.

Die Rolle des neuronalen YOLO-Netzes bei der Detektion von Landminen

Zur Verarbeitung der von den FLIR- und RGB-Kameramodulen aufgenommenen Bilder verwende ich ein neuronales Netz wie YOLO (You Only Look Once), das für seine Genauigkeit und Geschwindigkeit bei der Objekterkennung bekannt ist. Die Stärken des YOLO-Algorithmus machen ihn zu einer idealen Wahl für Echtzeitanwendungen, da er Objekte innerhalb von Millisekunden identifizieren kann, indem er das Bild in ein Gitter unterteilt und gleichzeitig Bounding Boxes und Klassenwahrscheinlichkeiten vorhersagt. Die YOLO-Frameworks sind für viele Plattformen verfügbar, und im Internet finden sich eine Reihe von Beispielen und Projekten.

YOLO Training:

Derzeit wurde das YOLO V8.2 M Modell mit ca. 230.000 synthetisch erzeugten Bildern von PFM-1 Antipersonenminen trainiert. Jedes Bild zeigt 10 PFM-1 Antipersonenlandminen. Das Training dauerte ca. 35 Stunden auf meiner NVIDIA A6000 GPU mit 30 EPOCHs und einer BATCH-SIZE von 16.

Real Time Landmine Detection

Integration von FLIR-Kameramodul, RGB-Kamera und neuronalem YOLO-Netzwerk: Die Herangehensweise

Die Integration der von uns gewählten Bildgebungstechnologien (FLIR-Kameramodul und RGB-Kamera) mit dem neuronalen Netzwerk von YOLO bietet einen facettenreichen Ansatz für die Detektion von PFM-1-Anti-Personen-Landminen. Im Folgenden wird erläutert, wie dieses integrierte System in Echtzeit funktionieren kann:

Schritt 1: Datenerfassung

Die FLIR-Kamera nimmt Wärmebilder des Bodens auf und hebt Temperaturunterschiede hervor, die durch vergrabene Objekte wie Landminen verursacht werden. Gleichzeitig erfasst die RGB-Kamera hochauflösende Farbbilder für einen besseren visuellen Kontext und mehr Klarheit. Diese Kombination ermöglicht ein umfassenderes Verständnis der Umgebung des Roboters. Derzeit ist angedacht, dass die Verarbeitung der Bilder nahezu in Echtzeit aus der Ferne erfolgt, um die teure NVIDIA-Hardware, wie z. B. ein NVIDIA JETSON AGX ORIN DEVELOPMENT KIT 64GB, davor zu schützen, zusammen mit dem Roboter in die Luft zu gehen. Es muss jedoch eine Entscheidung getroffen werden, welcher Ansatz der beste ist.

Schritt 2: Vorverarbeitung und Sensorfusion

Die aufgenommenen Wärme- und Farbbilder werden vorverarbeitet, um die Bildqualität zu verbessern, Rauschen zu entfernen und die Abmessungen zu standardisieren, bevor sie in unser System eingespeist werden. Die beiden Datensätze des FLIR-Kameramoduls und der RGB-Kamera werden dann fusioniert, wodurch ein angereicherter Datensatz entsteht, der die Stärken beider Bildgebungstechnologien kombiniert. Mit Hilfe von OpenCV sollte dies problemlos funktionieren.

Schritt 3: Implementierung des Neuronalen Netzwerks YOLO

Die integrierten thermisch-visuellen Daten werden mit einem neuronalen Netzwerk wie YOLO verarbeitet. Durch Training dieses Algorithmus auf Landminen-Datensätzen (insbesondere PFM-1 Antipersonenminen) lernt er, diese gefährlichen Objekte mit hoher Genauigkeit in Echtzeit zu identifizieren und zu lokalisieren. Die Schnelligkeit des YOLO-Algorithmus ermöglicht eine rasche Reaktion auf potenzielle Bedrohungen, indem er entdeckte Landminen deaktiviert oder für weitere Untersuchungen markiert. Die Erkennung hilft dem Entminungspersonal auch, die Dimension eines Minenfeldes zu verstehen, selbst wenn nicht alle Minen erkannt werden. Aus statistischer Sicht und mit dem Wissen, wie die Minen ausgelegt sind, wird mit Hilfe der automatischen Detektion von Landminen ein besseres Verständnis der Bodensituation ermöglicht.

Beispiel für einen frühen Testaufbau

Das Video zeigt einen Jetson Nano aus dem Jahr 2019 beim Live-Inferencing mit dem Modell YOLO v8.2m, das zwar zu schwer für den kleinen Jetson Nano ist, aber für Tests und Leistungsoptimierung eine gute Lösung darstellt.

Schlussfolgerung: Ein vielversprechender Ansatz für die Landminenerkennung in Echtzeit

Durch die Integration von FLIR-Kameramodulen und RGB-Kameras mit dem neuronalen Netzwerk YOLO können wir das hartnäckige Problem der Erkennung von Landminen an der Oberfläche in Echtzeit lösen. Die Stärken dieser Bildgebungstechnologien in Kombination mit Objekterkennungsalgorithmen wie YOLO stellen einen überzeugenden Ansatz zur Lösung dieses globalen Problems dar. Der Einsatz von Bodenradar als Ergänzung zu den RGB- und FLIR-Kameramodulen wäre ebenfalls eine Option, wie sie von Geologen bereits erprobt wird. Unser Projekt „Entminungsroboter“ ist eine solche Initiative, die darauf abzielt, die Leistungsfähigkeit der Robotik, fortschrittlicher Sensoren und maschineller Lerntechniken zu nutzen, um Leben zu schützen und die Sicherheit in minenverseuchten Gebieten weltweit wiederherzustellen.