Anwendungen von Sensoren im Kontext von „Autonomous Driving“ und „Automated Guided Vehicles“

Der Einsatz geeigneter Sensoren spielt bei der Digitalisierung in allen Bereichen der Industrie und der Automatisierung eine entscheidende Rolle. Besonderes Gewicht bekommt die Erfassung von Maschinendaten vor dem Hintergrund von Industrie 4.0-Anwendungen wie „Condition Monitoring“, „Predictive Maintenance“ „Customization“ und „Produktion bis zu Losgröße 1“.


Das Thema Datenerhebung und -erfassung bekommt durch datengetriebene Anwendungen von Künstlicher Intelligenz (KI) aus dem Bereich Big Data und Tiefe Neuronale Netze weiteren Rückenwind. Dabei ist der richtige Umgang mit den Daten immens wichtig. Dies beginnt bei der Auswahl der Sensoren, der richtigen Datenerfassung und endet bei der korrekten Auswertung der gesammelten Daten. In diesem Beitrag möchte ich über zwei unserer aktuellen Anwendungen von Sensoren im Kontext von „Autonomous Driving“ und „Automated Guided Vehicles“ (AGVs) berichten.
 

Use-Case 1: Autonomes Fahren

Im ersten Fall wurde als Anwendung das Autonome Fahren betrachtet. Auch wenn manche Hersteller (autonomer) Fahrzeuge glauben, dass Kameras als Sensoren für selbstfahrende Fahrzeuge ausreichen, wird diese Einschätzung nicht von allen geteilt. Man sollte technologieoffen an diese Fragestellung herangehen, um alle Möglichkeiten auf dem Weg zu autonomen Fahrzeugen auszuloten. Selbst wenn sich herausstellen sollte, dass Kameras irgendwann als Sensorik für solche Fahrzeuge ausreichen, sollte man zum jetzigen Zeitpunkt Alternativen nicht außer Acht lassen.

Abb. 1: Straßenszene unseres autonomen Testfahrzeugs mit einem Velodyne Alpha-Prime Lidar aufgenommen.

Eine solche Alternative ist der LiDAR1-Sensor. Er hat seine Funktionalität vielfältig in Anwendungen des Autonomen Fahrens unter Beweis gestellt, z. B. im Prometheus-Projekt in den 1990er Jahren oder bei den DARPA Grand und Urban Challenges in den 2000er Jahren. Während diese Anwendungen aus dem akademischen Bereich getrieben und umgesetzt wurden, wird der LiDAR auch als Sensor bei den großen Autoherstellern eingesetzt.


Gerade neuere Entwicklungen auf dem Gebiet der LiDAR-Sensoren wie „Solid State Sensoren“ erlauben den Einsatz im Fahrzeug für OEMs. In unserem Artikel [1] sehen wir uns LiDAR-Sensoren an, die einen sinnvollen Einsatz im Fahrzeug ermöglichen. Dabei wurden die Anforderungen durch unseren Forschungspartner Hyundai Motor Europe Technical Center GmbH (HMETEC) formuliert. Es wurden vornehmlich LiDAR-Systeme ausgewählt, die keine rotierenden Teile haben, um einen Einsatz im Fahrzeug auch unter nicht-optimalen Wetter- und Straßenbedingungen zu ermöglichen. Ein weiteres Kriterium war die Marktverfügbarkeit und der Preis der Sensoren. Darüber hinaus waren die Schnittstelle und Verkabelung, fehlerfreie Laufzeit des Sensors, Leistungsaufnahme des Sensors (weniger als 15W pro Sensor-Hersteller-Support, Konfigurationsmöglichkeiten und Scan-Muster wichtige Faktoren, die bei der Auswahl möglicher Kandidaten eine Rolle spielten. Weitere technische Anforderungen auf unserer Seite waren:

  • Sichtfeld: Wir streben ein horizontales Sichtfeld von mehr als 100° und ein vertikales Sichtfeld von mehr als 10° an, um die Anzahl der am Fahrzeug zu montierenden Sensoren zu reduzieren.
  • Minimaler Erfassungsabstand und Reichweite: Die Entfernung zur Erkennung der LiDAR-Ziele sollte weniger als drei Meter betragen, während die Reichweite des LiDAR mehr als 120 Meter betragen sollte.
  • Auflösung und Anzahl der Scanlinien: Die Sensoren sollten natürlich eine hohe Auflösung von weniger als 0,4° und mindestens fünf Abtastlinien haben, um die LiDAR-Ziele und reale Objekte erkennen zu können.
  • Aktualisierungsrate oder Bildrate: Um längere Verzögerungen bei der Objekterkennung zu vermeiden, sollten die Sensorsysteme eine Aktualisierungsfrequenz bzw. Bildrate von mehr als fünf Hz haben.
  • ROS/ROS2-Unterstützung: Für eine einfache Integration in unseren Steuerungssoftware-Stack [6], eine Linux-basierte Systemimplementierung und ein AD-Framework auf Basis von ROS2 bevorzugt.
  • Robustheit der Sensorsysteme: Die Testkandidaten sollten auch unter härteren Wetterbedingungen gut funktionieren und die Sensorleistung sollte unter diesen Bedingungen nicht merklich nachlassen.

Diese Kriterien führten zur Auswahl Sensoren, die in Tabelle 1 abgebildet sind.

Tab. 1: Getestete Sensoren (Quelle: [1])

Use Case 2: Einsatz Autonomer Dumper in hybriden Bergwerk-Szenarien

Als zweites Beispiel für den Einsatz geeigneter Sensoren in automatisierten Fahrzeugen sollen unsere Arbeiten im ARTUS-Projekt dienen [2].

Abb. 3: Autonomer Dumper des Artus Projektes auf dem Testgelände bei den Rheinischen Baustoffwerken in Buir.

Die Automatisierung schreitet in allen Bereichen voran, auch in eher konservativen Industrien wie der Bergbauindustrie. Kürzlich wurde von erfolgreichen Tests mit Dumpern in Australiens Tagebauen3 berichtet. Auch in Europa fokussieren sich die Entwicklungsarbeiten verstärkt auf den Bereich der Automatisierung im Bergbau. Die Aufgabenstellung der Automatisierung in hybriden Bergwerken stellt die Entwickler vor noch schwierigere Aufgaben als bei der Automatisierung im Tagebau, da die Sensordatenverarbeitung mit anderen Herausforderungen umgehen muss. Als hybrides Bergwerk verstehen wir in diesem Zusammenhang Bergwerke, die einen Teil des Betriebes über Tage und einen anderen Teil unter Tage durchführen. Diese Form der Gewinnung von Rohstoffen wird in Zukunft immer wichtiger werden, da der oberirdische Fußabdruck von Bergwerken verringert werden soll. Die Herausforderungen des hybriden Betriebs liegen für das AGV darin, dass es mit Umgebungen umgehen muss, die auf der sensorischen Seite unterschiedliche Anforderungen haben. Im übertägigen Bereich kann im Normalfall auf ein GPS-System zurückgegriffen werden. Das steht untertägig nicht zur Verfügung. Hier muss man auf eine Fusion verschiedener anderer Sensoren und Verfahren zurückgreifen, um das AGV korrekt im Bergwerk lokalisieren zu können.
 

Im ARTUS-Projekt4 wurde genau diese Fragestellung bearbeitet. In einem großen Konsortium wurde untersucht, wie eine Flotte autonomer Dumper in hybriden Bergwerken ihre Missionen, klassischerweise „Load-Haul-Dump-Missionen“ erfüllen kann. Neben schweren Kippern wurden auch kleinere Muldenfahrzeuge als autonome Versuchsfahrzeuge umgebaut. Abbildung 3 zeigt einen der drei von unserem Projektteam umgebauten Muldenkipper.

Abb. 4: Sensoren der Muldenkipper; L=Velodyne 16, GA=GPS Antenne, 60deg/120deg=Kameras mit 60° bzw. 120° Öffnungswinkel

Was die Sensorik anbelangt, wurden die Muldenkipper je mit einem Oxford OxTS xNav650 GPS, 2 Velodyne VLP-16 und sechs Kameras mit 60° bzw. 120° Öffnungswinkel ausgestattet (siehe Abb. 4). Zur Verarbeitung der Sensordaten steht eine Nvidia Drive AGX und eine Beckhoff SPS für die Ansteuerung der Motoren auf den Fahrzeugen zur Verfügung. Die Lokalisierung wird mit Hilfe der Fusion optischer Landmarken, die mit dem Objekt-Klassifikator „YOLO v5“ erkannt wurden, und durch eine mit einem LiDAR-SLAM-Verfahren erstelle HD-Karte sichergestellt (für Details siehe [2]). Eine Plankomponente plant die Missionen, welches Fahrzeug zu welchem Zeitpunkt laden oder entladen sollte auf Flottenebene, in unserem Fall für drei Fahrzeuge. Im Feldversuch bei RBS in Buir5 konnte das System im Juli 2022 erfolgreich demonstriert werden.


Diese beiden Anwendungen stehen exemplarisch für unsere Arbeiten auf dem Gebiet des Einsatzes von Sensorik in der praktischen Anwendung. Dabei spielt die Integration und Fusion von Daten aus verschiedenen Sensorquellen eine wichtige Rolle, um Aufgaben wie Lokalisierung, Kollisionsvermeidung und Objekterkennung zu erfüllen. Die Grundlagen und verwendeten Verfahren werden in dem von uns durchgeführten Lehrgang VDI-Fachingenieur*in „Sensorik“vermittelt.

VDI-Fachingenieur Sensorik

Weiterführende Informationen sind in den folgenden Publikationen zu finden:

[1] Schulte-Tigges, Joschua, Marco Förster, Gjorgji Nikolovski, Michael Reke, Alexander Ferrein, Daniel Kaszner, Dominik Matheis, and Thomas Walter. "Benchmarking of various LiDAR sensors for use in self-driving vehicles in real-world environments." Sensors 22, no. 19 (2022): 7146.

[2] Ferrein, Alexander, Michael Reke, Ingrid Scholl, Benjamin Decker, Nicolas Limpert, Gjorgji Nikolovski , and Stefan Schiffer. Towards a Fleet of Autonomous Haul-Dump Vehicles in Hybrid Mines In: In Proc. ICAART 2023-15th International Conference on Agents and Artificial Intelligence (2023), 278-288.

Danksagungen:

Wir bedanken uns bei der HMETC GmbH und beim Bundesministerium für Bildung und Forschung (BMBF, FZ: 033R126CN) für die finanzielle Unterstützung.

Über den Autor:

Prof. Dr. rer. nat. Alexander Ferrein ist seit 2011 Professor für Robotik und Grundlagen der Informatik an der FH Aachen berufen. Er ist Gründungsmitglied des Instituts für Mobile Autonome Systeme und Kognitive Robotik, dass er auch seit 2014 leitet. Seine Forschungsinteressen liegen im Bereich der KI und Kognitiven Robotik.

Fußnoten:

1 Light Detection and Ranging

2 ROS2 ist eine OpenSource Roboter-Middleware. Siehe auch https://www.ros.org

3 Siehe Artikel im Australien Mine Safety Journal https://www.amsj.com.au/driverless-truck-achieves-goal-at-mine-site-trial/

4 https://www.maskor.fh-aachen.de/projects/ARTUS/

5 https://www.rheinischebaustoffwerke.de/home/standorte/kieswaesche-buir/