Safety Critical Software Applications

sw-applications

LFT entwickelt sicherheitsrelevante Software Produkte rund um LiDAR Perception und Daten­fusion für das automatisierte Fahren. Regel­basierte Fusions­verfahren von Features und Objekten aus der LiDAR Daten­verarbeitung (LiDAR Perception) mit Daten unabhängiger Verarbeitungs­ketten weiterer möglichst dissimilarer Sensoriken sind Teil dieser Produkte.

Neben der Generierung von reinen LiDAR basierten Umfeld­modellen liegt der LFT Schwerpunkt in der Absicherung der Funktion und Performance der Umfeld­wahrnehmung zum autonomen Fahren.

ASPP TIGEREYE® (LIDAR PERCEPTION)

Die Augen einer Tigers sind auf der Frontseite des Kopfes und nicht an der Seite angeordnet und ermöglichen dadurch eine dreidimensionale Sichtweise; das Augenpaar schaut direkt nach vorn.

Das LFT-Produkt „ASPP TigerEye®“ (Advanced Sensor Perception Processing) ist eine modulare SW Suite zur Verarbeitung von LiDAR Daten. Sie basiert auf LFT´s Erfahrung in LiDAR-Datenfilterung, -Segmentierung und -Klassifizierung in der Luftfahrtindustrie und verwendet ausschließlich klassische deterministische Algorithmen. Entsprechend müssen sie nicht wie KI basierte Verfahren trainiert werden. Durch Reduktion der Datenmengen schon in frühen Verarbeitungsphasen ist der Rechenzeitbedarf niedrig. ASPP TigerEye® besteht aus insgesamt 8 Hauptmodulen, die in Summe die komplette LiDAR Datenverarbeitungskette zur Umfeldwahrnehmung und deren Monitoring beinhalten.

Die Module sind:

TE-1: LiDAR Sensordatenfilterung zur Beseitigung von wetter- oder sensorbedingten Artefakten (Falschpixeln) aus LiDAR Tiefenbildern

TE-2: Free Space: Diese Applikation bestimmt aus LiDAR Daten zunächst die Bodenfläche und dann den frei befahrbaren Raum vor dem Fahrzeug
TE-3: Lane Detection ist die Ableitung der Fahrstreifen aus dem LiDAR Bild
TE-4: Segmentierung, Clustering und Tracking von erhabenen 3D Objekten
TE-5: Offline / Online Calibration: ein Toolset zur online Kalibration / Kalibrationsüberprüfung von LiDAR Sensoren
TE-6: LiDAR Detection Performance Monitor: Eine Überwachungsanwendung, die in Echtzeit die aktuelle Reichweite auf relevante Hindernisse auf Basis der im Tiefenbild vorhanden Informationen überwacht. Sie kann den Verschmutzungs- bzw. Degradationsgrad der Sensorik bestimmen und liefert somit die Möglichkeit eines zusätzlichen CBITs (Continous Built in Test) für LiDAR Sensorik
TE-7: Detection of relevant Small Obstacles
TE-8: Dynamic collision warning. Vorhersage der Trajektorie von dynamischen Objekten zur Kollisionsvermeidung

Alle Module können unabhängig voneinander bei LFT erworben sowie genutzt werden und sind flexibel in der Anpassung an unterschiedliche LiDAR Sensoren und deren LiDAR Datenformate.
Broschüre als PDF zum Download
YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

TE-1: LiDAR Sensordatenfilterung

LiDAR Sensorik ist nicht frei von Artefakten und unerwünschten Drop-Ins.

 

Sie entstehen durch verschiedene Effekte. So gibt es z.B. Drop-In Pixel durch Empfängerrauschen, direkte Sonneneinstrahlung oder hellen Dunst.

 

Dies sind allesamt Effekte, die nicht durch den eigenen Lichtpuls ausgelöst werden. Des Weiteren gibt es Drop-Ins durch Streuung des LiDAR Pulses an Nebel, Wolken, Schnee oder Staub. LFT bietet für alle diese Effekte Filter an.

Drei weitere, eng zusammenhängende Module von ASPP sind die Free Space Detection, die Lane Detection und das Object Clustering & Tracking.

TE-2: Free Space Detection

Das Modul „Free Space“ segmentiert zunächst die LiDAR Punktewolken in die Bodenfläche und erhabene Objekte. Innerhalb der Bodenfläche wird dann der zur Straße gehörende, zugängliche Bereich ermittelt und kann weiteren Verfahren zur Verfügung gestellt werden.

TE-3: Lane Detection

Die „Lane Detection“ sucht innerhalb der Bodenfläche nach Begrenzungslinien von Fahrstreifen, welche zusätzlich verwendet werden, um den Free Space weiter abzugrenzen.

TE-4: Object Clustering & Tracking

Das Modul „Object Clustering & Tracking“ fasst die nicht zur Bodenfläche gehörenden LiDAR Pixel zu Objekten zusammen und verfolgt diese.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

TE-5: Offline/Online Calibration

Die Sensorik eines autonom fahrenden Fahrzeugs muss sowohl bei der Produktion, als auch im späteren Betrieb kalibriert werden. Innerhalb von ASPP TigerEye® hat LFT ein SW Modul zur Identifikation von Referenzobjekten in LiDAR Punktewolken wie auch Kamerabildern entwickelt, die eine automatisierte Kamerabild Entzerrung wie auch ein Alignment zwischen LiDAR und Kamera bietet.


Darüber hinaus hat LFT Online Verfahren entwickelt, die die Ausrichtung während der Fahrt  kontinuierlich überwachen (Continous Built in Test) bzw. feinanpassen können.

LiDAR Detection Performance monitoring

TE-6: LiDAR Detection Performance Monitoring

Für autonome Fahranwendungen mit entsprechend höheren ASIL Leveln ist eine Echtzeit Überwachung der aktuellen Sichtweite der Sensorik essentiell.


Je nach LiDAR Prinzip reagieren LiDARe unterschiedlich auf Verschmutzung: LFT verfügt über Verfahren um verschiedene Arten der Degradation – von lokalen blinden Flecken bis hin zur völligen Degradation im gesamten Gesichtsfeld – zu detektieren. Auf dem dargestellten Bild erkennt man deutlich die LiDAR Performance Reduzierung bedingt durch den starken Regen.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

TE-7: Detection of relevant Small Obstacles

Je nach Lichtverhältnissen und Wettersituationen können kleine Hindernisse (z.B. Reifen, Holzpaletten und Kanthölzer) von heutigen Kamerasystemen in einem relevanten Abstand von ca. 100 m vor dem Fahrzeug schwer oder gar nicht erkannt werden, um ein sicheres Bremsen oder Ausweichen auf Autobahnen oder Schnellstraßen zu ermöglichen.


RADAR-Systeme sind technologisch nicht in der Lage, solche Objekte zu erkennen, da typischerweise der Reflexionskoeffizient (RCS) sehr klein ist. LFT bietet mit dem Modul ‚“Detection of relevant Small Obstacles“ die Erkennung von kleinen relevanten Hindernissen, die das Fahrzeug gefährden, durch aufgenommene bzw. verfügbare LiDAR Sensordaten.


Der befahrbare Bereich der Fahrbahn kann dabei unter Berücksichtigung der Geschwindigkeit und der erlaubten Kurvenradien einer Autobahn oder mehrspurigen Schnellstraße ermittelt werden.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

TE-8: Dynamic Collision Warning

Die Interpretation der dynamischen Umgebung ist eine wesentliche Voraussetzung für autonome Fahrzeugsysteme. In realen Szenarien bewegen sich Objekte und diese Dynamik muss in einem vollständigen Umgebungswahrnehmungssysteme berücksichtigt werden.


Das Modul TE-8 ist ein Mehrklassen-Trackingsystems mit partieller und vollständiger Verdeckungsbehandlung, Beschriftung und Dynamikschätzung.

ADFS MENTISFUSION® (DATA FUSION)

Eine Anlehnung an die Fangschrecken oder sogenannte „Gottesanbeterinnen“.

 

Warum? Weil dieses Fluginsekt alle Prozesse, zielgenau, auf eine „Aktion“ (das Fangen der Beute) ausrichtet.

 

Das ist die Zusammenführung und Aufbereitung von bruchstückhaften und teilweise widersprüchlichen Sensordaten in ein für den Menschen verständliches Gesamtbild in Echtzeit.

 

Das LFT-Produkt ADFS MentisFusion® (Advanced Data Fusion System) besteht aus deterministischen, regelbasierten Algorithmen zur Datenfusion von vorverarbeiteten Daten wie z.B. 2D Strukturen und 3D Objekte sowie segmentierte 3D-Datenpunkte aus verschiedenen Datenquellen. Datenquellen können Kamera- oder LiDAR Daten sein aber auch Informationen aus Datenbanken (einschließlich cloudbasierter Informationen) sowie RADAR Informationen.

 

Der Zweck einer Sensordatenfusion liegt darin, durch Kombination verschiedener Sensoren systematische Lücken der einzelnen Technologien zu kompensieren und so über einen möglichst breiten Anwendungsbereich mit gleicher Qualität das gesamte Umfeld zu erfassen.

 

Um den hohen Anforderungen an Datenintegrität zu genügen, werden die Daten zunächst in unabhängigen funktionalen Ketten generiert und erst dann zusammengeführt.
Ein gegenseitiges Überwachen und Stützen („Doer – Checker“ Prinzip) der mehrfachen und möglichst auf verschiedenen Technologien basierenden Sensorfunktionsketten ist ein wichtiger Teil der Datenfusion.

Broschüre als PDF zum Download

Ergebnisse der „Doer-Checker“- bzw. „Checker-Checker“-Fusion zur Wahrnehmungsverarbeitung aus unabhängigen multimodalen Funktionsketten (LiDAR und Kamera, regelbasiert und KI), überlagert mit Video. Wir haben eine anspruchsvolle Sequenz mit überhängender Last, einer bergauf führenden Straße, Spurrillen und niedrigen Bordsteinen bei kontrastarmem Umgebungslicht ausgewählt.

 

Die Fusionsergebnisse zeigen sehr schön (ab 00:19), welche Vorteile sich aus der Überprüfung und Ergänzung der Ergebnisse einer Funktionskette mit den Ergebnissen der anderen ergeben. Besonders deutlich werden die Fähigkeiten des LiDAR-Sensors und der LiDAR-Verarbeitung für den Nennfall der kontrastarmen Beleuchtung und den Eckfall einer überhängenden Last.

MF-1: Lane-Marker-Fusion

Die MF-1 Software kombiniert Fahrbahnmarkierungsinformationen, die von einem oder verschiedenen Sensorzweigen kommen.

 

In einem ersten Schritt werden Fahrspurmarkierungshypothesen dahingehend analysiert, ob sie für die gleiche Fahrspurmarkierung übereinstimmen, d.h. ob sie in Ausrichtung und Abstand zueinander ausreichend Übereinstimmung herrscht und ob sie sich überlappen. Wenn eine Übereinstimmung gefunden wurde, werden die Hypothesen mit bekannten probabilistischen Fusionstechniken kombiniert.

 

Wenn keine Übereinstimmung, aber auch kein Widerspruch zu anderen Hypothesen gefunden wurde, erfolgt eine Überprüfung, ob die fehlende Übereinstimmung auf eine legitime Ursache zurückzuführen ist, z.B. wenn die Intensität der retroreflektierenden Fahrbahnmarkierungen in den LiDAR-Daten zu gering für eine stabile Hypothese. Wenn die fehlenden Daten aus der anderen Quelle nicht notwendigerweise auf eine Fehlfunktion dieser Funktionskette hindeuten, werden die Hypothesen aus einer einzigen Quelle mit der entsprechenden probabilistischen Gewichtung in den Speicher aufgenommen. Wenn die neue Hypothese einer bestehenden Hypothese widerspricht, muss eine aufwändigere Analyse durchgeführt werden.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

MF-2: Freespace-Detection

Die MF-2 Software kombiniert Informationen zur erreichbaren Straßenfläche aus der semantischen Segmentierung von Kameradaten mit LiDAR-Daten basierten Polygonen der hindernisfrei befahrbaren Straße (siehe TE-2).

 

Die Fusion dieser Daten erfolgt mit einer gegenseitigen Überprüfung, da kein Einzelsensor und kein einzelner Verarbeitungszweig deutliche Vorteile gegenüber dem anderen hat. Es handelt sich somit um ein sogenanntes „Checker-Checker“ Prinzip. Durch dieses Verfahren können spezifische Unzulänglichkeiten der Einzelverfahren erkannt und kompensiert werden.

 

Beispielsweise ist von kamerabasierten Freiraumdaten bekannt, dass die Erkennung von überhängenden Lasten nur eingeschränkt möglich ist. Andererseits kann die kamerabasierte Freiraumerkennung rein intensitäts- oder farbbasierte Begrenzungen, wie den Übergang unterschiedlicher Pflastermuster im urbanen Umfeld besser erkennen.

 

Das Verfahren kann je nach Safety-Anforderungen noch weiter durch die Forderung abgesichert werden, dass sich innerhalb des Freiraumbereichs keine bewegten Objekte befinden dürfen. Hierfür eignet sich die Nutzung von bewegten Objekten aus einem funktional unabhängigen RADAR Zweig.

MF-3: Object-Fusion

Die MF-3 Software kombiniert Objektinformationen, die aus der semantischen Segmentierung von Kameradaten, aus LiDAR- und aus RADAR-Daten stammen (s. TE-4).

 

Auch hier wird in einem ersten Schritt eine räumliche Übereinstimmung der relevanten Objekte geprüft. Wenn eine hinreichende Übereinstimmung gefunden wurde, werden Informationen aus den verschiedenen Quellen berücksichtigt. Es ist zu beachten, dass nicht alle Informationen aus jeder Quelle in das fusionierte Datenpaket aufgenommen werden müssen. Vielmehr sollen die besten verfügbaren Informationen aus jeder Quelle verwendet werden. Beispielsweise liefert die kamerabasierte semantische Segmentierung typischerweise die beste Klassifikation.

 

LiDAR-basiertes Clustering und Tracking kann eine gute Lokalisierung in allen 3 Dimensionen beisteuern. RADAR wiederum liefert den besten Geschwindigkeitswert. Jede dieser Informationen kann durch Daten aus einer anderen Verarbeitungsquelle quergeprüft und ggf. korrigiert werden. Wenn beispielsweise die semantische Segmentierung ein kleines schwach kontrastierendes Objekt als „road“ klassifiziert und damit übersieht, werden Größe und Klasse (ggf. „unknown“) aus der LiDAR Datenverarbeitung genutzt.

 

Abhängig von der Entfernung zum eigenen Fahrzeug werden verschiedene Strategien zur Risikominimierung eingesetzt. Die Herausforderung besteht darin ein hohes Leistungsniveau zu erreichen, d.h. eine niedrige Anzahl falsch-negativer Erkennungen (d.h. ein echtes Objekt wird zurückgewiesen) mit einer akzeptabel niedrigen Anzahl falsch-positiver Erkennungen zu erreichen (d.h. ein nicht festes Objekt wird nicht zurückgewiesen, z.B. eine Wassersprühwolke).

MF-4: Combined Tracking of Object

Die MF-4 Software fußt auf der aus MF-3 zu Grunde gelegten Objektfusion verschiedener Quellen und verfolgt diese Objekte über die Zeit (Tracking).

 

Dabei haben die unterschiedlichen Datenquellen wiederum unterschiedliche Rollen. LiDAR und RADAR Datenverarbeitung liefern Geschwindigkeitsschätzungen, die kombiniert und gefiltert werden müssen.

 

Die typischerweise aus der semantischen Segmentierung stammende Objektklasse liefert wichtige Hinweise zur Verfolgung von Objekten in komplexen Szenen, z.B. mit Verdeckungen, und zur Einordnung von statischen Objekten als solche. Die Metainformationen der LiDAR Daten liefern wiederum Hinweise darauf, wo Verdeckungen überhaupt auftreten können. Ziel ist es zunächst statische von bewegten Objekten zu trennen und dann die bewegten Objekte mit Geschwindigkeitsinformationen durch den Sichtbereich der Sensorik zu verfolgen.