Produkte

LFT bietet Produkte zur Erzeugung von LiDAR basierten Umfeldmodellen für sicherheitsrelevante Anwendungen.
Broschüre als PDF zum Download

Safety-Critical SW Applications

LFT entwickelt sicherheitsrelevante Software Produkte rund um LiDAR Perception und Daten­fusion für das automatisierte Fahren. Neben der Generierung von reinen LiDAR basierten Umfeld­modellen liegt der LFT Schwerpunkt in der Absicherung der Funktion und Performance der Umfeld­wahrnehmung zum autonomen Fahren. Regel­basierte Fusions­verfahren von Features und Objekten aus der LiDAR Daten­verarbeitung (LiDAR Perception) mit Daten unabhängiger Verarbeitungs­ketten weiterer möglichst dissimilarer Sensoriken sind Teil dieser Produkte.

ASPP TigerEye® (LiDAR Perception)

Die Augen einer Tigers sind auf der Frontseite des Kopfes und nicht an der Seite angeordnet und ermöglichen dadurch eine dreidimensionale Sichtweise; das Augenpaar schaut direkt nach vorn.

Das LFT-Produkt „ASPP TigerEye®“ (Advanced Sensor Perception Processing) ist eine modulare SW Suite zur Verarbeitung von LiDAR Daten. Sie basiert auf LFT´s Erfahrung in LiDAR-Datenfilterung, -Segmentierung und -Klassifizierung in der Luftfahrtindustrie und verwendet ausschließlich klassische deterministische Algorithmen. Entsprechend müssen sie nicht wie KI basierte Verfahren trainiert werden. Durch Reduktion der Datenmengen schon in frühen Verarbeitungsphasen ist der Rechenzeitbedarf niedrig. ASPP TigerEye® besteht aus insgesamt 6 Hauptmodulen, die in Summe die komplette LiDAR Datenverarbeitungskette zur Umfeldwahrnehmung und deren Monitoring beinhalten.

Die Module sind:

  1. LiDAR Sensordatenfilterung zur Beseitigung von wetter- oder sensorbedingten Artefakten (Falschpixeln) aus LiDAR Tiefenbildern
  2. Free Space: Diese Applikation bestimmt aus LiDAR Daten zunächst die Bodenfläche und dann den frei befahrbaren Raum vor dem Fahrzeug
  3. Lane Detection ist die Ableitung der Fahrstreifen aus dem LiDAR Bild
  4. Segmentierung, Clustering und Tracking von erhabenen 3D Objekten
  5. Offline / Online Calibration: ein Toolset zur online Kalibration / Kalibrationsüberprüfung von LiDAR Sensoren
  6. LiDAR Detection Performance Monitor: Eine Überwachungsanwendung, die in Echtzeit die aktuelle Reichweite auf relevante Hindernisse auf Basis der im Tiefenbild vorhanden Informationen überwacht. Sie kann den Verschmutzungs- bzw. Degradationsgrad der Sensorik bestimmen und liefert somit die Möglichkeit eines zusätzlichen CBITs (Continous Built in Test) für LiDAR Sensorik
  7. Detection of relevant Small Obstacles

Alle Module können unabhängig voneinander bei LFT erworben sowie genutzt werden und sind flexibel in der Anpassung an unterschiedliche LiDAR Sensoren und deren LiDAR Datenformate.

TE-1: LiDAR Sensordatenfilterung

LiDAR Sensorik ist nicht frei von Artefakten und unerwünschten Drop-Ins.

Sie entstehen durch verschiedene Effekte. So gibt es z.B. Drop-In Pixel durch Empfängerrauschen, direkte Sonneneinstrahlung oder hellen Dunst.

Dies sind allesamt Effekte, die nicht durch den eigenen Lichtpuls ausgelöst werden. Des Weiteren gibt es Drop-Ins durch Streuung des LiDAR Pulses an Nebel, Wolken, Schnee oder Staub. LFT bietet für alle diese Effekte Filter an.

Drei weitere, eng zusammenhängende Module von ASPP sind die Free Space Detection, die Lane Detection und das Object Clustering & Tracking.

TE-2: Free Space Detection

Das Modul „Free Space“ segmentiert zunächst die LiDAR Punktewolken in die Bodenfläche und erhabene Objekte. Innerhalb der Bodenfläche wird dann der zur Straße gehörende, zugängliche Bereich ermittelt und kann weiteren Verfahren zur Verfügung gestellt werden.

TE-3: Lane Detection

Die „Lane Detection“ sucht innerhalb der Bodenfläche nach Begrenzungslinien von Fahrstreifen, welche zusätzlich verwendet werden, um den Free Space weiter abzugrenzen.

TE-4: Object Clustering & Tracking

Das Modul „Object Clustering & Tracking“ fasst die nicht zur Bodenfläche gehörenden LiDAR Pixel zu Objekten zusammen und verfolgt diese.

TE-5: Offline/Online Calibration

Die Sensorik eines autonom fahrenden Fahrzeugs muss sowohl bei der Produktion, als auch im späteren Betrieb kalibriert werden. Innerhalb von ASPP TigerEye® hat LFT ein SW Modul zur Identifikation von Referenzobjekten in LiDAR Punktewolken wie auch Kamerabildern entwickelt, die eine automatisierte Kamerabild Entzerrung wie auch ein Alignment zwischen LiDAR und Kamera bietet.

Darüber hinaus hat LFT Online Verfahren entwickelt, die die Ausrichtung während der Fahrt kontinuierlich überwachen (Continous Built in Test) bzw. feinanpassen können.

TE-6: LiDAR Detection Performance Monitoring

Für autonome Fahranwendungen mit entsprechend höheren ASIL Leveln ist eine Echtzeit Überwachung der aktuellen Sichtweite der Sensorik essentiell. Je nach LiDAR Prinzip reagieren LiDARe unterschiedlich auf Verschmutzung: LFT verfügt über Verfahren um verschiedene Arten der Degradation - von lokalen blinden Flecken bis hin zur völligen Degradation im gesamten Gesichtsfeld - zu detektieren.

TE-7: Detection of relevant Small Obstacles

Je nach Lichtverhältnissen und Wettersituationen können kleine Hindernisse (z.B. Reifen, Holzpaletten und Kanthölzer) von heutigen Kamerasystemen in einem relevanten Abstand von ca. 100 m vor dem Fahrzeug schwer oder gar nicht erkannt werden, um ein sicheres Bremsen oder Ausweichen auf Autobahnen oder Schnellstraßen zu ermöglichen. RADAR-Systeme sind technologisch nicht in der Lage, solche Objekte zu erkennen, da typischerweise der Reflexionskoeffizient (RCS) sehr klein ist. LFT bietet mit dem Modul ‚"Detection of relevant Small Obstacles" die Erkennung von kleinen relevanten Hindernissen, die das Fahrzeug gefährden, durch aufgenommene bzw. verfügbare LiDAR Sensordaten. Der befahrbare Bereich der Fahrbahn kann dabei unter Berücksichtigung der Geschwindigkeit und der erlaubten Kurvenradien einer Autobahn oder mehrspurigen Schnellstraße ermittelt werden.

ADFS MentisFusion® (Data Fusion)

Eine Anlehnung an die Fangschrecken oder sogenannte „Gottesanbeterinnen“.

Warum? Weil dieses Fluginsekt alle Prozesse, zielgenau, auf eine „Aktion“ (das Fangen der Beute) ausrichtet.

Das ist die Zusammenführung und Aufbereitung von bruchstückhaften und teilweise widersprüchlichen Sensordaten in ein für den Menschen verständliches Gesamtbild in Echtzeit.

Das LFT-Produkt ADFS MentisFusion® (Advanced Data Fusion System) besteht aus deterministischen, regelbasierten Algorithmen zur Datenfusion von vorverarbeiteten Daten wie z.B. 2D Strukturen und 3D Objekte sowie segmentierte 3D-Datenpunkte aus verschiedenen Datenquellen. Datenquellen können Kamera- oder LiDAR Daten sein aber auch Informationen aus Datenbanken (einschließlich cloudbasierter Informationen) sowie RADAR Informationen.

Der Zweck einer Sensordatenfusion liegt darin, durch Kombination verschiedener Sensoren systematische Lücken der einzelnen Technologien zu kompensieren und so über einen möglichst breiten Anwendungsbereich mit gleicher Qualität das gesamte Umfeld zu erfassen. Um den hohen Anforderungen an Datenintegrität zu genügen, werden die Daten zunächst in unabhängigen funktionalen Ketten generiert und erst dann zusammengeführt.
Ein gegenseitiges Überwachen und Stützen („Doer – Checker“ Prinzip) der mehrfachen und möglichst auf verschiedenen Technologien basierenden Sensorfunktionsketten ist ein wichtiger Teil der Datenfusion.

Die Module sind: 

  1. Lane-Marker-Fusion
  2. Freespace-Fusion
  3. Object-Fusion
  4. Combined Tracking of Objects

Alle Module können unabhängig voneinander bei LFT erworben sowie genutzt werden und sind flexibel in der Anpassung an unterschiedliche Sensorzweige und deren Datenformate.

Results of “doer-checker”, respectively “checker-checker” fusion for perception processing originating from independent multimodal functional chains (LiDAR and camera, rule-based and AI), overlaid over video. We selected a somewhat challenging sequence with overhanging load, uphill road, ruts and low curb stones at low contrast ambient light. Fusion results nicely show (from 00:19) the benefits from checking and supplementing the results from one functional chain with the results from the other one. Especially the capabilities of LiDAR sensor and LiDAR processing for the nominal case of low contrast lighting and the corner case of an overhanging load are evident.

MF-1: Lane-Marker-Fusion

Die MF-1 Software kombiniert Fahrbahnmarkierungsinformationen, die von einem oder verschiedenen Sensorzweigen kommen.

In einem ersten Schritt werden Fahrspurmarkierungshypothesen dahingehend analysiert, ob sie für die gleiche Fahrspurmarkierung übereinstimmen, d.h. ob sie in Ausrichtung und Abstand zueinander ausreichend Übereinstimmung herrscht und ob sie sich überlappen. Wenn eine Übereinstimmung gefunden wurde, werden die Hypothesen mit bekannten probabilistischen Fusionstechniken kombiniert.

Wenn keine Übereinstimmung, aber auch kein Widerspruch zu anderen Hypothesen gefunden wurde, erfolgt eine Überprüfung, ob die fehlende Übereinstimmung auf eine legitime Ursache zurückzuführen ist, z.B. wenn die Intensität der retroreflektierenden Fahrbahnmarkierungen in den LiDAR-Daten zu gering für eine stabile Hypothese. Wenn die fehlenden Daten aus der anderen Quelle nicht notwendigerweise auf eine Fehlfunktion dieser Funktionskette hindeuten, werden die Hypothesen aus einer einzigen Quelle mit der entsprechenden probabilistischen Gewichtung in den Speicher aufgenommen. Wenn die neue Hypothese einer bestehenden Hypothese widerspricht, muss eine aufwändigere Analyse durchgeführt werden.

MF-2: Freespace-Detection

Die MF-2 Software kombiniert Informationen zur erreichbaren Straßenfläche aus der semantischen Segmentierung von Kameradaten mit LiDAR-Daten basierten Polygonen der hindernisfrei befahrbaren Straße (siehe TE-2).

Die Fusion dieser Daten erfolgt mit einer gegenseitigen Überprüfung, da kein Einzelsensor und kein einzelner Verarbeitungszweig deutliche Vorteile gegenüber dem anderen hat. Es handelt sich somit um ein sogenanntes „Checker-Checker“ Prinzip. Durch dieses Verfahren können spezifische Unzulänglichkeiten der Einzelverfahren erkannt und kompensiert werden. Beispielsweise ist von kamerabasierten Freiraumdaten bekannt, dass die Erkennung von überhängenden Lasten nur eingeschränkt möglich ist. Andererseits kann die kamerabasierte Freiraumerkennung rein intensitäts- oder farbbasierte Begrenzungen, wie den Übergang unterschiedlicher Pflastermuster im urbanen Umfeld besser erkennen. Das Verfahren kann je nach Safety-Anforderungen noch weiter durch die Forderung abgesichert werden, dass sich innerhalb des Freiraumbereichs keine bewegten Objekte befinden dürfen. Hierfür eignet sich die Nutzung von bewegten Objekten aus einem funktional unabhängigen RADAR Zweig.

MF-3: Object-Fusion

Die MF-3 Software kombiniert Objektinformationen, die aus der semantischen Segmentierung von Kameradaten, aus LiDAR- und aus RADAR-Daten stammen (s. TE-4).

Auch hier wird in einem ersten Schritt eine räumliche Übereinstimmung der relevanten Objekte geprüft. Wenn eine hinreichende Übereinstimmung gefunden wurde, werden Informationen aus den verschiedenen Quellen berücksichtigt. Es ist zu beachten, dass nicht alle Informationen aus jeder Quelle in das fusionierte Datenpaket aufgenommen werden müssen. Vielmehr sollen die besten verfügbaren Informationen aus jeder Quelle verwendet werden. Beispielsweise liefert die kamerabasierte semantische Segmentierung typischerweise die beste Klassifikation. LiDAR-basiertes Clustering und Tracking kann eine gute Lokalisierung in allen 3 Dimensionen beisteuern. RADAR wiederum liefert den besten Geschwindigkeitswert. Jede dieser Informationen kann durch Daten aus einer anderen Verarbeitungsquelle quergeprüft und ggf. korrigiert werden. Wenn beispielsweise die semantische Segmentierung ein kleines schwach kontrastierendes Objekt als „road“ klassifiziert und damit übersieht, werden Größe und Klasse (ggf. „unknown“) aus der LiDAR Datenverarbeitung genutzt.

Abhängig von der Entfernung zum eigenen Fahrzeug werden verschiedene Strategien zur Risikominimierung eingesetzt. Die Herausforderung besteht darin ein hohes Leistungsniveau zu erreichen, d.h. eine niedrige Anzahl falsch-negativer Erkennungen (d.h. ein echtes Objekt wird zurückgewiesen) mit einer akzeptabel niedrigen Anzahl falsch-positiver Erkennungen zu erreichen (d.h. ein nicht festes Objekt wird nicht zurückgewiesen, z.B. eine Wassersprühwolke).

MF-4: Combined Tracking of Object

Die MF-4 Software fußt auf der aus MF-3 zu Grunde gelegten Objektfusion verschiedener Quellen und verfolgt diese Objekte über die Zeit (Tracking).

Dabei haben die unterschiedlichen Datenquellen wiederum unterschiedliche Rollen. LiDAR und RADAR Datenverarbeitung liefern Geschwindigkeitsschätzungen, die kombiniert und gefiltert werden müssen.

Die typischerweise aus der semantischen Segmentierung stammende Objektklasse liefert wichtige Hinweise zur Verfolgung von Objekten in komplexen Szenen, z.B. mit Verdeckungen, und zur Einordnung von statischen Objekten als solche. Die Metainformationen der LiDAR Daten liefern wiederum Hinweise darauf, wo Verdeckungen überhaupt auftreten können. Ziel ist es zunächst statische von bewegten Objekten zu trennen und dann die bewegten Objekte mit Geschwindigkeitsinformationen durch den Sichtbereich der Sensorik zu verfolgen.

Umfeldwahrnehmung

Das LFT Produkt Umfeldwahrnehmung ist das gesamtheitliche System zur Erfassung der Fahrzeugumgebung und der Übergabe an das nachgelagerte Fahrzeugsystem. Es beinhaltet entsprechende Sensorik HW (z.B. LiDAR, Kamera, Radar) zur Erfassung der Szenerie, Verfahrensoftware zur Erlangung des Szeneverständnisses auf Basis der jeweiligen Daten (sowohl KI basiert wie auch deterministisch) und Fusionsverfahren, die zur funktionalen Absicherung der Umfeldwahrnehmung benötigt werden. Letztere ist für den sicheren Betrieb und damit die Straßenzulassung in einem Fahrzeug eines höheren Autonomielevels Voraussetzung.

Die funktionale Dekomposition, die Auswahl der Sensorik und auch die Struktur der Verarbeitungsketten und Fusionsverfahren muss dabei an die Zuverlässigkeits- und Sichheitsanforderungen der zu liefernden „intended Function“ angepasst sein. Auch hier ist ein gegenseitiges Überwachen und Stützen („Doer – Checker“ Prinzip) dissimilarer Sensoren Voraussetzung für eine lückenlose Bereitstellung der „Intended Function“.

Referenzsystem

LFT verfügt über ein Referenzsystem zur Aufnahme von zeitsynchronisierten und georeferenzierten Rohdaten von automotive Sensoren.

Es besteht aus einer skalierbaren HW/SW Recording Plattform, die derzeit Sensorrohdaten von 4 LiDARen, 4 Kameras, zwei Navigationssysteme und einem RADAR mit sub-µs Auflösung synchron aufzeichnet.

Die Winkelkalibration der aufgezeichneten Sensorik ist dabei so gut, dass die Auflösung der Sensorik nicht verschlechtert wird.

Das Referenzsystem dient in erster Linie zur Gewinnung von Rohdaten zur Entwicklung und Validierung unser LiDAR Perception Produkte. Gleichzeitig optimiert das System Sensorkalibrations- und Performance Monitoringverfahren. Durch die Skalierbarkeit ist es ebenfalls prädestiniert zur schnellen Validierung von neuer Sensorik.

V-SW Visualisierungssoftware

Gegenstück zu dieser Recording Plattform ist eine skalierbare V-SW, die in der Lage ist, die aufgezeichneten 3D Daten auch wieder zeitsynchron in Echtzeit abzuspielen und zu prozessieren.

Die V-SW bietet die Möglichkeit eine RAW Fusion beliebiger Sensoren zu generieren und kann beliebige Darstellungen zur Visualisierung bereitstellen.

Gleichzeitig sind die LFT LiDAR Perception Produkte in der V-SW integriert und können evaluiert werden.

Es besteht auch die Möglichkeit noch weitere Datenquellen anzubinden, um Fusionsverfahren zu evaluieren.

Experten Service

Beratungsleistung „Funktionale Sicherheit“

Durch die Luftfahrt Vergangenheit des LFT Gründerteams baut LFT auf große Erfahrung in der Auslegung sicherheitskritischer Systeme.

Die Sicherheitsanforderungen einer Intended Function in einem autonomen System ist einer der wichtigsten Inputs für das Systemdesign. Die Systemarchitektur zur Bereitstellung der Funktion muss das System in verfügbare Komponenten dekomponieren, die in Summe die funktionale Sicherheit der Gesamtfunktion gewährleisten können.

Basis hierfür ist die ISO 26262. Gleichzeitig muss gewährleistet sein, dass unter allen erlaubten Randbedingungen die Funktion gesichert ist (SOTIF).

Daraus resultiert wiederum, dass Schwächen der Subkomponenten eines Systems analysiert und durch Ergänzung mit dafür geeigneten anderen Elementen kompensiert werden (Safety by Design).

Beratungsleistung „LiDAR Engineering“

Das LFT Team verfügt über langjährige Erfahrung in der Auslegung von KIrborne LiDAR Sensorik auf welches unsere Kunden Zugreifen können. Unter anderem beraten wir Sie zu folgenden Themen:

  • LiDAR Sensorauslegung, LiDAR Simulationen, Reduktion von Störeffekten durch Optimierung des optischen & elektrischen Pfades
  • Augensicherheitsanalysen nach DIN EN 60825
  • Umwelt- und EMC-Härtung & Qualifikation von LIDAR Sensoren
  • Smart Receiver Management mit Focus auf Genauigkeitserhöhung wie auch zur Unterdrückung von atmosphärischen Effekten