eSensibility - Emotionserkennung im Auto von Morgen
Interaktion. Emotion. Empathie.

Fahrerbeobachtung im Automobil – eine neue Qualität der Interaktion

„Stellen Sie sich vor, Sie steigen morgens ein, das Fahrzeug sagt ‚Guten Morgen‘, Sie machen es sich gemütlich, lehnen sich zurück und sagen Ihrem Auto ‚Auf geht’s.‘ Und auf geht’s. Alles Weitere macht Ihr Fahrerbeobachtungssystem. Es sagt Ihnen, wenn es Zeit ist, eine Pause einzulegen, weil Ihre Augen müde werden und Ihre Gesichtsmuskulatur erschlafft oder Sie gedankenverloren ins Leere schauen.“

Timeofflightcamera Produkt

Autonomes Fahren

Für eine sichere (teil-) autonome Fahrt ist die Reaktionsfähigkeit des Fahrers von höchster Bedeutung, auch wenn er das Fahrzeug nicht aktiv führt. Daher gilt es, den Menschen und seine Fähigkeit zur Übernahme der Fahrzeugführung zu erfassen. Assistenzsysteme, wie die von KOSTAL, die Fahrzeuginnenraum- sowie Umgebungsdaten in einem komplexen System verarbeiten, werden in Zukunft das Herzstück der autonomen Fahrt bilden.

Die KOSTAL Fahrerbeobachtungskamera legt dabei einen besonderen Fokus auf den Grad der Aufmerksamkeit bzw. der Ablenkung, der sensorisch mittels der KOSTAL Kameratechnologie erfasst und geeignet beeinflusst werden kann. Ebenso sind Unterforderung oder Ermüdung durch geeignete Auswertungen sicher und hochverfügbar durch unsere Kamera detektierbar. 
 

Vernetzt

Durch die rechtzeitige Erkennung von Ablenkung und/oder Unterforderung des Fahrers (Drowsiness Detection & Distraction Warning) kann das Fahrzeugsystem die entsprechende Eskalationsstrategie abrufen. Zeigt der Fahrer zum Beispiel Ermüdungserscheinungen, die die Fahrerbeobachtungskamera durch die Analyse des Augenlidschlusses feststellt, empfiehlt  das Fahrzeug innerhalb der Navigation Raststätten oder Übernachtungsmöglichkeiten in der aktuellen Umgebung auf.
Augmented Reality HUD
Neben Assistenz- und Sicherheitsfunktionen profitieren weitere Komfortfunktionen von der neuen Sensorik: Bei Augmented Reality Anwendungen (dt. erweiterte Realität) ist die reale Umgebung beispielsweise über ein Head-up-Display mit virtuellen Inhalten in Deckung zu bringen.

Die Fahrzeugscheibe ist die ideale Anzeigefläche für digital angereicherte Augmented Reality Anwendungen – von Einblendungen besonderer Veranstaltungen im Umkreis, bis hin zu virtuellen Werbebannern, die mit Kartendiensten verknüpft werden können. Für die perspektivisch perfekte Einspielung von Augmented Reality Inhalten in das Blickfeld des Fahrers ist die permanente Bestimmung der Augenposition unerlässlich.

Nur so kann ein im Head-up-Display angezeigtes Bild mit der realen Umgebung in Einklang gebracht werden. Die hierfür notwendige Augenposition in x, y und z Koordinaten wird von der absolut messenden Fahrerbeobachtungskamera bestimmt. 
 
eSensibility Personalisierung

Personalisiert

Die Fahreridentifikation mittels der Fahrerbeobachtungskamera ermöglicht Komfortfunktionen wie die Personalisierung der Fahrzeugeinstellung. So stellt sich das Fahrzeug beim Einsteigen automatisch durch Anpassung der Sitzposition, Innenraumbeleuchtung und Playlist auf den Fahrer und seine Vorlieben ein. Das Tracking der Aktivitäten des Mundbereiches ermöglicht eine binäre Spracherkennung. So kann die Kamera feststellen, ob der Fahrer der aktive Sprachbediener ist und die Daten an das Fahrzeugsystem weitergeben.

Wir gestalten die ‚New Mobility-HMI‘ der Zukunft mit KOSTAL-Integrations- und Technologiekompetenz. Die Megatrends ‚autonomes Fahren‘ und ‚shared Mobility‘ leiten uns dabei.

Herr Dr. Naumann
Dr. Tino Naumann
Geschäftsfeldleiter Mechatronik Module KOSTAL Automobil Elektrik

Was sieht die Kamera?

  • Hoch auflösende 2D- und 3D-Kamerasysteme erkennen und verfolgen bis zu 49 signifikante Merkmale im Gesicht. 
  • Unterstützt durch KOSTAL Algorithmen generiert die Kamera auch bei Teilverdeckung des Gesichts, wie z.B durch einen  Mundschutz oder einer Sonnenbrille, weiterhin zuverlässige Informationen. 
  • Selbst unter schwierigen dynamischen Lichtsituationen wie Schatten oder Sonneneinstrahlung im Fahrzeuginnenraum erzeugt die Beobachtungskamera dank der eigesetzten 3D-Time-of-Flight Technologie unbeeinflusste Bilddaten zur Informationsverarbeitung.
  • Durch die permanente Analyse des Augenlidschlusses kann die Kamerae Übermüdung und/oder Ablenkungen feststellen.
  • Die Kamera verarbeitet die Kopfposition und –ausrichtung des Fahrers und ermittelt den Aufmerksamkeitsgrad des Fahrers, bestimmt die Positionierung von Head-up Displays sowie Smart Airbags
  • Sie erkennt die Blickrichtung auf Basis der Pupillenablage und kann somit die perfekte Position für Augmented Reality Inhalte vorgeben. 
  • Sie stellt die Sprachaktivität des Fahrers auf Basis der Mundbewegung fest und kann das Spracherkennungssystem des Fahrzeugs dabei unterstützen, Sprachbefehle von Umgebungsgeräuschen zu unterscheiden.
  • Die Kamera erkennt den Fahrer mittels der Fahreridentifikation und ruft Personalisierungsfunktionen wie Sitzeinstellungen und Playlists ab. 
  • Anhand der Beobachtung der Gesichtsmerkmale analysiert das System Emotionen und Wohlbefinden des Fahrers und leitet Komfortfunktionen ein. 

Aufmerksam beobachten, intelligent reagieren

Diagramm

Fahrerbeobachtung mit Deep Learning

Eine zukunftsrelevante Technologie im Bereich der künstlichen Intelligenz ist Deep Learning. Hierbei wird die neuronale Struktur des menschlichen Gehirns in Teilen als Analogie genommen, um große künstliche neuronale Netze abzubilden. Mit Deep Learning gehen die erfolgreichsten wissenschaftlichen Erfolge im Bereich der Bild- und Spracherkennung der letzten Jahre einher. Unsere Ingenieure setzen bereits heute selbstentwickelte Deep Learning Algorithmen bei der KOSTAL Fahrerbeobachtungskamera ein, um Blickrichtungen und Emotionen des Fahrers zu erkennen und zu klassifizieren.
 

Interaktion. Emotion. Empathie. 

Durch den Einsatz von Deep Learning Algorithmen macht die Fahrerbeobachtungskamera das Auto zum intelligenten Begleiter. Durch aufmerksames Beobachten ist das Fahrzeug in der Lage Warnungen auszulösen, Unterhaltung, Services oder Hilfestellungen anzubieten. Basierend auf der analysierten Stimmungslage des Fahrers und je nach Persönlichkeitsprofil kann das Fahrzeugsystem eine Playlist anbieten, einen Entspannungsduft in das Klimasystem einleiten oder das Lichtszenario im Innenraum des Fahrzeugs von sportlich auf Entspannung umschalten. 

Im Augenblick eines besonderen Fahrerlebnisses schießt die Kamera einen Selfie des Fahrers und teilt das Bild in einem sozialen Netzwerk der Wahl. Den Möglichkeiten der Informationsverarbeitung sind hier kaum Grenzen gesetzt.
Kamera liest Emotionen

Integrationskompetenz

Integration ist Kundenzufriedenheit. Zusammen mit unseren Kunden arbeiten wir an Lösungen, um unsere Kameratechnik optimal im Fahrzeug und unsichtbar für Ihren Endkunden unterzubringen.