EyePhone: Steuerung des Smartphones mit den Augen

Wäre es nicht wunderbar, würden einem alle Wünsche von den Augen abgelesen werden? Das haben sich wohl auch die Entwickler des Institute for Security Technology Studies (ISTS) des Darthmouth Colleges in den USA gedacht, als sie ihr Programm EyePhone entwickelten. Dabei handelt es sich um ein völlig neues und revolutionäres Bedienungskonzept, mit dem das Smartphone lediglich mit Bewegungen und Aktionen (z.B. Zwinkern) der Augen des Benutzers gesteuert wird. Dieses Projekt ist jedoch nicht nur als Steuerungskonzepts für Smartphones geeignet, sondern bietet noch weitere Anwendungsmöglichkeiten. Eyephone soll Ende August auf der Mobiheld 2010, einer Konferenz rund um mobile Handhelds, in Neu-Delhi vorgestellt werden.



Grundsätzliche Funktionsweise
EyePhone erfasst die Bewegungen der Augen des Benutzers über das Display des Handhelds mittels der vorderseitig eingebauten Kamera. Das Programm erkennt, welche Applikation der Benutzer auf dem Handheld ansieht und interpretiert das Blinzeln als Mausklick, welcher die anvisierte Applikation aktiviert.



Hintergrund
Mit Apples iPhone begann eine völlig neue Bewegung auf dem Mobiltelefonmarkt in dessen Zuge sich die Touchscreen-Technologie durchsetzen konnte. Mit dieser Technologie wurde auch die intuitive Steuerung des Handhelds mittels Aktionen der Finger auf dem Display eingeführt. Moderne Smartphones bieten jedoch noch weitere Möglichkeiten und Forscher auf dem Gebiet Human-Computer Interaction (HCI) suchen stets nach neuen Möglichkeiten und Konzepte. EyePhone ist eine Human-Phone Interaction (HPI) und benutzt die Kamera an der Frontseite des Handhelds um Bewegungen mit den Augen zu erfassen, auszuwerten und diese in Aktionen auf dem entsprechenden Gerät umzuwandeln.

Weitere Entwicklungen der HPI-Forschung
Die HPI-Forschung hat in letzter Zeit große Fortschritte gemacht und viele neue Konzepte entwickelt. Folgende Aufstellung gibt eine kleine Übersicht zur aktuellen Entwicklung:

Onboard Accelerometer:
Mit dem MobilePhone in der Luft schreiben: synrg.ee.duke.edu/papers/phonepen.pdf
Gestiken erkennen anhand des G-Sensors mit dem iPhone: tinyurl.com/yjddr8q

Kamera
Eyesight: www.eyesight-tech.com/
Eye mouse project: www.arts.ac.uk/research/eyemouse/index.htm

Spezielle Headsets
Docomo eye control: tinyurl.com/ycza2jd

Bestimmte Sensoren
Das Mobilephone, das von den Lippen lesen kann:
www.cellular-news.com/story/42211.php

Radar
Nokia mobile radar: conversations.nokia.com/2010/01/27/nokia-mobile-radar/

Spezielle Herausforderungen bei Smartphones
Bei der Bedienung von Smartphones begegnen den Entwicklern von HPI-Technologien besondere Herausforderungen. Smartphones begleiten uns (fast) immer und müssen dementsprechend in den verschiedensten Situationen und Umgebungen funktionieren. Sie müssen sich in Bewegung bedienen lassen und benötigen eine gewisse Immunität gegenüber versehentlicher Bedienung durch Fehlinterpretation des Systems.
Auch die speziellen Gegebenheiten bei der Hardware stellen eine Herausforderung dar. Es ist unwahrscheinlich dass ein neues HPI intensiv genutzt wird, falls zusätzliche Hardware benötigt wird. Die Entwickler müssen sich also auf das beschränken, was ein normales Smartphone bietet. Zudem muss beachtet werden, dass auch moderne Smartphones immer noch eingeschränkt bei Lernalgorithmen sind.
Um die Ziele der Entwickler zu erreichen und auch in der Praxis einsetzbar zu sein, müssen HPI-Technologien folgende Eigenschaften erfüllen:
Es darf nur Ressourcen benötigen, die beim Smartphone selbst vorhanden sind.
Es soll einfach und unabhängig von einem speziellen Benutzer zu bedienen sein.
Es soll schnell sein.
Es darf keinen übermäßigen Stromverbrauch mit sich ziehen.
Desweiteren werden HPI mit besonderem Nutzen gesucht, die beispielsweise die Gefahr von Unfällen reduzieren oder auch von behinderten Menschen zu bedienen sind.

EyePhone Design
Die Algorithmen von EyePhone basieren auf Algorithmen für Desktop-Systeme mit USB Kamera. Sie können in folgende 4 Phasen unterteilt werden:

Erkennung der Augen
In dieser Phase wird das Augenpaar vom Programm erkannt. Die Herausforderung hier war, Fehlerrate zu reduzieren und die Heuristik zu ändern, um störendes Rauschen durch die qualitativ schwächeren HandyKameras herauszufiltern.



Erstellung von Schablonen der offenen Augen
Wegen der eingeschränkten Rechenleistung von Smartphones und der limitierten Kapazität der Batterien werden bei EyePhone bei der ersten Benutzung Schablonen zu den verschiedenen Positionen der Augen erstellt. Diese werden im Festspeicher gesichert und bei jedem Start des Programms geladen. Dies steht im Gegensatz zu den Desktopsystemen, die jedes Mal neue Schablonen laden, wenn das Augenpaar neu erfasst wird. Diese Vorgehensweise ist genauer, da sie auf die jeweilige Situation (z.B. Lichtverhältnisse) besser abgestimmt werden kann, ist jedoch auch rechenintensiver und verbraucht mehr Energie. Hier wollen die Entwickler von EyePhone jedoch nachlegen. Ihre relativ simple Lösung ist zwar recht effizient, sie ist jedoch auch ein Ansatzpunkt zu einer relativ einfachen Qualitätsverbesserung.

Eye Tracking
Der Eye Tracking Algorithmus basiert auf der Übereinstimmung mit den Schablonen. Um Ressourcen zu schonen und die Erkennung zu beschleunigen, ist das Suchfenster auf die Region um das Auge beschränkt. Folgende Bilderserie zeigt die Tracking Zonen bei einem Test des Programms mit dem Nokia N810. Die äußere Box markiert die Zone, die mit den gespeicherten Schablonen verglichen wird. Die innere Box wird vom Programm benutzt, um die Augenstellung auf eine der neun Positionen zu bestimmen.



Erkennung des Zwinkerns
Das Zwinkern wird mittels einer Grenzwert-Technik erkannt. Dieser Punkt ist besonders schwierig, da bei bestimmten Augenstellungen fälschlicherweise ein Zwinkern erkannt werden kann. Das Programm vergleicht das aktuelle Bild mit den bekannten Schablonen. Stimmen die Bilder zu einer gewissen Korrelation überein, wird das aktuelle Bild des Auges als geöffnet interpretiert. Wird ein vorbestimmter Grad der maximalen Abweichung überschritten, erkennt das System ein Zwinkern.

Auswertung
Erste Tests des Programms wurden auf dem Nokia N810 mit einem 400 MHz Prozessor und 128 MB RAM durchgeführt. Als Softwareplattform diente das Unix basierte Maemo 4.1 mit installierter C OpenCV (Open Source Computer Vision) Bibliothek und natürlich den EyePhone Algorithmen.
Im laufenden Betrieb lag die durchschnittliche CPU-Auslastung bei 65,4 % und beim RAM 56,5 % und ist damit ziemlich ressourcenschonend. Die Rechenzeit betrug ca. 100 ms und nach 3 Stunden Dauerbetrieb waren 60 % der Batterie verbraucht. Im realen Einsatz benötigt das Programm durchschnittlich weniger Ressourcen. Auch die Akku-Laufzeiten werden deutlich erhöht. EyePhone läuft nämlich nur, wenn tatsächlich ein Augenpaar erkannt worden ist und das wäre in der Praxis nicht dauernd der Fall.
Folgende Tabelle zeigt die Performance des Programms bei der Erkennung. Die linken drei Spalten zeigen die Genauigkeit des Eye Trackings bei unterschiedlichen Rahmenbedingungen. DS steht für daylight, steady (Tageslicht, stehend); AS steht für artificial light, steady (künstliches Licht, stehend) und DM steht für daylight, movement (Tageslicht, in Bewegung). Die letzte Spalte zeigt die Performance des Programms beim Erkennen von Zwinkern.



Insgesamt sind das recht starke Werte, gerade auch im Vergleich zu ähnlichen Systemen.

Die besten Ergebnisse erzielte das Programm, wenn die Augen des Benutzers einen Abstand zum Smartphone von ca. 18 cm hatten. Bei Vergrößerung der Entfernung nahm die Genauigkeit stetig ab. Folgende Grafik veranschaulicht dies:



Anwendungsmöglichkeiten
EyeMenu
EyeMenu ist ein besonderes Menü zur Steuerung des Smartphones mit neun frei belegbaren Feldern. Sieht der Benutzer ein Feld an, erkennt dies das Programm und markiert das entsprechende Feld. Ein Zwinkern mit dem Auge wird als Klick interpretiert und startet die entsprechende Applikation.



Car Driver Safety
Eine weitere Anwendungsmöglichkeit des Programms ist die Erkennung von Müdigkeit oder Ablenkung eines Autofahrers. Die führenden Automobilmarken arbeiten bereits heute an Lösungen, den Zustand des Fahrers mittels verschiedener Sensoren und Kameras zu überwachen. Mit EyePhone könnte man ein ähnliches System auf einfache Weise in ältere und technisch weniger stark ausgerüstete Autos einfach installieren. Bereits heute haben viele Menschen ihr Mobiltelefon in einer Halterung an der Konsole im Auto platziert, wenn sie fahren.

Fazit
Die Entwickler von EyePhone haben es geschafft, ein alternatives Bedienungskonzept für Smartphones zu entwerfen und dieses ohne allzu großen Ressourcenverbrauch auf dem Smartphone umzusetzen. Darüber hinaus ist es den Entwicklern gelungen EyePhone so zu gestalten, dass es nur die Hardwarespezifikationen von gängigen Smartphones benötigt.
Die bisherigen Tests scheinen vielversprechend, wenngleich sie natürlich mit Vorsicht zu genießen sind. Ein genaueres Bild werden wir haben, wenn das Programm offiziell vorgestellt wird. Nach derzeitigem Stand soll das Ende August auf der Mobiheld 2010 in Neu-Delhi erfolgen. Die Idee, die Anwendung als Sicherheitssystem im Fahrzeug zur Überwachung des Zustands des Fahrers einzusetzen, finde ich jetzt schon hervorragend. Sehr viele Menschen begleitet ihr Smartphone auch beim Autofahren und es ist dabei fest im Blickfeld justiert. Wenn man sein Smartphone im Auto als Kommunikationszentrale verwendet und man es darüber hinaus auch noch beispielsweise als Navigationssystem benutzt, kann man es auch zur Überwachung des eigenen Zustands verwenden. Als Bedienungskonzept für ein Smartphone sehe ich persönlich EyePhone derzeit als coole Spielerei, die ich dringend ausprobieren möchte, aber der ich (zumindest noch in seiner derzeitigen Form) eher wenige Erfolgschancen für den täglichen Gebrauch gebe. Nicht in das Betriebssystem integriert hat die Applikation für mich einfach keinen großen Nutzen. Hier sehe ich EyePhone mehr als ein Konzept, das erst in Zukunft eine Rolle in der Praxis spielen wird. Dennoch ziehe ich voller Hochachtung meinen Hut vor diesen Entwicklern, die sich als Pioniere eines möglicherweise revolutionären Konzeptes für Smartphones fühlen dürfen. Man braucht hier mutiges Vorangehen, um etwas bewegen zu können.

Den ganzen wissenschaftlichen Artikel könnt ihr hier herunterladen.