Smartphone gibt Stummen eine Stimme
Google hat ein künstlich intelligentes System entwickelt, das Handbewegungen per Smartphone-Kamera erfasst. So soll sich Gebärdensprache in Echtzeit übersetzen lassen.
Entwickler in Googles Forschungslabor haben Fortschritte beim Hand-Tracking erzielt. Die neue Technik arbeitet mit künstlicher Intelligenz und soll es in Zukunft etwa ermöglichen, die Gebärdensprache von Hörbehinderten in Echtzeit in gesprochene Sprache zu übersetzen.
Zusammenspiel mehrerer Algorithmen
Das Interessante dabei: Anders als bei bisherigen Hand-Tracking-Systemen sollen keine leistungsstarken Server-Computer notwendig sein; die Rechenressourcen des Smartphone sollen genügen.
Das künstlich intelligente System erfasst nicht wie ursprünglich angestrebt, Position und Bewegung der gesamten Hand, sondern ortet nur die Handfläche. Dadurch haben die Google-Forscher die Datenmenge, die der Algorithmus zur Erkennung verarbeiten muss, enorm verringert. So soll die Erkennung von Hand und einzelner Finger nicht nur schneller, sondern auch mit erhöhter Genauigkeit möglich sein.
Hat das «Blazepalm» genannte System per Smartphone-Kamera die Handfläche erkannt, erstellt ein zweiter Algorithmus anhand des Sucherbildes eine exakte 3-D-Karte von Hand und Fingern. Dabei werden der Hand an Gelenken und Fingerspitzen 21 Schlüsselpunkte zugewiesen, die zur Analyse der Gesten verwendet werden.
Zudem kommt ein dritter Algorithmus zum Einsatz, der die Beziehung der Schlüsselpunkte zueinander analysiert, um den verschiedenen Anordnungen eine vorher definierte Geste zuzuordnen.
Offener Quellcode
Gefüttert wurde das KI-System mit 30 000 Fotos, auf denen Hände mit unterschiedlichsten Gesten in verschiedenster Qualität abgebildet sind. Zuverlässige Handerkennung sei eine Herausforderung für maschinelle Bilderkennungssysteme, da sich Hände typischerweise durch ihre Bewegungen selbst verdecken und Bewegungsmuster schwer zu unterscheiden seien, wie die Google-KI-Forscher erklären.
Das Smartphone-basierte Tracking-System erziele eine durchschnittliche Erkennungsquote von mehr als 95 Prozent.
Google macht das Handerkennungssystem als Open-Source-Projekt zugänglich und erhofft sich eigenen Angaben zufolge davon, dass die Forscher- und Entwickler-Community auf Basis der Ergebnisse neuartige Anwendungen entwickeln kann und weitere Forschungen lanciert.
