In seinem Artikel „The Future of Interaction Design“ beschreibt Bret Victor den Touchscreen als „Pictures under glass“. Ein gutes Bild für die Limitationen der aktuell am weitest verbreiteten Interaktionstechnologien. Den alternativen Konzepten mangelt es aber entweder (noch) an technischer Reife oder an Akzeptanz.
Mit Geräten reden
Seit Jahrzehnten gibt es schon Geräte bzw. Services mit Spracheingabe. Bei relativ simplen Anwendungen wie etwa der Sprachwahl am Handy oder bei der Navigation in Menüs von Telefonhotlines (IVR, Interactive Voice Response) funktioniert das auch wirklich gut. Apple setzt derzeit stark auf Siri, den „intelligent personal assistent“ und „knowledge navigator“. Dieses selbstlernende System soll sich möglichst an die Vorlieben der Anwender anpassen und beantwortet nicht nur Fragen, sondern gibt auch Empfehlungen. Wenn man sich so umsieht, ist aber der Touchscreen noch immer die bei weitem beliebtere Interaktionsform mit dem iPhone.
Bewegungssteuerung
Steven Spielbergs Film „Minority Report“ aus dem Jahr 2002 zeigt, wie Menschen mit Bewegungen und Gesten in Computeranwendungen navigieren. 2010 brachte Microsoft Kinect auf den Markt, das den im Film gezeigten Ideen schon sehr nahe kommt. Dieser Controller kombiniert mehrere Technologien (Kamera mit Tiefensensor, 3D Micro…), um Bewegungs- und Gestensteuerung für die Xbox 360 zu ermöglichen. Damit ist es möglich, sich am Stand gehend oder laufend durch 3D Simulationen zu bewegen. Mit Kinect und davor schon mit dem Motion Controller der Nintendo Wii ist Bewegungssteuerung massenmarkttauglich geworden.
Taktile Wahrnehung
Aktuell beschäftigen sich viele Forscher mit Tangible Interfaces. Hier werden reale Gegenstände zur Steuerung von Geräten verwendet. Der reactable, für dessen Interaktionsdesign von twenty.twenty Keynote-Speaker Martin Kaltenbrunner verantwortlich ist, setzt etwa auf Pucks, die auf der Multitouch-Oberfläche des Gerätes bewegt werden. Damit kann ein Musikinstrument, das ausschließlich digitale Klänge verwendet, auf eine Art gesteuert werden, die man von herkömmlichen Musikinstrumenten kennt. Die Tangible Media Group des MIT geht noch einen Schritt weiter. Ein besonders interessantes Beispiel ist deForm , eine verformbare Masse, die als Input-Device dient.
Interpretationsleistung verbessern
Ob Gesten, Sprache oder Bewegungen: Die Interpretationsleistung, die am Weg zwischen User Interface und Maschine erbracht werden muss, ist relativ hoch und damit auch die Fehleranfälligkeit. Der große Traum sind Maschinen oder Roboter, die einerseits möglichst exakt das tun, was man von ihnen will und bei denen man andererseits nicht lange erlernen muss, wie sie zu bedienen sind. Dafür gibt es zwei Möglichkeiten: Die eine zapft direkt die Gehirnströme bzw. die Nervenenden der Anwender an. Das funktioniert vor allem bei der Steuerung von Körperprothesen schon sehr gut. Aber auch an nicht-medizinischen Anwendungen wird geforscht. So gibt es zum Beispiel „a headset that reads your brainwaves“:
Die zweite Möglichkeit: Man bringt Sensoren direkt am Körper der Menschen an. Google hat sich etwa vor kurzem ein Patent für einen Handschuh zur Gestensteuerung gesichert.
Die Eroberung des Körpers
Entwicklungen wie Tangible Interfaces oder Sensoren am Körper bringen ein unmittelbares Gefühl bei der Interaktion mit Technologie. Für Spezialanwendungen sind sie durchaus sinnvoll und zielführend. Ob die Menschen sich wirklich Sensoren am Körper anbringen wollen, um sich den alltäglichen Gebrauch von Geräten zu erleichtern, ist aber zu bezweifeln.