Gesten, Hologramme und Gedanken-Upload im Matrix-Stil

Zuerst waren es Lochkarten, dann die kultige Maus und Tastatur. Die Werkzeuge und Systeme, die wir verwenden, um mit Computern zu interagieren, ermöglichen es uns, die Welt um uns herum auf eine Weise zu kontrollieren und zu gestalten, die für unsere Vorfahren unvorstellbar war. Wir haben sicherlich einen langen Weg zurückgelegt, aber im Bereich der Benutzerschnittstelle (UI oder die Mittel, mit denen wir mit Computersystemen interagieren) haben wir wirklich noch nichts gesehen.

In den letzten beiden Teilen unserer Serie „Future of Computers“ haben wir untersucht, wie sich die kommenden Innovationen demütig verändern werden Mikrochip und Plattenlaufwerk wird wiederum globale Revolutionen in Wirtschaft und Gesellschaft auslösen. Aber diese Innovationen werden im Vergleich zu den UI-Durchbrüchen, die jetzt in Wissenschaftslabors und Garagen auf der ganzen Welt getestet werden, verblassen.

Jedes Mal, wenn die Menschheit eine neue Form der Kommunikation erfunden hat – sei es Sprache, das geschriebene Wort, die Druckpresse, das Telefon, das Internet – blühte unsere kollektive Gesellschaft mit neuen Ideen, neuen Formen der Gemeinschaft und völlig neuen Industrien auf. Das kommende Jahrzehnt wird die nächste Evolution erleben, den nächsten Quantensprung in der Kommunikation und Interkonnektivität … und es könnte das, was es bedeutet, ein Mensch zu sein, neu gestalten.

Was ist überhaupt eine gute Benutzeroberfläche?

Die Ära des Herumstocherns, Kneifens und Wischens an Computern, um sie dazu zu bringen, das zu tun, was wir wollten, begann vor einem Jahrzehnt. Für viele fing es mit dem iPod an. Wo wir einst daran gewöhnt waren, robuste Knöpfe zu klicken, zu tippen und nach unten zu drücken, um Maschinen unseren Willen mitzuteilen, hat der iPod das Konzept populär gemacht, auf einem Kreis nach links oder rechts zu wischen, um Musik auszuwählen, die Sie hören möchten.

Etwa zu dieser Zeit kamen auch Touchscreen-Smartphones auf den Markt und führten eine Reihe anderer taktiler Eingabeaufforderungen ein, wie z normalerweise zwischen den Programmen). Diese taktilen Befehle fanden aus mehreren Gründen schnell Anklang in der Öffentlichkeit: Sie waren neu. All die coolen (berühmten) Kids machten es. Die Touchscreen-Technologie wurde billig und zum Mainstream. Aber vor allem fühlten sich die Bewegungen natürlich und intuitiv an.

Darum geht es bei einer guten Computer-UI: Natürlichere und intuitivere Wege zu entwickeln, um mit Software und Geräten zu interagieren. Und das ist das Kernprinzip, das die zukünftigen UI-Geräte leiten wird, die Sie gleich kennenlernen werden.

Stoßen, kneifen und in die Luft wischen

Ab 2015 haben Smartphones Standard-Mobiltelefone in weiten Teilen der entwickelten Welt ersetzt. Dies bedeutet, dass ein großer Teil der Welt jetzt mit den verschiedenen oben erwähnten taktilen Befehlen vertraut ist. Durch Apps und Spiele haben Smartphone-Benutzer eine Vielzahl abstrakter Fähigkeiten erlernt, um die Supercomputer in ihrer Tasche zu steuern.

Es sind diese Fähigkeiten, die Verbraucher auf die nächste Welle von Geräten vorbereiten werden – Geräte, die es uns ermöglichen werden, die digitale Welt leichter mit unseren realen Umgebungen zu verschmelzen. Werfen wir also einen Blick auf einige der Werkzeuge, die wir verwenden werden, um durch unsere zukünftige Welt zu navigieren.

Open-Air-Gestensteuerung. Ab 2015 befinden wir uns immer noch im Mikrozeitalter der Touch-Steuerung. Wir stupsen, kneifen und wischen uns immer noch durch unser mobiles Leben. Aber diese Berührungssteuerung weicht langsam einer Form der Open-Air-Gestensteuerung. Für die Gamer da draußen war Ihre erste Interaktion damit möglicherweise das Spielen überaktiver Nintendo Wii-Spiele oder der neuesten Xbox Kinect-Spiele – beide Konsolen verwenden fortschrittliche Motion-Capture-Technologie, um Spielerbewegungen mit Spiel-Avataren abzugleichen.

Nun, diese Technologie bleibt nicht auf Videospiele und Green-Screen-Filme beschränkt; Es wird bald in den breiteren Unterhaltungselektronikmarkt eintreten. Ein markantes Beispiel dafür, wie dies aussehen könnte, ist ein Google-Projekt namens Project Soli (sehen Sie sich das erstaunliche und kurze Demo-Video an hier). Die Entwickler dieses Projekts verwenden ein Miniaturradar, um die feinen Bewegungen Ihrer Hand und Finger zu verfolgen, um das Stoßen, Kneifen und Wischen unter freiem Himmel statt gegen einen Bildschirm zu simulieren. Dies ist die Art von Technologie, die dazu beitragen wird, Wearables einfacher zu bedienen und damit für ein breiteres Publikum attraktiver zu machen.

Dreidimensionale Schnittstelle. Wenn wir diese Open-Air-Gestensteuerung in ihrer natürlichen Entwicklung fortsetzen, werden wir Mitte der 2020er Jahre sehen, wie die traditionelle Desktop-Oberfläche – die bewährte Tastatur und Maus – langsam durch die Gesten-Oberfläche ersetzt wird, im gleichen Stil, der durch den Film Minority populär gemacht wurde Bericht. Tatsächlich arbeitet John Underkoffler, UI-Forscher, wissenschaftlicher Berater und Erfinder der holografischen Gesten-Interface-Szenen aus Minority Report, derzeit an der Real-Life-Version– eine Technologie, die er als räumliche Arbeitsumgebung für Mensch-Maschine-Schnittstellen bezeichnet.

Mit dieser Technologie werden Sie eines Tages vor einem großen Display sitzen oder stehen und verschiedene Handgesten verwenden, um Ihren Computer zu steuern. Es sieht wirklich cool aus (siehe Link oben), aber wie Sie sich vorstellen können, sind Handgesten vielleicht großartig, um Fernsehkanäle zu überspringen, auf Links zu zeigen/klicken oder dreidimensionale Modelle zu entwerfen, aber sie funktionieren nicht so gut, wenn Sie lange schreiben Aufsätze. Da die Open-Air-Gestentechnologie nach und nach in immer mehr Unterhaltungselektronik integriert wird, wird sie wahrscheinlich durch ergänzende UI-Funktionen wie fortschrittliche Sprachsteuerung und Iris-Tracking-Technologie ergänzt.

Ja, die bescheidene, physische Tastatur könnte noch bis in die 2020er Jahre überleben … zumindest bis diese nächsten beiden Innovationen sie bis zum Ende dieses Jahrzehnts vollständig digitalisieren.

Haptische Hologramme. Die Hologramme, die wir alle persönlich oder in Filmen gesehen haben, sind in der Regel 2D- oder 3D-Lichtprojektionen, die Objekte oder Personen zeigen, die in der Luft schweben. Allen diesen Vorsprüngen ist gemeinsam, dass Sie nur eine Handvoll Luft bekommen würden, wenn Sie nach ihnen greifen würden. Das wird nicht mehr lange so sein.

Neue Technologien (siehe Beispiele: dank One und XNUMX) werden entwickelt, um Hologramme zu erstellen, die Sie berühren können (oder zumindest das Gefühl von Berührung, dh Haptik, nachahmen). Je nach verwendeter Technik, seien es Ultraschallwellen oder Plasmaprojektion, eröffnen haptische Hologramme eine völlig neue Industrie digitaler Produkte, die in der realen Welt verwendet werden können.

Denken Sie darüber nach, anstelle einer physischen Tastatur können Sie eine holografische Tastatur haben, die Ihnen das physische Gefühl des Tippens vermittelt, wo immer Sie in einem Raum stehen. Diese Technologie wird den Mainstream vorantreiben Minority Report Open-Air-Schnittstelle und beenden Sie das Zeitalter des traditionellen Desktops.

Stellen Sie sich Folgendes vor: Anstatt einen sperrigen Laptop mit sich herumzutragen, könnten Sie eines Tages einen kleinen quadratischen Wafer (vielleicht so groß wie eine CD-Hülle) mit sich führen, der einen berührbaren Bildschirm und eine Tastatur projizieren würde. Stellen Sie sich noch einen Schritt weiter vor, ein Büro mit nur einem Schreibtisch und einem Stuhl, dann projiziert sich mit einem einfachen Sprachbefehl ein ganzes Büro um Sie herum – ein holografischer Arbeitsplatz, Wanddekorationen, Pflanzen usw. Möbel oder Dekoration in der Zukunft kaufen kann einen Besuch im App Store zusammen mit einem Besuch bei Ikea beinhalten.

Virtuelle und erweiterte Realität. Ähnlich wie die oben erläuterten haptischen Hologramme werden Virtual und Augmented Reality im UI der 2020er Jahre eine ähnliche Rolle spielen. Jeder wird seine eigenen Artikel haben, um sie vollständig zu erklären, aber für den Zweck dieses Artikels ist es nützlich, Folgendes zu wissen: Virtuelle Realität wird im nächsten Jahrzehnt weitgehend auf fortgeschrittene Spiele, Trainingssimulationen und abstrakte Datenvisualisierung beschränkt sein.

In der Zwischenzeit wird Augmented Reality eine viel breitere kommerzielle Attraktivität haben, da es digitale Informationen über die reale Welt legen wird; wenn Sie jemals das Werbevideo für Google Glass (Video), dann werden Sie verstehen, wie nützlich diese Technologie eines Tages sein kann, wenn sie Mitte der 2020er Jahre ausgereift ist.

Ihr virtueller Assistent

Wir haben die Berührungs- und Bewegungsformen der Benutzeroberfläche behandelt, die unsere zukünftigen Computer und Elektronik übernehmen werden. Jetzt ist es an der Zeit, eine andere Form der Benutzeroberfläche zu erkunden, die sich vielleicht noch natürlicher und intuitiver anfühlt: Sprache.

Die Besitzer der neuesten Smartphone-Modelle haben höchstwahrscheinlich bereits Erfahrungen mit der Spracherkennung gemacht, sei es in Form von iPhones Siri, Androids Google Now oder Windows Cortana. Diese Dienste sind so konzipiert, dass Sie mit Ihrem Telefon kommunizieren und auf die Wissensbank des Internets zugreifen können, indem Sie diesen „virtuellen Assistenten“ einfach verbal sagen, was Sie wollen.

Es ist eine erstaunliche technische Leistung, aber es ist auch nicht ganz perfekt. Jeder, der mit diesen Diensten herumgespielt hat, weiß, dass sie Ihre Sprache oft falsch interpretieren (insbesondere für Leute mit starkem Akzent) und Ihnen gelegentlich eine Antwort geben, nach der Sie nicht gesucht haben.

Glücklicherweise werden diese Fehler nicht mehr lange anhalten. Google angekündigt im Mai 2015, dass seine Spracherkennungstechnologie nur noch eine achtprozentige Fehlerquote hat, Tendenz steigend. Wenn Sie diese sinkende Fehlerquote mit den massiven Innovationen bei Mikrochips und Cloud Computing kombinieren, können wir davon ausgehen, dass virtuelle Assistenten bis 2020 erschreckend genau werden.

Schau dieses Video an ein Beispiel dafür, was möglich ist und was in wenigen Jahren öffentlich verfügbar sein wird.

Es mag schockierend sein zu erkennen, aber die virtuellen Assistenten, die derzeit entwickelt werden, werden nicht nur Ihre Rede perfekt verstehen, sondern auch den Kontext hinter den Fragen, die Sie stellen; sie werden die indirekten Signale Ihres Tonfalls erkennen; sie werden sogar lange Gespräche mit Ihnen führen, Die von ihr verfassten Bücher-Stil.

Insgesamt werden spracherkennungsbasierte virtuelle Assistenten die primäre Art und Weise sein, wie wir für unsere täglichen Informationsbedürfnisse auf das Internet zugreifen. In der Zwischenzeit werden die zuvor untersuchten physischen Formen der Benutzeroberfläche wahrscheinlich unsere freizeit- und arbeitsorientierten digitalen Aktivitäten dominieren. Aber das ist noch lange nicht das Ende unserer UI-Reise.

Betreten Sie die Matrix mit Brain Computer Interface

Gerade als Sie dachten, wir hätten alles abgedeckt, gibt es noch eine andere Form der Kommunikation, die noch intuitiver und natürlicher ist als Berührung, Bewegung und Sprache, wenn es um die Steuerung von Maschinen geht: das Denken selbst.

Diese Wissenschaft ist ein Gebiet der Bioelektronik namens Brain-Computer Interface (BCI). Es beinhaltet die Verwendung eines Implantats oder eines Gehirn-Scanning-Geräts, um Ihre Gehirnwellen zu überwachen und sie mit Befehlen zu verknüpfen, um alles zu steuern, was von einem Computer gesteuert wird.

Tatsächlich haben Sie es vielleicht nicht bemerkt, aber die frühen Tage von BCI haben bereits begonnen. Amputierte sind jetzt Testen von Robotergliedern direkt vom Verstand gesteuert, anstatt durch Sensoren, die am Stumpf des Trägers angebracht sind. Ebenso Menschen mit schweren Behinderungen (zB Tetraplegiker) sind es jetzt BCI verwenden, um ihre motorisierten Rollstühle zu steuern und Roboterarme manipulieren. Aber Amputierten und Menschen mit Behinderungen dabei zu helfen, ein unabhängigeres Leben zu führen, ist nicht das Ausmaß dessen, wozu BCI in der Lage sein wird. Hier ist eine kurze Liste der derzeit laufenden Experimente:

Dinge kontrollieren. Forscher haben erfolgreich gezeigt, wie BCI es Benutzern ermöglichen kann, Haushaltsfunktionen (Beleuchtung, Vorhänge, Temperatur) sowie eine Reihe anderer Geräte und Fahrzeuge zu steuern. Uhr Demonstrationsvideo.

Tiere kontrollieren. Ein Labor hat erfolgreich ein BCI-Experiment getestet, bei dem ein Mensch in der Lage war, a Laborratte bewegt ihren Schwanz nur mit seinen Gedanken.

Gehirn-zu-Text. Mannschaften im US und Deutschland entwickeln ein System, das Gehirnwellen (Gedanken) in Text umwandelt. Erste Experimente haben sich als erfolgreich erwiesen, und sie hoffen, dass diese Technologie nicht nur dem Durchschnittsmenschen helfen, sondern auch Menschen mit schweren Behinderungen (wie dem renommierten Physiker Stephen Hawking) die Möglichkeit geben kann, leichter mit der Welt zu kommunizieren.

Gehirn zu Gehirn. Dies gelang einem internationalen Team von Wissenschaftlern Telepathie imitieren Indem eine Person aus Indien das Wort „Hallo“ dachte, und durch BCI wurde dieses Wort von Gehirnwellen in Binärcode umgewandelt und dann per E-Mail nach Frankreich geschickt, wo dieser Binärcode wieder in Gehirnwellen umgewandelt wurde, um von der empfangenden Person wahrgenommen zu werden . Kommunikation von Gehirn zu Gehirn, Leute!

Träume und Erinnerungen festhalten. Forscher in Berkeley, Kalifornien, haben unglaubliche Fortschritte bei der Konvertierung gemacht Gehirnwellen in Bilder. Den Testpersonen wurde eine Reihe von Bildern präsentiert, während sie mit BCI-Sensoren verbunden waren. Dieselben Bilder wurden dann auf einem Computerbildschirm rekonstruiert. Die rekonstruierten Bilder waren superkörnig, aber angesichts von etwa einem Jahrzehnt Entwicklungszeit wird dieser Machbarkeitsnachweis es uns eines Tages ermöglichen, unsere GoPro-Kamera fallen zu lassen oder sogar unsere Träume aufzuzeichnen.

Wir werden Zauberer, sagst du?

Das ist richtig, jeder, in den 2030er Jahren und in den späten 2040er Jahren weit verbreitet, werden Menschen beginnen, miteinander und mit Tieren zu kommunizieren, Computer und Elektronik zu steuern, Erinnerungen und Träume zu teilen und im Internet zu navigieren, alles mit unserem Verstand.

Ich weiß was du denkst: Ja, das ist schnell eskaliert. Aber was hat das alles zu bedeuten? Wie werden diese UI-Technologien unsere gemeinsame Gesellschaft verändern? Nun, ich schätze, Sie müssen nur den letzten Teil unserer Serie „Future of Computers“ lesen, um es herauszufinden.

ZUKUNFT DER COMPUTER-SERIE LINKS

Moores Laws nachlassender Appetit auf Bits, Bytes und Cubits: Die Zukunft der Computer P1

Die digitale Speicherrevolution: Die Zukunft der Computer P2

Gesellschaft und die Hybrid-Generation: Die Zukunft der Computer P4