Quantumrun

BILDKREDIT: Quantumrun

Säg adjö till din mus och tangentbord, nya användargränssnitt för att omdefiniera mänskligheten: Future of computers P1

David Tal, Förläggare, Futurist
@DavidTalWrites
LinkedIn

Tis, 09 / 15 / 2020 - 10: 46

Först var det hålkort; då var det den ikoniska musen och tangentbordet. De verktyg och system vi använder för att samarbeta med datorer är det som gör att vi kan kontrollera och bygga världen omkring oss på sätt som våra förfäder inte kan föreställa sig. Vi har kommit långt för att vara säkra, men när det kommer till området för användargränssnitt (UI, det sätt på vilket vi interagerar med datorsystem) har vi inte sett något ännu.

Vissa kanske säger att det är konstigt att börja vår Future of Computers-serie med ett kapitel om UI, men det är hur vi använder datorer som kommer att ge mening åt innovationerna vi utforskar i resten av den här serien.

Varje gång mänskligheten uppfann en ny form av kommunikation – vare sig det är tal, det skrivna ordet, tryckpressen, telefonen, internet – blommade vårt kollektiva samhälle av nya idéer, nya former av gemenskap och helt nya industrier. Det kommande decenniet kommer att se nästa evolution, nästa kvantsprång i kommunikation och sammankoppling, helt och hållet förmedlad av en rad framtida datorgränssnitt ... och det kan bara omforma vad det innebär att vara människa.

Vad är "bra" användargränssnitt, egentligen?

Eran med att peta, nypa och svepa på datorer för att få dem att göra vad vi ville började för över ett decennium sedan. För många började det med iPod. Där vi en gång var vana vid att klicka, skriva och trycka ner mot stabila knappar för att kommunicera våra vilja till maskiner, populariserade iPod konceptet att svepa åt vänster eller höger på en cirkel för att välja den musik du ville lyssna på.

Pekskärmssmarttelefoner kom in på marknaden kort efter det, och introducerade en rad andra taktila kommandoprompter som att sticka (för att simulera en knapptryckning), nypa (för att zooma in och ut), trycka, hålla och dra. Dessa taktila kommandon fick snabbt dragkraft bland allmänheten av ett antal anledningar: De var nya. Alla coola (berömda) barn gjorde det. Pekskärmsteknik blev billig och mainstream. Men framför allt kändes rörelserna intuitiva, naturliga.

Det är vad bra datorgränssnitt handlar om: Att bygga mer naturliga sätt att interagera med programvara och enheter. Och det är kärnprincipen som kommer att vägleda framtida UI-enheter du ska lära dig om.

Peta, nypa och svepa i luften

Från och med 2018 har smartphones ersatt standardmobiltelefoner i stora delar av den utvecklade världen. Detta innebär att en stor del av världen nu är bekant med de olika taktila kommandona som nämns ovan. Genom appar och spel har smartphoneanvändare lärt sig en mängd olika abstrakta färdigheter för att kontrollera de relativa superdatorerna som sitter i deras fickor.

Det är dessa färdigheter som kommer att förbereda konsumenterna för nästa våg av enheter – enheter som gör att vi lättare kan sammanfoga den digitala världen med våra verkliga miljöer. Så låt oss ta en titt på några av verktygen vi kommer att använda för att navigera i vår framtida värld.

Gesterkontroll utomhus. Från och med 2018 är vi fortfarande i mikroåldern för touchkontroll. Vi petar, nyper och sveper oss fortfarande igenom våra mobila liv. Men den där beröringskontrollen håller sakta på att ge vika för en form av geststyrning utomhus. För spelarna där ute kan din första interaktion med detta ha varit att spela överaktiva Nintendo Wii-spel eller Xbox Kinect-spelen – båda konsolerna använder avancerad motion-capture-teknik för att matcha spelarrörelser med spelavatarer.

Tja, den här tekniken förblir inte begränsad till videospel och filmskapande på grön skärm, den kommer snart att gå in på den bredare marknaden för konsumentelektronik. Ett slående exempel på hur detta kan se ut är ett Google-företag som heter Project Soli (se dess fantastiska och korta demovideo här.). Utvecklare av detta projekt använder miniatyrradar för att spåra de fina rörelserna av din hand och fingrar för att simulera peta, nypa och svepa utomhus istället för mot en skärm. Det här är den typ av teknik som kommer att bidra till att göra wearables enklare att använda och därmed mer attraktiva för en bredare publik.

Tredimensionellt gränssnitt. Om vi tar denna friluftsstyrning av gester vidare längs sin naturliga utveckling, i mitten av 2020-talet, kan vi se det traditionella skrivbordsgränssnittet – det pålitliga tangentbordet och musen – långsamt ersatt av gestgränssnittet, i samma stil som populärt i filmen Minority Rapportera. Faktum är att John Underkoffler, UI-forskare, vetenskapsrådgivare och uppfinnare av scenerna för holografiska gester från Minority Report, arbetar för närvarande med verkliga versionen—en teknik som han hänvisar till som en rumslig driftsmiljö för gränssnitt mellan människa och maskin. (Han kommer förmodligen att behöva komma på en praktisk akronym för det.)

Med denna teknik kommer du en dag att sitta eller stå framför en stor skärm och använda olika handgester för att styra din dator. Det ser riktigt coolt ut (se länken ovan), men som du kanske gissar kan handgester vara bra för att hoppa över tv-kanaler, peka/klicka på länkar eller designa tredimensionella modeller, men de fungerar inte så bra när du skriver långt uppsatser. Det är därför som friluftsteknik för gester gradvis inkluderas i mer och mer konsumentelektronik, kommer den sannolikt att få sällskap av kompletterande användargränssnittsfunktioner som avancerad röstkommando och irisspårningsteknik.

Ja, det ödmjuka, fysiska tangentbordet kan fortfarande överleva in på 2020-talet.

Haptiska hologram. De hologram som vi alla har sett personligen eller i filmer tenderar att vara 2D- eller 3D-projektioner av ljus som visar objekt eller människor som svävar i luften. Vad dessa projektioner alla har gemensamt är att om du sträckte ut handen för att ta tag i dem skulle du bara få en handfull luft. Så kommer inte att vara fallet i mitten av 2020-talet.

Ny teknik (se exempel: ett och två) utvecklas för att skapa hologram som du kan röra vid (eller åtminstone efterlikna beröringskänslan, dvs haptik). Beroende på vilken teknik som används, vare sig det är ultraljudsvågor eller plasmaprojektion, kommer haptiska hologram att öppna upp en helt ny industri av digitala produkter som vi kan använda i den verkliga världen.

Tänk på det, istället för ett fysiskt tangentbord kan du ha ett holografiskt som kan ge dig den fysiska känslan av att skriva, var du än står i ett rum. Denna teknik är vad som kommer att mainstreama Minoritetsrapport utomhusgränssnitt och eventuellt avsluta det traditionella skrivbordets ålder.

Föreställ dig det här: Istället för att bära runt på en skrymmande bärbar dator kan du en dag bära en liten fyrkantig skiva (kanske storleken på en tunn extern hårddisk) som skulle projicera en berörbar skärm och tangentbordshologram. Ett steg längre, föreställ dig ett kontor med bara ett skrivbord och en stol, och sedan med ett enkelt röstkommando projicerar ett helt kontor sig runt dig – en holografisk arbetsstation, väggdekorationer, växter, etc. Handla möbler eller dekoration i framtiden kan innebära ett besök i appbutiken tillsammans med ett besök på Ikea.

Pratar med din virtuella assistent

Medan vi sakta ombildar beröringsgränssnittet, växer en ny och kompletterande form av gränssnitt fram som kan kännas ännu mer intuitiv för den genomsnittliga personen: tal.

Amazon gjorde ett kulturellt stänk med lanseringen av sitt artificiellt intelligenta (AI) personliga assistentsystem, Alexa, och de olika röstaktiverade hemassistentprodukterna som det släppte tillsammans med det. Google, den förmodade ledaren inom AI, skyndade sig att följa efter med sin egen svit av hemassistentprodukter. Och tillsammans har den kombinerade mångmiljardkonkurrensen mellan dessa två teknikjättar lett till en snabb, utbredd acceptans av röstaktiverade AI-produkter och assistenter på den allmänna konsumentmarknaden. Och även om det fortfarande är tidiga dagar för den här tekniken, bör denna tidiga tillväxtspurt inte underskattas.

Oavsett om du föredrar Amazons Alexa, Googles assistent, iPhones Siri eller Windows Cortana, är dessa tjänster utformade för att du ska kunna använda din telefon eller smarta enhet och komma åt webbens kunskapsbank med enkla verbala kommandon, som talar om för dessa "virtuella assistenter" vad du vill.

Det är en fantastisk teknikprestation. Och även om det inte är helt perfekt, förbättras tekniken snabbt; till exempel Google meddelade i maj 2015 att dess taligenkänningsteknik nu bara har åtta procents felfrekvens och krymper. När du kombinerar denna sjunkande felfrekvens med de enorma innovationer som sker med mikrochips och molnberäkning (som beskrivs i de kommande kapitlen i serien), kan vi förvänta oss att virtuella assistenter kommer att bli behagligt exakta till 2020.

Ännu bättre, de virtuella assistenterna som för närvarande konstrueras kommer inte bara att förstå ditt tal perfekt, utan de kommer också att förstå sammanhanget bakom frågorna du ställer; de kommer att känna igen de indirekta signalerna från ditt tonfall; de kommer till och med att delta i långa samtal med dig, Här-stil.

Sammantaget kommer röstigenkänningsbaserade virtuella assistenter att bli det primära sättet vi kommer åt webben för våra dagliga informationsbehov. Samtidigt kommer de fysiska formerna av användargränssnitt som utforskats tidigare sannolikt att dominera våra fritids- och arbetsfokuserade digitala aktiviteter. Men det här är inte slutet på vår UI-resa, långt därifrån.

Användbara

Vi kan inte diskutera UI utan att också nämna wearables – enheter du bär eller till och med sätter in i din kropp för att hjälpa dig interagera digitalt med världen omkring dig. Precis som röstassistenter kommer dessa enheter att spela en stödjande roll i hur vi engagerar oss i det digitala rummet; vi kommer att använda dem för specifika ändamål i specifika sammanhang. Men eftersom vi skrev en hela kapitlet om wearables i vår Internets framtid serie kommer vi inte att gå in på mer detaljer här.

Att förstärka vår verklighet

Framåt, integration av alla ovan nämnda tekniker är virtuell verklighet och förstärkt verklighet.

På en grundläggande nivå är förstärkt verklighet (AR) användningen av teknik för att digitalt modifiera eller förbättra din uppfattning om den verkliga världen (tänk på Snapchat-filter). Detta ska inte förväxlas med virtuell verklighet (VR), där den verkliga världen ersätts av en simulerad värld. Med AR kommer vi att se världen omkring oss genom olika filter och lager rika på kontextuell information som hjälper oss att bättre navigera i vår värld i realtid och (förmodligen) berika vår verklighet. Låt oss kort utforska båda ytterligheterna, börja med VR.

Virtuell verklighet. På en grundläggande nivå är virtuell verklighet (VR) användningen av teknik för att digitalt skapa en uppslukande och övertygande audiovisuell illusion av verkligheten. Och till skillnad från AR, som för närvarande (2018) lider av en mängd olika tekniska och sociala hinder innan den vinner massmarknadsacceptans, har VR funnits i decennier i populärkulturen. Vi har sett det i ett stort utbud av framtidsorienterade filmer och tv-program. Många av oss har till och med provat primitiva versioner av VR på gamla arkader och teknikinriktade konferenser och mässor.

Vad som är annorlunda den här gången är att dagens VR-teknik är mer tillgänglig än någonsin. Tack vare miniatyriseringen av olika nyckelteknologier (som ursprungligen användes för att tillverka smartphones) har kostnaden för VR-headset kratrats till en punkt där kraftbolag som Facebook, Sony och Google nu årligen släpper prisvärda VR-headset till massorna.

Detta representerar starten på ett helt nytt massmarknadsmedium, ett som gradvis kommer att locka tusentals mjukvaru- och hårdvaruutvecklare. Faktum är att i slutet av 2020-talet kommer VR-appar och -spel att generera fler nedladdningar än traditionella mobilappar.

Utbildning, arbetsträning, affärsmöten, virtuell turism, spel och underhållning – det här är bara några av de många applikationer som billiga, användarvänliga och realistiska VR kan och kommer att förbättra (om inte helt störa). Men till skillnad från vad vi har sett i sci-fi-romaner och filmer, är framtiden där människor tillbringar hela dagen i VR-världar årtionden borta. Som sagt, det vi kommer att använda hela dagen är AR.

Augmented reality. Som nämnts tidigare är målet med AR att fungera som ett digitalt filter ovanpå din uppfattning om den verkliga världen. När du tittar på din omgivning kan AR förbättra eller ändra din uppfattning om din miljö eller ge användbar och kontextuellt relevant information som kan hjälpa dig att bättre förstå din miljö. För att ge dig en bättre uppfattning om hur detta kan se ut, kolla in videorna nedan:

Den första videon är från den framväxande ledaren inom AR, Magic Leap:

Nästa är en kortfilm (6 min) från Keiichi Matsuda om hur AR kan se ut på 2030-talet:

Från videorna ovan kan du föreställa dig det nästan obegränsade antalet applikationer som AR-teknik en dag kommer att möjliggöra, och det är av den anledningen som de flesta av teknikens största aktörer—Google, Apple, Facebook, Microsoft, Baidu, Intel, och mer – investerar redan mycket i AR-forskning.

Med utgångspunkt i de holografiska och öppna gestgränssnitt som beskrivits tidigare kommer AR så småningom att göra sig av med de flesta av de traditionella datorgränssnitten som konsumenter har vuxit upp med hittills. Varför till exempel äga en stationär eller bärbar dator när du kan ta på dig ett par AR-glasögon och se en virtuell stationär eller bärbar dator dyka upp precis framför dig. Likaså dina AR-glasögon (och senare AR kontaktlinser) kommer att göra sig av med din fysiska smartphone. Åh, och låt oss inte glömma dina TV-apparater. Med andra ord kommer det mesta av dagens stora elektronik att digitaliseras i form av en app.

De företag som investerar tidigt för att kontrollera framtida AR-operativsystem eller digitala miljöer kommer effektivt att störa och ta kontroll över en stor andel av dagens elektroniksektor. Vid sidan om kommer AR också att ha en rad affärsapplikationer inom sektorer som hälsovård, design/arkitektur, logistik, tillverkning, militär och mer, applikationer som vi diskuterar vidare i vår Future of the Internet-serie.

Och ändå är det fortfarande inte där framtiden för UI slutar.

Gå in i matrisen med hjärn-datorgränssnitt

Det finns ännu en form av kommunikation som är ännu mer intuitiv och naturlig än rörelse, tal och AR när det gäller att kontrollera maskiner: själva tanken.

Denna vetenskap är ett bioelektronikfält som kallas Brain-Computer Interface (BCI). Det innebär att du använder en hjärnskanningsenhet eller ett implantat för att övervaka dina hjärnvågor och associera dem med kommandon för att styra allt som drivs av en dator.

Faktum är att du kanske inte har insett det, men BCI:s tidiga dagar har redan börjat. Amputerade är nu testa robotiska lemmar styrs direkt av sinnet, istället för genom sensorer fästa på bärarens stubbe. Likaså personer med allvarliga funktionshinder (som personer med quadriplegi) är nu använder BCI för att styra sina motoriserade rullstolar och manipulera robotarmar. Men att hjälpa amputerade och personer med funktionsnedsättning att leva mer självständiga liv är inte omfattningen av vad BCI kommer att kunna. Här är en kort lista över de experiment som nu pågår:

Att kontrollera saker. Forskare har framgångsrikt visat hur BCI kan tillåta användare att styra hushållsfunktioner (belysning, gardiner, temperatur), såväl som en rad andra enheter och fordon. Kolla på demonstrationsvideon.

Att kontrollera djur. Ett labb testade framgångsrikt ett BCI-experiment där en människa kunde göra en laboratorieråtta flyttar sin svans använder bara sina tankar.

Hjärna till text. En förlamad man använde ett hjärnimplantat att skriva åtta ord per minut. Samtidigt har lag i US och Tyskland utvecklar ett system som avkodar hjärnvågor (tankar) till text. De första experimenten har visat sig vara framgångsrika, och de hoppas att den här tekniken inte bara skulle kunna hjälpa den genomsnittliga personen utan också ge människor med allvarliga funktionshinder (som den berömda fysikern Stephen Hawking) möjligheten att lättare kommunicera med världen.

Hjärna-till-hjärna. Ett internationellt team av forskare kunde efterlikna telepati genom att låta en person från Indien tänka ordet "hej", och genom BCI omvandlades det ordet från hjärnvågor till binär kod, och skickades sedan till Frankrike, där den binära koden omvandlades tillbaka till hjärnvågor, för att uppfattas av den mottagande personen . Kommunikation hjärna till hjärna, människor!

Spela in drömmar och minnen. Forskare vid Berkeley, Kalifornien, har gjort otroliga framsteg med att konvertera hjärnvågor till bilder. Testpersonerna presenterades för en serie bilder medan de var anslutna till BCI-sensorer. Samma bilder rekonstruerades sedan på en datorskärm. De rekonstruerade bilderna var superkorniga men med tanke på ungefär ett decenniums utvecklingstid kommer detta proof of concept en dag att tillåta oss att släppa vår GoPro-kamera eller till och med spela in våra drömmar.

Vi kommer att bli trollkarlar, säger du?

Till en början kommer vi att använda externa enheter för BCI som ser ut som en hjälm eller hårband (2030-talet) som så småningom kommer att ge vika för hjärnimplantat (sent-2040-talet). I slutändan kommer dessa BCI-enheter att ansluta våra sinnen till det digitala molnet och senare fungera som en tredje halvklot för våra sinnen – så medan vår vänstra och högra hjärnhalva hanterar vår kreativitet och logiska förmågor, kommer denna nya, molnmatade digitala hemisfär att underlätta förmågor där människor ofta saknar sina AI-motsvarigheter, nämligen hastighet, upprepning och noggrannhet.

BCI är nyckeln till det framväxande området av neuroteknik som syftar till att förena våra sinnen med maskiner för att få styrkorna i båda världarna. Det är rätt alla, till 2030-talet och mainstreamat i slutet av 2040-talet kommer människor att använda BCI för att uppgradera våra hjärnor samt kommunicera med varandra och med djur, styra datorer och elektronik, dela minnen och drömmar och navigera på webben.

Jag vet vad du tänker: Ja, det eskalerade snabbt.

Men hur spännande som alla dessa UI-framsteg är, kommer de aldrig att vara möjliga utan lika spännande framsteg inom mjukvara och hårdvara. Dessa genombrott är vad resten av denna Future of Computers-serie kommer att utforska.