告別鼠標和鍵盤,重新定義人性的新用戶界面:計算機的未來 P1

圖片來源: 量子運行

告別鼠標和鍵盤,重新定義人性的新用戶界面:計算機的未來 P1

    首先是打孔卡; 然後是標誌性的鼠標和鍵盤。 我們用來與計算機互動的工具和系統使我們能夠以我們祖先無法想像的方式控制和構建我們周圍的世界。 可以肯定的是,我們已經走了很長一段路,但是當涉及到用戶界面(UI,我們與計算機系統交互的方式)領域時,我們還沒有看到任何東西。

    有人可能會說,以關於 UI 的章節來開始我們的計算機的未來系列很奇怪,但正是我們使用計算機的方式將為我們在本系列其餘部分中探索的創新賦予意義。

    每當人類發明了一種新的交流方式——無論是語音、文字、印刷機、電話、互聯網——我們的集體社會都會因新思想、新形式的社區和全新的產業而蓬勃發展。 未來十年將見證下一次演變,通信和互連性的下一次飛躍,完全由一系列未來的計算機接口介導……它可能會重塑人類的意義。

    無論如何,什麼是“好的”用戶界面?

    十多年前,戳、捏和刷電腦讓它們做我們想做的事情的時代開始了。 對許多人來說,它是從 iPod 開始的。 曾經我們習慣於通過點擊、打字和按下堅固的按鈕來將我們的意願傳達給機器,而 iPod 普及了在圓圈上向左或向右滑動來選擇你想听的音樂的概念。

    此後不久,觸摸屏智能手機進入市場,引入了一系列其他觸覺命令提示,如戳(模擬按下按鈕)、捏(放大和縮小)、按住和拖動。 由於多種原因,這些觸覺命令很快在公眾中獲得了關注:它們是新的。 所有很酷(著名)的孩子都在做這件事。 觸摸屏技術變得廉價和主流。 但最重要的是,這些動作讓人感覺直觀、自然。

    這就是優秀的計算機 UI 的意義所在:構建更自然的方式來與軟件和設備互動。 這就是指導您將要了解的未來 UI 設備的核心原則。

    在空中戳、捏和滑動

    截至 2018 年,智能手機已取代大部分發達國家的標準手機。 這意味著世界上的大部分人現在都熟悉上述各種觸覺命令。 通過應用程序和遊戲,智能手機用戶已經學會了各種各樣的抽象技能來控制他們口袋裡的相關超級計算機。 

    正是這些技能將使消費者為下一波設備做好準備——這些設備將使我們能夠更輕鬆地將數字世界與我們的現實世界環境融合在一起。 因此,讓我們看一下我們將用於導航未來世界的一些工具。

    露天手勢控制。 2018年,我們還處於觸控的微時代。 我們仍然在移動生活中戳、捏和滑動。 但這種觸摸控制正在慢慢讓位於一種露天手勢控制。 對於那裡的遊戲玩家來說,您與此的第一次互動可能是玩過度活躍的 Nintendo Wii 遊戲或 Xbox Kinect 遊戲——這兩款遊戲機都使用先進的動作捕捉技術來匹配玩家動作和遊戲化身。 

    嗯,這項技術並不僅僅局限於視頻遊戲和綠屏電影製作,它很快就會進入更廣泛的消費電子市場。 一個引人注目的例子就是名為 Project Soli 的 Google 企業(觀看其驚人的簡短演示視頻 点击這裡)。 該項目的開發人員使用微型雷達來跟踪您的手和手指的細微動作,以模擬露天而不是屏幕上的戳、捏和滑動。 這種技術將有助於使可穿戴設備更易於使用,從而對更廣泛的受眾更具吸引力。

    三維界面. 將這種露天手勢控制沿著其自然進程進一步發展,到 2020 年代中期,我們可能會看到傳統的桌面界面——可靠的鍵盤和鼠標——慢慢被手勢界面取代,與電影《少數派》中流行的風格相同報告。 事實上,UI 研究員、科學顧問和 Minority Report 中全息手勢界面場景的發明者 John Underkoffler 目前正在研究 現實版——他稱之為人機界面空間操作環境的技術。 (他可能需要為此想出一個方便的首字母縮寫詞。)

    使用這項技術,您有一天會坐在或站在大型顯示器前,並使用各種手勢來控制您的計算機。 它看起來真的很酷(見上面的鏈接),但正如您可能猜到的那樣,手勢可能非常適合跳過電視頻道、指向/單擊鏈接或設計 XNUMXD 模型,但寫長時它們不會那麼好用論文。 這就是為什麼隨著開放式手勢技術逐漸被納入越來越多的消費電子產品中,它很可能會加入互補的 UI 功能,例如高級語音命令和虹膜跟踪技術。 

    是的,這款不起眼的物理鍵盤可能會持續到 2020 年代。

    觸覺全息圖. 我們都親自或在電影中看到的全息圖往往是光的 2D 或 3D 投影,顯示物體或人在空中盤旋。 這些預測的共同點是,如果你伸手去抓住它們,你只會得到少量的空氣。 到 2020 年代中期,情況將不再如此。

    新技術(見示例: 為前線醫護人員打氣,送上由衷的敬意。讓你在送禮的同時,也為香港盡一分力。) 正在開發以創建您可以觸摸的全息圖(或至少模仿觸摸的感覺,即觸覺)。 根據所使用的技術,無論是超聲波還是等離子投影,觸覺全息圖將開闢一個全新的數字產品行業,我們可以在現實世界中使用。

    想一想,您可以擁有一個全息鍵盤,而不是物理鍵盤,無論您站在房間的哪個位置,它都能為您提供打字的物理感覺。 這項技術將成為主流 少數派報告開放界面 並可能結束傳統桌面的時代。

    想像一下:有一天,您可以不用攜帶笨重的筆記本電腦,而是攜帶一個可以投射可觸摸顯示屏和鍵盤全息圖的小型方形晶片(可能是薄外置硬盤驅動器的大小)。 更進一步,想像一個只有一張桌子和一把椅子的辦公室,然後通過一個簡單的語音命令,整個辦公室就會在你周圍投影——一個全息工作站、牆壁裝飾、植物等。未來購買家具或裝飾可能涉及訪問應用商店以及訪問宜家。

    與您的虛擬助手交談

    在我們慢慢重新構想觸控 UI 的同時,一種新的、互補的 UI 形式正在出現,對於普通人來說可能感覺更直觀:語音。

    亞馬遜發布了其人工智能 (AI) 個人助理系統 Alexa,以及與其一起發布的各種語音激活家庭助理產品,在文化上引起了轟動。 作為人工智能領域的領導者,谷歌急於效仿,推出了自己的家庭助理產品套件。 總之,這兩家科技巨頭之間數十億美元的競爭導致聲控、人工智能產品和助手在一般消費市場中得到迅速、廣泛的接受。 雖然這項技術還處於早期階段,但這種早期的增長突增不應被低估。

    無論你喜歡亞馬遜的 Alexa、谷歌的助手、iPhone 的 Siri 還是 Windows Cortana,這些服務都旨在讓你與手機或智能設備交互,並通過簡單的口頭命令訪問網絡知識庫,告訴這些“虛擬助手”什麼你要。

    這是一項了不起的工程壯舉。 即使它不是很完美,技術也在迅速改進。 例如,谷歌 宣布 2015 年 2020 月,它的語音識別技術現在只有 XNUMX% 的錯誤率,而且還在萎縮。 當您將這種下降的錯誤率與微芯片和雲計算發生的大規模創新(在即將到來的系列章節中概述)結合起來時,我們可以預期到 XNUMX 年虛擬助手將變得非常準確。

    更好的是,目前正在設計的虛擬助手不僅能完美理解你的演講,而且還能理解你提出的問題背後的背景; 他們會識別出你的語氣發出的間接信號; 他們甚至會與你進行長篇對話, 她的-樣式。

    總體而言,基於語音識別的虛擬助手將成為我們訪問網絡以滿足日常信息需求的主要方式。 同時,之前探索的 UI 的物理形式可能會主導我們的休閒和以工作為中心的數字活動。 但這並不是我們 UI 之旅的終點,遠非如此。

    穿戴式

    在討論 UI 時,我們還必須提到可穿戴設備——您佩戴甚至插入體內的設備,以幫助您與周圍的世界進行數字交互。 與語音助手一樣,這些設備將在我們如何與數字空間互動方面發揮支持作用; 我們將在特定上下文中將它們用於特定目的。 然而,由於我們寫了一個 可穿戴設備的整章 請通過 WestEd 就業網頁,在我們的 互聯網的未來 系列,這裡不再贅述。

    增強我們的現實

    展望未來,整合上述所有技術是虛擬現實和增強現實。

    在基本層面上,增強現實 (AR) 是使用技術以數字方式修改或增強您對現實世界的感知(想想 Snapchat 過濾器)。 這不應與虛擬現實 (VR) 混淆,在虛擬現實中,現實世界被模擬世界所取代。 借助 AR,我們將通過不同的過濾器和豐富的上下文信息層看到我們周圍的世界,這將幫助我們更好地實時導航我們的世界並(可以說)豐富我們的現實。 讓我們從 VR 開始簡要探討這兩個極端。

    虛擬現實。 在基本層面上,虛擬現實 (VR) 是利用技術以數字方式創建身臨其境且令人信服的現實視聽幻覺。 與目前(2018 年)在獲得大眾市場接受之前遭受各種技術和社會障礙的 AR 不同,VR 在流行文化中已經存在了幾十年。 我們已經在大量面向未來的電影和電視節目中看到了這一點。 我們中的許多人甚至在舊的拱廊和以技術為導向的會議和貿易展覽中嘗試過原始版本的 VR。

    這次不同的是,今天的 VR 技術比以往任何時候都更容易獲得。 由於各種關鍵技術(最初用於製造智能手機)的小型化,VR 頭戴式耳機的成本已經急劇下降,以至於 Facebook、索尼和谷歌等巨頭公司現在每年都向大眾發布價格實惠的 VR 頭戴式耳機。

    這代表了一種全新的大眾市場媒體的開始,它將逐漸吸引成千上萬的軟件和硬件開發人員。 事實上,到 2020 年代後期,VR 應用程序和遊戲將產生比傳統移動應用程序更多的下載量。

    教育、就業培訓、商務會議、虛擬旅遊、遊戲和娛樂——這些只是眾多廉價、用戶友好和逼真的 VR 可以並且將會增強(如果不是完全顛覆的話)的應用中的一小部分。 然而,與我們在科幻小說和電影中看到的不同,人們整天在 VR 世界中度過的未來還有幾十年的時間。 也就是說,我們將整天使用的是 AR。

    增強現實。 如前所述,AR 的目標是在您對現實世界的感知之上充當數字過濾器。 在觀察周圍環境時,AR 可以增強或改變您對環境的感知,或提供有用且與上下文相關的信息,幫助您更好地了解您的環境。 為了讓您更好地了解它的外觀,請查看以下視頻:

    第一個視頻來自 AR 領域的新興領導者 Magic Leap:

     

    接下來,是一部來自 Keiichi Matsuda 的短片(6 分鐘),講述了 2030 年代 AR 的樣子:

     

    從上面的視頻中,你可以想像 AR 技術有一天會啟用幾乎無限數量的應用程序,正是因為這個原因,大多數科技巨頭——谷歌, 蘋果, Facebook, Microsoft微軟, 百度, Intel英特爾等等——已經在對 AR 研究進行大量投資。

    建立在前面描述的全息和開放式手勢界面的基礎上,AR 最終將取代迄今為止消費者成長過程中使用的大多數傳統計算機界面。 例如,當您可以戴上一副 AR 眼鏡並看到虛擬台式機或筆記本電腦出現在您面前時,為什麼還要擁有台式機或筆記本電腦。 同樣,您的 AR 眼鏡(以及後來的 AR隱形眼鏡) 將取消您的實體智能手機。 哦,別忘了你的電視。 換句話說,今天的大多數大型電子產品都將數字化為應用程序的形式。

    早期投資以控制未來 AR 操作系統或數字環境的公司將有效地破壞並控制當今電子行業的很大一部分。 另一方面,AR 還將在醫療保健、設計/架構、物流、製造、軍事等領域擁有一系列業務應用,我們將在我們的未來互聯網系列中進一步討論這些應用。

    然而,這仍然不是 UI 未來的終點。

    使用腦機接口進入矩陣

    在控制機器方面,還有另一種比運動、語音和 AR 更直觀和自然的交流形式:思想本身。

    這門科學是一個稱為腦機接口 (BCI) 的生物電子學領域。 它涉及使用大腦掃描設備或植入物來監控你的腦電波,並將它們與命令相關聯,以控制計算機運行的任何東西。

    事實上,您可能還沒有意識到,但 BCI 的早期階段已經開始。 截肢者現在 測試機器人肢體 由大腦直接控制,而不是通過附著在佩戴者殘肢上的傳感器。 同樣,患有嚴重殘疾的人(例如四肢癱瘓的人)現在 使用 BCI 引導他們的電動輪椅 並操縱機械臂。 但幫助截肢者和殘疾人過上更獨立的生活並不是 BCI 的能力範圍。 以下是目前正在進行的實驗的簡短列表:

    控制事物。 研究人員已經成功展示了 BCI 如何允許用戶控製家庭功能(照明、窗簾、溫度)以及一系列其他設備和車輛。 手錶 演示視頻.

    控制動物。 一個實驗室成功地測試了一個 BCI 實驗,在該實驗中,人類能夠製作 實驗室老鼠移動它的尾巴 只用他的想法。

    大腦到文本。 一個癱瘓的人 使用了大腦植入物 每分鐘輸入八個單詞。 與此同時,球隊在 US德國 正在開發一種將腦電波(思想)解碼為文本的系統。 初步實驗證明是成功的,他們希望這項技術不僅可以幫助普通人,還可以為嚴重殘疾的人(如著名物理學家斯蒂芬霍金)提供更輕鬆地與世界交流的能力。

    腦對腦。 一個國際科學家團隊能夠 模仿心靈感應 讓一個印度人認為“你好”這個詞,通過 BCI,這個詞從腦電波轉換為二進制代碼,然後通過電子郵件發送到法國,在法國,二進制代碼被轉換回腦電波,以被接收者感知. 腦對腦的交流,人!

    記錄夢想和回憶。 加州伯克利的研究人員在轉換方面取得了令人難以置信的進展 腦電波轉化為圖像. 測試對像在連接到 BCI 傳感器時會看到一系列圖像。 然後將這些相同的圖像重建到計算機屏幕上。 重建的圖像非常粗糙,但考慮到大約十年的開發時間,這一概念驗證有一天會讓我們放棄我們的 GoPro 相機,甚至記錄我們的夢想。

    我們會成為巫師,你說?

    首先,我們將為 BCI 使用外部設備,這些設備看起來像頭盔或髮帶(2030 年代),最終將讓位於大腦植入物(2040 年代後期)。 最終,這些 BCI 設備將我們的思維連接到數字云,然後充當我們思維的第三個半球——因此,當我們的左右半球管理我們的創造力和邏輯能力時,這個新的、雲計算的數字半球將促進能力人類經常在速度、重複性和準確性方面達不到 AI 對手的水平。

    BCI 是新興神經技術領域的關鍵,該領域旨在將我們的思想與機器融合,從而獲得兩全其美的優勢。 沒錯,到 2030 年代並在 2040 年代後期成為主流,人類將使用 BCI 來升級我們的大腦,以及相互交流和與動物交流、控制計算機和電子設備、分享記憶和夢想,以及瀏覽網絡。

    我知道你在想什麼: 是的,這確實迅速升級.

    但是,儘管所有這些 UI 進步都令人興奮,但如果沒有計算機軟件和硬件方面同樣令人興奮的進步,它們將永遠不可能實現。 這些突破是本《計算機的未來》系列的其餘部分將探索的內容。

    計算機系列的未來

    軟件開發的未來:計算機的未來 P2

    數字存儲革命:計算機的未來 P3

    逐漸消失的摩爾定律引發對微芯片的根本反思:計算機的未來 P4

    雲計算變得去中心化:計算機的未來 P5

    為什麼各國競相建造最大的超級計算機? 計算機的未來 P6

    量子計算機將如何改變世界:計算機的未來 P7     

    此預測的下一次預定更新

    2023-02-08

    預測參考

    此預測引用了以下流行和機構鏈接:

    麻省理工學院技術評論

    此預測引用了以下 Quantumrun 鏈接: