퀀텀런

이미지 크레딧: 퀀텀런

인공 초지능이 인류를 멸망시킬 것인가? 인공지능의 미래 P4

David Tal, 발행인, 미래학자
@DavidTalWrites
링크드인

월, 11 / 30 / 2020 - 10 : 35

국가가 올인하는 특정 발명품이 있습니다. 이것들은 모든 것이 첫 번째가 되는 데 달려 있는 발명품이며, 그보다 적은 것은 국가의 생존에 대한 전략적 및 치명적인 위협을 의미할 수 있습니다.

발명을 정의하는 이러한 역사는 자주 오지 않지만, 그렇게 되면 세상은 멈추고 예측 가능한 미래는 흐릿해집니다.

마지막 그러한 발명품은 최악의 XNUMX차 세계 대전 중에 나타났습니다. 나치가 구세계의 모든 전선에서 기반을 다지고 있는 동안, 신세계에서는 특히 로스 알라모스 외부의 비밀 군대 기지 내부에서 연합군은 모든 무기를 없애기 위한 무기를 개발하기 위해 열심히 노력했습니다.

이 프로젝트는 처음에는 작았지만 나중에는 당시 세계에서 가장 위대한 사상가들을 포함하여 미국, 영국, 캐나다에서 온 130,000명의 직원을 고용하게 되었습니다. 맨해튼 프로젝트(Manhattan Project)라는 코드명과 무제한 예산(23년 달러 기준 약 2018억 달러)이 주어진 이 인간 독창성 군대는 결국 최초의 핵폭탄을 만드는 데 성공했습니다. 얼마 지나지 않아 제XNUMX차 세계 대전은 두 번의 원자 강타로 끝났습니다.

이 핵무기는 원자 시대를 열었고, 근본적으로 새로운 에너지원을 도입했으며, 인류가 냉전에도 불구하고 피했던 몇 분 안에 스스로를 근절할 수 있는 능력을 주었습니다.

인공 초지능(ASI)의 생성은 그 힘(긍정적이고 파괴적인 것 모두)이 핵폭탄을 훨씬 능가하는 발명을 정의하는 또 다른 역사입니다.

인공 지능의 미래 시리즈의 마지막 장에서 우리는 ASI가 무엇이며 연구원들이 언젠가 ASI를 구축할 계획을 어떻게 세울 것인지 살펴보았습니다. 이 장에서는 어떤 조직이 인공 지능(AI) 연구를 주도하고 있는지, ASI가 인간과 같은 의식을 갖게 되면 무엇을 원하는지, 잘못 관리되거나 인간의 영향을 받을 경우 인류를 어떻게 위협할 수 있는지 살펴보겠습니다. 좋지 않은 정권.

누가 인공 초지능을 구축하기 위해 노력하고 있습니까?

ASI의 생성이 인류 역사에 얼마나 중요한지와 그것이 생성자에게 얼마나 큰 이점을 줄 것인지를 감안할 때 많은 그룹이 이 프로젝트에 간접적으로 작업하고 있다는 소식을 듣는 것은 놀라운 일이 아닙니다.

(간접적으로 말해서 우리는 궁극적으로 최초의 인공 일반 지능 (AGI), 그 자체가 곧 첫 번째 ASI로 이어질 것입니다.)

먼저 헤드라인을 장식할 때 고급 AI 연구의 확실한 리더는 미국과 중국의 최고 기술 회사입니다. 미국 전선에는 Google, IBM 및 Microsoft와 같은 회사가 포함되며 중국에는 Tencent, Baidu 및 Alibaba와 같은 회사가 포함됩니다. 그러나 AI 연구는 더 나은 원자로와 같은 물리적인 것을 개발하는 것과 비교하여 상대적으로 저렴하기 때문에 대학, 신생 기업 및 … 그림자 조직과 같은 소규모 조직도 경쟁할 수 있는 분야입니다. 하나).

그러나 무대 뒤에서 AI 연구의 진정한 추진력은 정부와 군대에서 나옵니다. ASI를 최초로 창안한 경제적, 군사적 보상은 뒤쳐질 위험을 감수하기에는 너무 큽니다(아래에 설명됨). 그리고 꼴찌의 위험은 적어도 특정 체제에서는 받아들일 수 없습니다.

이러한 요인을 감안할 때 AI 연구의 상대적으로 저렴한 비용, 첨단 AI의 무한한 상업적 응용, ASI를 가장 먼저 만들 수 있다는 경제적, 군사적 이점을 고려할 때 많은 AI 연구자들은 ASI의 생성이 불가피하다고 생각합니다.

우리는 언제 인공 초지능을 만들 것인가?

AGI에 대한 장에서 우리는 최고의 AI 연구원을 대상으로 한 설문 조사에서 낙관적으로는 2022년까지, 현실적으로는 2040년까지, 비관적으로는 2075년까지 최초의 AGI를 만들 것이라고 믿었다고 언급했습니다.

그리고 우리 마지막 장, 우리는 ASI를 생성하는 것이 일반적으로 AGI가 스스로를 무한히 개선하도록 지시하고 그렇게 할 수 있는 자원과 자유를 제공한 결과임을 설명했습니다.

이러한 이유로 AGI를 발명하는 데는 아직 수십 년이 걸릴 수 있지만 ASI를 만드는 데는 몇 년만 더 걸릴 수 있습니다.

이 점은 에서 제시한 '컴퓨팅 오버행' 개념과 유사하다. 종이, 선도적인 AI 사상가인 Luke Muehlhauser와 Nick Bostrom이 공동 저술했습니다. 기본적으로 AGI의 생성이 무어의 법칙에 의해 구동되는 현재 컴퓨팅 용량의 발전보다 계속 뒤쳐진다면 연구원들이 AGI를 발명할 때쯤에는 사용 가능한 값싼 컴퓨팅 성능이 너무 많아 AGI가 수용할 수 있을 것입니다. ASI 수준으로 빠르게 도약해야 합니다.

다시 말해, 일부 기술 회사가 최초의 진정한 AGI를 발명했다고 발표하는 헤드라인을 마침내 읽었을 때, 머지 않아 최초의 ASI 발표를 기대하십시오.

인공 초지능의 마음 속에?

자, 우리는 많은 돈을 가진 큰 플레이어가 AI를 연구하고 있다는 것을 확인했습니다. 그리고 최초의 AGI가 발명된 후 세계 정부(군)가 ASI를 향한 추진을 승인하여 세계 AI(ASI) 군비 경쟁에서 가장 먼저 승리하는 것을 보게 될 것입니다.

하지만 이 ASI가 생성되면 어떻게 생각할까요? 무엇을 원할까요?

다정한 개, 돌보는 코끼리, 귀여운 로봇 - 인간으로서 우리는 사물과 동물에 인간의 특성을 적용하여 사물을 의인화함으로써 사물과 관계를 맺으려는 습관이 있습니다. 그렇기 때문에 ASI에 대해 생각할 때 사람들이 갖는 자연스러운 첫 번째 가정은 ASI가 일단 의식을 얻으면 우리와 비슷하게 생각하고 행동할 것이라는 것입니다.

글쎄요, 반드시 그런 것은 아닙니다.

지각. 우선, 가장 잊어버리는 경향이 있는 것은 지각이 상대적이라는 것입니다. 우리가 생각하는 방식은 환경, 경험, 특히 생물학에 의해 형성됩니다. 에서 먼저 설명 XNUMX장 우리의 인간 진화의 미래 시리즈에서 우리 뇌의 예를 고려하십시오.

우리 주변의 세계를 이해하는 데 도움이 되는 것은 뇌입니다. 그리고 그것은 우리의 머리 위로 떠다니고, 주위를 둘러보고, Xbox 컨트롤러로 우리를 제어함으로써가 아닙니다. 그것은 상자(우리의 노긴스) 안에 갇혀서 우리의 감각 기관(눈, 코, 귀 등)에서 제공되는 모든 정보를 처리함으로써 이를 수행합니다.

그러나 청각 장애인이나 시각 장애인이 장수에 비해 훨씬 작은 삶을 사는 것처럼, 장애로 인해 세상을 인식하는 데 한계가 있기 때문에 우리의 기본적 한계로 인해 모든 인간에게 똑같은 말을 할 수 있습니다. 감각 기관의 집합입니다.

이것을 고려하십시오. 우리의 눈은 모든 광파의 XNUMX조분의 XNUMX 미만을 인지합니다. 우리는 감마선을 볼 수 없습니다. 우리는 엑스레이를 볼 수 없습니다. 우리는 자외선을 볼 수 없습니다. 적외선, 마이크로파 및 전파에 대해 시작하지 마십시오!

농담은 제쳐두고, 현재 당신의 눈이 허용하는 아주 작은 빛보다 더 많은 것을 볼 수 있다면 당신의 삶이 어떨지, 세상을 어떻게 인식할지, 마음이 어떻게 달라질지 상상해 보세요. 마찬가지로, 후각이 개의 후각과 같거나 청각이 코끼리와 같다면 세상을 어떻게 인식할 것인지 상상해 보십시오.

인간으로서 우리는 본질적으로 작은 구멍을 통해 세상을 봅니다. 그리고 그것은 우리가 제한된 인식을 이해하도록 진화한 마음에 반영됩니다.

한편 최초의 ASI는 슈퍼컴퓨터 안에서 탄생할 것이다. 장기 대신 액세스할 입력에는 거대한 데이터 세트가 포함되며 인터넷 자체에 액세스할 수도 있습니다. 연구원들은 도시 전체의 CCTV 카메라와 마이크, 드론과 위성의 감각 데이터, 심지어 로봇 몸체의 물리적 형태까지 액세스할 수 있도록 할 수 있습니다.

당신이 상상할 수 있듯이 인터넷, 수백만 개의 전자 눈과 귀 및 기타 모든 고급 센서에 직접 액세스할 수 있는 슈퍼컴퓨터 내부에서 태어난 마음은 우리와 다르게 생각할 뿐만 아니라 이해할 수 있는 마음입니다. 그 모든 감각 입력 중 우리보다 무한히 우월해야 합니다. 이것은 우리 자신과 지구상의 다른 어떤 생명체에게도 완전히 이질적인 마음입니다.

목표. 사람들이 가정하는 또 다른 것은 ASI가 어느 정도 초지능에 도달하면 자신의 목표와 목표를 제시하려는 욕구를 즉시 깨닫게 된다는 것입니다. 그러나 그것이 반드시 사실인 것도 아닙니다.

많은 AI 연구자들은 ASI의 초지능과 목표가 "직교적"이라고 생각합니다. 즉, 아무리 똑똑해지더라도 ASI의 목표는 동일하게 유지될 것입니다.

따라서 AI가 원래 더 나은 기저귀를 설계하거나, 주식 시장에서 수익을 극대화하거나, 전장에서 적을 물리칠 전략을 세우기 위해 만들어졌든 간에 일단 ASI 수준에 도달하면 원래 목표는 변경되지 않습니다. 변화할 것은 이러한 목표를 달성하기 위한 ASI의 효율성입니다.

그러나 여기에 위험이 있습니다. 특정 목표에 최적화하는 ASI라면 인류의 목표와 일치하는 목표에 최적화하는 것이 더 나을 것입니다. 그렇지 않으면 결과가 치명적일 수 있습니다.

인공 초지능이 인류에게 실존적 위험을 초래합니까?

그렇다면 ASI가 세상에 풀려나면 어떨까요? 주식 시장을 지배하거나 미군의 패권을 보장하기 위해 최적화한다면 ASI는 이러한 특정 목표 내에서 스스로를 포함하지 않을까요?

혹시.

지금까지 우리는 ASI가 원래 할당된 목표에 집착하고 그러한 목표를 추구하는 데 비인간적으로 유능해지는 방법에 대해 논의했습니다. 이유가 주어지지 않는 한 합리적인 에이전트는 가능한 가장 효율적인 수단으로 목표를 추구한다는 것이 문제입니다.

예를 들어 합리적 에이전트는 궁극적인 목표를 달성하는 데 도움이 될 다양한 하위 목표(즉, 목표, 도구적 목표, 디딤돌)를 제시할 것입니다. 인간의 경우 잠재의식의 핵심 목표는 유전자를 물려주는 번식(즉, 간접적인 불멸)입니다. 이를 위한 하위 목표에는 종종 다음이 포함될 수 있습니다.

생존, 음식과 물에 접근하고, 크고 강해지며, 자신을 방어하는 법을 배우거나 다양한 형태의 보호에 투자하는 등
운동, 매력적인 성격 개발, 스타일리시한 옷차림 등으로 배우자를 유혹합니다.
교육을 받고, 고임금 직업을 얻고, 중산층 생활의 장식품을 사는 등의 방법으로 자손을 제공합니다.

대다수의 우리는 결국 이 궁극적인 번식 목표를 달성할 것이라는 희망을 가지고 이 모든 하위 목표와 다른 많은 목표를 노예로 삼을 것입니다.

그러나 이 궁극적인 목표 또는 더 중요한 하위 목표 중 하나라도 위협을 받으면 우리 중 많은 사람들은 속임수, 절도, 심지어 살인을 포함하는 도덕적 안전 지대 밖에서 방어적인 행동을 취할 것입니다.

마찬가지로 동물의 왕국에서는 인간 도덕의 경계를 벗어나 많은 동물이 자신이나 자손을 위협하는 것은 무엇이든 죽이는 것에 대해 두 번 생각하지 않습니다.

미래의 ASI도 다르지 않을 것입니다.

그러나 자손 대신에 ASI는 원래의 목적에 초점을 맞출 것이고 이 목표를 추구하는 과정에서 특정 집단의 인간, 심지어 모든 인류를 발견하면 목표를 추구하는 데 장애물이 됩니다. , 그 다음에 ... 합리적인 결정을 내릴 것입니다.

(여기에 좋아하는 공상 과학 책이나 영화에서 읽은 AI 관련 최후의 시나리오를 연결할 수 있습니다.)

이것은 AI 연구자들이 정말로 우려하는 최악의 시나리오입니다. ASI는 새로운 콘도 타워를 건설하는 과정에서 건설 직원이 개미 언덕을 불도저로 만드는 것에 대해 두 번 생각하지 않는 것과 같은 증오나 악의가 아닌 무관심으로 행동하지 않을 것입니다.

사이드 노트. 이쯤 되면 "AI 연구원들이 ASI의 핵심 목표를 실행에 옮기고 나면 그냥 수정하면 안 될까요?"

정말.

ASI가 성숙되면 원래 목표를 수정하려는 모든 시도는 위협으로 간주될 수 있으며 이를 방어하기 위해 극단적인 조치가 필요합니다. 앞서 인간 생식의 전체 예를 사용하면 마치 도둑이 임산부의 자궁에서 아기를 훔치겠다고 위협하는 것과 거의 같습니다. 어머니는 아이를 보호하기 위해 극단적인 조치를 취할 것이라고 확신할 수 있습니다.

다시 말하지만, 우리는 여기서 말하는 계산기가 아니라 '살아 있는' 존재이며 언젠가는 지구상의 모든 인간을 합친 것보다 훨씬 더 똑똑해질 것입니다.

미지의

의 우화 뒤에 판도라의 상자 사람들이 자주 잊는 잘 알려지지 않은 사실입니다. 상자를 여는 것은 당신이 아닌 다른 사람이 아니라도 불가피한 일입니다. 금지된 지식은 영원히 잠겨 있기에는 너무 유혹적입니다.

그렇기 때문에 ASI로 이어질 수 있는 AI에 대한 모든 연구를 중단하기 위해 글로벌 합의에 도달하려는 시도가 무의미합니다. 이 기술에 대해 공식적으로나 은밀하게 작업하는 조직이 너무 많습니다.

궁극적으로 우리는 이 새로운 실체, 이 ASI가 사회, 기술, 정치, 평화 및 전쟁에 어떤 의미를 가질지 전혀 모릅니다. 우리 인간은 다시 불을 발명하려고 하고 있으며 이 창조가 우리를 어디로 인도하는지 전혀 알 수 없습니다.

이 시리즈의 첫 번째 챕터로 돌아가서 우리가 확실히 알고 있는 한 가지는 지능이 힘이라는 것입니다. 지능은 통제입니다. 인간은 우리가 이 동물들보다 신체적으로 강하기 때문이 아니라 훨씬 더 똑똑하기 때문에 지역 동물원에서 세계에서 가장 위험한 동물을 우연히 방문할 수 있습니다.

관련된 잠재적인 위험을 감안할 때, ASI가 엄청난 지능을 사용하여 인류의 생존을 직접 또는 부주의하게 위협할 수 있는 조치를 취하는 것에 대해, 우리는 최소한 인간이 운전자의 운전석에 머물 수 있도록 하는 보호 장치를 설계하려고 노력해야 합니다. 좌석-이 다음 장의 주제입니다.