Вік великих мовних моделей: перехід до набагато меншого масштабу

• Автор:
• ім'я автора

  Quantumrun Foresight
• Липень 27, 2023

Основні моменти

Великі мовні моделі (LLM), такі як ChatGPT, використовують глибоке навчання та великі набори даних для створення та розуміння тексту, обіцяючи майбутнє з надпотужними помічниками штучного інтелекту (AI). Їхній зростаючий вплив має руйнівний економічний потенціал і має значні наслідки для суспільства, включаючи підвищення продуктивності, потенціал для витіснення з роботи та зміну соціальних норм. Однак у зв’язку зі зменшенням віддачі від масштабування моделей і зростанням витрат, генеральний директор OpenAI Сем Альтман пропонує перейти до менших, специфічних для бізнесу моделей.

Епоха контексту великих мовних моделей

LLM – це тип штучного інтелекту, який використовує глибоке навчання та масивні набори даних для розуміння та створення текстового вмісту, також класифікованого як генеративний штучний інтелект. Спираючись на людський розвиток розмовних мов для спілкування, ШІ використовує мовні моделі для створення та передачі нових концепцій. Ці моделі виникли на основі ранніх інновацій штучного інтелекту, таких як мовна модель ELIZA в 1966 році. Мовні моделі навчаються на наборі даних, а потім використовують різні методи для встановлення зв’язків і створення нового вмісту, який часто використовується в програмах обробки природної мови (NLP). LLM представляють просунутий етап у цій концепції, навчання на більших наборах даних із мільярдом або більше параметрів, що значно розширює можливості ШІ.

LLM, що підтримує ChatGPT та його конкурентів, швидко розвивається. Хоча вони далекі від того, що деякі люди називають штучним загальним інтелектом (AGI), вони дають громадськості раннє уявлення про те, як може виглядати життя з доступом до справді надпотужного персонального помічника. Наприклад, у березні 2023 року було випущено програму Auto-GPT, яка імітує деякі теоретичні функції AGI, як-от здатність розуміти світ як людина та еквівалентну здатність навчатися та виконувати ширший спектр завдань. Auto-GPT — це експериментальна програма на Python із відкритим кодом, яка використовує GPT-4 для автономних операцій, що означає, що Auto-GPT може самостійно запропонувати виконати призначені завдання з мінімальною участю людини.

Руйнівний вплив

Незважаючи на те, що ці агенти LLM все ще є експериментальними, вони можуть підвищити продуктивність за рахунок зниження вартості обладнання та програмного забезпечення ШІ. Дослідження ARK показують, що до 14 року програмне забезпечення зі штучним інтелектом може принести дохід до 90 трильйонів доларів США та збільшити вартість підприємства на 2030 трильйонів доларів США. У міру вдосконалення GPT-4 та подібних великих моделей багато компаній створюють власні менші, специфічні для бізнесу моделі. з меншими витратами. Навіть генеральний директор OpenAI Сем Альтман вважає, що майбутнє LLM буде набагато меншим.

Альтман припускає, що GPT-4 може стати останнім значним прогресом у результаті їх поточного підходу до розширення моделей і збільшення вхідних даних. Незважаючи на те, що деталі потенційних майбутніх дослідницьких стратегій або методів не були окреслені, Альтман зазначив, що їхні дослідження щодо GPT-4 показали зменшення віддачі від збільшення розміру моделі. Він також зазначив практичні обмеження, такі як кількість центрів обробки даних, які OpenAI може побудувати, і швидкість, з якою вони можуть бути побудовані.

Навчання цих моделей також стає дорожчим, ніж будь-коли. Модель з 530 мільярдами параметрів на величезних наборах текстових даних була створена Microsoft і NVIDIA шляхом розгортання сотень серверів DGX A100 з декількома GPU, кожен вартістю 199,000 100 доларів США. Якщо взяти до уваги витрати, пов’язані з мережевим обладнанням, хостингом та іншими пов’язаними витратами, тиражування такого експерименту, ймовірно, наблизиться до приголомшливих XNUMX мільйонів доларів США.

Наслідки віку великих мовних моделей

Більш широкі наслідки віку великих мовних моделей можуть включати: 

• Підвищена залежність від ШІ для спілкування, вирішення проблем і прийняття рішень. Вплив штучного інтелекту на формування соціальних норм і думок може викликати занепокоєння щодо індивідуальної діяльності та потенціалу маніпуляцій за допомогою наративів, керованих штучним інтелектом.
• Значне підвищення продуктивності та економія коштів для підприємств. Автоматизація може зробити багато галузей більш ефективними, але вона також може погіршити нерівність у доходах, оскільки висококваліфіковані працівники та власники ШІ можуть отримати більше переваг.
• LLMs використовуються для аналізу політичних настроїв, розробки політичних рекомендацій або навіть законопроектів. Однак існує ризик використання створеного штучним інтелектом контенту для кампаній дезінформації або маніпулювання громадською думкою.
• Люди похилого віку потенційно можуть користуватися послугами охорони здоров’я та супроводу на базі штучного інтелекту, тоді як молоді працівники можуть зіткнутися з новими робочими проблемами через поширену автоматизацію.
• Подальший прогрес у дослідженнях і застосуваннях ШІ, що веде до створення нових технологій і галузей. Однак технології штучного інтелекту також викликають занепокоєння щодо можливого зловживання, загроз кібербезпеці та необхідності належного регулювання та нагляду.
• Значне переміщення робочих місць, особливо в галузях, які включають повторювані завдання або аналіз даних. Хоча можуть з’явитися нові можливості працевлаштування, також може виникнути потреба в масштабній перепідготовці та підтримці переміщених працівників для переходу на нові ролі. Суспільству потрібно буде адаптуватися до цих змін, потенційно переосмисливши освіту, системи соціального захисту та трудову політику.

Питання для розгляду

• Як ще, на вашу думку, розвиватимуться LLM?
• Якщо ви працюєте в індустрії штучного інтелекту, які є зміни у сценаріях використання LLM?