Süper boyutlu AI modelleri: Dev bilgi işlem sistemleri devrilme noktasına ulaşıyor

• Yazar:
• Yazar adı

  Kuantumrun Öngörüsü
• Haziran 2, 2023

2012'den bu yana, yapay zekada (AI) düzenli olarak önemli ilerlemeler kaydedildi ve bu gelişmelerin başlıca nedeni, artan bilgi işlem gücü (kısaca "bilgi işlem") oldu. 2020'de piyasaya sürülen en büyük modellerden biri, 600,000'deki ilk modelden 2012 kat daha fazla bilgi işlem kullandı. OpenAI araştırmacıları, 2018'deki bu trende dikkat çekti ve bu büyüme oranının uzun süre sürdürülebilir olmayacağı konusunda uyardı.

Büyük boyutlu yapay zeka modelleri bağlamı

Birçok makine öğrenimi (ML) geliştiricisi, görünüşte sınırsız potansiyelleri nedeniyle derin öğrenme (DL) için dönüştürücü modelleri kullanır. Bu modellerin örnekleri arasında Üretken Önceden Eğitilmiş Transformer 2 (GPT-2), GPT-3, Transformers'tan Çift Yönlü Kodlayıcı Temsilleri (BERT) ve Turing Natural Language Generation (NLG) yer alır. Bu algoritmalar genellikle makine çevirisi veya zaman serisi tahmini gibi gerçek dünya uygulamalarına sahiptir. 

Yapay zeka modları, daha fazla eğitim verisini barındırmak ve tahminlerde daha iyi hale gelmek için genişlemelidir. Bu gereksinim, milyarlarca parametreli (algoritmaların tahmin yapmak için kullandığı değişkenler) büyük boyutlu modellerin yükselişine yol açmıştır. Bu modeller, OpenAI'nin GPT-3'ü (ve Aralık 2022'de başlatılan ChatGPT etkileşimi), Çin merkezli PanGu-alpha, Nvidia'nın Megatron-Turing NLG'si ve DeepMind'in Gopher'ı tarafından temsil ediliyor. 2020'de GPT-3 eğitimi için dünyanın en büyük beş süper bilgisayarı arasında yer alan bir süper bilgisayar gerekiyordu. 

Bununla birlikte, bu modeller, büyük miktarda enerji yoğun eğitim verisi gerektirme eğilimindedir. Derin öğrenme, muazzam bilgi işlem gücü kullanma yeteneğine bağlıydı, ancak bu yakında değişecek. Eğitim pahalıdır, AI yongalarının sınırları vardır ve büyük modellerin eğitimi işlemcileri tıkayarak hepsini yönetmeyi zorlaştırır. Parametre ne kadar büyük olursa, bu modelleri eğitmek o kadar maliyetli olur. Uzmanlar, süper boyutlu yapay zeka modellerinin eğitilmesi için çok pahalı ve enerji yoğun hale gelebileceği bir noktanın geleceği konusunda hemfikir. 

Yıkıcı etki

2020'de OpenAI, parametre sayısını ve veri kümesi boyutunu hesaba katarak çok sayıda modeli eğitmek için gereken minimum bilgi işlem miktarını tahmin etti. Bu denklemler, makine öğreniminin bu verilerin ağdan birçok kez geçmesini nasıl gerektirdiğini, parametre sayısı arttıkça her geçiş için hesaplamanın nasıl arttığını ve parametre sayısı arttıkça ne kadar veriye ihtiyaç duyulduğunu açıklar.

Open AI tahminlerine göre, geliştiricilerin maksimum verimliliğe ulaşabileceklerini varsayarsak, GPT-4'ü (GPT-100'ten 3 kat daha büyük (17.5 trilyon parametre)) oluşturmak, en az bir yıl boyunca çalışan 7,600 grafik işlem birimi (GPU) gerektirecek ve yaklaşık maliyete sahip olacaktır. 200 milyon dolar. 100 trilyon parametreli bir model, onu bir yıl boyunca çalıştırmak için 83,000 GPU'ya ihtiyaç duyar ve bu da 2 milyar ABD dolarından fazlaya mal olur.

Bununla birlikte, teknoloji firmaları, makine öğrenimi çözümlerine olan talep arttıkça, sürekli genişleyen süper boyutlu yapay zeka modellerinde iş birliği yapıyor ve yatırımlar yapıyor. Örneğin, Çin merkezli Baidu ve Peng Cheng Lab, 280 milyar parametreli PCL-BAIDU Wenxin'i piyasaya sürdü. PCL-BAIDU, Baidu'nun haber akışları, arama motoru ve dijital asistanı tarafından zaten kullanılıyor. 

DeepMind'in Aralık 2021'de oluşturduğu en son Go-playing programı sürümü 280 milyar parametreye sahiptir. Google Switch-Transformer-GLaM modelleri, sırasıyla 1 trilyon ve 1.2 trilyon gibi şaşırtıcı bir parametreye sahiptir. Pekin Yapay Zeka Akademisi'nden Wu Dao 2.0 daha da büyük ve 1.75 trilyon parametreye sahip olduğu bildirildi. Akıllı şehirler ve otomasyon kesintileri zorlamaya devam ederken, uzmanlar yapay zeka hesaplamanın böyle bir geleceği nasıl destekleyeceğinden emin değil. 

Büyük boyutlu yapay zeka modellerinin sonuçları

Büyük boyutlu AI modellerinin daha geniş etkileri şunları içerebilir: 

• Daha az enerji tüketen yapay zeka bilgisayar çiplerinin geliştirilmesine yönelik artan yatırımlar ve fırsatlar. 
• Bilgi işlem gücü eksikliği nedeniyle AI ilerlemesi yavaşladı ve enerji tasarrufu sağlayan teknolojiler ve çözümler için daha fazla finansmana yol açtı.
• Makine öğrenimi geliştiricilerinin dönüştürücüler dışında alternatif modeller oluşturması, daha verimli algoritmalar için keşiflere ve yeniliklere yol açabilir.
• Uygulama merkezli sorunlara odaklanan, hesaplamayı buna göre ayarlayan veya yalnızca süper boyutlandırmak yerine gerektiği gibi değiştiren yapay zeka çözümleri.
• AI programlarının hava durumu tahminleri, uzay keşfi, tıbbi teşhisler ve uluslararası ticaret dahil olmak üzere daha iyi tahminler gerçekleştirmesine olanak tanıyan daha karmaşık veri kümeleri.

Yorum yapılacak sorular

• Yapay zeka sektöründe çalışıyorsanız, daha iyi makine öğrenimi modelleri geliştirmede ne gibi ilerlemeler var?
• Öğrenmek için kapsamlı eğitim verileri içeren modellerin diğer potansiyel faydaları nelerdir?