AI მოდელების ტრენინგი: დაბალფასიანი AI განვითარების ძიება

• ავტორი:
• ავტორის სახელი

  Quantumrun Foresight
• მარტი 21, 2023

ღრმა სწავლება (DL) დაამტკიცა, რომ კომპეტენტური გადაწყვეტაა ხელოვნური ინტელექტის (AI) განვითარების რამდენიმე გამოწვევისთვის. თუმცა, DL ასევე ძვირდება. ღრმა ნერვული ქსელების ფუნქციონირება მოითხოვს მაღალ დამუშავების რესურსებს, განსაკუთრებით წინასწარ მომზადებაში. უარესი, ეს ენერგო ინტენსიური პროცესი ნიშნავს, რომ ეს მოთხოვნები იწვევს ნახშირბადის დიდ კვალს, რაც აზიანებს ხელოვნური ინტელექტის კვლევის კომერციალიზაციის ESG რეიტინგებს.

AI მოდელების ტრენინგის კონტექსტში

წინასწარი ტრენინგი ახლა ყველაზე პოპულარული მიდგომაა ფართომასშტაბიანი ნერვული ქსელების შესაქმნელად და მან დიდი წარმატება აჩვენა კომპიუტერულ ხედვას (CV) და ბუნებრივი ენის დამუშავებაში (NLP). თუმცა, უზარმაზარი DL მოდელების შემუშავება ძალიან ძვირი გახდა. მაგალითად, OpenAI's Generative Pre-trained Transformer 3-ის (GPT-3) ტრენინგი, რომელსაც აქვს 175 მილიარდი პარამეტრი და საჭიროებს წვდომას უზარმაზარ სერვერების კლასტერებზე უმაღლესი დონის გრაფიკული ბარათებით, სავარაუდო ღირებულება 12 მილიონი აშშ დოლარი იყო. მოდელის გასაშვებად ასევე საჭიროა ძლიერი სერვერი და ასობით გიგაბაიტი ვიდეო შემთხვევითი წვდომის მეხსიერება (VRAM).

მიუხედავად იმისა, რომ მსხვილმა ტექნიკურმა კომპანიებმა შეიძლება შეძლონ ასეთი ტრენინგის ხარჯების გაწევა, ეს აკრძალული ხდება პატარა სტარტაპებისა და კვლევითი ორგანიზაციებისთვის. სამი ფაქტორი განაპირობებს ამ ხარჯს. 

1. ვრცელი გამოთვლითი ხარჯები, რომელსაც დასჭირდება რამდენიმე კვირა ათასობით გრაფიკული დამუშავების ერთეულით (GPU).

2. დახვეწილ მოდელებს ესაჭიროებათ დიდი მეხსიერება, რომელიც ჩვეულებრივ ასობით გიგაბაიტს იკავებს (GB). გარდა ამისა, სხვადასხვა ამოცანებისთვის საჭიროა მრავალი მოდელის შენახვა.

3. დიდი მოდელების სწავლება მოითხოვს ზუსტ გამოთვლით ძალას და აპარატურას; წინააღმდეგ შემთხვევაში, შედეგები შეიძლება არ იყოს იდეალური.

აკრძალული ხარჯების გამო, ხელოვნური ინტელექტის კვლევა სულ უფრო კომერციალიზაცია ხდება, სადაც დიდი ტექნიკური კომპანიები ხელმძღვანელობენ კვლევებს ამ სფეროში. ეს ფირმები ასევე ყველაზე მეტს იღებენ თავიანთი აღმოჩენებიდან. იმავდროულად, კვლევით დაწესებულებებსა და არაკომერციულ ორგანიზაციებს ხშირად უწევთ ამ ბიზნესებთან თანამშრომლობა, თუ მათ სურთ თავიანთი კვლევის ჩატარება ამ სფეროში. 

დამრღვევი გავლენა

არსებობს მტკიცებულება, რომელიც ვარაუდობს, რომ ნერვული ქსელები შეიძლება „გაიჭრას“. ეს ნიშნავს, რომ დიდი ზომის ნეირონულ ქსელებში, მცირე ჯგუფს შეუძლია მიაღწიოს სიზუსტის იმავე დონეს, როგორც ორიგინალური AI მოდელი, მის ფუნქციონირებაზე მძიმე ზემოქმედების გარეშე. მაგალითად, 2020 წელს, სვართმორის კოლეჯისა და ლოს ალამოსის ნაციონალური ლაბორატორიის ხელოვნური ინტელექტის მკვლევარებმა აჩვენეს, რომ მიუხედავად იმისა, რომ კომპლექსურ DL მოდელს შეუძლია ისწავლოს მომავალი ნაბიჯების პროგნოზირება მათემატიკოს ჯონ კონვეის ცხოვრების თამაშში, ყოველთვის არის პატარა ნერვული ქსელი, რომლის სწავლებაც შესაძლებელია. რომ იგივე გააკეთოს.

მკვლევარებმა აღმოაჩინეს, რომ თუ ისინი უგულებელყოფენ DL მოდელის უამრავ პარამეტრს მას შემდეგ, რაც ის დაასრულებს სასწავლო პროცედურას, მათ შეუძლიათ შეამცირონ იგი თავდაპირველი ზომის 10 პროცენტამდე და მაინც მიაღწიონ იგივე შედეგს. რამდენიმე ტექნიკური კომპანია უკვე შეკუმშავს AI მოდელებს, რათა დაზოგოს ადგილი მოწყობილობებზე, როგორიცაა ლეპტოპები და სმარტფონები. ეს მეთოდი არა მხოლოდ დაზოგავს ფულს, არამედ საშუალებას აძლევს პროგრამულ უზრუნველყოფას იმუშაოს ინტერნეტის გარეშე და მიიღოს შედეგები რეალურ დროში. 

ასევე იყო შემთხვევები, როდესაც DL შესაძლებელი იყო მოწყობილობებზე, რომლებიც იკვებება მზის ბატარეებით ან ღილაკებით, მცირე ნერვული ქსელების წყალობით. თუმცა, გასხვლის მეთოდის შეზღუდვა არის ის, რომ მოდელი ჯერ კიდევ საჭიროებს სრულ მომზადებას, სანამ შემცირდება. იყო გარკვეული საწყისი კვლევები ნერვულ ქვეჯგუფებზე, რომელთა მომზადებაც შესაძლებელია დამოუკიდებლად. თუმცა, მათი სიზუსტე არ არის ისეთივე, როგორც დიდი ზომის ნერვული ქსელების.

AI მოდელების ტრენინგის შედეგები

AI მოდელების ტრენინგის უფრო ფართო შედეგები შეიძლება შეიცავდეს: 

• გაზრდილი კვლევა ნერვული ქსელების მომზადების სხვადასხვა მეთოდებში; თუმცა, პროგრესი შესაძლოა შენელდეს დაფინანსების ნაკლებობით.
• დიდი ტექნოლოგიები აგრძელებენ თავიანთი AI კვლევითი ლაბორატორიების დაფინანსებას, რაც იწვევს ინტერესთა უფრო მეტ კონფლიქტს.
• ხელოვნური ინტელექტის განვითარების ხარჯები ქმნის პირობებს მონოპოლიების ფორმირებისთვის, ზღუდავს ახალი AI სტარტაპების შესაძლებლობას დამოუკიდებლად გაუწიონ კონკურენცია დამკვიდრებულ ტექნიკურ ფირმებს. განვითარებადი ბიზნეს სცენარი შეიძლება ნახოს რამდენიმე მსხვილ ტექნოლოგიურ ფირმას, რომლებიც ავითარებენ გიგანტურ საკუთრებაში არსებულ AI მოდელებს და იჯარით აძლევენ მათ მცირე ხელოვნური ინტელექტის ფირმებს, როგორც სერვისი/კომუნალური.
• კვლევითი ინსტიტუტები, არაკომერციული ორგანიზაციები და უნივერსიტეტები, რომლებსაც აფინანსებს დიდი ტექნოლოგიები, რათა ჩაატარონ ხელოვნური ინტელექტის ექსპერიმენტები მათი სახელით. ამ ტენდენციამ შეიძლება გამოიწვიოს უფრო მეტი ტვინის გადინება აკადემიიდან კორპორაციებში.
• გაზრდილი ზეწოლა მსხვილ ტექნოლოგიებზე, რათა გამოაქვეყნონ და რეგულარულად განაახლონ თავიანთი AI ეთიკის სახელმძღვანელო პრინციპები, რათა მათ პასუხისმგებელნი გახდნენ თავიანთი კვლევისა და განვითარების პროექტებზე.
• ხელოვნური ინტელექტის მოდელების სწავლება უფრო ძვირი ხდება, რადგან უფრო მეტი გამოთვლითი სიმძლავრეა საჭირო, რაც იწვევს მეტ ნახშირბადის ემისიას.
• ზოგიერთი სამთავრობო უწყება ცდილობს დაარეგულიროს ამ გიგანტური AI მოდელების ტრენინგში გამოყენებული მონაცემები. ასევე, კონკურენციის სააგენტოებმა შეიძლება შექმნან კანონმდებლობა, რომელიც აიძულებს გარკვეული ზომის ხელოვნური ინტელექტის მოდელებს ხელმისაწვდომი გახდეს მცირე შიდა ფირმებისთვის მცირე და საშუალო ბიზნესის ინოვაციების წახალისების მიზნით.

კითხვები გასათვალისწინებელია

• თუ თქვენ მუშაობთ AI სექტორში, როგორ ავითარებს თქვენი ორგანიზაცია უფრო ეკოლოგიურად მდგრად AI მოდელებს?
• რა არის ძვირადღირებული AI მოდელების პოტენციური გრძელვადიანი შედეგები?