การฝึกอบรมแบบจำลอง AI: การค้นหาการพัฒนา AI ที่มีต้นทุนต่ำ

• เขียนโดย:
• ชื่อผู้เขียน

  มองการณ์ไกลควอนตัมรัน
• March 21, 2023

การเรียนรู้เชิงลึก (DL) ได้รับการพิสูจน์แล้วว่าเป็นโซลูชันที่มีความสามารถสำหรับความท้าทายหลายประการในการพัฒนาปัญญาประดิษฐ์ (AI) อย่างไรก็ตาม DL ก็มีราคาแพงขึ้นเช่นกัน การใช้งานโครงข่ายประสาทเทียมเชิงลึกต้องใช้ทรัพยากรการประมวลผลสูง โดยเฉพาะอย่างยิ่งในการฝึกอบรมล่วงหน้า ที่แย่กว่านั้น กระบวนการที่ใช้พลังงานมากนี้หมายความว่าข้อกำหนดเหล่านี้ส่งผลให้เกิดรอยเท้าคาร์บอนจำนวนมาก ซึ่งสร้างความเสียหายต่อการจัดอันดับ ESG ของการวิจัย AI ในเชิงพาณิชย์

บริบทแบบจำลองการฝึกอบรม AI

การฝึกอบรมล่วงหน้าเป็นวิธีที่ได้รับความนิยมมากที่สุดในการสร้างโครงข่ายประสาทเทียมขนาดใหญ่ และประสบความสำเร็จอย่างมากในด้านการมองเห็นด้วยคอมพิวเตอร์ (CV) และการประมวลผลภาษาธรรมชาติ (NLP) อย่างไรก็ตาม การพัฒนาโมเดล DL ขนาดใหญ่นั้นมีค่าใช้จ่ายสูงเกินไป ตัวอย่างเช่น การฝึกอบรม Generative Pre-trained Transformer 3 (GPT-3) ของ OpenAI ซึ่งมีพารามิเตอร์ 175 พันล้านพารามิเตอร์และต้องการการเข้าถึงคลัสเตอร์เซิร์ฟเวอร์ขนาดมหึมาด้วยกราฟิกการ์ดชั้นยอด มีค่าใช้จ่ายประมาณ 12 ล้านเหรียญสหรัฐ เซิร์ฟเวอร์ที่ทรงพลังและหน่วยความจำเข้าถึงโดยสุ่มวิดีโอ (VRAM) หลายร้อยกิกะไบต์ก็จำเป็นเช่นกันในการรันโมเดล

แม้ว่าบริษัทเทคโนโลยีรายใหญ่อาจสามารถจ่ายค่าใช้จ่ายในการฝึกอบรมดังกล่าวได้ แต่กลายเป็นสิ่งต้องห้ามสำหรับบริษัทสตาร์ทอัพและองค์กรวิจัยขนาดเล็ก ปัจจัยสามประการที่ผลักดันค่าใช้จ่ายนี้ 

1. ค่าใช้จ่ายในการคำนวณจำนวนมาก ซึ่งต้องใช้เวลาหลายสัปดาห์กับหน่วยประมวลผลกราฟิก (GPU) หลายพันหน่วย

2. โมเดลที่ได้รับการปรับแต่งอย่างละเอียดต้องการพื้นที่เก็บข้อมูลขนาดใหญ่ ซึ่งปกติแล้วจะใช้พื้นที่ถึงหลายร้อยกิกะไบต์ (GB) นอกจากนี้ จำเป็นต้องจัดเก็บหลายรุ่นสำหรับงานที่แตกต่างกัน

3. การฝึกอบรมแบบจำลองขนาดใหญ่ต้องใช้พลังการคำนวณและฮาร์ดแวร์ที่แม่นยำ มิฉะนั้น ผลลัพธ์อาจไม่สมบูรณ์แบบ

เนื่องจากต้นทุนที่ห้ามปราม การวิจัย AI จึงกลายเป็นเชิงพาณิชย์มากขึ้นเรื่อยๆ โดยที่บริษัทเทคโนโลยีขนาดใหญ่เป็นผู้นำการศึกษาในสาขานี้ บริษัทเหล่านี้ยังได้รับประโยชน์สูงสุดจากการค้นพบของพวกเขา ในขณะเดียวกัน สถาบันวิจัยและองค์กรไม่แสวงหากำไรมักจะต้องร่วมมือกับธุรกิจเหล่านี้ หากต้องการทำการสำรวจภาคสนาม 

ผลกระทบก่อกวน

มีหลักฐานที่บ่งชี้ว่าโครงข่ายประสาทเทียมสามารถ "ตัด" ได้ ซึ่งหมายความว่าภายในโครงข่ายประสาทเทียมขนาดใหญ่พิเศษ กลุ่มเล็กๆ สามารถได้รับความแม่นยำในระดับเดียวกับโมเดล AI ดั้งเดิม โดยไม่มีผลกระทบอย่างมากต่อฟังก์ชันการทำงาน ตัวอย่างเช่น ในปี 2020 นักวิจัย AI จาก Swarthmore College และ Los Alamos National Laboratory แสดงให้เห็นว่า แม้ว่าแบบจำลอง DL ที่ซับซ้อนสามารถเรียนรู้ที่จะทำนายขั้นตอนในอนาคตใน Game of Life ของนักคณิตศาสตร์ John Conway ได้ แต่ก็ยังมีโครงข่ายประสาทเทียมขนาดเล็กกว่าที่สามารถสอนได้เสมอ เพื่อทำสิ่งเดียวกัน

นักวิจัยค้นพบว่าหากพวกเขาทิ้งพารามิเตอร์จำนวนมากของโมเดล DL หลังจากเสร็จสิ้นขั้นตอนการฝึกอบรมทั้งหมดแล้ว พวกเขาสามารถลดขนาดลงเหลือ 10 เปอร์เซ็นต์ของขนาดดั้งเดิมและยังคงได้ผลลัพธ์เหมือนเดิม บริษัทเทคโนโลยีหลายแห่งกำลังบีบอัดโมเดล AI เพื่อประหยัดพื้นที่บนอุปกรณ์ เช่น แล็ปท็อปและสมาร์ทโฟน วิธีนี้ไม่เพียงช่วยประหยัดเงิน แต่ยังช่วยให้ซอฟต์แวร์ทำงานโดยไม่ต้องเชื่อมต่ออินเทอร์เน็ตและรับผลลัพธ์แบบเรียลไทม์ 

นอกจากนี้ยังมีกรณีที่สามารถใช้ DL บนอุปกรณ์ที่ใช้พลังงานจากแบตเตอรี่พลังงานแสงอาทิตย์หรือเซลล์ปุ่มได้ด้วย เครือข่ายประสาทเทียมขนาดเล็ก อย่างไรก็ตาม ข้อจำกัดของวิธีการตัดแต่งกิ่งคือแบบจำลองยังคงต้องได้รับการฝึกอบรมอย่างสมบูรณ์ก่อนที่จะสามารถลดขนาดได้ มีการศึกษาเบื้องต้นเกี่ยวกับชุดย่อยของระบบประสาทที่สามารถฝึกได้เอง อย่างไรก็ตาม ความแม่นยำไม่เหมือนกับโครงข่ายประสาทเทียมขนาดใหญ่พิเศษ

นัยของการฝึกอบรมโมเดล AI

ความหมายที่กว้างขึ้นของแบบจำลอง AI การฝึกอบรมอาจรวมถึง: 

• การวิจัยที่เพิ่มขึ้นในวิธีการต่างๆ ในการฝึกอบรมโครงข่ายประสาทเทียม อย่างไรก็ตาม ความคืบหน้าอาจล่าช้าเนื่องจากขาดเงินทุน
• บิ๊กเทคให้ทุนสนับสนุนห้องปฏิบัติการวิจัย AI อย่างต่อเนื่อง ส่งผลให้เกิดความขัดแย้งทางผลประโยชน์มากขึ้น
• ต้นทุนของการพัฒนา AI สร้างเงื่อนไขสำหรับการผูกขาดที่จะก่อตัวขึ้น ซึ่งจำกัดความสามารถของสตาร์ทอัพด้าน AI รายใหม่ที่จะแข่งขันอย่างอิสระกับบริษัทเทคโนโลยีที่จัดตั้งขึ้น สถานการณ์ทางธุรกิจที่เกิดขึ้นใหม่อาจเห็นบริษัทเทคโนโลยีขนาดใหญ่จำนวนหนึ่งพัฒนาโมเดล AI ขนาดยักษ์ที่เป็นกรรมสิทธิ์ และปล่อยให้บริษัท AI ขนาดเล็กเช่าเป็นบริการ/ยูทิลิตี้
• สถาบันวิจัย องค์กรไม่แสวงผลกำไร และมหาวิทยาลัยที่ได้รับทุนสนับสนุนจากเทคโนโลยีขนาดใหญ่เพื่อดำเนินการทดลอง AI ในนามของพวกเขา แนวโน้มนี้อาจทำให้สมองไหลจากสถาบันการศึกษาสู่องค์กรมากขึ้น
• แรงกดดันที่เพิ่มขึ้นสำหรับเทคโนโลยีขนาดใหญ่ในการเผยแพร่และอัปเดตแนวทางจริยธรรมของ AI เป็นประจำเพื่อให้พวกเขารับผิดชอบต่อโครงการวิจัยและพัฒนาของพวกเขา
• การฝึกอบรมแบบจำลอง AI มีราคาแพงขึ้นเนื่องจากต้องใช้พลังการประมวลผลที่สูงขึ้น ซึ่งนำไปสู่การปล่อยคาร์บอนมากขึ้น
• หน่วยงานรัฐบาลบางแห่งพยายามควบคุมข้อมูลที่ใช้ในการฝึกอบรมโมเดล AI ขนาดยักษ์เหล่านี้ เช่นเดียวกัน หน่วยงานด้านการแข่งขันอาจออกกฎหมายที่บังคับให้โมเดล AI ในขนาดที่กำหนดสามารถเข้าถึงได้โดยบริษัทขนาดเล็กในประเทศ เพื่อพยายามกระตุ้นนวัตกรรม SME

คำถามที่ต้องพิจารณา

• หากคุณทำงานในภาคส่วน AI องค์กรของคุณจะพัฒนาโมเดล AI ที่เป็นมิตรต่อสิ่งแวดล้อมมากขึ้นอย่างไร
• ผลกระทบระยะยาวที่อาจเกิดขึ้นจากโมเดล AI ราคาแพงคืออะไร