ਸੁਪਰਸਾਈਜ਼ਡ AI ਮਾਡਲ: ਵਿਸ਼ਾਲ ਕੰਪਿਊਟਿੰਗ ਸਿਸਟਮ ਟਿਪਿੰਗ ਪੁਆਇੰਟ 'ਤੇ ਪਹੁੰਚ ਰਹੇ ਹਨ

• ਲੇਖਕ ਬਾਰੇ:
• ਲੇਖਕ ਦਾ ਨਾਮ

  Quantumrun ਦੂਰਦ੍ਰਿਸ਼ਟੀ
• ਜੂਨ 2, 2023

2012 ਤੋਂ, ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI) ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਤਰੱਕੀ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਹੋਈ ਹੈ, ਮੁੱਖ ਤੌਰ 'ਤੇ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਨੂੰ ਵਧਾਉਣ (ਛੋਟੇ ਲਈ "ਕੰਪਿਊਟ") ਦੁਆਰਾ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ। 2020 ਵਿੱਚ ਲਾਂਚ ਕੀਤੇ ਗਏ ਸਭ ਤੋਂ ਵੱਡੇ ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਇੱਕ, ਨੇ 600,000 ਤੋਂ ਪਹਿਲੇ ਮਾਡਲ ਨਾਲੋਂ 2012 ਗੁਣਾ ਜ਼ਿਆਦਾ ਗਣਨਾ ਕੀਤੀ। OpenAI ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ 2018 ਵਿੱਚ ਇਸ ਰੁਝਾਨ ਨੂੰ ਨੋਟ ਕੀਤਾ ਅਤੇ ਚੇਤਾਵਨੀ ਦਿੱਤੀ ਕਿ ਇਹ ਵਿਕਾਸ ਦਰ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਟਿਕਾਊ ਨਹੀਂ ਰਹੇਗੀ।

ਸੁਪਰਸਾਈਜ਼ਡ AI ਮਾਡਲਾਂ ਦਾ ਸੰਦਰਭ

ਬਹੁਤ ਸਾਰੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ (ML) ਡਿਵੈਲਪਰ ਡੂੰਘੀ ਸਿਖਲਾਈ (DL) ਲਈ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਕਿਉਂਕਿ ਉਹਨਾਂ ਦੀ ਪ੍ਰਤੀਤ ਹੁੰਦੀ ਸੀਮਤ ਸੰਭਾਵਨਾ ਹੁੰਦੀ ਹੈ। ਇਹਨਾਂ ਮਾਡਲਾਂ ਦੀਆਂ ਉਦਾਹਰਨਾਂ ਵਿੱਚ ਜਨਰੇਟਿਵ ਪ੍ਰੀ-ਟ੍ਰੇਂਡ ਟ੍ਰਾਂਸਫਾਰਮਰ 2 (GPT-2), GPT-3, ਟਰਾਂਸਫਾਰਮਰਜ਼ (BERT), ਅਤੇ ਟਿਊਰਿੰਗ ਨੈਚੁਰਲ ਲੈਂਗੂਏਜ ਜਨਰੇਸ਼ਨ (NLG) ਤੋਂ ਬਾਇ-ਡਾਇਰੈਕਸ਼ਨਲ ਐਨਕੋਡਰ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਸ਼ਾਮਲ ਹਨ। ਇਹਨਾਂ ਐਲਗੋਰਿਥਮਾਂ ਵਿੱਚ ਅਕਸਰ ਅਸਲ-ਸੰਸਾਰ ਕਾਰਜ ਹੁੰਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਮਸ਼ੀਨ ਅਨੁਵਾਦ ਜਾਂ ਸਮਾਂ ਲੜੀ ਦੀ ਭਵਿੱਖਬਾਣੀ। 

ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਮੋਡਾਂ ਨੂੰ ਵਧੇਰੇ ਸਿਖਲਾਈ ਡੇਟਾ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਅਤੇ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਵਿੱਚ ਬਿਹਤਰ ਬਣਨ ਲਈ ਵਿਸਤਾਰ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਇਸ ਲੋੜ ਨੇ ਅਰਬਾਂ ਪੈਰਾਮੀਟਰਾਂ (ਭਵਿੱਖਬਾਣ ਕਰਨ ਲਈ ਐਲਗੋਰਿਦਮ ਦੁਆਰਾ ਵਰਤੇ ਗਏ ਵੇਰੀਏਬਲ) ਵਾਲੇ ਸੁਪਰਸਾਈਜ਼ਡ ਮਾਡਲਾਂ ਦੇ ਉਭਾਰ ਦੀ ਅਗਵਾਈ ਕੀਤੀ ਹੈ। ਇਹਨਾਂ ਮਾਡਲਾਂ ਨੂੰ OpenAI ਦੇ GPT-3 (ਅਤੇ ਦਸੰਬਰ 2022 ਵਿੱਚ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ChatGPT ਇੰਟਰਐਕਸ਼ਨ), ਚੀਨ-ਅਧਾਰਤ PanGu-alpha, Nvidia ਦਾ Megatron-Turing NLG, ਅਤੇ DeepMind ਦੇ ਗੋਫਰ ਦੁਆਰਾ ਦਰਸਾਇਆ ਗਿਆ ਹੈ। 2020 ਵਿੱਚ, GPT-3 ਦੀ ਸਿਖਲਾਈ ਲਈ ਇੱਕ ਸੁਪਰ ਕੰਪਿਊਟਰ ਦੀ ਲੋੜ ਸੀ ਜੋ ਦੁਨੀਆ ਦੇ ਪੰਜ ਸਭ ਤੋਂ ਵੱਡੇ ਕੰਪਿਊਟਰਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸੀ। 

ਹਾਲਾਂਕਿ, ਇਹਨਾਂ ਮਾਡਲਾਂ ਲਈ ਊਰਜਾ-ਤੀਬਰ ਸਿਖਲਾਈ ਡੇਟਾ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਡੂੰਘਾਈ ਨਾਲ ਸਿੱਖਿਆ ਬਹੁਤ ਜ਼ਿਆਦਾ ਗਣਨਾ ਸ਼ਕਤੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਮਰੱਥਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ, ਪਰ ਇਹ ਜਲਦੀ ਹੀ ਬਦਲ ਜਾਵੇਗਾ। ਸਿਖਲਾਈ ਮਹਿੰਗੀ ਹੈ, ਏਆਈ ਚਿਪਸ ਦੀਆਂ ਸੀਮਾਵਾਂ ਹਨ, ਅਤੇ ਵੱਡੇ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਪ੍ਰੋਸੈਸਰਾਂ ਨੂੰ ਬੰਦ ਕਰ ਦਿੰਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਉਹਨਾਂ ਸਾਰਿਆਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੋ ਜਾਂਦਾ ਹੈ। ਪੈਰਾਮੀਟਰ ਜਿੰਨਾ ਵੱਡਾ ਹੋਵੇਗਾ, ਇਹਨਾਂ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਓਨਾ ਹੀ ਮਹਿੰਗਾ ਹੋਵੇਗਾ। ਮਾਹਰ ਇਸ ਗੱਲ ਨਾਲ ਸਹਿਮਤ ਹਨ ਕਿ ਇੱਕ ਬਿੰਦੂ ਆਵੇਗਾ ਜਿੱਥੇ ਸੁਪਰਸਾਈਜ਼ਡ ਏਆਈ ਮਾਡਲ ਬਹੁਤ ਮਹਿੰਗੇ ਹੋ ਸਕਦੇ ਹਨ ਅਤੇ ਸਿਖਲਾਈ ਲਈ ਊਰਜਾ-ਸਹਿਤ ਹੋ ਸਕਦੇ ਹਨ। 

ਵਿਘਨਕਾਰੀ ਪ੍ਰਭਾਵ

2020 ਵਿੱਚ, ਓਪਨਏਆਈ ਨੇ ਮਾਪਦੰਡਾਂ ਦੀ ਸੰਖਿਆ ਅਤੇ ਡੇਟਾਸੇਟ ਦੇ ਆਕਾਰ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, ਬਹੁਤ ਸਾਰੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਲੋੜੀਂਦੀ ਘੱਟੋ-ਘੱਟ ਮਾਤਰਾ ਦਾ ਅਨੁਮਾਨ ਲਗਾਇਆ। ਇਹ ਸਮੀਕਰਨਾਂ ਇਸ ਗੱਲ ਨੂੰ ਦਰਸਾਉਂਦੀਆਂ ਹਨ ਕਿ ਕਿਵੇਂ ML ਨੂੰ ਉਸ ਡੇਟਾ ਨੂੰ ਨੈੱਟਵਰਕ ਵਿੱਚੋਂ ਕਈ ਵਾਰ ਲੰਘਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਵਧਣ ਨਾਲ ਹਰੇਕ ਪਾਸ ਲਈ ਗਣਨਾ ਕਿਵੇਂ ਵਧਦੀ ਹੈ, ਅਤੇ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਵਧਣ ਨਾਲ ਕਿੰਨੇ ਡੇਟਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਓਪਨ ਏਆਈ ਅਨੁਮਾਨਾਂ ਦੇ ਅਨੁਸਾਰ, ਇਹ ਮੰਨਦੇ ਹੋਏ ਕਿ ਡਿਵੈਲਪਰ ਵੱਧ ਤੋਂ ਵੱਧ ਕੁਸ਼ਲਤਾ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਨ, GPT-4 (GPT-100 (3 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰ) ਤੋਂ 17.5 ਗੁਣਾ ਵੱਡਾ) ਬਣਾਉਣ ਲਈ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਸਾਲ ਲਈ ਚੱਲਣ ਵਾਲੇ 7,600 ਗ੍ਰਾਫਿਕਸ ਪ੍ਰੋਸੈਸਿੰਗ ਯੂਨਿਟਾਂ (GPUs) ਦੀ ਲੋੜ ਹੋਵੇਗੀ ਅਤੇ ਲਗਭਗ ਲਾਗਤ USD $200 ਮਿਲੀਅਨ। ਇੱਕ 100-ਖਰਬ ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਨੂੰ ਇੱਕ ਸਾਲ ਲਈ ਇਸਨੂੰ ਪਾਵਰ ਦੇਣ ਲਈ 83,000 GPU ਦੀ ਲੋੜ ਹੋਵੇਗੀ, ਜਿਸਦੀ ਲਾਗਤ USD $2 ਬਿਲੀਅਨ ਤੋਂ ਵੱਧ ਹੋਵੇਗੀ।

ਫਿਰ ਵੀ, ਤਕਨੀਕੀ ਫਰਮਾਂ ML ਹੱਲਾਂ ਦੀ ਮੰਗ ਵਧਣ ਦੇ ਨਾਲ-ਨਾਲ ਆਪਣੇ ਸਦਾ-ਵਧ ਰਹੇ ਸੁਪਰਸਾਈਜ਼ਡ ਏਆਈ ਮਾਡਲਾਂ ਵਿੱਚ ਸਹਿਯੋਗ ਕਰ ਰਹੀਆਂ ਹਨ ਅਤੇ ਨਿਵੇਸ਼ ਕਰ ਰਹੀਆਂ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਚੀਨ-ਅਧਾਰਤ Baidu ਅਤੇ Peng Cheng ਲੈਬ ਨੇ 280 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਨਾਲ, PCL-BAIDU ਵੇਨਕਸਿਨ ਜਾਰੀ ਕੀਤਾ। PCL-BAIDU ਪਹਿਲਾਂ ਹੀ Baidu ਦੀਆਂ ਨਿਊਜ਼ ਫੀਡਾਂ, ਖੋਜ ਇੰਜਣ, ਅਤੇ ਡਿਜੀਟਲ ਸਹਾਇਕ ਦੁਆਰਾ ਵਰਤਿਆ ਜਾ ਰਿਹਾ ਹੈ। 

ਨਵੀਨਤਮ ਗੋ-ਪਲੇਇੰਗ ਪ੍ਰੋਗਰਾਮ ਸੰਸਕਰਣ, ਜੋ ਡੀਪਮਾਈਂਡ ਨੇ ਦਸੰਬਰ 2021 ਵਿੱਚ ਬਣਾਇਆ ਸੀ, ਵਿੱਚ 280 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹਨ। Google Switch-Transformer-GLaM ਮਾਡਲਾਂ ਵਿੱਚ ਕ੍ਰਮਵਾਰ 1 ਟ੍ਰਿਲੀਅਨ ਅਤੇ 1.2 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹਨ। ਏਆਈ ਦੀ ਬੀਜਿੰਗ ਅਕੈਡਮੀ ਤੋਂ ਵੂ ਦਾਓ 2.0 ਹੋਰ ਵੀ ਵਿਸ਼ਾਲ ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ 1.75 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹੋਣ ਦੀ ਰਿਪੋਰਟ ਕੀਤੀ ਗਈ ਹੈ। ਜਿਵੇਂ ਕਿ ਸਮਾਰਟ ਸ਼ਹਿਰਾਂ ਅਤੇ ਆਟੋਮੇਸ਼ਨ ਰੁਕਾਵਟਾਂ ਨੂੰ ਅੱਗੇ ਵਧਾਉਂਦੇ ਰਹਿੰਦੇ ਹਨ, ਮਾਹਿਰਾਂ ਨੂੰ ਯਕੀਨ ਨਹੀਂ ਹੈ ਕਿ ਏਆਈ ਕੰਪਿਊਟ ਅਜਿਹੇ ਭਵਿੱਖ ਦਾ ਸਮਰਥਨ ਕਿਵੇਂ ਕਰੇਗਾ। 

ਸੁਪਰਸਾਈਜ਼ਡ AI ਮਾਡਲਾਂ ਦੇ ਪ੍ਰਭਾਵ

ਸੁਪਰਸਾਈਜ਼ਡ ਏਆਈ ਮਾਡਲਾਂ ਦੇ ਵਿਆਪਕ ਪ੍ਰਭਾਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋ ਸਕਦੇ ਹਨ: 

• ਘੱਟ ਊਰਜਾ ਦੀ ਖਪਤ ਕਰਨ ਵਾਲੇ AI ਕੰਪਿਊਟਰ ਚਿਪਸ ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਨਿਵੇਸ਼ ਅਤੇ ਮੌਕੇ ਵਧੇ। 
• ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਦੀ ਘਾਟ ਕਾਰਨ AI ਦੀ ਪ੍ਰਗਤੀ ਹੌਲੀ ਹੋ ਗਈ, ਜਿਸ ਨਾਲ ਊਰਜਾ ਬਚਾਉਣ ਵਾਲੀਆਂ ਤਕਨਾਲੋਜੀਆਂ ਅਤੇ ਹੱਲਾਂ ਲਈ ਵਧੇਰੇ ਫੰਡਿੰਗ ਹੋ ਗਈ।
• ML ਡਿਵੈਲਪਰ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨੂੰ ਛੱਡ ਕੇ ਵਿਕਲਪਕ ਮਾਡਲ ਬਣਾਉਂਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਵਧੇਰੇ ਕੁਸ਼ਲ ਐਲਗੋਰਿਦਮ ਲਈ ਖੋਜਾਂ ਅਤੇ ਨਵੀਨਤਾ ਹੋ ਸਕਦੀ ਹੈ।
• AI ਹੱਲ ਐਪਲੀਕੇਸ਼ਨ-ਕੇਂਦ੍ਰਿਤ ਸਮੱਸਿਆਵਾਂ 'ਤੇ ਕੇਂਦ੍ਰਤ ਕਰਦੇ ਹੋਏ, ਉਸ ਅਨੁਸਾਰ ਗਣਨਾ ਨੂੰ ਐਡਜਸਟ ਕਰਨਾ ਜਾਂ ਸਿਰਫ ਸੁਪਰਸਾਈਜ਼ ਕਰਨ ਦੀ ਬਜਾਏ ਲੋੜ ਅਨੁਸਾਰ ਸੋਧਣਾ।
• ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਡੇਟਾਸੈੱਟ ਜੋ AI ਪ੍ਰੋਗਰਾਮਾਂ ਨੂੰ ਬਿਹਤਰ ਭਵਿੱਖਬਾਣੀਆਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ, ਜਿਸ ਵਿੱਚ ਮੌਸਮ ਦੀ ਭਵਿੱਖਬਾਣੀ, ਪੁਲਾੜ ਖੋਜ, ਮੈਡੀਕਲ ਨਿਦਾਨ, ਅਤੇ ਅੰਤਰਰਾਸ਼ਟਰੀ ਵਪਾਰ ਸ਼ਾਮਲ ਹਨ।

ਟਿੱਪਣੀ ਕਰਨ ਲਈ ਸਵਾਲ

• ਜੇ ਤੁਸੀਂ ਏਆਈ ਸੈਕਟਰ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹੋ, ਤਾਂ ਬਿਹਤਰ ਐਮਐਲ ਮਾਡਲਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਕੁਝ ਤਰੱਕੀ ਕੀ ਹੈ?
• ਸਿੱਖਣ ਲਈ ਵਿਆਪਕ ਸਿਖਲਾਈ ਡੇਟਾ ਵਾਲੇ ਮਾਡਲਾਂ ਦੇ ਹੋਰ ਸੰਭਾਵੀ ਲਾਭ ਕੀ ਹਨ?