ತರಬೇತಿ AI ಮಾದರಿಗಳು: ಕಡಿಮೆ-ವೆಚ್ಚದ AI ಅಭಿವೃದ್ಧಿಗಾಗಿ ಹುಡುಕಾಟ

• ಲೇಖಕ ಬಗ್ಗೆ:
• ಲೇಖಕ ಹೆಸರು

  ಕ್ವಾಂಟಮ್ರನ್ ದೂರದೃಷ್ಟಿ
• ಮಾರ್ಚ್ 21, 2023

ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ (AI) ಅಭಿವೃದ್ಧಿಯಲ್ಲಿನ ಹಲವಾರು ಸವಾಲುಗಳಿಗೆ ಆಳವಾದ ಕಲಿಕೆ (DL) ಸಮರ್ಥ ಪರಿಹಾರವಾಗಿದೆ ಎಂದು ಸಾಬೀತಾಗಿದೆ. ಆದರೆ, ಡಿಎಲ್ ಕೂಡ ದುಬಾರಿಯಾಗುತ್ತಿದೆ. ಆಳವಾದ ನರಮಂಡಲದ ಕಾರ್ಯನಿರ್ವಹಣೆಗೆ ಹೆಚ್ಚಿನ ಸಂಸ್ಕರಣಾ ಸಂಪನ್ಮೂಲಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ಪೂರ್ವ-ತರಬೇತಿಯಲ್ಲಿ. ಕೆಟ್ಟದಾಗಿ, ಈ ಶಕ್ತಿ-ತೀವ್ರ ಪ್ರಕ್ರಿಯೆಯು ಈ ಅವಶ್ಯಕತೆಗಳು ದೊಡ್ಡ ಇಂಗಾಲದ ಹೆಜ್ಜೆಗುರುತುಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತವೆ, AI ಸಂಶೋಧನೆಯ ವಾಣಿಜ್ಯೀಕರಣದ ESG ರೇಟಿಂಗ್‌ಗಳನ್ನು ಹಾನಿಗೊಳಿಸುತ್ತವೆ.

ತರಬೇತಿ AI ಮಾದರಿಗಳ ಸಂದರ್ಭ

ಪೂರ್ವ-ತರಬೇತಿ ಈಗ ದೊಡ್ಡ-ಪ್ರಮಾಣದ ನರಗಳ ಜಾಲಗಳನ್ನು ನಿರ್ಮಿಸಲು ಅತ್ಯಂತ ಜನಪ್ರಿಯ ವಿಧಾನವಾಗಿದೆ, ಮತ್ತು ಇದು ಕಂಪ್ಯೂಟರ್ ದೃಷ್ಟಿ (CV) ಮತ್ತು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆಯಲ್ಲಿ (NLP) ಉತ್ತಮ ಯಶಸ್ಸನ್ನು ತೋರಿಸಿದೆ. ಆದಾಗ್ಯೂ, ಬೃಹತ್ DL ಮಾದರಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವುದು ತುಂಬಾ ದುಬಾರಿಯಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, 3 ಶತಕೋಟಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಮತ್ತು ಉನ್ನತ ದರ್ಜೆಯ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್‌ಗಳೊಂದಿಗೆ ಅಗಾಧವಾದ ಸರ್ವರ್ ಕ್ಲಸ್ಟರ್‌ಗಳಿಗೆ ಪ್ರವೇಶದ ಅಗತ್ಯವಿರುವ OpenAI ನ ಜನರೇಟಿವ್ ಪ್ರಿ-ಟ್ರೇನ್ಡ್ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ 3 (GPT-175) ತರಬೇತಿಯು USD $12 ಮಿಲಿಯನ್ ಅಂದಾಜು ವೆಚ್ಚವನ್ನು ಹೊಂದಿದೆ. ಮಾದರಿಯನ್ನು ಚಲಾಯಿಸಲು ಶಕ್ತಿಯುತ ಸರ್ವರ್ ಮತ್ತು ನೂರಾರು ಗಿಗಾಬೈಟ್‌ಗಳ ವೀಡಿಯೊ ರಾಂಡಮ್ ಆಕ್ಸೆಸ್ ಮೆಮೊರಿ (VRAM) ಸಹ ಅಗತ್ಯವಿದೆ.

ಪ್ರಮುಖ ಟೆಕ್ ಕಂಪನಿಗಳು ಅಂತಹ ತರಬೇತಿ ವೆಚ್ಚಗಳನ್ನು ಪಡೆಯಲು ಸಾಧ್ಯವಾಗಬಹುದಾದರೂ, ಇದು ಸಣ್ಣ ಆರಂಭಿಕ ಮತ್ತು ಸಂಶೋಧನಾ ಸಂಸ್ಥೆಗಳಿಗೆ ನಿಷೇಧಿತವಾಗುತ್ತದೆ. ಮೂರು ಅಂಶಗಳು ಈ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುತ್ತವೆ. 

1. ಸಾವಿರಾರು ಗ್ರಾಫಿಕ್ ಪ್ರೊಸೆಸಿಂಗ್ ಯೂನಿಟ್‌ಗಳೊಂದಿಗೆ (ಜಿಪಿಯು) ಹಲವಾರು ವಾರಗಳ ಅಗತ್ಯವಿರುವ ವ್ಯಾಪಕವಾದ ಗಣನೆ ವೆಚ್ಚಗಳು.

2. ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾದ ಮಾದರಿಗಳಿಗೆ ಬೃಹತ್ ಸಂಗ್ರಹಣೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ, ಸಾಮಾನ್ಯವಾಗಿ ನೂರಾರು ಗಿಗಾಬೈಟ್‌ಗಳನ್ನು (GBs) ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಇದಲ್ಲದೆ, ವಿವಿಧ ಕಾರ್ಯಗಳಿಗಾಗಿ ಅನೇಕ ಮಾದರಿಗಳನ್ನು ಸಂಗ್ರಹಿಸಬೇಕಾಗಿದೆ.

3. ದೊಡ್ಡ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ನಿಖರವಾದ ಕಂಪ್ಯೂಟೇಶನಲ್ ಪವರ್ ಮತ್ತು ಹಾರ್ಡ್‌ವೇರ್ ಅಗತ್ಯವಿದೆ; ಇಲ್ಲದಿದ್ದರೆ, ಫಲಿತಾಂಶಗಳು ಸೂಕ್ತವಾಗಿರುವುದಿಲ್ಲ.

ನಿಷೇಧಿತ ವೆಚ್ಚಗಳ ಕಾರಣದಿಂದಾಗಿ, AI ಸಂಶೋಧನೆಯು ಹೆಚ್ಚು ವಾಣಿಜ್ಯೀಕರಣಗೊಂಡಿದೆ, ಇದರಲ್ಲಿ ಬಿಗ್ ಟೆಕ್ ಕಂಪನಿಗಳು ಈ ಕ್ಷೇತ್ರದಲ್ಲಿ ಅಧ್ಯಯನಗಳನ್ನು ಮುನ್ನಡೆಸುತ್ತಿವೆ. ಈ ಸಂಸ್ಥೆಗಳು ತಮ್ಮ ಸಂಶೋಧನೆಗಳಿಂದ ಹೆಚ್ಚಿನ ಲಾಭವನ್ನು ಪಡೆಯುತ್ತವೆ. ಏತನ್ಮಧ್ಯೆ, ಸಂಶೋಧನಾ ಸಂಸ್ಥೆಗಳು ಮತ್ತು ಲಾಭೋದ್ದೇಶವಿಲ್ಲದವರು ಈ ಕ್ಷೇತ್ರದಲ್ಲಿ ತಮ್ಮ ಪರಿಶೋಧನೆಯನ್ನು ನಡೆಸಲು ಬಯಸಿದರೆ ಈ ವ್ಯವಹಾರಗಳೊಂದಿಗೆ ಹೆಚ್ಚಾಗಿ ಸಹಕರಿಸಬೇಕಾಗುತ್ತದೆ. 

ಅಡ್ಡಿಪಡಿಸುವ ಪರಿಣಾಮ

ನರಗಳ ಜಾಲಗಳನ್ನು "ಪ್ರೂನ್" ಮಾಡಬಹುದೆಂದು ಸೂಚಿಸುವ ಪುರಾವೆಗಳಿವೆ. ಇದರರ್ಥ ಸೂಪರ್‌ಸೈಸ್ಡ್ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳಲ್ಲಿ, ಒಂದು ಸಣ್ಣ ಗುಂಪು ಅದರ ಕಾರ್ಯನಿರ್ವಹಣೆಯ ಮೇಲೆ ಭಾರೀ ಪರಿಣಾಮಗಳಿಲ್ಲದೆ ಮೂಲ AI ಮಾದರಿಯಂತೆಯೇ ಅದೇ ಮಟ್ಟದ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, 2020 ರಲ್ಲಿ, ಸ್ವಾರ್ಥ್‌ಮೋರ್ ಕಾಲೇಜ್ ಮತ್ತು ಲಾಸ್ ಅಲಾಮೋಸ್ ನ್ಯಾಷನಲ್ ಲ್ಯಾಬೊರೇಟರಿಯ AI ಸಂಶೋಧಕರು ಗಣಿತಶಾಸ್ತ್ರಜ್ಞ ಜಾನ್ ಕಾನ್ವೇ ಅವರ ಗೇಮ್ ಆಫ್ ಲೈಫ್‌ನಲ್ಲಿ ಭವಿಷ್ಯದ ಹಂತಗಳನ್ನು ಊಹಿಸಲು ಸಂಕೀರ್ಣವಾದ DL ಮಾದರಿ ಕಲಿಯಬಹುದಾದರೂ, ಯಾವಾಗಲೂ ಕಲಿಸಬಹುದಾದ ಸಣ್ಣ ನರಮಂಡಲವಿದೆ ಎಂದು ವಿವರಿಸಿದರು. ಅದೇ ಕೆಲಸವನ್ನು ಮಾಡಲು.

ಸಂಪೂರ್ಣ ತರಬೇತಿ ಕಾರ್ಯವಿಧಾನವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದ ನಂತರ ಅವರು DL ಮಾದರಿಯ ಹಲವಾರು ನಿಯತಾಂಕಗಳನ್ನು ತ್ಯಜಿಸಿದರೆ, ಅವರು ಅದನ್ನು ಅದರ ಮೂಲ ಗಾತ್ರದ 10 ಪ್ರತಿಶತಕ್ಕೆ ಕಡಿಮೆ ಮಾಡಬಹುದು ಮತ್ತು ಅದೇ ಫಲಿತಾಂಶವನ್ನು ಸಾಧಿಸಬಹುದು ಎಂದು ಸಂಶೋಧಕರು ಕಂಡುಹಿಡಿದಿದ್ದಾರೆ. ಲ್ಯಾಪ್‌ಟಾಪ್‌ಗಳು ಮತ್ತು ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳಂತಹ ಸಾಧನಗಳಲ್ಲಿ ಜಾಗವನ್ನು ಉಳಿಸಲು ಹಲವಾರು ಟೆಕ್ ಕಂಪನಿಗಳು ಈಗಾಗಲೇ ತಮ್ಮ AI ಮಾದರಿಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸುತ್ತಿವೆ. ಈ ವಿಧಾನವು ಹಣವನ್ನು ಉಳಿಸುವುದು ಮಾತ್ರವಲ್ಲದೆ ಸಾಫ್ಟ್‌ವೇರ್ ಇಂಟರ್ನೆಟ್ ಸಂಪರ್ಕವಿಲ್ಲದೆ ರನ್ ಮಾಡಲು ಮತ್ತು ನೈಜ ಸಮಯದಲ್ಲಿ ಫಲಿತಾಂಶಗಳನ್ನು ಪಡೆಯಲು ಅನುಮತಿಸುತ್ತದೆ. 

ಸಣ್ಣ ನರಗಳ ಜಾಲಗಳಿಗೆ ಧನ್ಯವಾದಗಳು, ಸೌರ ಬ್ಯಾಟರಿಗಳು ಅಥವಾ ಬಟನ್ ಕೋಶಗಳಿಂದ ಚಾಲಿತ ಸಾಧನಗಳಲ್ಲಿ DL ಸಾಧ್ಯವಾದಾಗ ನಿದರ್ಶನಗಳಿವೆ. ಆದಾಗ್ಯೂ, ಸಮರುವಿಕೆಯನ್ನು ಮಾಡುವ ವಿಧಾನದ ಮಿತಿಯನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೊದಲು ಮಾದರಿಯು ಇನ್ನೂ ಸಂಪೂರ್ಣವಾಗಿ ತರಬೇತಿ ಪಡೆಯಬೇಕಾಗಿದೆ. ತಮ್ಮದೇ ಆದ ತರಬೇತಿ ನೀಡಬಹುದಾದ ನರಗಳ ಉಪವಿಭಾಗಗಳ ಕುರಿತು ಕೆಲವು ಆರಂಭಿಕ ಅಧ್ಯಯನಗಳು ಇದ್ದವು. ಆದಾಗ್ಯೂ, ಅವುಗಳ ನಿಖರತೆಯು ಸೂಪರ್‌ಸೈಸ್ಡ್ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳಂತೆಯೇ ಇರುವುದಿಲ್ಲ.

ತರಬೇತಿ AI ಮಾದರಿಗಳ ಪರಿಣಾಮಗಳು

ತರಬೇತಿ AI ಮಾದರಿಗಳ ವ್ಯಾಪಕ ಪರಿಣಾಮಗಳು ಒಳಗೊಂಡಿರಬಹುದು: 

• ನರಗಳ ಜಾಲಗಳ ತರಬೇತಿಯ ವಿವಿಧ ವಿಧಾನಗಳಲ್ಲಿ ಹೆಚ್ಚಿದ ಸಂಶೋಧನೆ; ಆದಾಗ್ಯೂ, ಹಣಕಾಸಿನ ಕೊರತೆಯಿಂದ ಪ್ರಗತಿಯು ನಿಧಾನವಾಗಬಹುದು.
• ಬಿಗ್ ಟೆಕ್ ತಮ್ಮ AI ಸಂಶೋಧನಾ ಪ್ರಯೋಗಾಲಯಗಳಿಗೆ ಧನಸಹಾಯವನ್ನು ಮುಂದುವರೆಸುತ್ತಿದೆ, ಇದು ಆಸಕ್ತಿಯ ಹೆಚ್ಚಿನ ಸಂಘರ್ಷಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ.
• AI ಅಭಿವೃದ್ಧಿಯ ವೆಚ್ಚಗಳು ಏಕಸ್ವಾಮ್ಯವನ್ನು ರೂಪಿಸಲು ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ, ಸ್ಥಾಪಿತ ಟೆಕ್ ಸಂಸ್ಥೆಗಳೊಂದಿಗೆ ಸ್ವತಂತ್ರವಾಗಿ ಸ್ಪರ್ಧಿಸಲು ಹೊಸ AI ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ಗಳ ಸಾಮರ್ಥ್ಯವನ್ನು ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ. ಉದಯೋನ್ಮುಖ ವ್ಯಾಪಾರದ ಸನ್ನಿವೇಶದಲ್ಲಿ ಬೆರಳೆಣಿಕೆಯಷ್ಟು ದೊಡ್ಡ ತಂತ್ರಜ್ಞಾನ ಸಂಸ್ಥೆಗಳು ದೈತ್ಯ ಸ್ವಾಮ್ಯದ AI ಮಾದರಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವುದನ್ನು ಮತ್ತು ಅವುಗಳನ್ನು ಸೇವೆ/ಉಪಯುಕ್ತತೆಯಾಗಿ ಸಣ್ಣ AI ಸಂಸ್ಥೆಗಳಿಗೆ ಗುತ್ತಿಗೆ ನೀಡುವುದನ್ನು ನೋಡಬಹುದು.
• ಸಂಶೋಧನಾ ಸಂಸ್ಥೆಗಳು, ಲಾಭರಹಿತ ಸಂಸ್ಥೆಗಳು ಮತ್ತು ವಿಶ್ವವಿದ್ಯಾನಿಲಯಗಳು ತಮ್ಮ ಪರವಾಗಿ ಕೆಲವು AI ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸಲು ದೊಡ್ಡ ತಂತ್ರಜ್ಞಾನದಿಂದ ಧನಸಹಾಯ ಪಡೆಯುತ್ತಿವೆ. ಈ ಪ್ರವೃತ್ತಿಯು ಶಿಕ್ಷಣದಿಂದ ಕಾರ್ಪೊರೇಶನ್‌ಗಳಿಗೆ ಹೆಚ್ಚು ಮೆದುಳಿನ ಡ್ರೈನ್‌ಗೆ ಕಾರಣವಾಗಬಹುದು.
• ತಮ್ಮ ಸಂಶೋಧನೆ ಮತ್ತು ಅಭಿವೃದ್ಧಿ ಯೋಜನೆಗಳಿಗೆ ಜವಾಬ್ದಾರರಾಗುವಂತೆ ಮಾಡಲು ತಮ್ಮ AI ನೈತಿಕತೆಯ ಮಾರ್ಗಸೂಚಿಗಳನ್ನು ಪ್ರಕಟಿಸಲು ಮತ್ತು ನಿಯಮಿತವಾಗಿ ನವೀಕರಿಸಲು ದೊಡ್ಡ ತಂತ್ರಜ್ಞಾನಕ್ಕೆ ಹೆಚ್ಚಿದ ಒತ್ತಡ.
• ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯ ಅಗತ್ಯವಿರುವುದರಿಂದ ತರಬೇತಿ AI ಮಾದರಿಗಳು ಹೆಚ್ಚು ದುಬಾರಿಯಾಗುತ್ತಿವೆ, ಇದು ಹೆಚ್ಚು ಇಂಗಾಲದ ಹೊರಸೂಸುವಿಕೆಗೆ ಕಾರಣವಾಗುತ್ತದೆ.
• ಕೆಲವು ಸರ್ಕಾರಿ ಏಜೆನ್ಸಿಗಳು ಈ ದೈತ್ಯ AI ಮಾದರಿಗಳ ತರಬೇತಿಯಲ್ಲಿ ಬಳಸಲಾದ ಡೇಟಾವನ್ನು ನಿಯಂತ್ರಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿವೆ. ಹಾಗೆಯೇ, ಸ್ಪರ್ಧಾತ್ಮಕ ಏಜೆನ್ಸಿಗಳು SME ಆವಿಷ್ಕಾರವನ್ನು ಉತ್ತೇಜಿಸುವ ಪ್ರಯತ್ನದಲ್ಲಿ ಸಣ್ಣ ದೇಶೀಯ ಸಂಸ್ಥೆಗಳಿಗೆ ನಿರ್ದಿಷ್ಟ ಗಾತ್ರದ AI ಮಾದರಿಗಳನ್ನು ಪ್ರವೇಶಿಸುವಂತೆ ಒತ್ತಾಯಿಸುವ ಕಾನೂನನ್ನು ರಚಿಸಬಹುದು.

ಪರಿಗಣಿಸಬೇಕಾದ ಪ್ರಶ್ನೆಗಳು

• ನೀವು AI ವಲಯದಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಸಂಸ್ಥೆಯು ಹೆಚ್ಚು ಪರಿಸರ ಸಮರ್ಥನೀಯ AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಅಭಿವೃದ್ಧಿಪಡಿಸುತ್ತಿದೆ?
• ದುಬಾರಿ AI ಮಾದರಿಗಳ ಸಂಭಾವ್ಯ ದೀರ್ಘಾವಧಿಯ ಪರಿಣಾಮಗಳು ಯಾವುವು?