Moonshot AI ने त्यांच्या 2.8 ट्रिलियन पॅरामीटर्सच्या Kimi K3 मॉडेलचे 'वेट्स' (weights) रिलीज केले आहेत. मात्र, प्रचंड कॉम्प्युटेशनल (computational) क्षमतेची गरज असल्याने ते वापरणे कठीण होत आहे. यामुळे मॉडेल उपलब्ध असणे आणि ते चालवण्यासाठी लागणारी प्रचंड इन्फ्रास्ट्रक्चर (infrastructure) यातील तफावत समोर आली आहे, जी डेव्हलपर्ससाठी मोठे आव्हान ठरत आहे.
Moonshot AI ने Kimi K3, जे एक 2.8 ट्रिलियन पॅरामीटर्सचे प्रचंड मोठे आर्टिफिशियल इंटेलिजन्स (AI) मॉडेल आहे, त्याचे 'वेट्स' (weights) डाउनलोडसाठी उपलब्ध करून दिले आहेत. ओपन-वेट AI साठी हे एक महत्त्वाचे पाऊल असले तरी, प्रत्यक्षात हे मॉडेल वापरण्याची क्षमता अजूनही मर्यादित आहे.
अनेक डेव्हलपर्स आणि कंपन्यांसाठी, मॉडेलचे वेट्स उपलब्ध असणे म्हणजे लगेच वापरता येणे नव्हे. याचे कारण म्हणजे, AI मॉडेलमधून आउटपुट (output) तयार करण्यासाठी लागणारी प्रचंड कॉम्प्युटेशनल पॉवर (computational power) आणि तांत्रिक कौशल्ये. या प्रक्रियेला 'इन्फरन्स' (inference) म्हणतात.
इन्फरन्सच्या गरजांमध्ये बदल
सध्याचे मोठे AI मॉडेल्स साध्या मॉडेल्सपेक्षा खूप वेगळे आहेत. Kimi K3 मध्ये 896 विशेष componente असलेले 'मिक्सचर-ऑफ-एक्सपर्ट्स' (mixture-of-experts) आर्किटेक्चर वापरले आहे. जेव्हा युझर प्रश्न विचारतो, तेव्हा सिस्टम फक्त 16 तज्ञांचा सल्ला घेते, याचा अर्थ सुमारे 104 अब्ज पॅरामीटर्स एकाच वेळी सक्रिय होतात. जरी हे 2.8 ट्रिलियन पॅरामीटर्स चालवण्यापेक्षा अधिक कार्यक्षम असले तरी, यासाठी प्रगत हार्डवेअर व्यवस्थापन आवश्यक आहे. या आर्किटेक्चर व्यतिरिक्त, आजचे AI सिस्टीम सेल्फ-व्हेरिफिकेशन (self-verification) आणि बॅकट्रॅकिंग (backtracking) सारखे क्लिष्ट तर्क करतात, तसेच ते सर्च इंजिनसारखी बाह्य साधने वापरतात. या पार्श्वभूमीतील प्रक्रियांना सतत, हाय-स्पीड कॉम्प्युटेशनल सपोर्टची गरज असते, जी बहुतेक सामान्य हार्डवेअर देऊ शकत नाही.
इन्फ्रास्ट्रक्चर आणि मेमरीची मर्यादा
तांत्रिक अडचणी खूप मोठ्या आहेत. Kimi K3 च्या 1.4 टेराबाइट (terabyte) वेट्सना स्टोअर करण्यासाठी प्रचंड मेमरी लागते. मॉडेल लोड करण्यासाठी साधारणपणे 18 हाय-एंड H100 ग्राफिक्स प्रोसेसिंग युनिट्स (GPUs) लागतात. हे लागू करण्यासाठी 'मिक्सचर-ऑफ-एक्सपर्ट्स' सेटअप व्यवस्थापित करण्यासाठी विशेष इंजिनिअरिंग कौशल्यांची आवश्यकता आहे, कारण दिलेल्या विनंतीसाठी मॉडेलचे कोणते भाग आवश्यक असतील याचा अंदाज लावणे आव्हानात्मक आहे. या मॉडेल्समध्ये दिसणारी प्रगत तर्क क्षमता आणि टूल-वापर फक्त वेट्समध्ये साठवलेली नसते; ती कंपन्यांच्या मोठ्या प्रमाणावरील ऑपरेशनल अनुभवातून सुधारली जाते.
भारतीय तंत्रज्ञानावरील परिणाम
मॉडेल उपलब्धता आणि ते चालवण्याची क्षमता यातील तफावत हा भारतीय तंत्रज्ञान क्षेत्रासाठी चिंतेचा विषय आहे. भारताने प्रत्येक अतिरिक्त युझरसाठी कमी खर्चात डिजिटल सार्वजनिक इन्फ्रास्ट्रक्चर यशस्वीरित्या तयार केले आहे. तथापि, आजचे हाय-एंड AI मॉडेल्स एका वेगळ्या मॉडेलवर चालतात, जिथे आवश्यक कॉम्प्युटिंग पॉवरमुळे प्रत्येक युझरला सेवा देण्याचा खर्च जास्त राहतो. Sarvam AI सारख्या कंपन्या भारतीय इन्फ्रास्ट्रक्चरवर आधारित इन्फरन्स सेवांवर लक्ष केंद्रित करून या समस्येचे निराकरण करण्याचा प्रयत्न करत आहेत.
स्थानिक व्यवसाय आणि डेव्हलपर्ससाठी, Kimi K3 सारखी मॉडेल्स स्वीकारण्याचा मार्ग फाइल डाउनलोड करण्यापेक्षा, ती कार्यक्षमतेने चालवण्यासाठी आवश्यक असलेले मोठे, विशेष कॉम्प्युट इन्फ्रास्ट्रक्चर विकसित करणे किंवा त्यावर प्रवेश मिळवणे यावर अधिक अवलंबून आहे. गुंतवणूकदारांनी देशांतर्गत इन्फ्रास्ट्रक्चर प्रदाते या खर्च आणि क्षमतेतील तफावत कशी भरून काढतात, यावर लक्ष ठेवले पाहिजे, जेणेकरून भारतीय बाजारासाठी प्रगत AI व्यावहारिक ठरू शकेल.