एक डेवलपर ने कमाल कर दिया है! उन्होंने 2.8 ट्रिलियन पैरामीटर वाले Kimi K3 AI मॉडल को मात्र 8 GB RAM वाले एक सामान्य कंप्यूटर पर चलाकर दिखा दिया है। यह प्रयोग साबित करता है कि कस्टम सॉफ्टवेयर की मदद से एडवांस AI अब बेसिक हार्डवेयर पर भी चल सकता है, हालांकि, बहुत धीमी प्रोसेसिंग स्पीड इसे रियल-टाइम इस्तेमाल के लिए अव्यावहारिक बनाती है। यह डेवलपमेंट बड़े भाषा मॉडलों (large language models) को छोटे डिवाइसेज के लिए ऑप्टिमाइज़ करने की बढ़ती इंडस्ट्री फोकस को दर्शाता है, जिससे महंगे सर्वर इंफ्रास्ट्रक्चर पर निर्भरता कम होगी।
हाल के एक प्रयोग में यह दिखाया गया है कि 2.8 ट्रिलियन पैरामीटर वाला Kimi K3 आर्टिफिशियल इंटेलिजेंस मॉडल, सामान्य कंज्यूमर-ग्रेड कंप्यूटर पर काम कर सकता है। आमतौर पर, इस साइज़ के मॉडलों के लिए खास और महंगे ग्राफिक्स प्रोसेसर से लैस विशाल सर्वर फार्म की ज़रूरत होती है। इस प्रदर्शन में एक बेसिक CPU और केवल 8 GB RAM का इस्तेमाल किया गया, जो बड़े पैमाने पर AI को डिप्लॉय (deploy) करने के तरीके में एक संभावित बदलाव का संकेत है।
मेमोरी और स्पीड के बीच का समझौता
हालांकि यह मॉडल सीमित हार्डवेयर पर चल सकता है, लेकिन परफॉरमेंस के मामले में एक बड़ी कमी है। सिस्टम को एक सिंगल टोकन (AI प्रोसेसिंग के लिए टेक्स्ट की मूल इकाई) जेनरेट करने में लगभग 30 सेकंड लगते हैं। यह मॉडल को रियल-टाइम चैट या तेज़ी से डॉक्यूमेंट जेनरेट करने जैसे व्यावहारिक, रोज़मर्रा के उपयोग के लिए बहुत धीमा बनाता है। हाई-एंड मेमोरी की ज़रूरत से बचने के लिए, सॉफ्टवेयर स्टोरेज की एक बड़ी मात्रा पर निर्भर करता है, जिसके लिए मॉडल फाइलों को होस्ट करने हेतु लगभग 1.7 TB SSD स्पेस की आवश्यकता होती है। प्रभावी रूप से, डेवलपर ने कम RAM की आवश्यकता के बदले में स्पीड और स्टोरेज स्पेस का ट्रेड-ऑफ (trade-off) किया है।
Kimi K3 के पीछे की टेक्नोलॉजी
बीजिंग स्थित Moonshot AI द्वारा विकसित, Kimi K3 एक विशेष आर्किटेक्चर का उपयोग करता है जो किसी भी रिक्वेस्ट के लिए अपने कुल पैरामीटर का केवल एक छोटा हिस्सा ही एक्टिवेट करता है। यह तकनीक मॉडल को सोचने के लिए आवश्यक कम्प्यूटेशनल इंटेंसिटी (computational intensity) को कम करने में मदद करती है। Kimi K3 को ओपन-वेट मॉडल के रूप में जारी करके, Moonshot AI ने शोधकर्ताओं और डेवलपर्स को इसकी क्षमताओं का परीक्षण करने की अनुमति दी है, जिसमें एक मिलियन टोकन के कॉन्टेक्स्ट विंडो (context window) के साथ टेक्स्ट, इमेज और वीडियो को प्रोसेस करना शामिल है। यह कॉन्टेक्स्ट विंडो साइज़ मॉडल को एक बार में बड़ी मात्रा में जानकारी का विश्लेषण करने की सुविधा देता है, जो वर्तमान AI बाज़ार में एक प्रतिस्पर्धी फीचर है।
AI हार्डवेयर इंडस्ट्री पर प्रभाव
यह डेवलपमेंट सॉफ्टवेयर डेवलपर्स के बीच आम हार्डवेयर पर बड़े मॉडलों को कंप्रेस (compress) और ऑप्टिमाइज़ (optimize) करने की एक व्यापक ट्रेंड को दर्शाता है। यदि ये ऑप्टिमाइज़ेशन तकनीकें बेहतर होती रहती हैं, तो यह अंततः इंडस्ट्री की महंगे डेटा सेंटर और विशेष हाई-एंड चिप्स पर भारी निर्भरता को कम कर सकती है। टेक्नोलॉजी सेक्टर में निवेशकों के लिए, यह सॉफ्टवेयर-संचालित दक्षता की ओर एक बदलाव का प्रतिनिधित्व करता है। हालांकि वर्तमान परिणाम व्यावसायिक उत्पादकता के लिए उपयुक्त नहीं हैं, वे भविष्य में कंपनियां उन्नत AI सिस्टम चलाने की लागत को कैसे कम कर सकती हैं, इसके लिए एक ब्लूप्रिंट प्रदान करते हैं। इस ट्रेंड का अगला चरण यह देखना होगा कि क्या डेवलपर इन मॉडलों को रोज़मर्रा के अनुप्रयोगों के लिए उपयोगी बनाने हेतु प्रोसेसिंग समय को काफी कम करते हुए मॉडल की सटीकता बनाए रख सकते हैं।