एका डेव्हलपरने 2.8 ट्रिलियन पॅरामीटर्सचे Kimi K3 AI मॉडेल 8 GB RAM असलेल्या सामान्य कॉम्प्युटरवर यशस्वीरित्या चालवले आहे. हे तंत्रज्ञान दाखवते की कस्टम सॉफ्टवेअर वापरून प्रगत AI बेसिक हार्डवेअरवर चालू शकते, मात्र अत्यंत धीम्या गतीमुळे ते रिअल-टाइम वापरासाठी अव्यवहार्य आहे. हा विकास मोठ्या लँग्वेज मॉडेल्सना लहान उपकरणांसाठी ऑप्टिमाइझ करण्यावर वाढत्या इंडस्ट्रीच्या फोकसला अधोरेखित करतो.
एका ताज्या प्रयोगात असे दिसून आले आहे की, 2.8 ट्रिलियन पॅरामीटर्स असलेले Kimi K3 आर्टिफिशियल इंटेलिजन्स मॉडेल सामान्य ग्राहकोपयोगी कॉम्प्युटरवर कार्य करू शकते. सामान्यतः, या आकाराच्या मॉडेल्सना विशेष आणि महागड्या ग्राफिक्स प्रोसेसरनी (Graphics Processors) सुसज्ज असलेल्या मोठ्या सर्व्हर फार्म्सची (Server Farms) आवश्यकता असते. या प्रात्यक्षिकात एक बेसिक CPU आणि केवळ 8 GB RAM वापरण्यात आली, जी मोठ्या प्रमाणावरील AI कसे तैनात केले जाऊ शकते यात संभाव्य बदल दर्शवते.
मेमरी आणि स्पीडमधील तडजोड
हे मॉडेल मर्यादित हार्डवेअरवर चालू शकत असले तरी, कार्यक्षमतेच्या बाबतीत त्यात मोठी मर्यादा आहे. सिस्टमला एका वेळी फक्त एक टोकन (AI प्रोसेसिंगसाठी टेक्स्टचे मूलभूत युनिट) तयार करण्यासाठी सुमारे 30 सेकंदांचा वेळ लागतो. यामुळे हे मॉडेल रिअल-टाइम चॅट किंवा जलद दस्तऐवज निर्मितीसारख्या व्यावहारिक, दैनंदिन वापरासाठी खूपच धीमे ठरते. उच्च-क्षमतेच्या मेमरीची गरज टाळण्यासाठी, सॉफ्टवेअर मोठ्या प्रमाणात स्टोरेजवर अवलंबून आहे, ज्यासाठी मॉडेल फाइल्स होस्ट करण्यासाठी अंदाजे 1.7 TB SSD स्पेस आवश्यक आहे. प्रभावीपणे, डेव्हलपरने कमी RAM आवश्यकतांसाठी स्पीड आणि स्टोरेज स्पेसची तडजोड केली आहे.
Kimi K3 मागील तंत्रज्ञान
बीजिंग-स्थित Moonshot AI ने विकसित केलेले Kimi K3, एक विशेष आर्किटेक्चर वापरते जे कोणत्याही विशिष्ट विनंतीसाठी त्याच्या एकूण पॅरामीटर्सचा फक्त एक छोटा भाग सक्रिय करते. ही पद्धत मॉडेलला विचार करण्यासाठी आवश्यक असलेली संगणकीय तीव्रता कमी करण्यास मदत करते. Kimi K3 ओपन-वेट मॉडेल म्हणून रिलीज केल्यामुळे, Moonshot AI ने संशोधक आणि डेव्हलपर्सना त्याच्या क्षमतांची चाचणी घेण्याची परवानगी दिली आहे, ज्यात टेक्स्ट, प्रतिमा आणि व्हिडिओ प्रक्रिया करण्याची क्षमता एका दशलक्ष टोकन्सच्या कॉन्टेक्स्ट विंडोसह (Context Window) समाविष्ट आहे. हे कॉन्टेक्स्ट विंडो आकार मॉडेलला एकाच वेळी मोठ्या प्रमाणात माहितीचे विश्लेषण करण्यास अनुमती देते, जे सध्याच्या AI मार्केटमध्ये एक स्पर्धात्मक वैशिष्ट्य आहे.
AI हार्डवेअर उद्योगावरील परिणाम
हे विकास सामान्य हार्डवेअरवर मोठ्या मॉडेल्सना संकुचित (Compress) आणि ऑप्टिमाइझ करण्याच्या सॉफ्टवेअर डेव्हलपर्समधील व्यापक ट्रेंड दर्शवते. जर या ऑप्टिमायझेशन तंत्रांमध्ये सुधारणा होत राहिली, तर भविष्यात महागडे डेटा सेंटर्स आणि विशेष हाय-एंड चिप्सवरील उद्योगाचे अवलंबित्व कमी होऊ शकते. तंत्रज्ञान क्षेत्रातील गुंतवणूकदारांसाठी, हे सॉफ्टवेअर-चालित कार्यक्षमतेकडे एक बदल दर्शवते. जरी सध्याचे परिणाम व्यावसायिक उत्पादकतेसाठी योग्य नसले तरी, कंपन्या भविष्यात प्रगत AI प्रणाली चालवण्याचा खर्च कसा कमी करू शकतात यासाठी ते एक ब्लू प्रिंट प्रदान करतात. या ट्रेंडचा पुढील टप्पा म्हणजे डेव्हलपर्स मॉडेलची अचूकता टिकवून ठेवू शकतात की नाही हे पाहणे, त्याच वेळी प्रक्रिया वेळ लक्षणीयरीत्या कमी करून या मॉडेल्सना दैनंदिन अनुप्रयोगांसाठी उपयुक्त बनवणे.