Moonshot AI நிறுவனம் தனது 2.8 டிரில்லியன் பாராமீட்டர் கொண்ட Kimi K3 மாடலுக்கான வெய்ட்ஸ்களை வெளியிட்டுள்ளது. ஆனால், இதை இயக்க அதிக கம்ப்யூட்டிங் சக்தி தேவைப்படுவதால், பயன்படுத்துவது கடினமாக உள்ளது. இது டெவலப்பர்களுக்கு ஒரு பெரிய சவாலாக மாறியுள்ளது.
Moonshot AI நிறுவனம், ஆர்டிஃபிஷியல் இன்டலிஜென்ஸ் துறையில் ஒரு பெரிய பாய்ச்சலாக, தனது 2.8 டிரில்லியன் பாராமீட்டர் (parameter) கொண்ட Kimi K3 மாடலுக்கான வெய்ட்ஸ்களை (weights) பதிவிறக்கம் செய்ய வெளியிட்டுள்ளது. இது ஓப்பன்-வெயிட் AI (open-weight AI) வளர்ச்சிக்கு ஒரு முக்கிய படி என்றாலும், இந்த மாடலை நிஜமாக இயக்குவதற்கான சாத்தியக்கூறுகள் மிகக் குறைவாகவே உள்ளன.
பல டெவலப்பர்கள் மற்றும் நிறுவனங்களுக்கு, இந்த மாடலின் வெய்ட்ஸ்கள் கிடைப்பது என்பது உடனடி பயன்பாட்டிற்கு வழிவகுக்காது. ஏனென்றால், ஒரு AI மாடலில் இருந்து வெளியீட்டைப் பெறுவதான இன்ஃபெரன்ஸ் (inference) செயல்முறைக்கு மிகப்பெரிய கம்ப்யூட்டிங் சக்தி மற்றும் தொழில்நுட்ப நிபுணத்துவம் தேவைப்படுகிறது.
இன்ஃபெரன்ஸ் தேவைகளில் மாற்றம்
தற்போதைய அதிநவீன AI மாடல்கள், பழைய மாடல்களை விட மிகவும் வேறுபட்டவை. Kimi K3 மாடல், 896 சிறப்பு கூறுகளைக் கொண்ட ஒரு சிக்கலான 'mixture-of-experts' கட்டமைப்பைப் பயன்படுத்துகிறது. ஒரு பயனர் ஒரு கேள்வியை அனுப்பும்போது, அதில் 16 நிபுணர்கள் மட்டுமே ஆலோசனை செய்யப்படுவார்கள். அதாவது, சுமார் 104 பில்லியன் பாராமீட்டர்கள் ஒரே நேரத்தில் செயல்படும். இது 2.8 டிரில்லியன் பாராமீட்டர்களை இயக்குவதை விட திறமையானது என்றாலும், மேம்பட்ட ஹார்டுவேர் மேலாண்மை தேவைப்படுகிறது.
இந்தக் கட்டமைப்பிற்கு அப்பாற்பட்டு, தற்போதைய AI அமைப்புகள் சுய-சரிபார்ப்பு மற்றும் பின்வாங்குதல் போன்ற சிக்கலான பகுத்தறிவுகளைச் செய்கின்றன, மேலும் தேடுபொறிகள் போன்ற வெளிப்புற கருவிகளையும் பயன்படுத்துகின்றன. இந்த பின்னணி செயல்முறைகளுக்கு நிலையான, அதிவேக கம்ப்யூட்டிங் ஆதரவு தேவைப்படுகிறது, இது பெரும்பாலான சாதாரண கம்ப்யூட்டர்களால் வழங்க முடியாது.
உள்கட்டமைப்பு மற்றும் மெமரி தடைகள்
இந்த மாடலை இயக்க ஒரு பெரிய தொழில்நுட்பத் தடை உள்ளது. Kimi K3-க்கான 1.4 டெராபைட் (terabyte) வெய்ட்ஸ்களை சேமிக்கவே மிகப்பெரிய மெமரி தேவைப்படுகிறது. பொதுவாக, மாடலை ஏற்றுவதற்கு 18 உயர்தர H100 கிராபிக்ஸ் பிராசசிங் யூனிட்கள் (GPUs) தேவைப்படும். இதை செயல்படுத்துவதற்கு, mixture-of-experts அமைப்பை நிர்வகிக்க சிறப்பு பொறியியல் திறன்கள் தேவை, ஏனெனில் ஒரு குறிப்பிட்ட கோரிக்கைக்கு மாடலின் எந்தப் பகுதிகள் தேவைப்படும் என்று கணிப்பது கடினம். இந்த மாடல்களில் காணப்படும் மேம்பட்ட பகுத்தறிவு மற்றும் கருவி-பயன்பாட்டு திறன்கள் வெய்ட்ஸ்களில் மட்டும் சேமிக்கப்படவில்லை; அவை நிறுவனங்கள் காலப்போக்கில் உருவாக்கும் பெரிய அளவிலான செயல்பாட்டு அனுபவத்தின் மூலம் மேம்படுத்தப்படுகின்றன.
இந்திய தொழில்நுட்பத்தில் இதன் தாக்கம்
மாடல் கிடைப்பதற்கும், அதை இயக்கும் திறனுக்கும் இடையிலான இந்த இடைவெளி, இந்திய தொழில்நுட்பத் துறைக்கு ஒரு முக்கிய கவலையாக உள்ளது. இந்தியாவில், ஒவ்வொரு கூடுதல் பயனருக்கும் குறைந்த செலவில் டிஜிட்டல் பொது உள்கட்டமைப்பை உருவாக்குவதில் வெற்றி கண்டுள்ளோம். இருப்பினும், உயர்தர AI மாடல்கள் தற்போது வேறுபட்ட மாதிரியில் இயங்குகின்றன, அங்கு தேவையான கம்ப்யூட்டிங் சக்தி காரணமாக ஒவ்வொரு பயனருக்கும் சேவை செய்வதற்கான செலவு அதிகமாக உள்ளது.
Sarvam AI போன்ற நிறுவனங்கள், இந்திய உள்கட்டமைப்பை மையமாகக் கொண்ட இன்ஃபெரன்ஸ் சேவைகளை உருவாக்குவதில் கவனம் செலுத்தி இதை நிவர்த்தி செய்ய முயற்சிக்கின்றன. உள்ளூர் வணிகங்கள் மற்றும் டெவலப்பர்களுக்கு, Kimi K3 போன்ற மாடல்களை ஏற்றுக்கொள்வதற்கான பாதை, கோப்புகளைப் பதிவிறக்குவதை விட, அவற்றை திறமையாக இயக்கத் தேவையான மிகப்பெரிய, சிறப்பு கம்ப்யூட் உள்கட்டமைப்பை உருவாக்குவது அல்லது அணுகுவதைப் பொறுத்தது. உள்நாட்டு உள்கட்டமைப்பு வழங்குநர்கள் இந்த செலவு மற்றும் திறன் இடைவெளியை எவ்வாறு குறைக்கிறார்கள் என்பதை முதலீட்டாளர்கள் கண்காணிக்க வேண்டும், அப்போதுதான் மேம்பட்ட AI இந்திய சந்தைக்கு நடைமுறைக்கு வரும்.