ஒரு டெவலப்பர், 2.8 டிரில்லியன் அளவுருக்கள் கொண்ட Kimi K3 AI மாடலை, வெறும் 8 GB RAM உள்ள சாதாரண கணினியில் இயக்கி சாதனை படைத்துள்ளார். இது அதிநவீன AI-யை அடிப்படை ஹார்டுவேரில் இயக்க முடியும் என்பதை நிரூபித்தாலும், மிக மெதுவான செயலாக்க வேகம் காரணமாக நிஜ நேரத்தில் பயன்படுத்துவது நடைமுறைக்கு சாத்தியமற்றது.
சமீபத்தில் நடந்த ஒரு பரிசோதனையில், 2.8 டிரில்லியன் அளவுருக்களைக் கொண்ட Kimi K3 செயற்கை நுண்ணறிவு (AI) மாடல், ஒரு சாதாரண நுகர்வோர் தர கணினியில் இயங்கக்கூடியதாக இருப்பது தெரியவந்துள்ளது. பொதுவாக, இவ்வளவு பெரிய மாடல்களுக்கு பிரத்யேக மற்றும் விலையுயர்ந்த கிராபிக்ஸ் செயலிகள் பொருத்தப்பட்ட பிரம்மாண்டமான சர்வர் ஃபார்ம்கள் தேவைப்படும். ஆனால் இந்த செயல்முறை, ஒரு அடிப்படை CPU மற்றும் வெறும் 8 GB RAM ஐப் பயன்படுத்தி நிரூபிக்கப்பட்டுள்ளது. இது பெரிய அளவிலான AI எவ்வாறு பயன்படுத்தப்படலாம் என்பதில் ஒரு திருப்புமுனையாக இருக்கலாம்.
நினைவகம் மற்றும் வேகத்திற்கு இடையேயான சமரசம்
இந்த மாடல் குறைந்த வன்பொருளில் இயங்கினாலும், செயல்திறனில் ஒரு பெரிய வரம்புடன் வருகிறது. கணினி ஒரு டோக்கனை (AI செயலாக்கத்திற்கான உரையின் அடிப்படை அலகு) உருவாக்க சுமார் 30 வினாடிகள் எடுக்கும். இது நிஜ நேர அரட்டை அல்லது விரைவான ஆவண உருவாக்கம் போன்ற அன்றாட பயன்பாடுகளுக்கு இந்த மாடலை மிகவும் மெதுவாக்குகிறது. அதிக நினைவகத் தேவையைத் தவிர்ப்பதற்காக, இந்த மென்பொருள் அதிக அளவு சேமிப்பிடத்தை நம்பியுள்ளது, மாடல் கோப்புகளை ஹோஸ்ட் செய்ய சுமார் 1.7 TB SSD இடம் தேவைப்படுகிறது. அடிப்படையில், டெவலப்பர் வேகத்தையும் சேமிப்பிடத்தையும் குறைந்த RAM தேவைகளுக்காக பரிமாறிக்கொண்டுள்ளார்.
Kimi K3-க்குப் பின்னாலுள்ள தொழில்நுட்பம்
பெய்ஜிங்கைச் சேர்ந்த Moonshot AI ஆல் உருவாக்கப்பட்ட Kimi K3, ஒரு பிரத்யேக கட்டமைப்பைப் பயன்படுத்துகிறது. இது எந்தவொரு கோரிக்கைக்கும் அதன் மொத்த அளவுருக்களின் ஒரு சிறிய பகுதியை மட்டுமே செயல்படுத்துகிறது. இந்த நுட்பம், மாடல் செயல்படத் தேவையான கணக்கீட்டுச் சுமையைக் குறைக்க உதவுகிறது. Kimi K3-ஐ ஒரு ஓபன்-வெயிட் மாடலாக வெளியிடுவதன் மூலம், Moonshot AI ஆராய்ச்சியாளர்கள் மற்றும் டெவலப்பர்கள் அதன் திறன்களை சோதிக்க அனுமதித்துள்ளது. இதில் டெக்ஸ்ட், படங்கள் மற்றும் வீடியோக்களை ஒரு மில்லியன் டோக்கன்களின் சூழல் சாளரத்துடன் (context window) செயலாக்கும் திறன்கள் அடங்கும். இந்த சூழல் சாளரத்தின் அளவு, மாடலை ஒரே நேரத்தில் அதிக அளவிலான தகவல்களைப் பகுப்பாய்வு செய்ய அனுமதிக்கிறது, இது தற்போதைய AI சந்தையில் ஒரு போட்டித்தன்மை வாய்ந்த அம்சமாகும்.
AI ஹார்டுவேர் துறையில் தாக்கம்
இந்த வளர்ச்சி, மென்பொருள் டெவலப்பர்களிடையே பரவலான போக்கைப் பிரதிபலிக்கிறது. இது பெரிய மாடல்களை பொதுவான வன்பொருளில் பயன்படுத்த சுருக்கி மேம்படுத்துவதை நோக்கமாகக் கொண்டுள்ளது. இந்த மேம்படுத்தல் நுட்பங்கள் தொடர்ந்து மேம்பட்டால், இது இறுதியில் விலையுயர்ந்த டேட்டா சென்டர்கள் மற்றும் பிரத்யேக உயர்நிலை சிப்களை சார்ந்திருப்பதை குறைக்கக்கூடும். தொழில்நுட்பத் துறையில் முதலீட்டாளர்களுக்கு, இது மென்பொருள் சார்ந்த செயல்திறனை நோக்கிய ஒரு மாற்றத்தைக் குறிக்கிறது. தற்போதைய முடிவுகள் வணிக உற்பத்தித்திறனுக்கு ஏற்றதாக இல்லாவிட்டாலும், எதிர்காலத்தில் மேம்பட்ட AI அமைப்புகளின் இயக்கச் செலவுகளை நிறுவனங்கள் எவ்வாறு குறைக்கலாம் என்பதற்கான ஒரு வரைபடத்தை அவை வழங்குகின்றன. இந்தப் போக்கின் அடுத்த கட்டம், டெவலப்பர்கள் மாடலின் துல்லியத்தைப் பராமரிக்கும் அதே வேளையில், இந்த மாடல்களை அன்றாட பயன்பாடுகளுக்கு பயனுள்ளதாக மாற்ற செயலாக்க நேரங்களை கணிசமாகக் குறைப்பதில் வெற்றிபெறுகிறார்களா என்பதைப் பார்ப்பதாகும்.