એક ડેવલપરે 2.8 ટ્રિલિયન પેરામીટર ધરાવતા Kimi K3 AI મોડેલને માત્ર 8 GB RAM વાળા સ્ટાન્ડર્ડ કમ્પ્યુટર પર સફળતાપૂર્વક ચલાવ્યું છે. આ પ્રયોગ દર્શાવે છે કે કસ્ટમ સોફ્ટવેરનો ઉપયોગ કરીને એડવાન્સ AI ને સામાન્ય હાર્ડવેર પર ચલાવી શકાય છે, જોકે અત્યંત ધીમી પ્રોસેસિંગ સ્પીડ તેને રિયલ-ટાઇમ ઉપયોગ માટે અવ્યવહારુ બનાવે છે. આ વિકાસ મોંઘા સર્વર ઇન્ફ્રાસ્ટ્રક્ચર પર નિર્ભરતા ઘટાડવા માટે મોટા ભાષા મોડેલોને નાના ઉપકરણો માટે ઓપ્ટિમાઇઝ કરવા પર વધતા ઉદ્યોગના ધ્યાન પર પ્રકાશ પાડે છે.
સામાન્ય કમ્પ્યુટર પર AI મોડેલ
એક તાજેતરના પ્રયોગમાં જાણવા મળ્યું છે કે 2.8 ટ્રિલિયન પેરામીટર ધરાવતું Kimi K3 આર્ટિફિશિયલ ઇન્ટેલિજન્સ મોડેલ, સામાન્ય ગ્રાહક-ગ્રેડ કમ્પ્યુટર પર કાર્ય કરી શકે છે. સામાન્ય રીતે, આ કદના મોડેલોને વિશિષ્ટ અને મોંઘા ગ્રાફિક્સ પ્રોસેસર્સથી સજ્જ વિશાળ સર્વર ફાર્મની જરૂર પડે છે. આ પ્રદર્શનમાં એક બેઝિક CPU અને માત્ર 8 GB RAM નો ઉપયોગ કરવામાં આવ્યો હતો, જે મોટા-સ્કેલ AI ને કેવી રીતે ડિપ્લોય કરી શકાય તેમાં સંભવિત ફેરફાર સૂચવે છે.
મેમરી અને સ્પીડ વચ્ચેનો ટ્રેડ-ઓફ
જ્યારે મોડેલ મર્યાદિત હાર્ડવેર પર ચાલી શકે છે, ત્યારે તેની કામગીરીમાં એક મોટી મર્યાદા છે. સિસ્ટમને એક ટોકન જનરેટ કરવા માટે લગભગ 30 સેકન્ડનો સમય લાગે છે, જે AI પ્રોસેસિંગ માટે ટેક્સ્ટનો મૂળભૂત એકમ છે. આ મોડેલને રિયલ-ટાઇમ ચેટ અથવા ઝડપી દસ્તાવેજ જનરેશન જેવા વ્યવહારુ, રોજિંદા ઉપયોગ માટે ખૂબ ધીમું બનાવે છે. હાઇ-એન્ડ મેમરીની જરૂરિયાતને બાયપાસ કરવા માટે, સોફ્ટવેર સ્ટોરેજનો મોટા પ્રમાણમાં ઉપયોગ કરે છે, જેમાં મોડેલ ફાઇલો હોસ્ટ કરવા માટે લગભગ 1.7 TB SSD જગ્યાની જરૂર પડે છે. અસરકારક રીતે, ડેવલપરે ઓછી RAM જરૂરિયાતો માટે સ્પીડ અને સ્ટોરેજ સ્પેસનો વેપાર કર્યો છે.
Kimi K3 પાછળની ટેકનોલોજી
બેઇજિંગ સ્થિત Moonshot AI દ્વારા વિકસિત Kimi K3, એક વિશિષ્ટ આર્કિટેક્ચરનો ઉપયોગ કરે છે જે કોઈપણ આપેલ વિનંતી માટે તેના કુલ પેરામીટર્સના નાના ભાગને જ સક્રિય કરે છે. આ તકનીક મોડેલને વિચારવા માટે જરૂરી કમ્પ્યુટેશનલ તીવ્રતા ઘટાડવામાં મદદ કરે છે. Kimi K3 ને ઓપન-વેઇટ મોડેલ તરીકે રિલીઝ કરીને, Moonshot AI એ સંશોધકો અને ડેવલપર્સને તેની ક્ષમતાઓનું પરીક્ષણ કરવાની મંજૂરી આપી છે, જેમાં એક મિલિયન ટોકન્સના સંદર્ભ વિન્ડો સાથે ટેક્સ્ટ, છબીઓ અને વિડિઓ પર પ્રક્રિયા કરવાનો સમાવેશ થાય છે. આ સંદર્ભ વિન્ડોનું કદ મોડેલને એકસાથે મોટી માત્રામાં માહિતીનું વિશ્લેષણ કરવાની મંજૂરી આપે છે, જે વર્તમાન AI માર્કેટમાં સ્પર્ધાત્મક સુવિધા છે.
AI હાર્ડવેર ઉદ્યોગ પર અસર
આ વિકાસ સામાન્ય હાર્ડવેર પર ડિપ્લોયમેન્ટ માટે વિશાળ મોડેલોને કોમ્પ્રેસ અને ઓપ્ટિમાઇઝ કરવા સોફ્ટવેર ડેવલપર્સમાં વ્યાપક વલણને પ્રતિબિંબિત કરે છે. જો આ ઓપ્ટિમાઇઝેશન તકનીકો સુધરતી રહે છે, તો તે આખરે મોંઘા ડેટા સેન્ટર્સ અને વિશિષ્ટ હાઇ-એન્ડ ચિપ્સ પર ઉદ્યોગની ભારે નિર્ભરતા ઘટાડી શકે છે. ટેકનોલોજી ક્ષેત્રના રોકાણકારો માટે, આ સોફ્ટવેર-ડ્રિવન કાર્યક્ષમતા તરફનું વલણ રજૂ કરે છે. જોકે વર્તમાન પરિણામો વ્યવસાયિક ઉત્પાદકતા માટે યોગ્ય નથી, તે ભવિષ્યમાં કંપનીઓ અદ્યતન AI સિસ્ટમ્સના સંચાલનના ખર્ચને કેવી રીતે ઘટાડી શકે છે તે માટે બ્લુપ્રિન્ટ પ્રદાન કરે છે. આ વલણનો આગલો તબક્કો એ જોવાનો રહેશે કે શું ડેવલપર્સ આ મોડેલોને રોજિંદા એપ્લિકેશનો માટે ઉપયોગી બનાવવા માટે પ્રોસેસિંગ સમયમાં નોંધપાત્ર ઘટાડો કરતી વખતે મોડેલની ચોકસાઈ જાળવી રાખી શકે છે.