Moonshot AI తమ 2.8 ట్రిలియన్-పారామీటర్ల Kimi K3 మోడల్ వెయిట్స్ ని విడుదల చేసింది. అయితే, దీనికి అవసరమైన భారీ కంప్యూటింగ్ పవర్ వల్ల వాడటం కష్టంగా మారింది. ఈ విడుదల, మోడల్ అందుబాటులో ఉండటం, అధునాతన AIని నడపడానికి అవసరమైన భారీ మౌలిక సదుపాయాల మధ్య ఉన్న అంతరాన్ని ఎత్తిచూపుతుంది. ఇది స్కేలబుల్ డిప్లాయ్మెంట్ కోరుకునే డెవలపర్లకు సవాలుగా మారింది.
Moonshot AI తమ Kimi K3 అనే భారీ 2.8 ట్రిలియన్-పారామీటర్ల ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ మోడల్ వెయిట్స్ ని డౌన్లోడ్ కోసం అందుబాటులోకి తెచ్చింది. ఓపెన్-వెయిట్ AI కోసం ఇది ఒక ముఖ్యమైన అడుగు అయినప్పటికీ, ఈ మోడల్ను ఆచరణాత్మకంగా అమలు చేసే సామర్థ్యం మాత్రం పరిమితంగానే ఉంది. చాలా మంది డెవలపర్లకు, వ్యాపారాలకు, మోడల్ వెయిట్స్ అందుబాటులో ఉన్నప్పటికీ, ట్రైన్డ్ AI మోడల్ నుండి అవుట్పుట్ జనరేట్ చేసే ఇన్ఫరెన్స్ (inference) ప్రక్రియకు అవసరమైన తీవ్రమైన కంప్యూటేషనల్ పవర్, సాంకేతిక నైపుణ్యం వల్ల వెంటనే వాడకం సాధ్యం కాదు.
ఇన్ఫరెన్స్ అవసరాలలో మార్పు
ఆధునిక ఫ్రంటియర్ AI మోడల్స్, సరళమైన వెర్షన్ల కంటే చాలా భిన్నంగా ఉంటాయి. Kimi K3 896 ప్రత్యేక భాగాలతో కూడిన కాంప్లెక్స్ మిక్స్చర్-ఆఫ్-ఎక్స్పర్ట్స్ (mixture-of-experts) ఆర్కిటెక్చర్ను ఉపయోగిస్తుంది. యూజర్ ఒక ప్రశ్నను పంపినప్పుడు, సిస్టమ్ కేవలం 16 మంది నిపుణులను మాత్రమే సంప్రదిస్తుంది, అంటే ఒకేసారి దాదాపు 104 బిలియన్ పారామీటర్లు యాక్టివ్గా ఉంటాయి. మొత్తం 2.8 ట్రిలియన్ పారామీటర్లను నడపడం కంటే ఇది మోడల్ను మరింత సమర్థవంతంగా చేస్తుంది, కానీ దీనికి అధునాతన హార్డ్వేర్ మేనేజ్మెంట్ అవసరం. ఆర్కిటెక్చర్కు అతీతంగా, నేటి AI సిస్టమ్లు సెల్ఫ్-వెరిఫికేషన్, బ్యాక్ట్రాకింగ్ వంటి సంక్లిష్ట రీజనింగ్లను నిర్వహిస్తాయి, తరచుగా సెర్చ్ ఇంజిన్ల వంటి బాహ్య సాధనాలను ఉపయోగిస్తాయి. ఈ బ్యాక్గ్రౌండ్ ప్రాసెస్లకు అత్యంత వేగవంతమైన, స్థిరమైన కంప్యూటేషనల్ సపోర్ట్ అవసరం, ఇది చాలా స్టాండర్డ్ కన్స్యూమర్ హార్డ్వేర్ అందించలేదు.
మౌలిక సదుపాయాలు, మెమరీ అడ్డంకులు
సాంకేతిక అడ్డంకి చాలా ఎక్కువ. Kimi K3 కోసం 1.4 టెరాబైట్ వెయిట్స్ ని స్టోర్ చేయడానికే భారీ మెమరీ అవసరం. మోడల్ను లోడ్ చేయడానికి దాదాపు 18 హై-ఎండ్ H100 గ్రాఫిక్స్ ప్రాసెసింగ్ యూనిట్లు అవసరం పడతాయి. మిక్స్చర్-ఆఫ్-ఎక్స్పర్ట్స్ సెటప్ను నిర్వహించడానికి ప్రత్యేక ఇంజనీరింగ్ నైపుణ్యాలు అవసరం, ఎందుకంటే ఇచ్చిన అభ్యర్థనకు మోడల్లోని ఏ నిర్దిష్ట భాగాలు అవసరమో అంచనా వేయడం కష్టం. ఈ మోడల్స్లో కనిపించే అధునాతన రీజనింగ్, టూల్-యూజ్ సామర్థ్యాలు కేవలం వెయిట్స్లో నిల్వ చేయబడవు; అవి కంపెనీలు కాలక్రమేణా నిర్మించుకునే లార్జ్-స్కేల్ ఆపరేషనల్ ఎక్స్పీరియన్స్ ద్వారా మెరుగుపరచబడతాయి.
భారత టెక్నాలజీపై ప్రభావం
మోడల్ లభ్యత, ఆపరేషనల్ సామర్థ్యం మధ్య ఈ అంతరం భారత టెక్నాలజీ రంగానికి ఒక ప్రధాన ఆందోళన. భారతదేశం తక్కువ ఖర్చుతో డిజిటల్ పబ్లిక్ ఇన్ఫ్రాస్ట్రక్చర్ను విజయవంతంగా నిర్మించింది. అయితే, హై-ఎండ్ AI మోడల్స్ ప్రస్తుతం భిన్నమైన మోడల్పై పనిచేస్తున్నాయి, ఇక్కడ అవసరమైన కంప్యూటింగ్ పవర్ కారణంగా ప్రతి యూజర్కు సేవ అందించే ఖర్చు ఎక్కువగా ఉంటుంది. Sarvam AI వంటి కంపెనీలు భారతీయ మౌలిక సదుపాయాలపై ప్రత్యేకంగా నిర్మించిన ఇన్ఫరెన్స్ సేవలను అందించడం ద్వారా దీనిని పరిష్కరించడానికి ప్రయత్నిస్తున్నాయి. స్థానిక వ్యాపారాలు, డెవలపర్లకు Kimi K3 వంటి మోడళ్లను స్వీకరించే మార్గం ఫైల్స్ను డౌన్లోడ్ చేయడం కంటే, వాటిని సమర్థవంతంగా నడపడానికి అవసరమైన భారీ, ప్రత్యేకమైన కంప్యూట్ మౌలిక సదుపాయాలను అభివృద్ధి చేయడం లేదా యాక్సెస్ చేయడంపై ఆధారపడి ఉంటుంది. దేశీయ మౌలిక సదుపాయాల ప్రొవైడర్లు అధునాతన AIని భారత మార్కెట్కు ఆచరణాత్మకంగా మార్చడానికి ఈ ఖర్చు, సామర్థ్య అంతరాన్ని ఎలా తగ్గిస్తారో ఇన్వెస్టర్లు గమనించాలి.