Moonshot AI ਨੇ ਆਪਣੇ 2.8 ਟ੍ਰਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ Kimi K3 ਮਾਡਲ ਦੇ ਵਜ਼ਨ (weights) ਜਾਰੀ ਕਰ ਦਿੱਤੇ ਹਨ। ਪਰ, ਇਸਨੂੰ ਚਲਾਉਣ ਲਈ ਲੋੜੀਂਦੀ ਬਹੁਤ ਜ਼ਿਆਦਾ ਕੰਪਿਊਟੇਸ਼ਨਲ ਪਾਵਰ ਕਾਰਨ ਇਸ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਮੁਸ਼ਕਲ ਬਣਿਆ ਹੋਇਆ ਹੈ।
Moonshot AI ਨੇ Kimi K3, ਜੋ ਕਿ ਇੱਕ ਵਿਸ਼ਾਲ 2.8 ਟ੍ਰਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਮਾਡਲ ਹੈ, ਦੇ ਵਜ਼ਨ (weights) ਡਾਊਨਲੋਡ ਲਈ ਉਪਲਬਧ ਕਰਵਾ ਦਿੱਤੇ ਹਨ। ਹਾਲਾਂਕਿ ਇਹ ਖੁੱਲ੍ਹੇ-ਵਜ਼ਨ (open-weight) AI ਲਈ ਇੱਕ ਵੱਡਾ ਕਦਮ ਹੈ, ਪਰ ਅਜਿਹੇ ਮਾਡਲ ਨੂੰ ਚਲਾਉਣ ਦੀ ਵਿਹਾਰਕ ਸਮਰੱਥਾ ਅਜੇ ਵੀ ਸੀਮਤ ਹੈ। ਬਹੁਤ ਸਾਰੇ ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਕਾਰੋਬਾਰਾਂ ਲਈ, ਮਾਡਲ ਦੇ ਵਜ਼ਨ ਦੀ ਉਪਲਬਧਤਾ ਦਾ ਮਤਲਬ ਤੁਰੰਤ ਵਰਤੋਂਯੋਗਤਾ ਨਹੀਂ ਹੈ ਕਿਉਂਕਿ ਇਸਨੂੰ ਚਲਾਉਣ ਲਈ ਭਾਰੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸ਼ਕਤੀ ਅਤੇ ਤਕਨੀਕੀ ਮਹਾਰਤ ਦੀ ਲੋੜ ਪੈਂਦੀ ਹੈ।
ਇਨਫਰੰਸ (Inference) ਦੀਆਂ ਲੋੜਾਂ ਵਿੱਚ ਬਦਲਾਅ
ਆਧੁਨਿਕ ਫਰੰਟੀਅਰ AI ਮਾਡਲ, ਸਰਲ ਸੰਸਕਰਣਾਂ ਤੋਂ ਕਾਫ਼ੀ ਵੱਖਰੇ ਹਨ। Kimi K3 ਇੱਕ ਗੁੰਝਲਦਾਰ ਮਿਕਸਚਰ-ਆਫ-ਐਕਸਪਰਟਸ (mixture-of-experts) ਆਰਕੀਟੈਕਚਰ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ 896 ਵਿਸ਼ੇਸ਼ ਭਾਗ ਹਨ। ਜਦੋਂ ਕੋਈ ਉਪਭੋਗਤਾ ਪ੍ਰਸ਼ਨ (query) ਭੇਜਦਾ ਹੈ, ਤਾਂ ਸਿਸਟਮ ਸਿਰਫ਼ 16 ਮਾਹਿਰਾਂ ਤੋਂ ਸਲਾਹ ਲੈਂਦਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਲਗਭਗ 104 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਇੱਕੋ ਸਮੇਂ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ। ਹਾਲਾਂਕਿ ਇਹ ਮਾਡਲ ਨੂੰ ਸਾਰੇ 2.8 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਚਲਾਉਣ ਨਾਲੋਂ ਵਧੇਰੇ ਕੁਸ਼ਲ ਬਣਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਉੱਨਤ ਹਾਰਡਵੇਅਰ ਪ੍ਰਬੰਧਨ ਦੀ ਲੋੜ ਪੈਂਦੀ ਹੈ। ਆਰਕੀਟੈਕਚਰ ਤੋਂ ਪਰੇ, ਅੱਜ ਦੇ AI ਸਿਸਟਮ ਜਟਿਲ ਤਰਕ (complex reasoning), ਜਿਵੇਂ ਕਿ ਸਵੈ-ਪੜਤਾਲ (self-verification) ਅਤੇ ਬੈਕਟਰੈਕਿੰਗ (backtracking) ਕਰਦੇ ਹਨ, ਅਤੇ ਅਕਸਰ ਖੋਜ ਇੰਜਣਾਂ ਵਰਗੇ ਬਾਹਰੀ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਇਹ ਪਿਛੋਕੜ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਨਿਰੰਤਰ, ਉੱਚ-ਸਪੀਡ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਹਾਇਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜੋ ਜ਼ਿਆਦਾਤਰ ਮਿਆਰੀ ਖਪਤਕਾਰ ਹਾਰਡਵੇਅਰ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕਰ ਸਕਦਾ।
ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਅਤੇ ਮੈਮੋਰੀ ਦੀਆਂ ਰੁਕਾਵਟਾਂ
ਸ਼ੁਰੂਆਤੀ ਤਕਨੀਕੀ ਰੁਕਾਵਟ ਕਾਫ਼ੀ ਜ਼ਿਆਦਾ ਹੈ। ਸਿਰਫ਼ Kimi K3 ਦੇ 1.4 ਟੈਰਾਬਾਈਟ ਵਜ਼ਨ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਭਾਰੀ ਮਾਤਰਾ ਵਿੱਚ ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਿਸ ਲਈ ਆਮ ਤੌਰ 'ਤੇ ਮਾਡਲ ਨੂੰ ਲੋਡ ਕਰਨ ਲਈ ਸਿਰਫ਼ 18 ਉੱਚ-ਐਂਡ H100 ਗ੍ਰਾਫਿਕਸ ਪ੍ਰੋਸੈਸਿੰਗ ਯੂਨਿਟਾਂ (GPUs) ਦੀ ਲੋੜ ਪੈਂਦੀ ਹੈ। ਇਸ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਮਿਕਸਚਰ-ਆਫ-ਐਕਸਪਰਟਸ ਸੈੱਟਅੱਪ ਨੂੰ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ ਵਿਸ਼ੇਸ਼ ਇੰਜੀਨੀਅਰਿੰਗ ਹੁਨਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਅਨੁਮਾਨ ਲਗਾਉਣਾ ਚੁਣੌਤੀਪੂਰਨ ਹੈ ਕਿ ਦਿੱਤੀ ਗਈ ਬੇਨਤੀ ਲਈ ਮਾਡਲ ਦੇ ਕਿਹੜੇ ਖਾਸ ਹਿੱਸੇ ਦੀ ਲੋੜ ਹੈ। ਇਹਨਾਂ ਮਾਡਲਾਂ ਵਿੱਚ ਦੇਖੀ ਗਈ ਉੱਨਤ ਤਰਕ ਅਤੇ ਸਾਧਨ-ਵਰਤੋਂ ਸਮਰੱਥਾਵਾਂ ਸਿਰਫ਼ ਵਜ਼ਨ ਵਿੱਚ ਸਟੋਰ ਨਹੀਂ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ; ਉਹ ਵੱਡੇ ਪੱਧਰ ਦੇ ਸੰਚਾਲਨ ਅਨੁਭਵ ਦੁਆਰਾ ਸੁਧਾਰੀਆਂ ਜਾਂਦੀਆਂ ਹਨ ਜੋ ਕੰਪਨੀਆਂ ਸਮੇਂ ਦੇ ਨਾਲ ਬਣਾਉਂਦੀਆਂ ਹਨ।
ਭਾਰਤੀ ਟੈਕਨੋਲੋਜੀ 'ਤੇ ਅਸਰ
ਮਾਡਲ ਦੀ ਉਪਲਬਧਤਾ ਅਤੇ ਸੰਚਾਲਨ ਸਮਰੱਥਾ ਵਿਚਕਾਰ ਇਹ ਪਾੜਾ ਭਾਰਤੀ ਟੈਕਨੋਲੋਜੀ ਸੈਕਟਰ ਲਈ ਇੱਕ ਕੇਂਦਰੀ ਚਿੰਤਾ ਹੈ। ਭਾਰਤ ਨੇ ਹਰੇਕ ਵਾਧੂ ਉਪਭੋਗਤਾ ਲਈ ਘੱਟ ਲਾਗਤਾਂ ਦੇ ਨਾਲ ਡਿਜੀਟਲ ਜਨਤਕ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਸਫਲਤਾਪੂਰਵਕ ਬਣਾਇਆ ਹੈ। ਹਾਲਾਂਕਿ, ਉੱਚ-ਅੰਤ ਦੇ AI ਮਾਡਲ ਵਰਤਮਾਨ ਵਿੱਚ ਇੱਕ ਵੱਖਰੇ ਮਾਡਲ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ, ਜਿੱਥੇ ਲੋੜੀਂਦੀ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਕਾਰਨ ਹਰੇਕ ਉਪਭੋਗਤਾ ਦੀ ਸੇਵਾ ਕਰਨ ਦੀ ਲਾਗਤ ਜ਼ਿਆਦਾ ਰਹਿੰਦੀ ਹੈ। Sarvam AI ਵਰਗੀਆਂ ਕੰਪਨੀਆਂ ਭਾਰਤੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ 'ਤੇ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਬਣਾਏ ਗਏ ਇਨਫਰੰਸ ਸੇਵਾਵਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਕੇ ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੀਆਂ ਹਨ। ਸਥਾਨਕ ਕਾਰੋਬਾਰਾਂ ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਲਈ, Kimi K3 ਵਰਗੇ ਮਾਡਲਾਂ ਨੂੰ ਅਪਣਾਉਣ ਦਾ ਮਾਰਗ ਫਾਈਲਾਂ ਡਾਊਨਲੋਡ ਕਰਨ ਨਾਲੋਂ ਘੱਟ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਚਲਾਉਣ ਲਈ ਲੋੜੀਂਦੇ ਵਿਸ਼ਾਲ, ਵਿਸ਼ੇਸ਼ ਕੰਪਿਊਟ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਜਾਂ ਐਕਸੈਸ ਕਰਨ ਨਾਲ ਵਧੇਰੇ ਸਬੰਧਤ ਹੈ। ਨਿਵੇਸ਼ਕਾਂ ਨੂੰ ਇਹ ਨਿਗਰਾਨੀ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ ਕਿ ਘਰੇਲੂ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾ ਅਡਵਾਂਸਡ AI ਨੂੰ ਭਾਰਤੀ ਬਾਜ਼ਾਰ ਲਈ ਵਿਹਾਰਕ ਬਣਾਉਣ ਲਈ ਇਸ ਲਾਗਤ ਅਤੇ ਸਮਰੱਥਾ ਦੇ ਪਾੜੇ ਨੂੰ ਕਿਵੇਂ ਪੂਰਾ ਕਰਦੇ ਹਨ।