ਮਾਹਿਰਾਂ ਦੇ ਮਿਸ਼ਰਣ (MoE) ਨਾਲ ਕੁਸ਼ਲਤਾ ਦਾ ਦਾਅ
Sarvam AI ਦੇ ਇਨ੍ਹਾਂ ਨਵੇਂ 30-billion ਅਤੇ 105-billion ਪੈਰਾਮੀਟਰਾਂ ਵਾਲੇ ਮਾਡਲਾਂ ਦਾ ਨਿਰਮਾਣ Mixture-of-Experts (MoE) ਆਰਕੀਟੈਕਚਰ ਦੀ ਵਰਤੋਂ ਨਾਲ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਸ ਦਾ ਮੁੱਖ ਉਦੇਸ਼ ਵੱਧ ਕੰਪਿਊਟੇਸ਼ਨਲ ਕੁਸ਼ਲਤਾ ਪ੍ਰਾਪਤ ਕਰਨਾ ਹੈ। ਉਦਾਹਰਨ ਵਜੋਂ, 30B ਮਾਡਲ ਪ੍ਰਤੀ ਟੋਕਨ ਸਿਰਫ਼ 1 billion ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਐਕਟੀਵੇਟ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਨਫਰੰਸ (inference) ਖਰਚੇ ਘੱਟ ਹੁੰਦੇ ਹਨ ਅਤੇ ਰੀਜ਼ਨਿੰਗ (reasoning) ਕੰਮ ਤੇਜ਼ ਹੁੰਦੇ ਹਨ। ਇਸੇ ਤਰ੍ਹਾਂ, 105B ਮਾਡਲ, ਜਿਸ ਵਿੱਚ ਇੱਕ ਵੱਡਾ 128,000-token ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਹੈ, ਹਰ ਇਨਫਰੰਸ ਕੰਮ ਲਈ ਆਪਣੀ ਕੁੱਲ ਸਮਰੱਥਾ ਦਾ ਸਿਰਫ਼ ਇੱਕ ਛੋਟਾ ਹਿੱਸਾ ਹੀ ਵਰਤਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ ਜਨਤਾ ਪੱਧਰ 'ਤੇ AI ਸੇਵਾਵਾਂ ਚਲਾਉਣ ਦੀ ਇੱਛਾ ਰੱਖਣ ਵਾਲੀ ਕੰਪਨੀ ਲਈ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਕਿਉਂਕਿ ਇੱਥੇ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਸਰਵੋਤਮ ਹੈ। ਹਾਲਾਂਕਿ, MoE ਸਿਸਟਮ ਵਿੱਚ ਕਈ ਮਾਹਿਰਾਂ ਨੂੰ ਸੰਭਾਲਣ ਅਤੇ ਲੋਡ-ਬੈਲੈਂਸ ਕਰਨ ਦੀਆਂ ਇੰਜੀਨੀਅਰਿੰਗ ਜਟਿਲਤਾਵਾਂ ਸਿਖਲਾਈ ਦੀ ਸਥਿਰਤਾ ਅਤੇ ਅਸਲ-ਵਿਸ਼ਵ ਡਿਪਲੋਏਮੈਂਟ (deployment) ਵਿੱਚ ਚੁਣੌਤੀਆਂ ਪੈਦਾ ਕਰ ਸਕਦੀਆਂ ਹਨ, ਖਾਸ ਤੌਰ 'ਤੇ ਜਦੋਂ ਮਾਡਲ ਦਾ ਪੈਮਾਨਾ ਵਧਦਾ ਹੈ।
ਗਲੋਬਲ AI ਦਿੱਗਜਾਂ ਨੂੰ ਚੁਣੌਤੀ
Sarvam AI ਦਾ ਦਾਅਵਾ ਹੈ ਕਿ ਇਹਨਾਂ ਦੇ ਮਾਡਲ ਭਾਰਤੀ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ DeepSeek ਦੇ 600-billion-parameter R1 ਅਤੇ Google ਦੇ Gemini Flash ਵਰਗੇ ਵੱਡੇ ਗਲੋਬਲ ਮਾਡਲਾਂ ਨੂੰ ਵੀ ਕਈ ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ ਪਿੱਛੇ ਛੱਡਦੇ ਹਨ। ਹਾਲਾਂਕਿ, ਸਿਰਫ਼ ਤਕਨੀਕੀ ਮਹਾਨਤਾ ਦੇ ਆਧਾਰ 'ਤੇ ਬਾਜ਼ਾਰ ਵਿੱਚ ਹਿੱਸਾ ਬਣਾਉਣਾ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੈ, ਕਿਉਂਕਿ AI ਬਾਜ਼ਾਰ 'ਤੇ ਭਾਰੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਅਤੇ R&D ਬਜਟ ਵਾਲੀਆਂ ਕੰਪਨੀਆਂ ਦਾ ਦਬਦਬਾ ਹੈ। ਭਾਰਤੀ ਭਾਸ਼ਾਵਾਂ 'ਤੇ Sarvam AI ਦਾ ਫੋਕਸ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਨਿਸ਼ (niche) ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਪਰ ਬੁਨਿਆਦੀ ਮਾਡਲਾਂ ਦੀ ਗਲੋਬਲ ਮੰਗ ਵਿੱਚ ਮੁਕਾਬਲਾ ਬਹੁਤ ਸਖ਼ਤ ਹੈ।
ਸੋਵਰਨ AI ਅਤੇ ਸਰਕਾਰੀ ਸਬਸਿਡੀਆਂ ਦੀ ਸ਼ਕਤੀ
ਭਾਰਤ ਦੇ ਸੋਵਰਨ AI (Sovereign AI) ਉਦੇਸ਼ਾਂ ਵਿੱਚ Sarvam AI ਦੇ ਮੋਹਰੀ ਵਜੋਂ ਉਭਰਨ ਵਿੱਚ ਸਰਕਾਰੀ ਸਹਾਇਤਾ ਦਾ ਵੱਡਾ ਯੋਗਦਾਨ ਹੈ। IndiaAI Mission, ਜਿਸ ਦਾ ਫੰਡ ₹10,000 ਕਰੋੜ ਹੈ, ਦਾ ਉਦੇਸ਼ ਦੇਸੀ AI ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨਾ ਅਤੇ ਵਿਦੇਸ਼ੀ ਤਕਨਾਲੋਜੀ 'ਤੇ ਨਿਰਭਰਤਾ ਘਟਾਉਣਾ ਹੈ। Sarvam AI ਇਸ ਦਾ ਇੱਕ ਮੁੱਖ ਲਾਭਪਾਤਰੀ ਰਿਹਾ ਹੈ, ਜਿਸ ਨੂੰ 4,096 NVIDIA H100 GPUs ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕਰੀਬ ₹99 ਕਰੋੜ ਦੀ ਸਬਸਿਡੀ ਮਿਲੀ ਹੈ। ਅਤਿ-ਆਧੁਨਿਕ ਹਾਰਡਵੇਅਰ ਤੱਕ ਪਹੁੰਚ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ, ਪਰ ਇਹ ਸਰਕਾਰੀ ਪਹਿਲਾਂ 'ਤੇ ਨਿਰਭਰਤਾ ਨੂੰ ਵੀ ਉਜਾਗਰ ਕਰਦਾ ਹੈ। ਅਜਿਹੇ ਪੂੰਜੀ-ਸघन ਯਤਨ ਦੀ ਲੰਬੇ ਸਮੇਂ ਦੀ ਟਿਕਾਊਤਾ ਸਬਸਿਡੀ ਪ੍ਰੋਗਰਾਮਾਂ ਦੀ ਨਿਰੰਤਰਤਾ ਅਤੇ ਪੈਮਾਨੇ, ਅਤੇ ਕੰਪਨੀ ਦੀ ਮੁਦਰੀਕਰਨ (commercialization) ਵਿੱਚ ਲਾਭ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਸਮਰੱਥਾ 'ਤੇ ਨਿਰਭਰ ਕਰੇਗੀ।
ਜੋਖਮ ਅਤੇ ਭਵਿੱਖ ਦੀ ਦਿਸ਼ਾ
ਤਕਨੀਕੀ ਤਰੱਕੀ ਅਤੇ ਰਣਨੀਤਕ ਸਮਰਥਨ ਦੇ ਬਾਵਜੂਦ, Sarvam AI ਦੇ ਰਾਹ ਵਿੱਚ ਕਈ ਜੋਖਮ ਹਨ। MoE ਆਰਕੀਟੈਕਚਰ ਤੋਂ ਉਮੀਦ ਕੀਤੀ ਜਾ ਰਹੀ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਮਾਡਲਾਂ ਨੂੰ ਤਾਇਨਾਤ ਕਰਨ 'ਤੇ ਅਣਕਿਆਸੀਆਂ ਸਕੇਲਿੰਗ (scaling) ਚੁਣੌਤੀਆਂ ਜਾਂ ਉਮੀਦ ਤੋਂ ਵੱਧ ਸੰਚਾਲਨ ਲਾਗਤਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਸਕਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮੁਕਾਬਲੇਬਾਜ਼ੀ ਦਾ ਮਾਹੌਲ ਇੱਕ ਵੱਡੀ ਰੁਕਾਵਟ ਹੈ; ਗਲੋਬਲ AI ਆਗੂ ਲਗਾਤਾਰ ਵਧੇਰੇ ਸਮਰੱਥਾ ਵਾਲੇ ਮਾਡਲ ਜਾਰੀ ਕਰ ਰਹੇ ਹਨ। ਸਰਕਾਰੀ ਸਬਸਿਡੀਆਂ 'ਤੇ Sarvam AI ਦੀ ਨਿਰਭਰਤਾ, ਸ਼ੁਰੂਆਤੀ ਹਾਰਡਵੇਅਰ ਪ੍ਰਾਪਤੀ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਇੱਕ ਕਮਜ਼ੋਰੀ ਪੈਦਾ ਕਰਦੀ ਹੈ ਜੇਕਰ ਨੀਤੀ ਤਰਜੀਹਾਂ ਜਾਂ ਫੰਡਿੰਗ ਦੇ ਪੱਧਰ ਬਦਲਦੇ ਹਨ। Sarvam AI ਦੇ ਨਵੇਂ ਮਾਡਲਾਂ ਦੀ ਸਫਲਤਾ ਨਾ ਸਿਰਫ਼ ਬੈਂਚਮਾਰਕ ਪ੍ਰਦਰਸ਼ਨ ਦੁਆਰਾ, ਸਗੋਂ ਇੱਕ ਭਾਰੀ ਮੁਕਾਬਲੇਬਾਜ਼ੀ ਵਾਲੇ ਗਲੋਬਲ AI ਈਕੋਸਿਸਟਮ ਵਿੱਚ ਬਾਜ਼ਾਰ ਹਿੱਸੇਦਾਰੀ ਹਾਸਲ ਕਰਨ ਅਤੇ ਮਾਲੀਆ ਪੈਦਾ ਕਰਨ ਦੀ ਉਨ੍ਹਾਂ ਦੀ ਯੋਗਤਾ ਦੁਆਰਾ ਮਾਪੀ ਜਾਵੇਗੀ। ਕੰਪਨੀ ਦਾ ਕੁਸ਼ਲਤਾ ਅਤੇ ਭਾਰਤੀ ਭਾਸ਼ਾ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ 'ਤੇ ਫੋਕਸ ਇੱਕ ਵੱਖਰਾ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਪਰ AI ਤਕਨਾਲੋਜੀ ਦੇ ਤੇਜ਼ੀ ਨਾਲ ਵਿਕਾਸ ਨੂੰ ਨੈਵੀਗੇਟ ਕਰਨ ਅਤੇ ਇੱਕ ਸਥਾਈ ਮੁਕਾਬਲੇਬਾਜ਼ੀ ਮਜ਼ਬੂਤੀ ਸਥਾਪਤ ਕਰਨ ਲਈ R&D, ਰਣਨੀਤਕ ਭਾਈਵਾਲੀ ਅਤੇ ਇੱਕ ਮਜ਼ਬੂਤ ਵਪਾਰੀਕਰਨ ਰਣਨੀਤੀ ਵਿੱਚ ਨਿਰੰਤਰ ਨਿਵੇਸ਼ ਜ਼ਰੂਰੀ ਹੋਵੇਗਾ।