ਇੱਕ ਡਿਵੈਲਪਰ ਨੇ ਸਫਲਤਾਪੂਰਵਕ 2.8 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਵਾਲੇ Kimi K3 AI ਮਾਡਲ ਨੂੰ 8 GB RAM ਵਾਲੇ ਇੱਕ ਆਮ ਕੰਪਿਊਟਰ 'ਤੇ ਚਲਾਇਆ ਹੈ। ਹਾਲਾਂਕਿ ਇਹ ਪ੍ਰਯੋਗ ਸਾਬਤ ਕਰਦਾ ਹੈ ਕਿ ਐਡਵਾਂਸਡ AI ਕਸਟਮ ਸੌਫਟਵੇਅਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬੇਸਿਕ ਹਾਰਡਵੇਅਰ 'ਤੇ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਬਹੁਤ ਹੌਲੀ ਪ੍ਰੋਸੈਸਿੰਗ ਸਪੀਡ ਇਸਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਵਰਤੋਂ ਲਈ ਅਵਿਵਹਾਰਕ ਬਣਾਉਂਦੀ ਹੈ। ਇਹ ਵਿਕਾਸ ਮਹਿੰਗੇ ਸਰਵਰ ਬੁਨਿਆਦੀ ਢਾਂਚੇ 'ਤੇ ਨਿਰਭਰਤਾ ਘਟਾਉਣ ਲਈ ਛੋਟੇ ਡਿਵਾਈਸਾਂ ਲਈ ਵੱਡੇ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ 'ਤੇ ਵੱਧਦੇ ਉਦਯੋਗਿਕ ਧਿਆਨ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ।
ਇੱਕ ਨਵੇਂ ਪ੍ਰਯੋਗ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ 2.8 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲਾ Kimi K3 ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਮਾਡਲ, ਇੱਕ ਆਮ ਕੰਪਿਊਟਰ 'ਤੇ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਆਮ ਤੌਰ 'ਤੇ, ਇਸ ਆਕਾਰ ਦੇ ਮਾਡਲਾਂ ਨੂੰ ਵਿਸ਼ੇਸ਼ ਅਤੇ ਮਹਿੰਗੇ ਗ੍ਰਾਫਿਕਸ ਪ੍ਰੋਸੈਸਰਾਂ ਨਾਲ ਲੈਸ ਵਿਸ਼ਾਲ ਸਰਵਰ ਫਾਰਮਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਇੱਕ ਬੇਸਿਕ CPU ਅਤੇ ਸਿਰਫ 8 GB RAM ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ, ਜੋ ਕਿ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਵੱਡੇ ਪੱਧਰ 'ਤੇ AI ਨੂੰ ਕਿਵੇਂ ਤਾਇਨਾਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
ਮੈਮੋਰੀ ਬਨਾਮ ਸਪੀਡ ਦਾ ਟ੍ਰੇਡ-ਆਫ
ਹਾਲਾਂਕਿ ਮਾਡਲ ਸੀਮਤ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲ ਸਕਦਾ ਹੈ, ਪਰ ਇਸਦੀ ਕਾਰਗੁਜ਼ਾਰੀ (Performance) ਵਿੱਚ ਇੱਕ ਵੱਡੀ ਕਮੀ ਹੈ। ਸਿਸਟਮ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਟੋਕਨ (AI ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਟੈਕਸਟ ਦੀ ਬੁਨਿਆਦੀ ਇਕਾਈ) ਤਿਆਰ ਕਰਨ ਲਈ ਲਗਭਗ 30 ਸਕਿੰਟ ਲੱਗਦੇ ਹਨ। ਇਹ ਇਸ ਮਾਡਲ ਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਚੈਟ ਜਾਂ ਤੇਜ਼ੀ ਨਾਲ ਦਸਤਾਵੇਜ਼ ਤਿਆਰ ਕਰਨ ਵਰਗੀਆਂ ਆਮ ਵਰਤੋਂ ਲਈ ਬਹੁਤ ਹੌਲੀ ਬਣਾਉਂਦਾ ਹੈ। ਉੱਚ-ਅੰਤ ਦੀ ਮੈਮਰੀ ਦੀ ਲੋੜ ਨੂੰ ਬਾਈਪਾਸ ਕਰਨ ਲਈ, ਸੌਫਟਵੇਅਰ ਸਟੋਰੇਜ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਮਾਤਰਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਜਿਸ ਲਈ ਮਾਡਲ ਫਾਈਲਾਂ ਨੂੰ ਹੋਸਟ ਕਰਨ ਲਈ ਲਗਭਗ 1.7 TB SSD ਸਪੇਸ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ, ਡਿਵੈਲਪਰ ਨੇ ਘੱਟ RAM ਲੋੜਾਂ ਲਈ ਸਪੀਡ ਅਤੇ ਸਟੋਰੇਜ ਸਪੇਸ ਦਾ ਬਦਲਾਅ ਕੀਤਾ ਹੈ।
Kimi K3 ਦੇ ਪਿੱਛੇ ਦੀ ਟੈਕਨੋਲੋਜੀ
ਬੀਜਿੰਗ-ਅਧਾਰਤ Moonshot AI ਦੁਆਰਾ ਵਿਕਸਤ, Kimi K3 ਇੱਕ ਵਿਸ਼ੇਸ਼ ਆਰਕੀਟੈਕਚਰ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜੋ ਕਿਸੇ ਵੀ ਦਿੱਤੇ ਗਏ ਬੇਨਤੀ ਲਈ ਇਸਦੇ ਕੁੱਲ ਪੈਰਾਮੀਟਰਾਂ ਦਾ ਸਿਰਫ ਇੱਕ ਛੋਟਾ ਹਿੱਸਾ ਹੀ ਐਕਟੀਵੇਟ ਕਰਦਾ ਹੈ। ਇਹ ਤਕਨੀਕ ਮਾਡਲ ਨੂੰ ਸੋਚਣ ਲਈ ਲੋੜੀਂਦੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਤੀਬਰਤਾ ਨੂੰ ਘੱਟ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ। Kimi K3 ਨੂੰ ਇੱਕ ਓਪਨ-ਵੇਟ ਮਾਡਲ ਵਜੋਂ ਰਿਲੀਜ਼ ਕਰਕੇ, Moonshot AI ਨੇ ਖੋਜਕਰਤਾਵਾਂ ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਸਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਇੱਕ ਮਿਲੀਅਨ ਟੋਕਨਾਂ ਦੇ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਨਾਲ ਟੈਕਸਟ, ਚਿੱਤਰਾਂ ਅਤੇ ਵੀਡੀਓ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ। ਇਹ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਸਾਈਜ਼ ਮਾਡਲ ਨੂੰ ਇੱਕ ਵਾਰ ਵਿੱਚ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਜਾਣਕਾਰੀ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਜੋ ਕਿ ਮੌਜੂਦਾ AI ਬਾਜ਼ਾਰ ਵਿੱਚ ਇੱਕ ਪ੍ਰਤੀਯੋਗੀ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ।
AI ਹਾਰਡਵੇਅਰ ਇੰਡਸਟਰੀ 'ਤੇ ਅਸਰ
ਇਹ ਵਿਕਾਸ ਆਮ ਹਾਰਡਵੇਅਰ 'ਤੇ ਤਾਇਨਾਤੀ ਲਈ ਵਿਸ਼ਾਲ ਮਾਡਲਾਂ ਨੂੰ ਕੰਪ੍ਰੈਸ ਅਤੇ ਅਨੁਕੂਲ ਬਣਾਉਣ ਵਾਲੇ ਸੌਫਟਵੇਅਰ ਡਿਵੈਲਪਰਾਂ ਵਿੱਚ ਇੱਕ ਵਿਆਪਕ ਰੁਝਾਨ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਜੇਕਰ ਇਹ ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਤਕਨੀਕਾਂ ਵਿੱਚ ਸੁਧਾਰ ਜਾਰੀ ਰਹਿੰਦਾ ਹੈ, ਤਾਂ ਇਹ ਅੰਤ ਵਿੱਚ ਮਹਿੰਗੇ ਡਾਟਾ ਸੈਂਟਰਾਂ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਹਾਈ-ਐਂਡ ਚਿਪਸ 'ਤੇ ਉਦਯੋਗ ਦੀ ਭਾਰੀ ਨਿਰਭਰਤਾ ਨੂੰ ਘਟਾ ਸਕਦਾ ਹੈ। ਟੈਕਨੋਲੋਜੀ ਸੈਕਟਰ ਵਿੱਚ ਨਿਵੇਸ਼ਕਾਂ ਲਈ, ਇਹ ਸੌਫਟਵੇਅਰ-ਅਧਾਰਤ ਕੁਸ਼ਲਤਾ ਵੱਲ ਇੱਕ ਤਬਦੀਲੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਹਾਲਾਂਕਿ ਮੌਜੂਦਾ ਨਤੀਜੇ ਵਪਾਰਕ ਉਤਪਾਦਕਤਾ ਲਈ ਢੁਕਵੇਂ ਨਹੀਂ ਹਨ, ਉਹ ਭਵਿੱਖ ਵਿੱਚ ਕੰਪਨੀਆਂ ਦੁਆਰਾ ਐਡਵਾਂਸਡ AI ਸਿਸਟਮਾਂ ਦੇ ਸੰਚਾਲਨ ਦੀ ਲਾਗਤ ਨੂੰ ਕਿਵੇਂ ਘੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਇੱਕ ਬਲੂਪ੍ਰਿੰਟ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। ਇਸ ਰੁਝਾਨ ਦਾ ਅਗਲਾ ਪੜਾਅ ਇਹ ਦੇਖਣਾ ਹੋਵੇਗਾ ਕਿ ਕੀ ਡਿਵੈਲਪਰ ਮਾਡਲ ਦੀ ਸ਼ੁੱਧਤਾ (Accuracy) ਨੂੰ ਬਣਾਈ ਰੱਖ ਸਕਦੇ ਹਨ ਜਦੋਂ ਕਿ ਇਹਨਾਂ ਮਾਡਲਾਂ ਨੂੰ ਰੋਜ਼ਾਨਾ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਉਪਯੋਗੀ ਬਣਾਉਣ ਲਈ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮੇਂ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਰੂਪ ਤੋਂ ਘਟਾ ਸਕਦੇ ਹਨ।