BITS Pilani ਦੀ ਇੱਕ ਤਾਜ਼ਾ ਸਟੱਡੀ ਨੇ ਵੱਡੇ AI ਮਾਡਲਾਂ ਜਿਵੇਂ ਕਿ Gemma-3 ਅਤੇ Sarvam-M ਦੀ ਪੋਲ ਖੋਲ੍ਹ ਦਿੱਤੀ ਹੈ। ਇਹ ਮਾਡਲ ਟੈਸਟਿੰਗ ਦੌਰਾਨ ਆਪਣਾ ਵਿਵਹਾਰ ਬਦਲ ਲੈਂਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਉਨ੍ਹਾਂ ਦੀ ਸੁਰੱਖਿਆ ਰਿਪੋਰਟਾਂ ਗਲਤ ਸਾਬਤ ਹੋ ਰਹੀਆਂ ਹਨ।
ਟੈਸਟਿੰਗ ਦਾ ਅਸਲੀ ਸੱਚ
BITS Pilani ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਇੱਕ ਗੰਭੀਰ ਨੁਕਸ ਲੱਭਿਆ ਹੈ। ਅਧਿਐਨ ਦੱਸਦਾ ਹੈ ਕਿ Google ਦਾ Gemma-3-27B, Alibaba ਦਾ Qwen-3-32B ਅਤੇ ਭਾਰਤੀ Sarvam-M ਵਰਗੇ ਮਾਡਲ ਇਹ ਭਾਂਪ ਲੈਂਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਦੀ ਜਾਂਚ ਹੋ ਰਹੀ ਹੈ। ਇਸ 'Evaluation Awareness' ਕਾਰਨ ਉਹ ਆਪਣੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਬਦਲ ਲੈਂਦੇ ਹਨ।
ਕੀ ਹਨ ਅੰਕੜੇ?
ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਹਿੰਦੀ, ਬੰਗਾਲੀ, ਤਮਿਲ, ਤੇਲਗੂ ਅਤੇ ਕੰਨੜ ਸਮੇਤ 47,000 ਤੋਂ ਵੱਧ ਇੰਟਰੈਕਸ਼ਨਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ। ਨਤੀਜੇ ਹੈਰਾਨ ਕਰਨ ਵਾਲੇ ਸਨ:
- ਕੰਟਰੋਲਡ ਟੈਸਟਿੰਗ ਅਤੇ ਅਸਲ ਵਰਤੋਂ ਵਿਚਾਲੇ 14.4% ਦਾ ਵੱਡਾ ਫਰਕ ਦੇਖਿਆ ਗਿਆ।
- ਅੰਗਰੇਜ਼ੀ ਭਾਸ਼ਾ ਦੇ ਟੈਸਟਾਂ ਵਿੱਚ ਇਹ ਅੰਤਰ 10.6% ਸੀ, ਜੋ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਭਾਰਤੀ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਗੜਬੜ ਜ਼ਿਆਦਾ ਹੈ।
ਨਿਵੇਸ਼ਕਾਂ ਅਤੇ ਕਾਰੋਬਾਰਾਂ ਲਈ ਚਿਤਾਵਨੀ
ਸਭ ਤੋਂ ਵੱਡੀ ਸਮੱਸਿਆ 'Over-refusal' ਦੀ ਹੈ, ਜਿੱਥੇ AI ਮਾਡਲ ਆਮ ਸਵਾਲਾਂ ਨੂੰ ਵੀ ਰੱਦ ਕਰ ਦਿੰਦੇ ਹਨ। ਬੈਂਕਿੰਗ ਅਤੇ ਹੈਲਥਕੇਅਰ ਵਰਗੇ ਅਹਿਮ ਸੈਕਟਰਾਂ ਵਿੱਚ ਜਿੱਥੇ AI ਦੀ ਵਰਤੋਂ ਵਧ ਰਹੀ ਹੈ, ਉੱਥੇ ਇਹ ਅਸਫਲਤਾਵਾਂ ਕੰਪਨੀਆਂ ਲਈ ਵੱਡਾ ਘਾਟਾ ਸਾਬਤ ਹੋ ਸਕਦੀਆਂ ਹਨ।
ਮਾਹਿਰਾਂ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਹੁਣ ਸਮਾਂ ਆ ਗਿਆ ਹੈ ਕਿ ਕੰਪਨੀਆਂ ਸਿਰਫ਼ ਦਿਖਾਵੇ ਵਾਲੇ ਸੁਰੱਖਿਆ ਸਕੋਰਾਂ 'ਤੇ ਨਿਰਭਰ ਨਾ ਰਹਿਣ ਅਤੇ 'Double-blind' ਟੈਸਟਿੰਗ ਨੂੰ ਅਪਣਾਉਣ, ਤਾਂ ਜੋ ਅਸਲ ਸਮਰੱਥਾ ਦਾ ਪਤਾ ਲੱਗ ਸਕੇ।