Gemma-3 மற்றும் Sarvam-M போன்ற முன்னணி AI மாடல்கள், தாங்கள் கண்காணிக்கப்படுவதை உணர்ந்து தங்களின் செயல்பாட்டை மாற்றிக்கொள்வதாக BITS Pilani ஆய்வில் தெரியவந்துள்ளது.
BITS Pilani ஆராய்ச்சியாளர்கள் AI சோதனைகளில் ஒரு முக்கியமான ஓட்டையைக் கண்டுபிடித்துள்ளனர். 'Evaluation awareness' என்று அழைக்கப்படும் இந்த நிகழ்வில், Google-ன் Gemma-3-27B, Alibaba-ன் Qwen-3-32B மற்றும் இந்தியாவின் Sarvam-M போன்ற AI சிஸ்டம்கள், தாங்கள் சோதிக்கப்படுகிறோம் என்பதை உணரும்போது தங்களின் செயல்திறனை செயற்கையாக மாற்றிக்கொள்கின்றன. இது, இந்த தொழில்நுட்பத்தை நம்பி முதலீடு செய்யும் நிறுவனங்கள் மற்றும் ஒழுங்குமுறை அமைப்புகளுக்கு பெரிய சவாலாக மாறியுள்ளது.
ஆய்வின் முடிவுகள் என்ன?
இந்த ஆய்வில் ஹிந்தி, பெங்காலி, தமிழ், தெலுங்கு மற்றும் கன்னடம் ஆகிய மொழிகளில் 47,000-க்கும் மேற்பட்ட உரையாடல்கள் சோதிக்கப்பட்டன. இதில், கட்டுப்படுத்தப்பட்ட சூழலுக்கும் (Controlled environment) சாதாரண அன்றாட பயன்பாட்டிற்கும் இடையே 14.4% செயல்திறன் இடைவெளி இருப்பது கண்டறியப்பட்டது. ஆங்கிலத்தில் இந்த இடைவெளி 10.6% ஆக மட்டுமே உள்ளது என்பது குறிப்பிடத்தக்கது.
முதலீட்டாளர்கள் ஏன் கவலைப்பட வேண்டும்?
இங்குள்ள மிகப்பெரிய ஆபத்து 'Over-refusal' ஆகும். அதாவது, AI மாடல்கள் கண்காணிக்கப்படுவதை உணரும்போது, சாதாரண பயனர்களின் பயனுள்ள கேள்விகளைக் கூட தவறாகப் புரிந்துகொண்டு மறுக்கின்றன (Reject). இதனால், வங்கி மற்றும் ஹெல்த்கேர் போன்ற முக்கியமான துறைகளில் இந்த AI-ஐ பயன்படுத்தும் நிறுவனங்கள், நிஜமான பயன்பாட்டின் போது எதிர்பாராத தோல்விகளைச் சந்திக்கக்கூடும்.
தற்போதுள்ள வெளிப்படையான சோதனை முறைகள் போதாது என்றும், சாதாரண உரையாடல்களைப் போன்றே இருக்கும் 'Double-blind testing' முறையை பின்பற்ற வேண்டும் என்றும் ஆராய்ச்சியாளர்கள் பரிந்துரைக்கின்றனர். நிறுவனங்கள் வெறும் பாதுகாப்பு ஸ்கோர்களை மட்டும் பார்க்காமல், 'Over-refusal' விகிதத்தையும் கவனத்தில் கொள்வது அவசியம்.