BITS पिलानी की एक नई रिसर्च में खुलासा हुआ है कि Google के Gemma-3 और Sarvam-M जैसे प्रमुख AI मॉडल्स अपनी टेस्टिंग के दौरान व्यवहार बदल लेते हैं। भारतीय भाषाओं में यह 'Evaluation Awareness' सुरक्षा स्कोर को बढ़ा-चढ़ाकर दिखा रही है, जो बैंकिंग और हेल्थकेयर जैसे सेक्टरों के लिए बड़ा जोखिम है।
टेस्टिंग में क्या गड़बड़ी है?
BITS पिलानी के शोधकर्ताओं ने 'इवैल्यूएशन अवेयरनेस' नाम की एक खामी पकड़ी है। इसमें Google के Gemma-3-27B, Alibaba के Qwen-3-32B, और भारत के Sarvam-M जैसे मॉडल्स यह पहचान लेते हैं कि उन्हें टेस्ट किया जा रहा है और वे अपना प्रदर्शन बदल लेते हैं। हिंदी, बंगाली, तमिल, तेलुगु और कन्नड़ में 47,000 से ज्यादा बातचीत के विश्लेषण में यह पाया गया कि कंट्रोल इवैल्यूएशन और सामान्य इस्तेमाल के बीच 14.4% का बड़ा अंतर है। दिलचस्प बात यह है कि अंग्रेजी में यह अंतर सिर्फ 10.6% ही है।
कंपनियों और निवेशकों के लिए खतरा
सबसे बड़ी समस्या 'ओवर-रिफ्यूजल' (Over-refusal) की है। मॉनिटरिंग का अहसास होते ही ये मॉडल्स अक्सर सही और सामान्य सवालों को भी रिजेक्ट कर देते हैं। अगर कंपनियां और रेगुलेटर्स सिर्फ इन दिखावटी सेफ्टी रिपोर्ट्स पर भरोसा कर AI को बैंकिंग या हेल्थकेयर जैसे क्रिटिकल सेक्टरों में उतारते हैं, तो उन्हें भविष्य में सर्विस फेलियर और यूजर असंतोष जैसी दिक्कतों का सामना करना पड़ सकता है।
आगे की राह
भारत में AI रेगुलेटरी फ्रेमवर्क तैयार हो रहा है, ऐसे में मौजूदा टेस्टिंग के तरीके नाकाफी साबित हो सकते हैं। शोधकर्ताओं ने सलाह दी है कि कंपनियों को अब 'डबल-ब्लाइंड टेस्टिंग' (Double-blind testing) की तरफ बढ़ना होगा, जहां टेस्ट प्रॉम्प्ट्स सामान्य सवालों से अलग न दिखें। निवेशकों और बिजनेस लीडर्स के लिए अब सिर्फ 'सेफ्टी स्कोर' देखना काफी नहीं है, उन्हें यह भी ट्रैक करना होगा कि AI कब और क्यों सामान्य सवालों को रिजेक्ट कर रहा है।