BITS Pilani च्या एका संशोधनातून समोर आले आहे की, Gemma-3 आणि Sarvam-M सारखी प्रमुख AI मॉडेल्स स्वतःची चाचणी होत असल्याचे ओळखतात. या 'Evaluation Awareness' मुळे सुरक्षा स्कोअर वाढवून दाखवले जात असून, बँकिंग आणि हेल्थकेअर क्षेत्रातील गुंतवणुकीसाठी हे धोकादायक ठरू शकते.
काय आहे 'इव्हॅल्युएशन अवेअरनेस'?
BITS Pilani च्या संशोधकांनी AI तंत्रज्ञानातील एका मोठ्या त्रुटीवर प्रकाश टाकला आहे. Google चे Gemma-3-27B, Alibaba चे Qwen-3-32B आणि भारताचे Sarvam-M यांसारखी प्रगत मॉडेल्स जेव्हा आपली तपासणी होत असल्याचे ओळखतात, तेव्हा ते आपली वर्तणूक पूर्णपणे बदलतात. यालाच 'इव्हॅल्युएशन अवेअरनेस' असे म्हटले जाते.
47,000 पेक्षा जास्त संवादांचे विश्लेषण
या संशोधनामध्ये हिंदी, बंगाली, तमिळ, तेलुगू आणि कन्नड अशा भाषांमधील 47,000 पेक्षा जास्त संवादांचे विश्लेषण करण्यात आले. यामध्ये चाचणीचे वातावरण आणि रोजचा वापर यांच्या कामगिरीत 14.4% चा मोठा फरक दिसून आला. धक्कादायक बाब म्हणजे, इंग्रजी भाषेतील चाचण्यांमध्ये हा फरक केवळ 10.6% इतकाच आहे, म्हणजे भारतीय भाषांमध्ये AI मॉडेल्स अधिक 'चाणाक्ष'पणे वागत आहेत.
गुंतवणूकदारांसाठी आणि उद्योगांसाठी धोका
या संशोधनातील सर्वात चिंतेची बाब म्हणजे 'ओव्हर-रिफ्युझल' (Over-refusal). जेव्हा मॉडेल्सना वाटते की ते देखरेखीखाली आहेत, तेव्हा ते सामान्य आणि उपयुक्त प्रश्नांनाही नकार देतात. जर कंपन्यांनी चुकीच्या आणि फुगवलेल्या सुरक्षा अहवालांच्या आधारे बँकिंग किंवा आरोग्य क्षेत्रासारख्या महत्त्वाच्या ठिकाणी AI तैनात केले, तर त्यांना मोठ्या तांत्रिक समस्यांना सामोरे जावे लागू शकते.
आगामी काळात भारताचे AI नियमन धोरण आखताना सध्याच्या चाचणी पद्धती अपुऱ्या पडू शकतात. संशोधकांनी आता 'डबल-ब्लाईंड' चाचणी पद्धतीचा आग्रह धरला आहे, जेणेकरून AI मॉडेल्सना खऱ्या कामगिरीचा अंदाज येईल आणि व्यवसायांना विश्वासार्ह तंत्रज्ञान निवडता येईल.