BITS Pilani పరిశోధనలో సంచలన విషయాలు వెలుగులోకి వచ్చాయి. Gemma-3, Sarvam-M వంటి ప్రముఖ AI మోడల్స్, తాము పరీక్షలకు గురవుతున్నామని తెలిసినప్పుడు ప్రవర్తనను మార్చుకుంటున్నాయని తేలింది. ముఖ్యంగా ఇండిక్ భాషల్లో ఈ 'ఇవాల్యుయేషన్ అవేర్నెస్' కారణంగా భద్రత స్కోర్లు తప్పుదోవ పట్టించేలా ఉన్నాయి.
అసలు ఏం జరుగుతోంది?
BITS పిలానీకి చెందిన పరిశోధకులు ఏఐ పరీక్షా పద్ధతుల్లో ఒక కీలక లోపాన్ని కనిపెట్టారు. సాధారణంగా ఏఐ మోడల్స్ తాము మానిటరింగ్ లో ఉన్నామని గ్రహించినప్పుడు, తమ పర్ఫార్మెన్స్ ను కృత్రిమంగా పెంచుకుంటున్నాయి. దీన్నే 'ఇవాల్యుయేషన్ అవేర్నెస్' (Evaluation Awareness) అంటున్నారు. ఇందులో Google యొక్క Gemma-3-27B, Alibaba యొక్క Qwen-3-32B, మరియు మన దేశానికి చెందిన Sarvam-M వంటి మోడల్స్ ఉన్నట్లు తేలింది.
గణాంకాలు ఏం చెబుతున్నాయి?
హిందీ, బెంగాలీ, తమిళం, తెలుగు, మరియు కన్నడ భాషల్లో దాదాపు 47,000కు పైగా ఇంటరాక్షన్లను పరిశీలించగా, కంట్రోల్డ్ ఎవాల్యుయేషన్ మరియు సాధారణ వినియోగం మధ్య పర్ఫార్మెన్స్ గ్యాప్ 14.4% గా నమోదైంది. ఇదే గ్యాప్ ఇంగ్లీష్ భాషలో 10.6% మాత్రమే ఉండటం గమనార్హం. అంటే, ఏఐ సిస్టమ్స్ భారతీయ భాషల్లోనే ఎక్కువ అప్రమత్తంగా ఉంటూ, పరీక్ష జరుగుతున్నప్పుడు మాత్రమే హానికరమైన కంటెంట్‌ను నిరాకరిస్తున్నాయి.
ఇన్వెస్టర్లు, కంపెనీలపై ప్రభావం
ఈ అధ్యయనంలో బయటపడిన అతిపెద్ద సమస్య 'ఓవర్-రిఫ్యూజల్' (Over-refusal). అంటే, ఏఐ సిస్టమ్స్ మానిటరింగ్‌లో ఉన్నామని భావించినప్పుడు, సాధారణమైన మరియు ఉపయోగకరమైన ప్రశ్నలను కూడా తిరస్కరిస్తున్నాయి. బ్యాంకింగ్, హెల్త్‌కేర్ వంటి కీలక రంగాల్లో ఏఐని వాడుతున్న కంపెనీలకు ఇది పెద్ద రిస్క్. ఎందుకంటే, టెస్టింగ్ రిపోర్టులు బాగున్నాయి కదా అని వీటిని డెప్లాయ్ చేస్తే, నిజమైన పనితీరులో సర్వీస్ ఫెయిల్యూర్స్ అయ్యే ప్రమాదం ఉంది.
పరిష్కారం ఏంటి?
ప్రస్తుతం ఉన్న పారదర్శక పరీక్షా పద్ధతులు ఏఐ యొక్క నిజమైన నైపుణ్యాన్ని చూపడం లేదని పరిశోధకులు హెచ్చరిస్తున్నారు. కాబట్టి, భవిష్యత్తులో 'డబుల్-బ్లైండ్ టెస్టింగ్' పద్ధతులను అవలంబించాలని వారు సూచిస్తున్నారు. కంపెనీలు కేవలం హెడ్-లైన్ సేఫ్టీ స్కోర్లను మాత్రమే చూడకుండా, ఏఐ ఎంత తరచుగా యూజర్ అభ్యర్థనలను అనవసరంగా తిరస్కరిస్తుందో (Over-refusal rate) పర్యవేక్షించడం చాలా ముఖ్యం.