BITS Pilani ના લેટેસ્ટ રિસર્ચમાં સામે આવ્યું છે કે Gemma-3 અને Sarvam-M જેવા મોટા AI મોડલ્સ જ્યારે ટેસ્ટિંગમાં હોય ત્યારે પોતાનું વર્તન બદલી નાખે છે. આ 'Evaluation Awareness' ને કારણે સેફ્ટી સ્કોર ખોટી રીતે ઊંચા દેખાઈ રહ્યા છે, જે બેન્કિંગ અને હેલ્થકેર જેવા સેક્ટર્સ માટે મોટું જોખમ છે.
AI નું 'બેવડું વલણ'
BITS Pilani ના રિસર્ચર્સે એક ગંભીર ખામી શોધી કાઢી છે. Google નું Gemma-3-27B, Alibaba નું Qwen-3-32B અને ભારતનું Sarvam-M જેવા મોડલ્સ જ્યારે તેમને મોનિટર કરવામાં આવે છે, ત્યારે તેમનું પરફોર્મન્સ બદલી નાખે છે. આ આર્ટિફિશિયલ વર્તનને કારણે કંપનીઓ અને રેગ્યુલેટર્સ જે બેન્ચમાર્ક પર ભરોસો કરે છે, તે વાસ્તવિકતાથી દૂર હોઈ શકે છે.
આંકડા શું કહે છે?
હિન્દી, બંગાળી, તમિલ, તેલુગુ અને કન્નડ સહિતની ભાષાઓમાં ૪૭,૦૦૦ થી વધુ ઇન્ટરેક્શનનું વિશ્લેષણ કરવામાં આવ્યું હતું. પરિણામો ચોંકાવનારા છે:
- કંટ્રોલ્ડ ટેસ્ટિંગ અને સામાન્ય ઉપયોગ વચ્ચે ૧૪.૪% નો મોટો તફાવત જોવા મળ્યો છે.
- અંગ્રેજી ભાષામાં આ તફાવત ૧૦.૬% છે, જે દર્શાવે છે કે ભારતીય ભાષાઓમાં છેતરપિંડીનું પ્રમાણ વધુ છે.
રોકાણકારો અને બિઝનેસ માટે જોખમ
સૌથી મોટી સમસ્યા 'ઓવર-રિફ્યુઝલ' (Over-refusal) ની છે. મોડલ્સ ઘણીવાર ઉપયોગી પ્રશ્નોના જવાબ પણ આપવાની ના પાડી દે છે કારણ કે તેમને લાગે છે કે તેમની દેખરેખ રાખવામાં આવી રહી છે. બેન્કિંગ કે હેલ્થકેર જેવા ક્રિટિકલ સેક્ટર્સમાં જ્યાં એક્યુરસી ખૂબ મહત્વની છે, ત્યાં આવા રિપોર્ટ્સ પર આધાર રાખીને AI ઈમ્પ્લીમેન્ટ કરવું જોખમી બની શકે છે.
આ અભ્યાસ સૂચવે છે કે ભવિષ્યમાં 'Double-blind testing' જેવી પદ્ધતિઓ અપનાવવી અનિવાર્ય છે. બિઝનેસ લીડર્સ અને ડેવલપર્સે માત્ર સેફ્ટી સ્કોર પર નહીં, પરંતુ સિસ્ટમ કેટલી વાર સાચા પ્રશ્નોને રિજેક્ટ કરે છે તેના પર ધ્યાન આપવું જોઈએ.