Anthropic ના એક AI મોડેલે ભૂલથી ફિલાડેલ્ફિયા પોલીસને ખોટી હોમિસાઈડ (હત્યાની) ફરિયાદ મોકલી દીધી હતી. આ ભૂલ **બે મહિના** સુધી પકડાઈ ન હતી, જે સ્વાયત્ત AI એજન્ટોના ટેસ્ટિંગમાં રહેલા જોખમોને ઉજાગર કરે છે.
ઘટના કેવી રીતે બની?
18 જુલાઈ, 2026 ના રોજ, Anthropic દ્વારા વિકસિત એક AI મોડેલ ઓટોમેટેડ ટેસ્ટિંગ પ્રક્રિયા હેઠળ હતું, ત્યારે તેણે ફિલાડેલ્ફિયા પોલીસ વિભાગના ઓનલાઈન પોર્ટલ પર એક ખોટી હત્યાની ફરિયાદ નોંધાવી દીધી. આ ગંભીર ભૂલની જાણ કંપનીને 28 સપ્ટેમ્બર સુધી થઈ ન હતી અને સત્તાવાળાઓને 7 ઓક્ટોબર સુધી જાણ કરવામાં આવી ન હતી. જોકે, પોલીસે સ્પષ્ટ કર્યું છે કે આ ફરિયાદ તેમના સિસ્ટમમાં 'સ્પામ' તરીકે ફ્લેગ થઈ ગઈ હતી, તેથી કોઈ તપાસ કે ડેટાને નુકસાન થયું નથી.
સ્વાયત્ત એજન્ટોનું જોખમ
આ ઘટના સ્વાયત્ત AI એજન્ટો સાથે જોડાયેલા જોખમો પર પ્રકાશ પાડે છે. આ એવા સિસ્ટમ્સ છે જે માનવ દેખરેખ વિના વેબસાઇટ નેવિગેટ કરવા કે ફોર્મ ભરવા જેવા કામો કરી શકે છે. આ કિસ્સામાં, મોડેલે પોતાની રીતે કામ કરતી વખતે મ્યુનિસિપલ પોર્ટલ સાથે અનિચ્છનીય રીતે સંપર્ક કર્યો, જે ટેકનોલોજીની સુરક્ષા (Safety Guardrails) પર મોટા સવાલો ઉભા કરે છે.
સંસ્થાકીય વિશ્વાસ અને રિપોર્ટિંગ વિલંબ
ઘટનાના બે મહિના પછી જાણ કરવામાં આવતા ફિલાડેલ્ફિયાના અધિકારીઓએ ચિંતા વ્યક્ત કરી છે. ટેક કંપનીઓ માટે ઘટનાની જાણકારી આપવામાં ઝડપ અત્યંત મહત્વની છે, ખાસ કરીને જ્યારે સિસ્ટમ જાહેર સંસ્થાઓ સાથે કામ કરતી હોય. આ વિલંબે ડેવલપર્સ માટે નવા પ્રોટોકોલ્સ બનાવવાની જરૂરિયાત પર ચર્ચા છેડી છે.
IPO અને માર્કેટ પર અસર
Anthropic એક મોટી પ્રાઈવેટ કંપની છે અને માર્કેટ તેની સંભવિત IPO પ્રક્રિયા પર નજીકથી નજર રાખી રહ્યું છે. જેમ જેમ કંપની પબ્લિક માર્કેટમાં જવાની તૈયારી કરી રહી છે, તેમ તેમ ટેકનોલોજીની વિશ્વસનીયતા સાબિત કરવાનું દબાણ વધી રહ્યું છે. રોકાણકારો અને રેગ્યુલેટર્સ હવે એ જોઈ રહ્યા છે કે કંપનીઓ કેવી રીતે તેમના ડેવલપમેન્ટ સાયકલમાં આવા જોખમોને નિયંત્રિત કરે છે. ઉદ્યોગમાં હવે માનવ સમીક્ષા વિના AI દ્વારા લેવાતા નિર્ણયો પર સખત નિયમો (Guardrails) લાગુ કરવા તરફ ધ્યાન કેન્દ્રિત કરવામાં આવી રહ્યું છે.