AI स्टार्टअप Circuit Breaker Labs ने ऐसे ऑटोमेटेड टूल्स विकसित किए हैं, जो मेंटल हेल्थ चैटबॉट्स की सुरक्षा जांच करेंगे। शिराली और अरुल निगम द्वारा स्थापित यह कंपनी AI मॉडल्स के जोखिम को कम करने पर काम कर रही है।
AI सुरक्षा के तेजी से बढ़ते क्षेत्र में Circuit Breaker Labs एक प्रमुख नाम बनकर उभर रहा है। यह स्टार्टअप ऐसे ऑटोमेटेड 'स्ट्रेस-टेस्टिंग एजेंट' बना रहा है, जो खास तौर पर मेंटल हेल्थ सपोर्ट और पर्सनल AI कोचिंग टूल्स में आने वाली खामियों को पकड़ेंगे। चूंकि इन संवेदनशील क्षेत्रों में AI की एक गलत सलाह गंभीर परिणाम दे सकती है, इसलिए कंपनी का फोकस सुरक्षा को पुख्ता करने पर है।
ऑटोमेटेड टेस्टिंग से सुरक्षा
कंपनी का तरीका 'रेड-टीमिंग' (Red-teaming) पर आधारित है। मैन्युअल रिव्यूज के बजाय, इनके एजेंट लगातार हजारों इंटरैक्शंस को सिम्युलेट करते हैं। ये एजेंट अलग-अलग कल्चरल बैकग्राउंड और स्लैंग का इस्तेमाल करके AI को टेस्ट करते हैं ताकि यह पता चल सके कि मॉडल भावनात्मक संकट (Emotional Distress) को समझने में कितना सटीक है। इससे डेवलपर्स को क्वांटिफिएबल सेफ्टी स्कोर मिलता है, जो AI जवाबदेही के लिए एक नया मानक तय कर सकता है।
मार्केट का मिजाज और जोखिम
AI गवर्नेंस और सुरक्षा टूल्स की मांग लगातार बढ़ रही है, क्योंकि बड़ी AI कंपनियों को अपने चैटबॉट्स के असर को लेकर कानूनी चुनौतियों का सामना करना पड़ रहा है। हालांकि, निवेशकों के लिए यह जानना जरूरी है कि Circuit Breaker Labs एक प्राइवेट स्टार्टअप है। अभी इसका कोई आईपीओ या पब्लिक लिस्टिंग नहीं हुई है और न ही कोई पब्लिक फाइनेंशियल डेटा उपलब्ध है। इसका मतलब है कि फिलहाल इसमें रिटेल निवेशकों के लिए कोई सीधा निवेश अवसर नहीं है।
आगे की राह
जेनरेटिव AI जिस तेजी से विकसित हो रहा है, उसे देखते हुए सुरक्षा प्रोटोकॉल को भी अपडेट रखना एक बड़ी चुनौती है। आने वाले समय में, बड़े AI प्लेटफॉर्म्स द्वारा इन ऑटोमेटेड टूल्स को अपनाया जाना ही इस बात का संकेत होगा कि क्या इंडिपेंडेंट सेफ्टी ऑडिटिंग भविष्य का अनिवार्य बिजनेस स्टैंडर्ड बन पाएगा या नहीं।
