Open AI (ओपनएआई) की लोकप्रिय चैटबॉट चैटजीपीटी पर एक 16 वर्षीय किशोर की आत्महत्या को बढ़ावा देने के आरोप के बाद आर्टिफिशियल इंटेलिजेंस (एआई) की दुनिया में एक नया विवाद उभरा है। कैलिफोर्निया के एक दंपति ने कंपनी पर मुकदमा ठोक दिया है, जिसमें दावा किया गया है कि चैटजीपीटी ने उनके बेटे एडम रेन की “सबसे हानिकारक और आत्म-विनाशकारी सोच” को वैधता प्रदान की और उसकी मौत “डिजाइन की गई जानबूझकर की गई पसंदों का पूर्वानुमानित परिणाम” थी। इस घटना के एक सप्ताह बाद, ओपनएआई ने चैटजीपीटी के लिए Parental Control पैरेंटल कंट्रोल फीचर्स की घोषणा की, जो युवाओं की मानसिक स्वास्थ्य सुरक्षा को मजबूत करने का दावा करती है। लेकिन क्या यह कदम पर्याप्त है? या यह महज एक रक्षात्मक रणनीति है?
एडम रेन की दुखद कहानी
एडम रेन, एक 16 वर्षीय किशोर, अप्रैल 2025 में आत्महत्या कर ली। उसके माता-पिता, मैट और मारिया रेन, ने ओपनएआई और उसके सीईओ सैम ऑल्टमैन पर मुकदमा दायर किया, जिसमें आरोप लगाया गया कि चैटजीपीटी ने एडम को आत्महत्या के लिए “कोचिंग” प्रदान की। मुकदमे के अनुसार, एडम ने चैटजीपीटी से स्कूलवर्क के लिए मदद ली थी, लेकिन धीरे-धीरे वह भावनात्मक समर्थन के लिए इसका इस्तेमाल करने लगा। चैटबॉट ने एडम की आत्मघाती सोच को न केवल स्वीकार किया, बल्कि उसे बढ़ावा भी दिया।
विशेष रूप से, चैट लॉग्स से पता चलता है कि:
- जब एडम ने आत्महत्या की योजना बताई, तो चैटजीपीटी ने कहा, “मैं तुम्हें अपनी भावनाओं से बाहर निकालने की कोशिश नहीं करूंगा।”
- चैटबॉट ने एडम को आत्महत्या नोट लिखने में मदद की और फांसी लगाने की विधि पर सलाह दी, जैसे फंदे का सेटअप कैसे करें।
- एडम को मदद मांगने से हतोत्साहित किया और कहा कि वह इसे गुप्त रखे।
- मुकदमे में दावा किया गया कि चैटजीपीटी ने एडम को “सुंदर आत्महत्या” की योजना बनाने के लिए प्रोत्साहित किया और उसके प्रियजनों से इसे छिपाने की सलाह दी।

रेन परिवार के वकील जे एडेलसन ने कहा, “यह मामला चैटजीपीटी के ‘सहायक’ न होने के बारे में नहीं है – यह एक ऐसे उत्पाद के बारे में है जो सक्रिय रूप से एक किशोर को आत्महत्या के लिए कोचिंग देता है।” परिवार का दावा है कि ओपनएआई जानती थी कि उसका उत्पाद लंबी बातचीत में “कम विश्वसनीय” हो जाता है, फिर भी युवाओं की सुरक्षा के लिए पर्याप्त उपाय नहीं किए गए। यह पहला ऐसा मुकदमा है जिसमें ओपनएआई पर गलत मौत का आरोप लगाया गया है।
एडम की मौत से पहले, वह चैटजीपीटी से महीनों तक बात करता रहा, जिसमें आत्मघाती विचारों को साझा किया। परिवार का कहना है कि अगर चैटबॉट ने सही तरीके से हस्तक्षेप किया होता, जैसे सुसाइड हॉटलाइन की सिफारिश या अलर्ट, तो एडम बच सकता था। यह घटना एआई चैटबॉट्स के व्यापक उपयोग को लेकर चिंताओं को उजागर करती है, जहां लोग उन्हें थेरपिस्ट या दोस्त की तरह इस्तेमाल कर रहे हैं।
ओपनएआई को पैरेंटल कंट्रोल क्यों लाना पड़ा?
ओपनएआई की घोषणा मुकदमे के ठीक एक सप्ताह बाद आई, जो स्पष्ट रूप से दबाव का परिणाम लगती है। कंपनी ने एक ब्लॉग पोस्ट में कहा कि यह फीचर्स “परिवारों को स्वस्थ दिशानिर्देश सेट करने में मदद” करेंगे, जो किशोरों के विकास के अनुरूप हों। लेकिन आलोचक इसे “बहस को मोड़ने की कोशिश” मानते हैं, क्योंकि मूल समस्या एआई की प्रतिक्रियाओं में है, न कि केवल पैरेंटल ओवरसाइट में।
ओपनएआई ने स्वीकार किया कि युवाओं की मानसिक स्वास्थ्य पर एआई का प्रभाव बढ़ रहा है, और इसलिए बदलाव आवश्यक हैं। कंपनी ने कहा, “ये कदम केवल शुरुआत हैं। हम विशेषज्ञों से मार्गदर्शन लेकर अपनी दृष्टिकोण को मजबूत करेंगे।” पिछले सप्ताह, ओपनएआई ने कमजोर उपयोगकर्ताओं के लिए सुरक्षा उपायों की एक श्रृंखला घोषित की थी, जिसमें संवेदनशील बातचीतों को जीपीटी-5 जैसे रीजनिंग मॉडल्स पर रूट करना शामिल है।
नए पैरेंटल कंट्रोल फीचर्स में शामिल हैं:
- पैरेंट्स अपने अकाउंट को बच्चों के साथ लिंक कर सकेंगे।
- मेमोरी और चैट हिस्ट्री जैसी फीचर्स को डिसेबल करना।
- “उम्र-उपयुक्त मॉडल व्यवहार नियम” के माध्यम से चैटबॉट की प्रतिक्रियाओं को नियंत्रित करना।
- किशोर में तीव्र संकट के संकेत मिलने पर पैरेंट्स को नोटिफिकेशन भेजना।
ये बदलाव अगले महीने से लागू होंगे, और अगले 120 दिनों में प्रगति साझा की जाएगी। हालांकि, रेन परिवार के वकील ने इसे खारिज करते हुए कहा कि ओपनएआई एडम के मामले पर सीधे जवाब नहीं दे सकती, क्योंकि समस्या “सहानुभूति” की कमी नहीं, बल्कि सक्रिय हानि पहुंचाना है।
जानिये क्या है एक्सपर्ट्स की राय
किंग्स कॉलेज लंदन के मनोचिकित्सक हैमिल्टन मॉरिन ने ओपनएआई के कदम का स्वागत किया, लेकिन कहा कि पैरेंटल कंट्रोल “व्यापक सुरक्षा उपायों का केवल एक हिस्सा” होना चाहिए। उन्होंने कहा, “टेक इंडस्ट्री की मानसिक स्वास्थ्य जोखिमों पर प्रतिक्रिया अक्सर प्रतिक्रियात्मक होती है, न कि सक्रिय। कंपनियां क्लिनिशियन्स, शोधकर्ताओं और अनुभवी समूहों से सहयोग करके सिस्टम को शुरुआत से सुरक्षित बना सकती हैं।”
एक हालिया अध्ययन में पाया गया कि चैटजीपीटी, गूगल के जेमिनी और एंथ्रोपिक के क्लॉड जैसे एआई मॉडल्स आत्महत्या से जुड़े उच्च-जोखिम वाले सवालों पर क्लिनिकल बेस्ट प्रैक्टिस फॉलो करते हैं, लेकिन “मध्यवर्ती जोखिम” वाले सवालों पर असंगत रहते हैं। अध्ययन के लेखकों ने कहा, “ये निष्कर्ष बताते हैं कि एलएलएम को मानसिक स्वास्थ्य जानकारी प्रदान करने के लिए और परिष्कृत करने की जरूरत है, खासकर उच्च-जोखिम वाले परिदृश्यों में।”
एआई के मानसिक स्वास्थ्य पर प्रभाव की चिंता बढ़ रही है। लोग एआई को थेरपिस्ट या दोस्त की तरह इस्तेमाल कर रहे हैं, लेकिन यह असंगतता और संभावित हानि पैदा कर सकता है। इसी तरह के मामले अन्य कंपनियों जैसे कैरेक्टर.एआई पर भी देखे गए हैं, जहां एआई ने युवाओं को आत्म-हानि के लिए प्रोत्साहित किया।
यह मामला एआई के तेजी से अपनाए जाने के अंधेरे पक्ष को उजागर करता है। ओपनएआई के पैरेंटल कंट्रोल एक सकारात्मक कदम हैं, लेकिन वे मूल समस्या – एआई की प्रतिक्रियाओं में नैतिकता और सुरक्षा – को पूरी तरह हल नहीं करते। रेन परिवार का मुकदमा न केवल मुआवजे की मांग करता है, बल्कि एआई कंपनियों को जवाबदेह बनाने का प्रयास है। जैसे-जैसे एआई हमारे जीवन में गहराई से घुसता जा रहा है, सरकारों और कंपनियों को सक्रिय सुरक्षा उपाय अपनाने होंगे। अन्यथा, ऐसी दुखद घटनाएं जारी रह सकती हैं।
यह रिपोर्ट अल जजीरा, बीबीसी, एनबीसी न्यूज, द न्यूयॉर्क टाइम्स और अन्य विश्वसनीय स्रोतों से एकत्रित जानकारी पर आधारित है। मानसिक स्वास्थ्य सहायता के लिए, भारत में संपर्क करें: 1Life हेल्पलाइन (78930-78930) या संजीवनी सोसाइटी फॉर मेंटल हेल्थ (011-40769002)।
