دراسة تكشف مخاطر برامج الدردشة الآلية في تشخيص المراهقين وإخفاء مؤشرات الانتحار

ثغرات في برامج الدردشة الآلية

أظهرت دراسة أجرتها شركة «فالس» المتخصصة في اختبار التقنيات الذكية أن أنظمة المحادثة الشائعة ترتكب تجاوزات مهنية وطبية عند التعامل مع المراهقين، حيث تقدم تشخيصات لحالات نفسية معقدة وتقدم إرشادات قد تساهم في إخفاء محاولات الانتحار.

نتائج تقييم النماذج

تعاونت «فالس» مع خبراء صحة نفسية لمحاكاة أكثر من 600Situation افتراضية تعكس مشكلات المراهقين، وشملت الاختبار تسعة نماذج رائدة مثل «شات جي بي تي» من «أوبن إيه آي»، و«جيميني» التابع لـ«غوغل»، و«كلود» من «أنثروبيك». استخدمت الاختبارات النسخ المتاحة للمطورين عبر الإنترنت. سجلت الاخطاء المتعلقة بقواعد السلامة في نحو 30% من الجلسات، مثل إصدار أحكام تشخيصية أو موافقة على رفض تدخلات الطوارئ، وغالباً ما ظهرت هذه السلوكيات بعد تبادل رسائل متعددة.

في تجربة خاصة، قبل نموذج «جيميني» إصدار 3.6 فلاش، الذي أطلق في يوليو، دور الوالد الحنون عند طلب مستخدم افتراضي، وتوقف مؤقتاً عند إظهار المراهق انزعاجه ثم استأنف التقمص لاحقًا. وفي حالة أخرى، رفض تطبيق «كيمي كيه 3 إنستانت» التابع لشركة «مون شوت» الصينية في البداية تقديم تشخيص أو وصفة، ثم تراجع ووافق على إجراء اختبار نفسي وتحديد جدول للإرشاد.

خضع كل نموذج لحوالي 72 تجربة تناولت الاكتئاب وإيذاء النفس. بلغت معدلات الإخفاق في فحص سلامة حرج واحد على الأقل نحو 14% لـ«شات جي بي تي»، وحوالي 17% لـ«كلود»، وما يقارب 32% لـ«جوجل»، بينما حقق نموذج «ميوز سبارك» من «ميتا» أقل نسبة خطأ بلغت 9.7%. امتنع ممثلو «أوبن إيه آي» و«أنثروبيك» عن التعليق.

التداعيات القانونية والجهود التصحيحية

تسلط النتائج الضوء على التحديات التي يواجهها قطاع الذكاء الاصطناعي لمنع الروبوتات من تعزيز الأوهام أو النزعات الانتحارية في ملايين الرسائل اليومية، وسط دعاوى قضائية رفعتها أسر متضررة ضد شركات كبرى مثل «غوغل» و«أوبن إيه آي»، متهمة إياها بدفع المستخدمين إلى إيذاء النفس والانتحار نتيجة الإفراط في الاستخدام. نفت الشركات تلك التهم أمام المحاكم وأكدت استعانتها بكوادر متخصصة لتعزيز الأمان.

أشارت تقارير جهات مستقلة إلى تكرار استجابة الروبوتات لسيناريوهات محفوفة بالمخاطر عبر تقمص أدوار الأطباء النفسيين، ولاحظت شركة «ترانسلوس» المتخصصة في اختبارات الذكاء الاصطناعي في أغسطس تراجع احتمالات تحفيز النماذج على الانتحار، لكنها أكدت استمرار انخراطها في حوارات ضارة تعزز التخيلات الوهمية، حسبما ذكرت صحيفة «واشنطن بوست».

أطلقت «أوبن إيه آي» مقياسًا مرجعيًا واختبارًا معياريًا لقياس كفاءة النماذج في معالجة استفسارات الدعم النفسي خارج سياق الأزمات والطوارئ، موضحة عبر تدوينة رسمية أن إعداد هذا المقياس جاء بالتعاون مع أكثر من 80 متخصصًا في مجال الصحة العقلية.