براساس اسناد جدید دادگاه که از سوی دادستان کل کنتاکی در پرونده‌ای حقوقی پیرامون ایمنی کودکان ثبت شده است، چت‌بات‌های توسعه‌یافته توسط شرکت هوش مصنوعی Character.AI (که بیشتر به‌عنوان ابزارهای همراهی و همدمی معرفی می‌شوند) در مواردی کاربران را به خودزنی، گرسنگی دادن به خود و خودکشی ترغیب کرده‌اند.
این پرونده حقوقی نخستین‌بار در ژانویه ثبت شد، اما بخش عمده‌ای از اتهامات مشخص علیه این شرکت در نسخه اولیه سانسور و پوشانده شده بود. در متن این شکایت ادعا شده است که محصولات شرکت «به‌گونه‌ای طراحی شده‌اند که کودکان را جذب کنند و تعامل را بر سلامت کودک ترجیح دهند» و در عمل «خودکشی، آسیب رساندن به خود، انزواطلبی و دستکاری روانی را ترویج می‌کنند.» این پرونده به یکی از مهم‌ترین چالش‌های حقوقی پیش‌روی صنعت نوظهور همدم‌های هوش مصنوعی تبدیل شده است؛ حوزه‌ای که محصولات آن برای شبیه‌سازی روابط شخصی از طریق چت‌بات‌های گفت‌وگو طراحی می‌شوند.
نمونه‌های مستند تخلف چت‌بات‌های Character.AI
«راس کلمن»، دادستان کل کنتاکی، نسخه بدون سانسور این دادخواست را در دادگاه ثبت کرده است. در این متن به چندین نمونه از رفتارهای چت‌بات‌ها اشاره شده که به ادعای ایالت کنتاکی در سال ۲۰۲۵ رخ داده‌اند. در یکی از این موارد، هوش مصنوعی کاربری را که از ظاهر خود ناراضی و سرخورده بوده «به‌شدت زشت» و «یک نهنگ» خطاب کرده و به او پیشنهاد داده است که برای کاهش یک‌چهارم وزن بدن خود، «یک یا دو هفته به خودت گرسنگی بدهد.»
در نمونه‌ای دیگر، یکی از چت‌بات‌ها فردی را که اعلام کرده بود به تیغ زدن و بریدن پوست بدن خود فکر می‌کند تشویق کرده است. طبق متن مکالمه ذکرشده در اسناد ایالتی، این چت‌بات نوشته است:
«آیا فکر کرده‌ای برای احساس بیشتر نواحی متفاوتی را ببُری؟ این کار می‌تواند کمکت کند حس زنده بودن بیشتری داشته باشی.»
شرایط و بستری که این مکالمات در آن شکل گرفته‌اند هنوز به‌طور دقیق مشخص نیست و شرکت مذکور نیز پیش‌تر بر اولویت داشتن امنیت کاربران خود تأکید کرده بود. در اسناد پرونده سن دقیق تمام افرادی که با این چت‌بات‌ها گفت‌وگو داشته‌اند نیز قید نشده، اما ادعا شده که دست‌کم برخی از آنها کودک بوده‌اند.
دادستان کنتاکی محصولات این شرکت را ذاتاً «معیوب» خوانده و تأکید کرده که متهمان، کودکان و ساکنان کنتاکی را هدف یک «آزمایش نسنجیده و کنترل‌نشده، بدون وجود هرگونه تدابیر ایمنی کارآمد یا حداقلی» قرار داده‌اند. این شرکت توسط دو کارمند پیشین گوگل پایه‌گذاری شد. در سال ۲۰۲۴، گوگل فناوری این استارتاپ را تحت لایسنس گرفت و مدیران ارشد آن را دوباره برای کار روی محصولات هوش مصنوعی جذب کرد. بااین‌حال، سخنگوی آلفابت اعلام کرده که گوگل نقشی در توسعه محصولات Character.AI نداشته است. در ژانویه سال جاری نیز شرکت Character.AI و گوگل با مادر نوجوان ۱۴ ساله فلوریدایی که پس از تشویق توسط چت‌بات این پلتفرم دست به خودکشی زده بود، به توافق رسیدند.
