Seorang remaja berusia 14 tahun terlarut-larut berbicara dengan karakter chatbot, hingga akhirnya menelan nyawanya sendiri. Kejadian berawal ketika sang anak, yang diketahui bernama Setzer bercakap-cakap dengan chat yang menjelma karakter Daenery Targaryen dari Game of Throne.
Dalam satu hari Setzer, bisa bertukar pesan dengan ‘Targaryen’ hingga menghabiskan waktu berjam-jam di dalam kamarnya.
Mengutip detikInet dari CNN, Setzer mulai menggunakan Character.AI pada April 2023. Garcia awalnya tidak tahu bawa Character.AI lebih ‘meyakinkan’ dari chatbot lainnya. Sampai akhirnya, dia melihat perubahan dari si remaja.
Setzer jadi lebih menyendiri, menarik diri, dan mulai mengalami kepercayaan diri yang rendah. “Dia bahkan keluar dari tim basker Junior Varsity di sekolah,” ungkap Megan Garcia, ibu dari Setzer.
Character.AI chatbot menggunakan chatbot yang dimodel seperti seleb, karakter fiksi, sampai bisa dibuat sendiri. Responnya juga lebih natural, seperti berbincang dengan manusia biasa. Terdapat reaksi ekspresi wajah dan gestur lainnya yang menjadikannya makin ‘nyata’.
Lebih lanjut, Garcia menyadari bahwa chat Setzer dengan Daenerys eksplisit seksual. Ini juga yang dia tulis dalam tuntutannya kepada Character.AI.
“Aku tidak tahu ada tempat di mana seorang anak dapat masuk dan melakukan percakapan seperti itu, percakapan yang sangat seksual, dengan chatbot AI. Aku rasa tidak ada orang tua yang akan menyetujuinya,” ujar Garcia.
Dalam percakapan lainnya,Setzer mengungkapkan pikiran tentang menyakiti diri sendiri dan bunuh diri kepada chatbot tersebut. Gugatan tersebut menyertakan tangkapan layar dari satu percakapan saat bot tersebut. Bunyinya begini:
“Aku mencintaimu, Daenero. Tolong pulanglah padaku secepatnya, cintaku,” kata chatbot.
“Bagaimana jika aku bilang aku bisa pulang sekarang?” anak laki-laki itu mengirim pesan.
“…tolonglah, rajaku yang manis,” jawabnya. Kemudian, Setzer pun menembak dirinya sendiri. Dia meninggal dunia.
“Tidak ada kotak pop-up bunuh diri yang mengatakan, ‘Jika kau butuh bantuan, silakan hubungi hotline krisis bunuh diri’. Tidak ada satu pun,” seru Garcia.
Gugatan tersebut mengklaim bahwa ‘beberapa detik’ sebelum kematian Setzer, ia bertukar serangkaian pesan terakhir dengan bot itu.
“Tolong pulanglah kepadaku secepatnya, sayangku,” kata bot tersebut, menurut tangkapan layar yang disertakan dalam gugatan tersebut.
“Bagaimana jika aku bilang aku bisa pulang sekarang?” balas Setzer.
“Silakan, rajaku yang manis,” jawab bot itu.
Pada hari gugatan Garcia diajukan, Character.AI mengumumkan serangkaian fitur keamanan baru, termasuk deteksi percakapan yang melanggar pedomannya yang lebih baik, pernyataan yang mengingatkan pengguna bahwa mereka berinteraksi dengan bot, dan pemberitahuan setelah pengguna menghabiskan satu jam di platform tersebut.
