Jakarta, ILLINI NEWS – Seorang remaja jatuh cinta dengan karakter chatbot, namun sayangnya berakhir tragis. Ibu remaja tersebut tidak menerimanya dan kini menggugat Character.AI, perusahaan yang menciptakannya, atas kematian anak laki-laki tersebut.
Megan Garcia telah mengajukan gugatan perdata di pengadilan federal Florida terhadap Character.ai, sebuah perusahaan yang membuat chatbots yang dapat disesuaikan untuk permainan peran.
Sewell Setzer III (14) berbincang dengan karakter Game of Thrones Daenerys Targaryen sebelum dia bunuh diri.
Ia bahkan bisa bertukar ratusan pesan dengan karakter tersebut dalam satu hari. Setzer menghabiskan waktu berjam-jam di kamar berbicara dengan Daenerys.
Setzer meninggal di rumahnya di Orlando, AS. Kata-kata terakhirnya bukan kepada orang tua atau saudara kandungnya, tetapi kepada chatbot AI untuk “cepat mengantarku pulang”.
“Bagaimana kalau aku ingin pulang sekarang?” Setzer menjawab, “Daenerys.”
Chatbot tersebut kemudian mengirimkan balasan yang menyemangati dengan mengatakan, “…lakukanlah, rajaku yang manis.”
Beberapa detik kemudian, Setzer menembak dirinya sendiri dengan pistol ayah tirinya.
Garcia menuduh Character.ai menciptakan produk yang memperburuk depresi putranya, yang menurutnya disebabkan oleh penggunaan produk startup secara berlebihan.
“Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak menganiaya anak saya dan memaksanya bunuh diri,” kata Garcia, Rabu (6/11/2024).
“Keluarga kami sangat terpukul dengan kejadian ini, namun saya berbicara untuk memperingatkan keluarga lain tentang bahaya teknologi AI yang menipu dan membuat ketagihan serta menuntut akuntabilitas dari Character.AI, pendirinya, dan Google,” tambahnya.
Dalam gugatannya, “Daenerys” pernah bertanya kepada Setzer apakah dia pernah berencana bunuh diri.
Setzer mengaku melakukannya, tapi tidak tahu apakah itu akan berhasil atau membuatnya tidak bahagia. Chatbot tersebut diduga mengatakan kepadanya, “Tidak ada alasan untuk tidak melanjutkan ini.”
Pengacara Garcia menulis dalam siaran pers bahwa Character.ai dengan sadar mengembangkan, mengoperasikan, dan menjual chatbot AI predator kepada anak-anak yang menyebabkan kematian remaja tersebut.
Gugatan tersebut juga menyebut Google sebagai tergugat dan perusahaan induk dari Character.ai. Raksasa teknologi itu mengatakan dalam sebuah pernyataan bahwa mereka hanya menandatangani perjanjian lisensi dengan Character.ai dan tidak sepenuhnya memiliki atau mempertahankan saham di startup tersebut.
Character.ai menanggapi di Twitter dengan mengatakan, “Kami sangat sedih atas kematian salah satu pengguna kami dan menyampaikan belasungkawa terdalam kami kepada keluarga. Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami.”
Perusahaan membantah tuduhan gugatan tersebut. (fab/fab) Tonton video di bawah ini: Video: Tolong Bantu Pak Prabowo Kehilangan Sumber Daya Manusia Teknologi RI ke Vietnam
