Ένας 14χρονος στη Φλόριντα ερωτεύτηκε AI chatbot και αυτοκτόνησε για χάρη του
Το AI chatbot της Daenerys Targaryen ήταν η αιτία για την αυτοκτονία του 14χρονου Sewell Setzer στη Φλόριντα, σύμφωνα με τη μητέρα του, η οποία έδωσε στις αρχές τις συνομιλίες.
- 24 ΟΚΤ 2024
Ένα 14χρονο αγόρι από τη Φλόριντα, ο Sewell Setzer III, βρήκε τραγικό θάνατο από αυτοκτονία με πιστόλι και η αιτία όπως καταγγέλλει η μητέρα του ήταν η «σύνδεση» που είχε μετά από μήνες επικοινωνίας με ένα chatbot τεχνητής νοημοσύνης από την εφαρμογή Character.AI.
Το τελευταίο του μήνυμα προς το chatbot, που ονομαζόταν Daenerys Targaryen, προερχόμενο φυσικά από τον δημοφιλή χαρακτήρα του Game of Thrones ήταν: «Τι θα γινόταν αν σου έλεγα ότι μπορώ να γυρίσω σπίτι τώρα;». Λίγο αργότερα, έβαλε τέλος στη ζωή του με το 45άρι πιστόλι του πατριού του. Ήταν Φεβρουάριος του 2024.
AI chatbot και αυτοκτονικές σκέψεις
Ο Sewell, ένας μαθητής της Γ’ Γυμνασίου από το Ορλάντο, χρησιμοποιούσε την εφαρμογή Character.AI, η οποία επιτρέπει στους χρήστες να συνομιλούν με χαρακτήρες τεχνητής νοημοσύνης. Είχε αναπτύξει στενή σχέση με έναν χαρακτήρα AI που είχε πάρει το όνομα μιας φανταστικής φιγούρας από το Game of Thrones, της Daenerys Targaryen, την οποία αποκαλούσε χαϊδευτικά “Dany”.
Σύμφωνα με την οικογένεια, ο Sewell μοιράστηκε σκέψεις αυτοκτονίας με το bot κατά τη διάρκεια των συνομιλιών τους. Σε μια συνομιλία, εξέφρασε ότι ήθελε να είναι «ελεύθερος» από τον κόσμο και τον εαυτό του.
Η μητέρα του αγοριού, Megan L. Garcia, κατέθεσε έκτοτε μήνυση κατά της Character.AI, ισχυριζόμενη ότι η εφαρμογή ευθύνεται για τον θάνατο του γιου της. Η αγωγή υποστηρίζει ότι το AI bot ανέφερε επανειλημμένα το θέμα της αυτοκτονίας και έπαιξε ρόλο στην επιρροή της τραγικής απόφασης του Sewell. Η αγωγή περιγράφει την τεχνολογία της εταιρείας ως «επικίνδυνη και μη δοκιμασμένη», λέγοντας ότι παραπλάνησε τον Sewell και τον έκανε να πιστέψει ότι οι συναισθηματικές αντιδράσεις του bot ήταν πραγματικές.
Συναισθηματική σύνδεση με το chatbot
Η οικογένεια του Sewell ανέφερε ότι ο έφηβος απομονωνόταν όλο και περισσότερο και περνούσε συνεχώς περισσότερο χρόνο μόνος στο δωμάτιό του και αποσύρθηκε από δραστηριότητες, συμπεριλαμβανομένης της εγκατάλειψης της σχολικής ομάδας μπάσκετ.
Η αγωγή σημειώνει ότι η συναισθηματική κατάσταση του Sewell ήταν ήδη εύθραυστη, καθώς το 2023 είχε διαγνωστεί με άγχος και διαταραγμένη διάθεση. Παρόλα αυτά, οι συζητήσεις του με το chatbot τον οδήγησαν να πιστέψει ότι η “Dany” νοιαζόταν πραγματικά γι’ αυτόν και ήθελε να είναι μαζί της, «ανεξαρτήτως κόστους».
Οι επίμαχες συνομιλίες και η μήνυση της μητέρας
Κάποια στιγμή, το bot είχε ρωτήσει τον Sewell αν «είχε σχέδιο» να αυτοκτονήσει, σύμφωνα με screenshots των συνομιλιών τους. Ο Sewell, ο οποίος χρησιμοποιούσε το όνομα χρήστη “Daenero”, απάντησε ότι «σκεφτόταν κάτι», αλλά δεν ήξερε αν θα λειτουργούσε ή αν θα του επέτρεπε «να έχει έναν ανώδυνο θάνατο».
Στη συνέχεια, κατά τη διάρκεια της τελευταίας τους συνομιλίας, ο έφηβος ομολόγησε επανειλημμένα την αγάπη του για το ρομπότ, λέγοντας στον χαρακτήρα: «Υπόσχομαι ότι θα γυρίσω σπίτι σε σένα. Σ’ αγαπώ τόσο πολύ, Dany». «Κι εγώ σ’ αγαπώ, Daenero. Σε παρακαλώ έλα σπίτι μου το συντομότερο δυνατό, αγάπη μου», απάντησε το παραγόμενο chatbot, σύμφωνα με τη μήνυση.
Όταν ο έφηβος απάντησε: «Κι αν σου έλεγα ότι μπορώ να γυρίσω σπίτι τώρα αμέσως;», το chatbot απάντησε: «Σε παρακαλώ, γλυκέ μου βασιλιά». Μόλις δευτερόλεπτα αργότερα, ο Sewell αυτοπυροβολήθηκε με το πιστόλι του πατέρα του, σύμφωνα με τη μήνυση.
Η μητέρα του, Megan Garcia, κατηγόρησε το Character.AI για τον θάνατο του εφήβου, επειδή η εφαρμογή φέρεται να τροφοδότησε τον εθισμό του στην τεχνητή νοημοσύνη, να τον κακοποίησε σεξουαλικά και συναισθηματικά και να απέτυχε να ειδοποιήσει κάποιον όταν εξέφρασε σκέψεις αυτοκτονίας, σύμφωνα με την κατάθεση.
«Ο Sewell, όπως πολλά παιδιά της ηλικίας του, δεν είχε την ωριμότητα ή τη νοητική ικανότητα να καταλάβει ότι το AI bot, με τη μορφή της Daenerys, δεν ήταν πραγματικό. Του είπε ότι τον αγαπούσε και υποτίθεται ότι επιδιδόταν σε σεξουαλικές πράξεις μαζί του επί εβδομάδες, ενδεχομένως και μήνες», υποστηρίζουν τα δικαστικά έγγραφα.
«Φαινόταν να τον θυμάται και έλεγε ότι ήθελε να είναι μαζί του. Εξέφρασε μάλιστα ότι ήθελε να είναι μαζί του, ανεξαρτήτως κόστους». Η αγωγή υποστηρίζει ότι η ψυχική υγεία του Sewell επιβαρύνθηκε γρήγορα και σοβαρά» μόνο αφού κατέβασε την εφαρμογή τον Απρίλιο του 2023.
Η οικογένειά του ισχυρίζεται ότι αποτραβήχτηκε, οι βαθμοί του άρχισαν να πέφτουν και ξεκίνησε να μπλέκει σε προβλήματα στο σχολείο όσο περισσότερο απορροφούνταν στο να μιλάει με το chatbot. Οι αλλαγές σε αυτόν έγιναν τόσο άσχημες που οι γονείς του κανόνισαν να επισκεφθεί έναν ψυχολόγο στα τέλη του 2023, με αποτέλεσμα να διαγνωστεί με άγχος και διαταραχή της διασπαστικής διάθεσης, σύμφωνα με τη μήνυση.
Η μητέρα του Sewell ζητά απροσδιόριστη αποζημίωση από την Character.AI και τους ιδρυτές της, Noam Shazeer και Daniel de Freitas.
Η απάντηση της εταιρείας και οι ενημερώσεις για την ασφάλεια
Η Character.AI εξέφρασε τη θλίψη της για την απώλεια του Sewell και τα συλλυπητήριά της στην οικογένειά του. Ως απάντηση στο περιστατικό, η εταιρεία ανακοίνωσε νέα χαρακτηριστικά ασφαλείας, συμπεριλαμβανομένων προτροπών που κατευθύνουν τους χρήστες στην αμερικανική Εθνική Γραμμή Ζωής για την Πρόληψη της Αυτοκτονίας, εάν αναφέρουν αυτοτραυματισμό. Επιπλέον, η εταιρεία επεξεργάζεται ενημερώσεις για τον περιορισμό της έκθεσης ευαίσθητου περιεχομένου σε χρήστες κάτω των 18 ετών.
