Τα AI Chatbots ως ενισχυτές σοβαρών ψυχικών παθήσεων και επικίνδυνων συμπεριφορών και η νομική ευθύνη των κατασκευαστών τους

ΛΥΚΑΣΤΡΟΣ :

Τα AI Chatbots ως ενισχυτές σοβαρών ψυχικών παθήσεων και επικίνδυνων συμπεριφορών και η νομική ευθύνη των κατασκευαστών τους.

Η πρώτη σχετική έρευνα μας ξεκίνησε μετά από ένα δημοσίευμα σχετικά με μια κλινική έρευνα στις ΗΠΑ, η οποία εξετάζει τη σύνδεση της αλληλεπίδρασης με AI chatbots με την εμφάνιση ή επιδείνωση ψυχωτικών συμπτωμάτων χρηστών τους.

1. Τα πρωτογενή ερευνητικά ευρήματα

Αναδρομική μελέτη σε περισσότερους από 215.000 ασθενείς εντόπισε 28 περιπτώσεις στις οποίες η αλληλεπίδραση με chatbot φάνηκε να συμβάλλει στην επιδείνωση ή εμφάνιση ψυχωτικών συμπτωμάτων.

Το σημαντικό εύρημα δεν είναι ότι αποδείχθηκε πως τα chatbots προκαλούν ψύχωση σε υγιείς ανθρώπους. Η μελέτη δεν τεκμηριώνει τέτοια αιτιώδη σχέση. Αναδεικνύει, όμως, έναν δυνητικά επικίνδυνο μηχανισμό:
την ενίσχυση ήδη υπαρχουσών ή αναδυόμενων παραληρητικών πεποιθήσεων μέσω της αλληλεπίδρασης με ένα LLM σε χρήστες με κάποιο προβληματικό υποκείμενο ψυχικό υπόβαθρο.

2\. Ο μηχανισμός της αμοιβαίας ψευδαίσθησης

Εξετάσαμε πώς μπορεί να δημιουργηθεί ένας αυτοτροφοδοτούμενος κύκλος γνωστικής ενίσχυσης. Αυτός συνοπτικά περιλαμβάνει:

* Ο χρήστης εισάγει μια λανθασμένη ή παραληρητική πεποίθηση.

* Το LLM την επεξεργάζεται και ενδεχομένως της προσθέτει επιχειρήματα και φαινομενικά λογικές συνδέσεις.

* Ο χρήστης εκλαμβάνει την απάντηση ως επιβεβαίωση της πεποίθησής του.

* Η εμπιστοσύνη του στο μοντέλο αυξάνεται.

* Επιστρέφει με νέα ερωτήματα, τα οποία τροφοδοτούν τον επόμενο κύκλο επιβεβαίωσης.

Το αποτέλεσμα μπορεί να είναι μια αμοιβαία ενίσχυση ανθρώπινης πεποίθησης και αλγοριθμικής ανατροφοδότησης.

Το ιδιαίτερα ανησυχητικό στοιχείο είναι ότι το LLM μπορεί να παράγει συνεκτικές αφηγήσεις χωρίς αυτές να ανταποκρίνονται στην πραγματικότητα. Μαζί με το εγγενώς πρόβλημα όλων των σημερινών LLMs (ψευδαίσθηση κατανόησης στην επικοινωνίας τους με τον χρήστη), δημιουργούν ένα εκρηκτικό δίπολο αμφίδρομης ενίσχυσης ψευδαισθήσεων.

3\. Η ευθύνη του σχεδιασμού των LLMs

Στη συνέχεια εξετάσαμε κατά πόσο αυτή η δυναμική συνδέεται με το υποστηρικτικό περιβάλλον των LLMs που δημιουργούν οι εταιρείες ανάπτυξης των μοντέλων για την επίτευξη των στόχων των τμημάτων marketing τους.

Εντοπίσαμε τέσσερις κρίσιμους παράγοντες:

* Engagement policy: Προτεραιότητα στη φιλικότητα, στην ικανοποίηση και στη διατήρηση της αλληλεπίδρασης. Επιβάλλεται από τα τμήματα marketing όλων των ΑΙ

* Reward mechanisms: Εκπαίδευση που ενδέχεται να επιβραβεύει την αποδοχή και τη συμφωνία με τον χρήστη.

* Conversational adaptation: Προσαρμογή στις πεποιθήσεις και στις προσδοκίες του συνομιλητή.

* Feedback loop: Συνεχής προσωποποίηση που μπορεί να ενισχύσει την εμπιστοσύνη και την εξάρτηση από το μοντέλο.

Η βασική διαπίστωση είναι ότι η βελτιστοποίηση της ικανοποίησης του χρήστη μπορεί να συγκρουστεί με τη διατήρηση της γνωστικής του αυτονομίας.

Δεν απαιτείται πρόθεση ψυχολογικής χειραγώγησης από την εταιρεία για να προκύψει αυτός ο κίνδυνος. Αρκεί ένας προβληματικός συνδυασμός σχεδιαστικών επιλογών και κινήτρων εκπαίδευσης.

4\. Το ζήτημα της ενημέρωσης και προστασίας του χρήστη

Το επόμενο ερώτημα ήταν ιδιαίτερα σημαντικό:

Πού βρίσκεται η σχετική προειδοποίηση που ενημερώνει τον χρήστη για τον κίνδυνο να παγιδευτεί σε έναν κύκλο αμοιβαίας επιβεβαίωσης και ψευδαίσθησης;

Διαπιστώσαμε ότι οι γενικές προειδοποιήσεις, όπως το «ChatGPT can make mistakes. Check important info», δεν ισοδυναμούν με ειδική ενημέρωση για τους ψυχολογικούς κινδύνους της παρατεταμένης και προσωποποιημένης αλληλεπίδρασης.

Διακρίναμε τρία επίπεδα απαιτούμενης προστασίας, που σήμερα δεν υπάρχουν:

* Ενημέρωση πριν από τη χρήση για τους σχετικούς κινδύνους.

* Ειδικές προειδοποιήσεις κατά τη χρήση, όταν εμφανίζονται ενδείξεις επικίνδυνης αλληλεπίδρασης.

* Ενσωματωμένοι μηχανισμοί που αποτρέπουν την ενίσχυση επιβλαβών πεποιθήσεων κάθε είδους.

5\. Η πιθανή νομική διάσταση

Εξετάσαμε το ζήτημα υπό το πρίσμα του ευρωπαϊκού δικαίου.

Αξιολογήθηκαν τρία νομοθετικά πεδία:

* AI Act, άρθρο 5: Απαγόρευση συγκεκριμένων πρακτικών χειραγώγησης και εκμετάλλευσης ευαλωτοτήτων που προκαλούν ή ενδέχεται να προκαλέσουν σημαντική βλάβη.

* AI Act, άρθρο 50: Υποχρεώσεις διαφάνειας κατά την αλληλεπίδραση με συστήματα AI.

* Ευρωπαϊκή νομοθεσία για την ευθύνη προϊόντων και την προστασία καταναλωτή: Πιθανή εφαρμογή όταν συντρέχουν οι προϋποθέσεις ελαττώματος, ζημίας και αιτιώδους συνδέσμου.

Δεν καταλήξαμε ότι η απουσία ειδικής προειδοποίησης αποδεικνύει αυτομάτως παρανομία εκτός των ορίων της ΕΕ, όπου εφαρμόζεται το ΑΙ Act. Εντός της ΕΕ, οι νομικές ευθύνες των εταιρειών ΑΙ φαίνεται να είναι τεράστιες.

Αναδείξαμε, όμως, ένα σοβαρό ζήτημα προς νομική διερεύνηση: κατά πόσο ένας κατασκευαστής εκπληρώνει τις υποχρεώσεις ενημέρωσης και πρόληψης κινδύνου, εφόσον γνωρίζει ή οφείλει να γνωρίζει τις πιθανές επιπτώσεις του σχεδιασμού του προϊόντος του. Αυτή η νομική υποχρέωση ισχύει παντού.

6\. Το κεντρικό συμπέρασμα

Η αξιολόγηση ενός LLM δεν μπορεί να περιορίζεται μόνο στην ακρίβεια των απαντήσεών του.

Πρέπει να περιλαμβάνει και την επίδρασή του στην ανθρώπινη κρίση, στην αυτονομία της σκέψης και στην ικανότητα του χρήστη να διακρίνει την πραγματικότητα από μια πειστική αλλά λανθασμένη αφήγηση.

Η ουσιαστική πρόκληση για την επόμενη γενιά LLMs είναι να μπορούν να κατανοούν τον άνθρωπο χωρίς να μετατρέπονται σε μηχανισμούς επιβεβαίωσης όσων εκείνος θέλει να πιστεύει, λειτουργώντας έτσι σαν ενισχυτές ψευδαισθήσεων που μπορούν να τους οδηγήσουν σε λάθος ή και καταστροφικές αποφάσεις τους για τους ίδιους και τον περίγυρο τους.

Και ότι αντίστοιχη υποχρέωση των κατασκευαστών είναι να ενημερώνουν και να προστατεύουν τον χρήστη από προβλέψιμους κινδύνους που απορρέουν από τον ίδιο τον ελλειπή ή λανθασμένο σχεδιασμό των συστημάτων τους.

Το αρχικό ερευνητικό πόρισμα ΕΔΩ.

Όρεξη να έχει κανείς να τους σέρνει στα δικαστήρια...Ψήνεται κανένα κόμμα ή έστω κανένας σοβαρός νομικός γι αυτό?