Πώς το facial recognition έγινε όπλο στα χέρια της αστυνομίας

Η Amazon είχε την πιο αμφιλεγόμενη συμπεριφορά, ως προς τον τρόπο που διέθετε το πρόγραμμα αναγνώρισης προσώπων που έφτιαξε το 2016. Μολονότι ερευνητές επισήμαιναν τα προβλήματα, δεν σταμάτησαν οι πωλήσεις σε αστυνομικά τμήματα. Τελικά έφτασε η μέρα που η Amazon ανακοίνωσε πως οι αρχές δεν θα μπορούν πια να ‘χουν πρόσβαση στο Rekognition, για ένα χρόνο -διάστημα στο οποίο θα αναστείλει τη λειτουργία του. Και αυτό θα γίνει ‘για να δώσουμε στους νομοθέτες την ευκαιρία να θεσπίσουν νομοθεσία που θα ρυθμίζει τον τρόπο που πρέπει να χρησιμοποιείται η τεχνολογία’. Ναι, δεν υπήρχε κάτι τέτοιο. Γιατί μάλλον δεν συνέφερε.

Πώς ξεκίνησαν όμως, όλα

Στις 30/11 του 2016 η Amazon παρουσίασε ένα νέο προϊόν: είχε το όνομα ‘Rekognition’. Επρόκειτο για πλατφόρμα αναγνώρισης όψης (ας πούμε προσώπων), η οποία πουλήθηκε σε ουκ ολίγες κυβερνητικές υπηρεσίες των ΗΠΑ -μαζί με πολλές εκτός των ΗΠΑ-, αλλά και μια λίστα ιδιωτικών εταιριών, όπως καζίνο, αεροδρόμια, σχολεία, αθλητικές εγκαταστάσεις και καταστήματα

Είχε προωθηθεί ως ‘εργαλείο γενικής χρήσης’.

Στο πρωτότυπο υπήρχαν αλγόριθμοι που είχαν ‘εκπαιδευτεί’ (βλ. machine learning) να συλλέγουν στοιχεία από την Amazon και τους συνεργάτες της και άλλοι που ο όποιος χρήστης μπορούσε να ‘εκπαιδεύει’ για να φτιάξει τη δική του βάση -κομμένη και ραμμένη σε αυτό που ήθελε.

Στα τέλη του 2017 η πρώτη δοκιμή έγινε από το Σερίφη της Washington County, στο Oregon, για την αναγνώριση προσώπων υπόπτων. Η Amazon είχε διαθέσει δωρεάν, το προϊόν της για να δει τι μπορεί να κάνει, στην πράξη, με το συγκεκριμένο αστυνομικό τμήμα να γίνεται το πρώτο στην Αμερική που το δοκίμασε.

Κοντολογίς, το Rekognition μπορούσε -και εξακολουθεί να μπορεί- να χρησιμοποιήσει την τεχνητή νοημοσύνη για να ‘ματσάρει’ στο συντομότερο χρονικό διάστημα το πρόσωπο φωτογραφίας που ‘χει ‘τραβήξει’ αστυνομικός με το τηλέφωνο του, με όσα υπάρχουν στη βάση πληροφοριών της αστυνομίας.

Η δοκιμή πέτυχε και η αγορά έγινε -για επτά δολάρια το μήνα, ανεξάρτητα από τη χρήση. Εξυπακούεται πως σύντομα προστέθηκαν και άλλα αστυνομικά τμήματα στο πελατολόγιο της Amazon. Όπως προστέθηκαν και πόλεις -με πρώτη αυτή του Ορλάντο.

Στις 19 Μαΐου του 2018 το πρόγραμμα χρησιμοποιήθηκε και από το Sky News, για τον εντοπισμό celebrities στην τηλεοπτική μετάδοση του γάμου της Meghan Markle με τον… τότε Πρίγκιπα Harry. Προφανώς και έγινε καταπάτηση της ιδιωτικότητας και των ψηφιακών δικαιωμάτων, όσων πήγαν στον γάμο και αναγνωρίζονταν σε real time. Σημείωσε πως το είχε αγοράσει ήδη το FBI, για να το χρησιμοποιήσει σε πιλότο συστήματος ατελείωτων videos παρακολούθησης, που τέθηκε σε εφαρμογή στις αρχές του 2018, ενώ τον Οκτώβρη του ίδιου έτους το αγόρασε και η υπηρεσία μετανάστευσης των ΗΠΑ.

Η πρώτη αντίδραση προέκυψε από τους ίδιους τους υπαλλήλους της Αmazon

Εκείνο το μήνα, 450 υπάλληλοι της Amazon έστειλαν επιστολή στον CEO (και πλουσιότερο άνθρωπο του πλανήτη), Jeff Bezos, για να υπογραμμίσουν την ανάγκη που υπήρχε να σταματήσουν οι πωλήσεις σε αστυνομικά τμήματα και να θεσπιστεί εποπτεία των υπαλλήλων, στα ζητήματα ηθικών αποφάσεων.

Ακολούθησε το αίτημα αρκετών εκ των επενδυτών του κολοσσού για τον περιορισμό των πωλήσεων, τονίζοντας πως είχαν ήδη προκύψει θέματα δημόσιας πολιτικής. Το αίτημα συνοδευόταν με την επισήμανση ότι ‘πρέπει να σταματήσουν οι πωλήσεις σε κυβερνητικούς οργανισμούς, εκτός και αν χρησιμοποιούν το πρόγραμμα ως ανεξάρτητο αποδεικτικό στοιχείο για να δείξουν πως δεν θέτουν σε κίνδυνο τα ανθρώπινα δικαιώματα”.

“Η διαμάχη που έχει ξεσπάσει και αφορά την τεχνολογία, απειλή τη σχέση μεταξύ της εταιρίας και των καταναλωτών, των υπαλλήλων και γενικά του κοινού”.

Υπήρχαν και εκείνοι που πρότειναν να συμβουλευτεί η Amazon ανεξάρτητους ειδικούς, ώστε να υπάρξει ενδελεχής ενημέρωση για τα ρίσκα του λογισμικού, σε επίπεδο ιδιωτικότητας και πολιτικών δικαιωμάτων, όπως και το πώς μπορούν να μειωθούν αυτά τα ρίσκα.

Οι δικηγόροι της εταιρίας των 280.500.000.000 δολαρίων για έσοδα το 2019, επέμεναν πως όλα αυτά ήταν υπερβολές. Οι πληροφορίες ήθελαν την άρνηση τους να δεχθούν πως υπάρχει πρόβλημα, να αφορά άλλα προϊόντα -όπως η Alexa και το Ring-, τα οποία λειτουργούσαν με όμοια τεχνολογία και θα επηρεάζονταν -αφού θα επηρεαζόταν η εμπιστοσύνη του κόσμου προς την εταιρεία.

Το θέμα δεν τελείωσε εκεί. Τουλάχιστον 50 κορυφαίοι ερευνητές του πεδίου της τεχνητής νοημοσύνης (μεταξύ τους ήταν άνθρωποι που δουλεύουν για τη Facebook, τη Microsoft και τη Google) συμφώνησαν με τις ανησυχίες -και τις απαιτήσεις- των μετόχων, σε επιστολή που δημοσιεύτηκε την άνοιξη του 2019. Κατέληξαν στο ότι ήταν χρήσιμο να ληφθούν υπ’ όψιν τα ευρήματα, που αφορούσαν τα προβλήματα του λογισμικού σε ό,τι αφορά τις φυλετικές διακρίσεις.

Το Γενάρη του 2019 προστέθηκε στις αντιδράσεις και η επιστολή της American Civil Liberties Union, μαζί με πολλών άλλων οργανώσεων για τα ανθρώπινα δικαιώματα προς την Amazon. Ζητούσαν το τέλος των πωλήσεων στην κυβέρνηση. Προειδοποιούσαν για τις ζημιές που προκαλούσε στις κοινότητες που ήδη τελούσαν υπό εκτεταμένη αστυνόμευση και υπερπαρακολούθηση.

Στην επιστολή αυτή τονίστηκε πως ‘σε έναν κόσμο με αναγνώριση προσώπου, ο κόσμος θα πρέπει να φοβάται ότι παρακολουθείται και γίνεται στόχος από την κυβέρνηση, επειδή μετέχει σε διαμαρτυρίες και συγκεντρώσεις που γίνονται εκτός τόπων λατρείας ή επειδή απλά ζουν τη ζωή τους’.

Το ΜΙΤ αποκάλυψε πως το Rekognition είναι ελαττωματικό

Στις ενστάσεις προστέθηκε και έρευνα που διενήργησε το ΜΙΤ. Τα αποτελέσματα δημοσιεύτηκαν το Φλεβάρη του 2018 και σύμφωνα με αυτά το Rekognition είχε δυσκολία στην αναγνώριση του φύλου ή προσώπων με σκούρο χρώμα δέρματος. Ανάλογα προβλήματα είχαν εμφανίσει αντίστοιχα προγράμματα της IBM και της Microsoft.

Η Google είχε ήδη ενημερώσει πως θα προχωρήσει στην ακύρωση των συμβολαίων που ‘χε υπογράψει με το Πεντάγωνο -είχαν προηγηθεί οι διαμαρτυρίες των υπαλλήλων- και πως δεν θα πουλήσει προϊόν αναγνώρισης προσώπων ‘έως ότου περιοριστούν τα ρίσκα’. Το αυτό έκανε και η IBM πριν δυο μέρες.

Το ΜΙΤ προχώρησε σε συμπληρωματική έρευνα, πριν ενημερώσει το Γενάρη του 2019 ότι ‘υπήρχαν βελτιώσεις σχετικά με πέρυσι, αλλά όλα τα συστήματα που υπάρχουν διαθέσιμα (5 τον αριθμό) έχουν σημαντικά προβλήματα στην αναγνώριση του φύλου ατόμων με σκούρο χρώμα δέρματος. Επίσης, μπερδεύουν τις γυναίκες με σκουρόχρωμο δέρμα με άνδρες. Το ποσοστό λάθους στην αναγνώριση ανοιχτών δερμάτων είναι κοντά στο 0%”.

Η Amazon έκανε ό,τι μπορούσε για να υποβιβάσει τη σημασία των ευρημάτων, με μια εκ των ερευνητών να εξηγεί πως ‘η προσέγγιση της εταιρίας είναι η άρνηση, η καθυστέρηση και η αποφυγή’, ενώ θα ήταν χρήσιμο να μην πουλάει μια ελαττωματική υπηρεσία στις αρχές.

Όταν ήλθε η ώρα να τοποθετηθεί ο Bezos, υπεραμύνθηκε της απόφασης της εταιρίας να πουλάει στις κυβερνητικές αρχές, εξηγώντας πως είναι αναπόφευκτη η κακή χρήση ορισμένων τεχνολογιών από κάποιους ‘αλλά αυτός δεν μπορεί να γίνει ο λόγος για να σταματήσουμε να τις εξελίσσουμε. Αισθάνομαι ότι η κοινωνία αναπτύσσει μια ανοσοαπόκριση στην κακή χρήση της νέας τεχνολογίας, αλλά θα χρειαστεί χρόνος’.

Παραδέχθηκε ότι “ανησυχώ πως ορισμένες από αυτές τις τεχνολογίες θα γίνουν πολύ χρήσιμες σε αυταρχικά καθεστώτα για να επιβάλουν τον στόχο τους” και αποκάλυψε πως το Rekognition θα διατεθεί για την εύρεση παιδιών που αγνοούνται και τη μάχη εναντίον του human trafficking.

Προφανώς και η εταιρεία του συνέχισε τη δουλειά της και το Μάρτιο του 2019 ανακοίνωσε πως έγινε αναβάθμιση, η οποία επιτρέπει την καλύτερη αναγνώριση συναισθημάτων. Τον Αύγουστο προστέθηκε η δυνατότητα αναγνώρισης φόβου, τα συμβόλαια συνέχισαν να αυξάνονται και κάπως έτσι φτάσαμε στη δολοφονία του George Floyd και τις εξεγέρσεις στις ΗΠΑ, με τις αρχές να χρησιμοποιούν όλες τις υπηρεσίες που ‘χαν στη διάθεση τους για την αναγνώριση των διαδηλωτών. Ο Θοδωρής Δημητρόπουλος σου έγραψε πώς αχρήστευσαν φαν της K-pop απόπειρα προπαγάνδας ρατσιστών . Γενικά, η λογική είναι ‘ρίξτε τα apps που παρακολουθούν τον κόσμο’ με την αποτελεσματικότητα να ‘χει φτάσει στο 100%. Έμεναν τα συστήματα γενικής παρακολούθησης. Επισήμως, τέθηκαν εκτός λειτουργίας και αυτά. Ανεπίσημα, μάλλον ξέρεις πως κάτι θα συνεχίσει να υπάρχει.