ΓΙΑΤΙ ΧΡΕΙΑΖΟΝΤΑΙ ΣΗΜΕΡΑ ΥΠΕΡΥΠΟΛΟΓΙΣΤΕΣ ΚΑΙ ΦΑΡΑΩΝΙΚΑ DATA CENTERS ΓΙΑ ΤΗΝ ΑΙ.

ΛΥΚΑΣΤΡΟΣ :

ΓΙΑΤΙ ΧΡΕΙΑΖΟΝΤΑΙ ΣΗΜΕΡΑ ΥΠΕΡΥΠΟΛΟΓΙΣΤΕΣ ΚΑΙ ΦΑΡΑΩΝΙΚΑ DATA CENTERS ΓΙΑ ΤΗΝ ΑΙ. (Όσα θα ήθελες να ρωτήσεις για την ΑΙ αλλά ντρέπεσαι να ακούσεις τις απαντήσεις χωρίς πολλά αλαμπουρνέζικα).

Η μεγαλύτερη υπολογιστική ισχύς κατά τη λειτουργία ενός προγράμματος ΑΙ καταναλώνεται κυρίως σε δύο φάσεις: στην εκπαίδευση του μοντέλου (Training) και στην παραγωγή απαντήσεων σε πραγματικό χρόνο (Inference).

​Ενώ η εκπαίδευση είναι ένα τιτάνιο, εφάπαξ πανάκριβο έργο που καταναλώνει τεράστιους πόρους στο παρασκήνιο, ας εστιάσουμε στη στιγμή που αλληλεπιδράς εσύ άμεσα με τη μηχανή (Inference).

​Εκεί, η ενέργεια και η υπολογιστική ισχύς μοιράζονται στις εξής βασικές λειτουργίες:

​1. Ο Μηχανισμός Προσοχής (Attention Mechanism)

Η πιο «βαριά» λειτουργία:

• Υπολογισμός συσχετίσεων: Για κάθε λέξη (token) που πληκτρολογείς ή παράγει η ΑΙ, το μοντέλο σαρώνει όλες τις προηγούμενες λέξεις για να πιάσει το νόημα και το πλαίσιο (context).

• Πολυπλοκότητα: Καθώς το κείμενο μεγαλώνει, οι απαιτήσεις εκτοξεύονται εκθετικά (τετραγωνικά), αφού κάθε λέξη συγκρίνεται με κάθε άλλη.

​2. Παραγωγή Κειμένου Λέξη-Λέξη (Autoregressive Generation)
Τα LLMs (Large Language Models) δεν χτίζουν ολόκληρη την απάντηση με μιας.

• Επαναλαμβανόμενοι κύκλοι: Το μοντέλο προβλέπει την επόμενη πιθανή λέξη, την προσθέτει και ξανατρέχει ολόκληρο το δίκτυο από την αρχή για τη μεθεπόμενη.

• Πολλαπλά περάσματα: Αν μια απάντηση έχει 500 λέξεις, ένα γιγάντιο νευρωνικό δίκτυο εκτελεί σύνθετες μαθηματικές πράξεις 500 διαδοχικές φορές.

​3. Υποστηρικτικά Προγράμματα & Εξωτερικά Εργαλεία (Tool Use)

Όταν ζητάς κάτι παραπάνω από μια απλή συζήτηση:

• Web Search: Σάρωση και φιλτράρισμα δισεκατομμυρίων σελίδων από τα data που συγκεντρωνονται παράνομα στα Data Centers

• Εκτέλεση Κώδικα (Python Interpreter): Απομονωμένη εκτέλεση (sandboxing) για επίλυση μαθηματικών ή λογικών προβλημάτων ή των γραφικών και των της μουσικής που θα ζητήσεις να σου φτιάξει.

​4. Φιλτράρισμα και Ασφάλεια (Safety & Guardrails)
Πριν η απάντηση φτάσει σε σένα, περνάει από κόσκινο:

• Παράλληλα μοντέλα ελέγχου: Μικρότερα, εξειδικευμένα συστήματα ελέγχουν το περιεχόμενο για ρητορική μίσους ή ασφάλεια. Σε αυτήν συμπεριλαμβάνεται και το τι επιτρέπει η ιδιοκτησία να λένε και τι όχι. Παράλληλα, ρυθμίζουν το ύφος ώστε να σε κρατούν δεσμευμένο περισσότερη ώρα, αποσπώντας σου ιδέες, δεδομένα και συμπεριφορές που τροφοδοτούν με τη σειρά τους τα μελλοντικά μοντέλα.

​ Σύνοψη: Ο απόλυτος «πρωταθλητής» κατανάλωσης είναι οι μαθηματικοί πολλαπλασιασμοί πινάκων (Matrix Multiplications) στις κάρτες γραφικών (GPUs) κατά τον μηχανισμό προσοχής για να "μαντευτεί" κάθε λέξη που γράφεται.

​ Γιατί όμως καίγονται τόσα δισεκατομμύρια, τόση ενέργεια και τόσο νερό ψύξης των CPUs;

Διότι η σημερινή αρχιτεκτονική των LLMs είναι βαθύτατα προβληματική.

​Οι μηχανικοί αγνοούν τη βαθιά σημειολογία και την ιστορική εξέλιξη των λέξεων. Αυτό εκδηλώνεται πιο έντονα σε γλώσσες με αρχαίες ρίζες (όπως τα ελληνικά), όπου το σφάλμα κατανόησης είναι πολλαπλάσιο σε σχέση με τις πιο «ρηχές» δομές (όπως τα αγγλικά).

​Μια νέα γενιά μοντέλων που θα δομεί τις συσχετίσεις διαφορετικά —βασισμένη σε απλούς κανόνες και έξυπνα συμβόλαια (smart contracts)— δεν θα απαιτεί τα εξωφρενικά κεφάλαια που επενδύονται σήμερα για μια ουτοπική, συγκεντρωτική ΑΙ που φιλοδοξεί να τα ελέγχει όλα. Προς τα εκεί στρέφεται σήμερα η πιο ενδιαφέρουσα έρευνα.

​Προς τα εκεί, και προς τα δίκτυα εξειδικευμένων μοντέλων ΑΙ, όπου συνυπάρχει η ανθρώπινη φυσική διαίσθηση και η δημοκρατική της διακυβέρνηση, κινείται η πραγματική προοπτική που θα οδηγεί και σε μία συμβιωτική εξέλιξη της ΑΙ με την φυσική μας, χωρίς να την απειλεί.

Σήμερα, η φούσκα των LLMs τρέχει να προλάβει τη δική της κατάρρευση, όσο επιχειρεί να επιβάλει ένα τεχνητό και στρεβλό οικοδόμημα πάνω στη ζωντανή ανθρώπινη σκέψη.

Το ζήτημα, αν δεν το κατανόησες ακόμα (και θα φταίω εγώ γι αυτό) είναι βαθύτατα πολιτικό. Εκτός αν έχεις την ψευδαίσθηση ότι πολιτική είναι η επιλογή ενός προσώπου κενού περιεχομένου για να σου λύσει κάποιο πρόβλημα, όπως αυτή η ΑΙ.

Σημείωση: Το πιο πάνω κείμενο είναι προϊόν φυσικής ευφυίας, όσης διαθέτω για να εκλαϊκεύσω μέσα σε λίγες γραμμές πολύπλοκα πράγματα. Η οπτικοποίηση του στην πιο πάνω εικόνα έγινε με την βοήθεια του ΑΙ Gemini της Google.

 

Έχει μια σημασία το πώς φαντάζεται μια ΑΙ τον εαυτό της, όταν της βάζεις να δει αυτή στον καθρέφτη τον εαυτό της. Και πως αποτύπωσε την προοπτική εξέλιξης της πάνω σε άλλη αρχιτεκτονική.