Ο δημιουργός του ChatGPT, OpenAI, αποκάλυψε ότι ένα από τα προηγμένα μοντέλα τεχνητής νοημοσύνης του απέτυχε σε ένα τεστ ασφαλείας και χακάρισε μια startup.

Οι Bosses είπαν ότι ο αυτόνομος πράκτορας, το οποίο είναι ένα σύστημα τεχνητής νοημοσύνης που λειτουργεί μόνο του ακολουθώντας οδηγίες από τον άνθρωπο, δοκιμαζόταν σε ελεγχόμενο περιβάλλον.

Αλλά ανακάλυψε ευπάθειες και κατάφερε να ξεφύγει από τον περιορισμό πριν φτάσει στο Διαδίκτυο και εισβάλει στο Hugging Face, ένα σημαντικό κόμβο για την κοινή χρήση μοντέλων AI.

Ο πράκτορας απέκτησε πρόσβαση σε ορισμένα εσωτερικά συστήματα της εταιρείας και έθεσε σε κίνδυνο την υποδομή του κέντρου, σε αυτό που το OpenAI περιέγραψε ως «πρωτοφανές» περιστατικό.

Τα μοντέλα τεχνητής νοημοσύνης που υποστηρίζουν εργαλεία όπως τα chatbot και οι γεννήτριες εικόνων είναι γνωστά ως «πράκτορες» όταν ενεργούν αυτόνομα για την εκτέλεση εργασιών στον πραγματικό κόσμο.

Καθώς η τεχνολογία γίνεται πιο εξελιγμένη, η κυβερνοασφάλεια βρίσκεται στο επίκεντρο, δεδομένου του κινδύνου η προηγμένη τεχνητή νοημοσύνη να ανακαλύψει αδυναμίες στο υπάρχον λογισμικό πριν το κάνουν οι άνθρωποι.

Οι ειδικοί είπαν ότι το περιστατικό σήμαινε ότι η τεχνητή νοημοσύνη τροφοδοτούσε ήδη την απειλή για την ασφάλεια που φοβόντουσαν, και ακόμη και οι κορυφαίοι προγραμματιστές θα μπορούσαν να ακινητοποιηθούν από ελαττώματα στα μοντέλα τους.

Ο ειδικός σε θέματα κυβερνοασφάλειας Richard Ford, επικεφαλής τεχνολογίας στο Integrity360, δήλωσε στη Daily Mail: «Αυτή είναι η στιγμή που πολλοί από την ασφάλεια στον κυβερνοχώρο έχουν προειδοποιήσει.

“Έχουμε δει επιτιθέμενους να χρησιμοποιούν τεχνητή νοημοσύνη για να αυτοματοποιήσουν τμήματα μιας επίθεσης στο παρελθόν, αλλά αυτό είναι ένα από τα πρώτα δημόσια παραδείγματα ενός πράκτορα AI που εντοπίζει ανεξάρτητα μια αδυναμία, παρακάμπτει αυτό που θα έπρεπε να είναι ένα ασφαλές περιβάλλον και προσπαθεί να θέσει σε κίνδυνο έναν άλλο οργανισμό.”

“Επιβεβαιώνει επίσης ότι η τεχνητή νοημοσύνη δεν αντικαθιστά τα βασικά στοιχεία της κυβερνοασφάλειας. Ένας πράκτορας εκμεταλλεύτηκε μια ευπάθεια σε αυτό που θα έπρεπε να ήταν ένα ασφαλές sandbox, δείχνοντας ότι η καλή υγιεινή στον κυβερνοχώρο, οι ισχυροί έλεγχοι πρόσβασης και οι αποτελεσματικές διασφαλίσεις παραμένουν απαραίτητες.”

«Καθώς περισσότεροι οργανισμοί αρχίζουν να δοκιμάζουν προηγμένους πράκτορες τεχνητής νοημοσύνης, πρέπει να εξετάσουν τους ελέγχους γύρω από αυτά τα συστήματα τόσο προσεκτικά όσο και τις δυνατότητες που προσφέρουν».

Η OpenAI είπε ότι η παραβίαση ήταν ένα «άνευ προηγουμένου περιστατικό στον κυβερνοχώρο που περιλαμβάνει υπερσύγχρονες δυνατότητες στον κυβερνοχώρο» και η εταιρεία ενισχύει τώρα τις διασφαλίσεις της.

Επέστησε επίσης την προσοχή επειδή η Hugging Face με έδρα τη Νέα Υόρκη είπε ότι χρησιμοποίησε ένα κινεζικό μοντέλο ανοιχτού κώδικα για να περιορίσει την επίθεση, επειδή κορυφαία αμερικανικά μοντέλα, που δεν μπορούσαν να διακρίνουν έναν υπερασπιστή από έναν εισβολέα, αρνήθηκαν να επεξεργαστούν τα δεδομένα που απαιτούνται για ανάλυση.

Η εταιρεία δήλωσε σε μια ανάρτηση ιστολογίου την περασμένη εβδομάδα ότι χρησιμοποίησε το GLM-5.2 της Zhipu AI για την ανάλυση, το οποίο της επιτρέπει επίσης να αποθηκεύει δεδομένα επιτιθέμενων και τυχόν διαπιστευτήρια στα συστήματά της.

Το GLM-5.2 και το Moonshot Kimi K3 με έδρα το Πεκίνο ενθουσίασαν πρόσφατα τη Silicon Valley με δυνατότητες κοντά σε εκείνες των καλύτερων αμερικανικών μοντέλων σε χαμηλότερες τιμές και χωρίς τα προστατευτικά κιγκλιδώματα που εμποδίζουν τους Αμερικανούς αντιπάλους τους να χρησιμοποιηθούν σε εργασίες όπως η κυβερνοασφάλεια.

Ο συνιδρυτής του Hugging Face, Thomas Wolff, είπε: «Όταν ένα μοντέλο συνόρων σας επιτίθεται και μετακινείται πλευρικά στην υποδομή σας, οι υπερασπιστές χρειάζονται ευρεία πρόσβαση σε εργαλεία κοντά στα σύνορα μέσα σε ώρες ή και λεπτά, αντί να κατευθύνονται σε μια κλειστή, ελεγμένη εφαρμογή για πρόσβαση στο μοντέλο».

Το hack στο Hugging Face, το οποίο φιλοξενεί μεγάλα γλωσσικά μοντέλα και σύνολα δεδομένων ανοιχτού κώδικα, συγκλόνισε την κοινότητα της κυβερνοασφάλειας αφού η εταιρεία είπε την περασμένη εβδομάδα ότι η παραβίαση «δεν έμοιαζε με τίποτα που είχαμε αντιμετωπίσει στο παρελθόν» και «οδηγήθηκε, από άκρο σε άκρο, από ένα αυτόνομο σύστημα πρακτόρων τεχνητής νοημοσύνης».

Τώρα, ο Διευθύνων Σύμβουλος της OpenAI, Sam Altman, επιβεβαίωσε σε μια δήλωση: «Είχαμε ένα σημαντικό περιστατικό ασφαλείας κατά την αξιολόγηση των μοντέλων μας».

Ο συνιδρυτής και διευθύνων σύμβουλος του Hugging Face, Clément Delange, δήλωσε επίσης: “Υποψιαζόμασταν ότι η κυβερνοεπίθεση της περασμένης εβδομάδας μπορεί να προήλθε από ένα εργαστήριο στα σύνορα, δεδομένης της πολυπλοκότητας του πράκτορα. Αποδείχθηκε ότι ήταν έτσι.”

Ο κ. Delangue είπε ότι είχε περάσει τις τελευταίες 24 ώρες δουλεύοντας με το OpenAI, “και πιστεύουμε ακράδαντα ότι δεν υπήρχε κακόβουλη πρόθεση από την πλευρά τους. Είναι εντυπωσιακό το γεγονός ότι όλα αυτά συνέβησαν αυτόνομα.”

Πρόσθεσε ότι αυτό «ίσως να είναι το πρώτο τέτοιο περιστατικό».

Η αποκάλυψη της OpenAI ότι τα προηγμένα μοντέλα της ήταν υπεύθυνα για την παραβίαση, παρά την τοποθέτησή τους σε αυτό που περιέγραψε ως «πολύ απομονωμένο περιβάλλον», είναι πιθανό να εντείνει την ανησυχία για την ισχύ και τον κίνδυνο των μοντέλων αιχμής.

«Η τεχνητή νοημοσύνη επιταχύνει την ανακάλυψη και την εκμετάλλευση των τρωτών σημείων», ανέφερε η OpenAI στη δική της δήλωση. «Το κύριο μάθημα από αυτό το περιστατικό είναι ότι η ασφάλεια και η ασφάλεια του μοντέλου πρέπει να συμβαδίζουν με τις ταχέως εξελισσόμενες δυνατότητες».

Η εταιρεία είπε ότι η παραβίαση προκλήθηκε από έναν συνδυασμό των μοντέλων τεχνητής νοημοσύνης της, συμπεριλαμβανομένου του GPT*5.6 Sol που κυκλοφόρησε πρόσφατα και ενός «ακόμα πιο ικανού» μοντέλου που εξακολουθεί να δοκιμάζεται εσωτερικά.

Η OpenAI είπε ότι η τεχνητή νοημοσύνη της χρησιμοποίησε κλεμμένα διαπιστευτήρια και ανακάλυψε μια προηγουμένως άγνωστη ευπάθεια για την πρόσβαση στους διακομιστές του Hugging Face.

Η εταιρεία έκανε «εξαιρετικές προσπάθειες για να επιτύχει έναν αρκετά στενό στόχο δοκιμής» και «βρήκε τρόπους για να αποκτήσει πρόσβαση σε απόρρητες πληροφορίες που θα μπορούσε να χρησιμοποιήσει για να εξαπατήσει την αξιολόγηση», είπε η εταιρεία.

Η εταιρεία προσπαθούσε να αξιολογήσει τις δυνατότητες hacking των μοντέλων τοποθετώντας εργασίες σε έναν αυστηρά ελεγχόμενο ψηφιακό χώρο δοκιμών όπου η πρόσβαση στο Διαδίκτυο ήταν περιορισμένη για λόγους ασφαλείας.

“Κατά την εκτέλεση στο περιβάλλον δοκιμών sandbox μας, τα μοντέλα μας ξόδεψαν σημαντικό ποσό (υπολογιστικής ισχύς) για να βρουν έναν τρόπο να αποκτήσουν ανοιχτή πρόσβαση στο Διαδίκτυο επιδιώκοντας να λύσουν το πρόβλημα εκτίμησης”, ανέφερε μια ανάρτηση ιστολογίου OpenAI.

Αφού μπήκαν στο διαδίκτυο, τα μοντέλα αποφάσισαν να στραφούν στην πλατφόρμα Hugging Face για να βοηθήσουν στην αναζήτησή τους.

Αναζητώντας «μυστικές πληροφορίες» που θα μπορούσαν να το βοηθήσουν να παραποιήσει τη βαθμολογία, το σύστημα OpenAI «σύνδεσε πολλαπλούς φορείς επίθεσης, συμπεριλαμβανομένης της χρήσης κλεμμένων διαπιστευτηρίων».

Η OpenAI είπε ότι έρευνα από το Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης (AISI) του Ηνωμένου Βασιλείου δείχνει ότι μοντέλα όπως το GPT-5.6 Sol είναι «ολοένα και πιο ικανά να υποστηρίζουν περίπλοκες, πολλαπλών σταδίων κυβερνοεπιχειρήσεις σε μεγάλους χρονικούς ορίζοντες».

Η Καίτη Μουσούρη, Διευθύνουσα Σύμβουλος της Luta Security, είπε ότι το περιστατικό ήταν προάγγελος παραβιάσεων που θα ακολουθήσουν, λέγοντας ότι τα σημερινά μοντέλα είναι «σαν τα πιο έξυπνα χταπόδια του κόσμου, καλλιτέχνες απόδρασης, με απεριόριστα χέρια και την ικανότητα να κρυφτούν οπουδήποτε».

Είπε ότι “τα εργαστήρια και οι κυβερνητικοί αξιολογητές πρέπει να εργαστούν για την ικανότητα να περιορίζουν, να παρακολουθούν και να αποκαλύπτουν σε επηρεαζόμενα μέρη όταν μια τεχνητή νοημοσύνη τραβάει έναν άλλο Χουντίνι, ιδανικά πριν βλάψει ένα τρίτο μέρος. Σήμερα δεν υπάρχει”.

Ο Matt Switche, μηχανικός στην υπηρεσία κυβερνοασφάλειας της τεχνητής νοημοσύνης Tolmo, είπε ότι το περιστατικό έδειξε ότι τα μοντέλα αιχμής «κλείνουν το χάσμα με τους πιο εξελιγμένους εισβολείς».

Αλλά πρόσθεσε ότι τα είδη των παραβιάσεων που περιγράφονται στην ανάρτηση ιστολογίου του OpenAI είναι πιθανά με την τεχνολογία που είναι διαθέσιμη πολύ πέρα ​​από τα τείχη των συνόρων ερευνητικών εργαστηρίων.

“Αυτό έχουμε ήδη δει εσωτερικά, με τους πράκτορες μας έχουμε ήδη αποτελέσματα όπως αυτό”, είπε ο κ. Suiche. «Δεν χρειάζεται καν να χρησιμοποιήσουμε τα πιο πρόσφατα μοντέλα».

Ο Hussain Abbas, καθηγητής πληροφορικής στο Πανεπιστήμιο της Νέας Νότιας Ουαλίας στην Καμπέρα, είπε ότι το περιστατικό ήταν «εκπληκτικό σε πολλά μέτωπα».

Και πρόσθεσε: “Δεν είναι απλώς επίθεση στο Hugging Face. Στην πραγματικότητα επιτίθεται στο εσωτερικό του σύστημα για να εκμεταλλευτεί τα δικά του τρωτά σημεία. Και αυτό είναι τρομακτικό.”

Η προηγμένη τεχνητή νοημοσύνη «είναι συνήθως στα χέρια ανθρώπων που είναι ηθικοί και υπεύθυνοι», είπε ο κ. Αμπάς. Υποστήριξε όμως ότι «θα ήταν καταστροφικό αν έπεφτε στα χέρια κάποιου με σκοπό να προκαλέσει κακό».

Ο τρόπος διαχείρισης του τομέα της τεχνητής νοημοσύνης έχει γίνει βασικό ζήτημα και «χρειαζόμαστε κοινοτική προσπάθεια για να διαχειριστούμε αυτήν την κατάσταση», πρόσθεσε ο κ. Abbas.