Η
Cloudflare
, ο διαπραγματεύσιμος πάροχος υπηρεσιών cloud, κυκλοφόρησε ένα νέο, δωρεάν εργαλείο για να αποτρέψει τα
bots
να αποκόπτουν ιστότοπους που φιλοξενούνται στην πλατφόρμα του για δεδομένα για την εκπαίδευση μοντέλων τεχνητής νοημοσύνης.
Ορισμένοι προμηθευτές τεχνητής νοημοσύνης, συμπεριλαμβανομένων των Google, OpenAI και Apple, επιτρέπουν στους ιδιοκτήτες ιστοτόπων να αποκλείουν τα ρομπότ που χρησιμοποιούν για τη συλλογή δεδομένων και την εκπαίδευση μοντέλων, τροποποιώντας το
robots.txt
του ιστότοπού τους, το αρχείο κειμένου που ενημερώνει τα ρομπότ σε ποιες σελίδες μπορούν να έχουν πρόσβαση σε έναν ιστότοπο. Όμως, όπως επισημαίνει η Cloudflare στο α
Θέση
ανακοινώνοντας το εργαλείο καταπολέμησης ρομπότ, δεν το σέβονται όλοι οι μηχανισμοί τεχνητής νοημοσύνης.
«Οι πελάτες δεν θέλουν τα ρομπότ τεχνητής νοημοσύνης να επισκέπτονται τους ιστότοπούς τους, και ειδικά εκείνοι που το κάνουν ανέντιμα», γράφει η εταιρεία στο επίσημο blog της. «Φοβόμαστε ότι ορισμένες εταιρείες τεχνητής νοημοσύνης που σκοπεύουν να παρακάμψουν τους κανόνες πρόσβασης στο περιεχόμενο θα προσαρμοστούν επίμονα για να αποφύγουν τον εντοπισμό ρομπότ».
Έτσι, σε μια προσπάθεια να αντιμετωπίσει το πρόβλημα, το Cloudflare ανέλυσε την κυκλοφορία ρομπότ και ανιχνευτή τεχνητής νοημοσύνης για να βελτιώσει τα μοντέλα αυτόματης ανίχνευσης ρομπότ. Τα μοντέλα εξετάζουν, μεταξύ άλλων παραγόντων, εάν ένα bot AI μπορεί να προσπαθεί να αποφύγει τον εντοπισμό μιμούμενο την εμφάνιση και τη συμπεριφορά κάποιου που χρησιμοποιεί ένα πρόγραμμα περιήγησης ιστού.
«Όταν οι κακοί ηθοποιοί προσπαθούν να ανιχνεύσουν ιστότοπους σε μεγάλη
κλίμα
κα, χρησιμοποιούν γενικά εργαλεία και πλαίσια που μπορούμε να αποτυπώσουμε δακτυλικά αποτυπώματα», γράφει η Cloudflare. «Με βάση αυτά τα σήματα, τα μοντέλα μας [are] είναι σε θέση να επισημάνει κατάλληλα την επισκεψιμότητα από ρομπότ τεχνητής νοημοσύνης που αποφεύγουν την τεχνητή νοημοσύνη ως bot.”
Το
Cloudflare έχει δημιουργήσει μια φόρμα για τους οικοδεσπότες να αναφέρουν ύποπτα ρομπότ και προγράμματα ανίχνευσης τεχνητής νοημοσύνης και λέει ότι θα συνεχίσει να βάζει με μη αυτόματο τρόπο στη μαύρη λίστα τα ρομπότ τεχνητής νοημοσύνης με την πάροδο του χρόνου.
Το πρόβλημα των ρομπότ τεχνητής νοημοσύνης έχει ανακουφιστεί απότομα, καθώς η παραγωγική έκρηξη τεχνητής νοημοσύνης τροφοδοτεί τη ζήτηση για δεδομένα εκπαίδευσης μοντέλων.
Πολλοί ιστότοποι, επιφυλακτικοί σχετικά με τα μοντέλα τεχνητής νοημοσύνης που εκπαιδεύουν οι προμηθευτές για το περιεχόμενό τους χωρίς να τους ειδοποιούν ή να τους αποζημιώνουν, επέλεξαν να αποκλείσουν τα scrapers και crawlers AI. Περίπου το 26% των 1.000 κορυφαίων τοποθεσιών στον Ιστό έχουν μπλοκάρει το bot του OpenAI, σύμφωνα με ένα
μελέτη
;
αλλο
διαπίστωσε ότι περισσότεροι από 600 εκδότες ειδήσεων είχαν μπλοκάρει το bot.
Ωστόσο, το μπλοκάρισμα δεν είναι ασφαλής προστασία. Όπως αναφέρθηκε προηγουμένως, ορισμένοι πωλητές φαίνεται να αγνοούν τους τυπικούς κανόνες αποκλεισμού bot για να αποκτήσουν ανταγωνιστικό πλεονέκτημα στον αγώνα τεχνητής νοημοσύνης. Η μηχανή αναζήτησης τεχνητής νοημοσύνης Perplexity κατηγορήθηκε πρόσφατα ότι πλαστοπροσωπεί νόμιμους επισκέπτες για να αφαιρέσει περιεχόμενο από ιστότοπους και τα OpenAI και Anthropic λέγεται ότι έχουν κατά καιρούς
αγνόησε
κανόνες robots.txt.
Σε ένα
επιστολή προς τους εκδότες τον περασμένο μήνα
η startup αδειοδότησης περιεχομένου TollBit είπε ότι, στην πραγματικότητα, βλέπει «πολλούς πράκτορες AI» να αγνοούν το πρότυπο robots.txt.
Εργαλεία όπως το Cloudflare θα μπορούσαν να βοηθήσουν — αλλά μόνο εάν αποδειχθούν ακριβή στον εντοπισμό μυστικών ρομπότ τεχνητής νοημοσύνης. Και αυτοί
συνηθισμένος
λύσει το πιο δυσεπίλυτο πρόβλημα των εκδοτών που κινδυνεύουν να θυσιάσουν την επισκεψιμότητα παραπομπής από εργαλεία τεχνητής νοημοσύνης, όπως τα AI Overviews της Google, τα οποία αποκλείουν ιστότοπους από τη συμπερίληψη εάν αποκλείουν συγκεκριμένα προγράμματα ανίχνευσης AI.
VIA:
techcrunch.com
0