Οι μετασχηματιστές: Η επόμενη γενιά της τεχνητής νοημοσύνης

Πίσω στο 2022, πριν το ChatGPT φέρει ριζική επανάσταση στον κόσμο της τεχνητής νοημοσύνης,

Χαραγμένο

αποφάσισε να επενδύσει σε μεγάλο βαθμό σε μετασχηματιστές.

Με αυτή την εστίαση, η startup ανέπτυξε το Sohu, ένα εξειδικευμένο τσιπ ASIC σχεδιασμένο αποκλειστικά για μοντέλα μετασχηματιστών, με την αρχιτεκτονική που τροφοδοτεί τα ChatGPT, Sora και Gemini.

Το Sohu είναι ένα πόνυ με ένα κόλπο: δεν μπορεί να τρέξει μοντέλα μηχανικής μάθησης όπως τα Συνελικτικά Νευρωνικά Δίκτυα (CNN), τα Επαναλαμβανόμενα Νευρωνικά Δίκτυα (RNN) ή τα Δίκτυα

Μακ

ροπρόθεσμης Μνήμης (LSTM), αλλά για μετασχηματιστές, το Etched λέει ότι είναι απαράμιλλο και μπορεί να ξεπεράσει την κορυφαία GPU B200 της

Nvidia

σε ταχύτητα σχεδόν δεκαπλάσια.

Πρόκειται για επεκτασιμότητα

Επειδή το Sohu έχει σχεδιαστεί αποκλειστικά για μοντέλα μετασχηματιστών, μπορεί να αποφύγει την περίπλοκη και συχνά περιττή λογική ροής ελέγχου που πρέπει να χειριστούν οι GPU γενικής χρήσης για να υποστηρίξουν μια μεγάλη ποικιλία εφαρμογών.

Εστιάζοντας μόνο στις υπολογιστικές ανάγκες των μετασχηματιστών, η Sohu είναι σε θέση να αφιερώσει περισσότερους από τους πόρους της στην

εκτέλεση

μαθηματικών πράξεων, οι οποίες είναι οι βασικές εργασίες στην επεξεργασία μετασχηματιστών.

Αυτή η απλοποιημένη προσέγγιση επιτρέπει στη Sohu να επιτύχει πάνω από 90% χρήση της χωρητικότητάς της στο FLOPS, σημαντικά υψηλότερη από τη χρήση περίπου 30% που παρατηρείται στις GPU γενικής χρήσης. Αυτό σημαίνει ότι το Sohu μπορεί να εκτελέσει περισσότερους υπολογισμούς σε μια δεδομένη περίοδο, καθιστώντας το πολύ πιο αποτελεσματικό για εργασίες που βασίζονται σε μετασχηματιστές.

Ο κόσμος έχει δει μια δραματική αύξηση στη χρήση μοντέλων μετασχηματιστών και κάθε σημαντικό εργαστήριο τεχνητής νοημοσύνης – από την Google έως τη Microsoft – έχει δεσμευτεί να κλιμακώσει περαιτέρω αυτήν την

τεχνολογία

. Με απόδοση που φτάνει τα 500.000 token ανά δευτερόλεπτο σε απόδοση Llama 70B, το Sohu είναι μια τάξη μεγέθους ταχύτερο και οικονομικότερο από τις GPU επόμενης γενιάς.

Ο Etched πιστεύει ότι η στροφή προς τα εξειδικευμένα τσιπ είναι αναπόφευκτη και στοχεύει να παραμείνει μπροστά από την καμπύλη. «Τα μοντέλα τελευταίας γενιάς και της επόμενης γενιάς είναι μετασχηματιστές», λέει η εταιρεία. «Η αυριανή στοίβα υλικού θα βελτιστοποιηθεί για μετασχηματιστές. Τα GB200 της Nvidia διαθέτουν ειδική υποστήριξη για μετασχηματιστές (TransformerEngine). ASIC όπως η Sohu που εισέρχονται στην αγορά σηματοδοτούν το σημείο χωρίς επιστροφή».

Χαρακτηρισμένες αναφορές Η παραγωγή του Sohu αυξάνεται, με σημαντικές παραγγελίες να έχουν ήδη πραγματοποιηθεί. «Πιστεύουμε στη λοταρία υλικού: τα μοντέλα που κερδίζουν είναι αυτά που μπορούν να τρέξουν πιο γρήγορα και φθηνά σε υλικό. Οι μετασχηματιστές είναι ισχυροί, χρήσιμοι και αρκετά κερδοφόροι ώστε να κυριαρχούν σε κάθε σημαντική αγορά υπολογιστών τεχνητής νοημοσύνης προτού είναι έτοιμες οι εναλλακτικές λύσεις».

Η εταιρεία προσθέτει, «Οι μετασχηματιστές δολοφόνοι θα πρέπει να λειτουργούν με GPU πιο γρήγορα από τους μετασχηματιστές που λειτουργούν στο Sohu. Αν συμβεί αυτό, θα φτιάξουμε ένα ASIC και για αυτό!».