Ο
Έλον Μασκ
έχει
αποκάλυψε
ότι το μοντέλο επόμενης γενιάς Grok 3 LLM έχει εκπαιδευτεί σε 100.000 GPU NVIDIA
H100 AI
.
Η Startup AI του
Elon Musk
σχεδιάζει να επιτύχει τεράστια ανακάλυψη με τα μοντέλα Grok LLM, ενισχύει το παιχνίδι χρησιμοποιώντας 100K NVIDIA H100 AI GPU
Λοιπόν, φαίνεται ότι κάθε άλλη εταιρεία που εστιάζει στην τεχνητή νοημοσύνη μάχεται η μια την άλλη για να προωθήσει τις προηγμένες εκδόσεις των μοντέλων της LLM για να καλύψει την αυξανόμενη ανάγκη για
chatbots
AI. Μια νέα εταιρεία που συμμετείχε στον αγώνα είναι η startup τεχνητής νοημοσύνης του Elon Musk, η xAI, η οποία είχε προαναγγείλει την ανάπτυξη του συνόλου μοντέλων LLM “Grok”, που έχει σχεδιαστεί ειδικά για την ενσωμάτωσή του ως βοηθός AI για premium χρήστες στο
X
.
Η εταιρεία έχει κυκλοφορήσει νεότερες εκδόσεις του αρχικού μοντέλου και η xAI ετοιμάζεται επί του παρόντος για το Grok 2. Ωστόσο, ο Elon, στο τελευταίο του tweet, άρχισε να προωθεί το μοντέλο επόμενης γενιάς Grok 3, υποστηρίζοντας ότι θα είναι πολύ μεγαλύτερο από τους προκατόχους του.
Grok 3 τέλος της χρονιάς μετά την προπόνηση σε 100k H100 θα πρέπει να είναι πραγματικά κάτι ξεχωριστό
— Έλον Μασκ (@elonmusk)
1 Ιουλίου 2024
Η αποκάλυψη του υλικού που χρησιμοποιείται για την εκπαίδευση του Grok 3 είναι κάτι εκπληκτικό και συναρπαστικό ταυτόχρονα, επειδή η χρήση 100.000 μονάδων των high-end H100 AI GPU της NVIDIA για εκπαίδευση μοντέλων θα έχει ένα αποτέλεσμα που δεν έχουν δει ακόμη οι αγορές.
Για να υποστηρίξει αυτή τη δήλωση, φημολογείται ότι το μοντέλο GPT-4 LLM του OpenAI εκπαιδεύτηκε σε 40.000 GPU της NVIDIA A100 AI, οι οποίες είναι σχετικά ξεπερασμένες σε σύγκριση με τις H100 και μικρότερες σε ποσότητα επίσης. Ως εκ τούτου, μπορείτε να φανταστείτε τις δυνατότητες που θα έχει το μοντέλο Grok 3 AI μέσα του.
Σε προηγούμενο tweet, ο Elon Musk ισχυρίστηκε ότι η εκπαίδευση LLM μέσω δεδομένων στο Διαδίκτυο είναι ταραχώδης και απαιτεί «πολλή δουλειά», ειδικά όταν πρόκειται για υπολογιστικούς πόρους. Είπε ότι το μοντέλο Grok 2 AI, το οποίο έχει προγραμματιστεί για τον Αύγουστο, είναι μια βελτίωση από αυτή την άποψη και ότι το μοντέλο Grok 3 LLM επόμενης γενιάς θα βασιστεί στα προηγούμενα μοντέλα, όντας τελικά ένα τεράστιο προϊόν της xAI.
Εκτός από αυτό, ο Elon Musk ανακοίνωσε προηγουμένως ότι σχεδιάζει να αποκτήσει τους κορυφαίους επιταχυντές AI Blackwell B200 της NVIDIA και για xAI, προφανώς αξίας 9 δισεκατομμυρίων δολαρίων, το οποίο είναι ένα τεράστιο ποσό λαμβάνοντας υπόψη τη δυναμική των αγορών. Με το Grok 3 να χρησιμοποιεί 100.000 μονάδες H100 της NVIDIA, το μοντέλο υποτίθεται ότι κοστίζει περίπου 3 δισεκατομμύρια δολάρια σε απλή εκπαίδευση, δικαιολογώντας το γεγονός ότι ο Elon κάνει τα πάντα με το xAI.
Θα είναι ενδιαφέρον να δούμε πώς το xAI και τα εγχειρήματά του συμβάλλουν στη διαφημιστική εκστρατεία της τεχνητής νοημοσύνης και από την όψη του, η εκκίνηση AI του Elon μπορεί να είναι το επόμενο μεγάλο πράγμα.
VIA:
wccftech.com
0