Η νέα NVIDIA GeForce RTX 4090: Κορυφαία απόδοση AI και ενίσχυση 70% με το TensorRT-LLM

Η επιτάχυνση TensorRT-LLM της NVIDIA για

Windows

έχει φέρει μερικές θεαματικές βελτιώσεις στην απόδοση στην πλατφόρμα υπολογιστών Windows. Είδαμε μερικά εντυπωσιακά κέρδη και νέες δυνατότητες που έχουν προστεθεί στο σύνολο χαρακτηριστικών RTX “

AI

PC” της NVIDIA και τα πράγματα γίνονται ακόμα καλύτερα με την εταιρεία να παρουσιάζει μερικά τεράστια στοιχεία απόδοσης με τη ναυαρχίδα της GeForce RTX 4090 GPU.

Σε ένα νέο ιστολόγιο με αποκωδικοποίηση AI

, η NVIDIA μοιράστηκε πώς η υπάρχουσα σειρά GPU της υπερισχύει ολόκληρου του οικοσυστήματος NPU, το οποίο κατάφερε να φτάσει τα 50 TOPS το 2024. Εν τω μεταξύ, οι GPU RTX AI της NVIDIA διαθέτουν αρκετά 100 TOPS και φτάνουν μέχρι τα 1321 TOPS χρησιμοποιώντας το GeForce , καθιστώντας το την ταχύτερη λύση τεχνητής νοημοσύνης για επιτραπέζιους υπολογιστές για εκτέλεση LLM και πολλά άλλα. Είναι επίσης η πιο γρήγορη κάρτα γραφικών gaming στον πλανήτη.

Οι GPU της NVIDIA GeForce RTX προσφέρουν έως και 24 GB VRAM, ενώ οι GPU της

NVIDIA RTX

προσφέρουν έως και 48 GB VRAM, καθιστώντας τις αρκετά θηρία όσον αφορά τον χειρισμό LLM (Μοντέλα Μεγάλων Γλωσσών), καθώς αυτοί οι φόρτοι εργασίας αγαπούν μεγάλες ποσότητες μνήμης βίντεο. Το υλικό RTX της NVIDIA έρχεται όχι μόνο με αποκλειστική μνήμη βίντεο, αλλά και επιτάχυνση ειδικά για τεχνητή νοημοσύνη μέσω Tensor Cores (υλισμικό) και του προαναφερθέντος TensorRT-LLM (λογισμικό).

Ο αριθμός των κουπονιών που δημιουργούνται σε όλα τα μεγέθη παρτίδας στις GPU της

NVIDIA GeForce RTX 4090

είναι πολύ γρήγορος, αλλά βελτιώνεται σημαντικά, πάνω από 4 φορές, όταν ενεργοποιείται η επιτάχυνση TensorRT-LLM.

Η NVIDIA μοιράζεται τώρα ορισμένα νέα σημεία αναφοράς χρησιμοποιώντας τον ανοιχτό κώδικα

πλατφόρμα Jan.ai

η οποία έχει επίσης πρόσφατα ενσωματώσει το TensorRT-LLM στην τοπική εφαρμογή chatbot. Αυτό το chatbot χρησιμοποιεί μοντέλα τεχνητής νοημοσύνης όπως το Llama ή το Mistral σε μια εύχρηστη λύση. Ο πάροχος λογισμικού έχει προσφέρει τώρα μια ματιά σε ορισμένα σημεία αναφοράς που εκτελούνται σε GPU της NVIDIA GeForce RTX 40 έναντι επεξεργαστών φορητών υπολογιστών με αποκλειστικές μονάδες AI NPU.

Η GPU NVIDIA GeForce RTX 4090 προσφέρει 8,7x βελτίωση σε σχέση με τον επεξεργαστή

AMD

Ryzen 9 8945HS χωρίς TensorRT-LLM και αυτό το προβάδισμα επεκτείνεται στο 15x χρησιμοποιώντας την επιτάχυνση (70% ενίσχυση σε σχέση με τη διαμόρφωση που δεν είναι TensorRT-LLM).

Μπορείτε να επεξεργαστείτε έως και 170,63 tokens σε ένα δευτερόλεπτο έναντι 11,57 tokens/sec στην CPU της AMD. Ακόμη και με τη GPU φορητού υπολογιστή NVIDIA GeForce RTX 4070, έχετε επιτάχυνση έως και 4,45x. Ακόμη πιο ενδιαφέρον είναι ότι η εταιρεία έχει επίσης κοινοποιήσει αριθμούς χρησιμοποιώντας ένα RTX 4090 σε διαμόρφωση eGPU για να δείξει πώς η απόδοση των φορητών υπολογιστών μπορεί να επιταχυνθεί περαιτέρω χρησιμοποιώντας μια εξωτερική GPU για φόρτους εργασίας AI. Αυτή η διαμόρφωση έχει αύξηση απόδοσης 9,07x σε σχέση με την ίδια CPU φορητού υπολογιστή AMD.

Η NVIDIA παρουσίασε πρόσφατα το τρέχον τοπίο της υπολογιστικής ισχύος AI και δείχνει πώς οι επιτραπέζιοι επεξεργαστές GeForce RTX 40 της επιφάνειας εργασίας κλιμακώνονται από 242 TOPS στο αρχικό επίπεδο και έως 1321 TOPS στο υψηλό επίπεδο. Αυτή είναι μια αύξηση 4,84 φορές στο χαμηλότερο άκρο και μια αύξηση 26,42 φορές στην κορυφή σε σύγκριση με τις τελευταίες 45-50 TOPS AI NPU που θα δούμε στα SOC φέτος.

Ακόμη και οι επιλογές φορητού υπολογιστή NVIDIA GeForce RTX 40, όπως το RTX 4050, ξεκινούν από τα 194 TOPS, που είναι 3,88 φορές αύξηση σε σχέση με το πιο γρήγορο NPU, ενώ το τσιπ φορητού υπολογιστή RTX 4090 προσφέρει επιτάχυνση 13,72x με τα 686 TOPS.

Ξανά και ξανά, η NVIDIA έχει δείξει πόσο μπροστά είναι στον τομέα της τεχνητής νοημοσύνης έναντι του ανταγωνισμού και αυτά τα σημεία αναφοράς επιβεβαιώνουν για άλλη μια φορά ότι αν χρησιμοποιείτε την τεχνητή νοημοσύνη, τότε η NVIDIA έχει το κατάλληλο υλικό για εσάς.