Δώσε διαφορετικό τίτλο με βάση αυτόν:Το OpenAI αποκαλύπτει το CriticGPT για να εντοπίσει τα λάθη κωδικοποίησης του ChatGPT

Τι πρέπει να ξέρετε

• Το OpenAI κυκλοφόρησε πρόσφατα το CriticGPT για να βοηθήσει στον εντοπισμό σφαλμάτων στον κώδικα που δημιουργείται χρησιμοποιώντας το ChatGPT.
• Το εργαλείο βοηθά τους
  
  εκπα
  
  ιδευτές τεχνητής νοημοσύνης να εντοπίζουν τα σφάλματα πιο γρήγορα και ευκολότερα από ό,τι συνήθως χωρίς τη βοήθεια της τεχνητής νοημοσύνης.
• Ο κατασκευαστής του ChatGPT παραδέχεται ότι το εργαλείο δεν είναι 100% ακριβές και αντιμετωπίζει πολλές προκλήσεις, συμπεριλαμβανομένης της αδυναμίας χειρισμού εξαιρετικά περίπλοκων εργασιών και περιοδικών περιπτώσεων παραισθήσεων.

OpenAI πρόσφατα

κυκλοφόρησε το CriticGPT με την υποστήριξη του GPT-4

. Όπως υποδηλώνει το όνομα, το μοντέλο “γράφει κριτικές για τις απαντήσεις ChatGPT για να βοηθήσει τους ανθρώπινους εκπαιδευτές να εντοπίσουν λάθη” στην έξοδο κώδικα του ChatGPT.

Σύμφωνα με τον κατασκευαστή ChatGPT:

“Διαπιστώσαμε ότι όταν οι άνθρωποι λαμβάνουν βοήθεια από το CriticGPT για να ελέγξουν τον κώδικα ChatGPT, ξεπερνούν εκείνους χωρίς βοήθεια στο 60% των περιπτώσεων. Ξεκινάμε την εργασία για την ενσωμάτωση μοντέλων τύπου CriticGPT στον αγωγό ετικετών RLHF, παρέχοντας στους εκπαιδευτές μας ρητή βοήθεια AI .”

Το OpenAI σχεδιάζει να χρησιμοποιήσει το Reinforcement Learning from Human Feedback (RLHF) για να κάνει το ChatGPT πιο «χρήσιμο και διαδραστικό». Ένα αναπόσπαστο μέρος αυτής της διαδικασίας περιλαμβάνει τη συλλογή συγκρίσεων από εκπαιδευτές τεχνητής νοημοσύνης. Αυτό βασίζεται στον τρόπο με τον οποίο αξιολογούν διαφορετικές απαντήσεις ChatGPT μεταξύ τους.

Το CriticGPT θα βοηθήσει στη βελτίωση των συλλογιστικών δυνατοτήτων του ChatGPT, μειώνοντας τελικά τις παραισθήσεις ή τη δημιουργία εσφαλμένων απαντήσεων και παραπληροφόρησης. Καθώς συμβαίνει, γίνεται όλο και πιο δύσκολο για τους εκπαιδευτές AI να εντοπίσουν λάθη καθώς προχωρά το ChatGPT.

Το εργαλείο είναι κυρίως εκπαιδευμένο να εντοπίζει και να γράφει κριτικές που επισημαίνουν ανακρίβειες στις απαντήσεις ChatGPT. Το OpenAI παραδέχεται ότι το εργαλείο δεν είναι πάντα 100% ακριβές, αλλά βοηθά τους εκπαιδευτές τεχνητής νοημοσύνης να εντοπίζουν τα σφάλματα πιο γρήγορα και ευκολότερα από ό,τι συνήθως χωρίς AI.

Σύμφωνα με πληροφορίες, το CriticGPT θα ενισχύσει τις δεξιότητες, εξοπλίζοντας τελικά τους ανθρώπους με πιο ολοκληρωμένες τεχνικές κριτικής. Ενώ οι εκπαιδευτές AI και το CriticGPT μπορούν να κάνουν τη δουλειά ως ξεχωριστές οντότητες, ένας συνδυασμός Human+CriticGPT είναι φαινομενικά δημοφιλής και λεπτομερής όταν παρέχει ακριβείς και λεπτομερείς κριτικές.

Σύμφωνα με τα ευρήματα του OpenAI:

“Διαπιστώνουμε ότι οι κριτικές CriticGPT προτιμώνται από τους εκπαιδευτές έναντι των κριτικών ChatGPT στο 63% των περιπτώσεων για σφάλματα που εμφανίζονται στη φύση, εν μέρει επειδή ο νέος κριτικός παράγει λιγότερα “nitpicks” (μικρά παράπονα που δεν βοηθούν) και έχει παραισθήσεις λιγότερο συχνά.”

Το CriticGPT είναι ακόμα σε εξέλιξη

Αν και είναι εντυπωσιακό, το CriticGPT χρειάζεται ακόμα πολλή δουλειά. Το OpenAI έχει επισημάνει τις αδυναμίες του μοντέλου όπως αναφέρονται παρακάτω:

• Εκπαιδεύσαμε το CriticGPT σε απαντήσεις ChatGPT που είναι αρκετά σύντομες.
  
  Για
  
  να επιβλέπουμε τους πράκτορες του μέλλοντος, θα χρειαστεί να αναπτύξουμε μεθόδους που μπορούν να βοηθήσουν τους εκπαιδευτές να κατανοήσουν μεγάλες και πολύπλοκες εργασίες.
• Τα μοντέλα εξακολουθούν να έχουν παραισθήσεις και μερικές φορές οι εκπαιδευτές κάνουν λάθη στις ετικέτες αφού βλέπουν αυτές τις παραισθήσεις.
• Μερικές φορές τα λάθη του πραγματικού κόσμου μπορούν να εξαπλωθούν σε πολλά μέρη μιας απάντησης. Η δουλειά μας επικεντρώνεται σε σφάλματα που μπορούν να επισημανθούν σε ένα σημείο, αλλά στο μέλλον θα πρέπει να αντιμετωπίσουμε και τα διάσπαρτα σφάλματα.
• Το CriticGPT μπορεί να βοηθήσει τόσο πολύ: εάν μια εργασία ή μια απάντηση είναι εξαιρετικά περίπλοκη, ακόμη και ένας ειδικός με τη βοήθεια του μοντέλου μπορεί να μην είναι σε θέση να την αξιολογήσει σωστά.

Στο μέλλον, το OpenAI σκοπεύει να κλιμακώσει μεγαλύτερα ύψη με το CriticGPT βελτιώνοντας τα δεδομένα RLHF για εκπαίδευση GPT-4. Σε μια ξεχωριστή έκθεση, οι ερευνητές της Οξφόρδης χρησιμοποίησαν τη σημασιολογική εντροπία για να αξιολογήσουν την ποιότητα και τις έννοιες των παραγόμενων αποτελεσμάτων για να καθορίσουν την ποιότητα των απαντήσεων και να εντοπίσουν ίχνη παραισθήσεων.

Τα μοντέλα AI γίνονται πιο προηγμένα και εξελιγμένα, επιτρέποντάς τους να χειρίζονται καλύτερα πολύπλοκες εργασίες. Ο Διευθύνων Σύμβουλος της NVIDIA,

Jensen Huang

, υποστηρίζει ότι η κωδικοποίηση μπορεί να είναι νεκρή ως επιλογή καριέρας για τη μελλοντική γενιά. Ο Huang μπορεί να μην έχει τελείως λάθος εάν οι δυνατότητες κωδικοποίησης του OpenAI GPT-4o είναι κάτι που πρέπει να ακολουθήσει. Αντίθετα, συνιστά την αναζήτηση εναλλακτικών επιλογών σταδιοδρομίας στη βιολογία, την εκπαίδευση, τη μεταποίηση ή τη γεωργία.