Σκέψεις που συνδέονται: Μια εξήγηση

Η προτροπή Chain of Thought είναι μια προηγμένη τεχνική που χρησιμοποιείται για την ενίσχυση των συλλογιστικών ικανοτήτων των Μεγάλων Γλωσσικών Μοντέλων (LLMs). Καθώς τα LLM κλιμακώνονται, αποδίδουν καλά σε εργασίες όπως η ανάλυση συναισθημάτων και η μηχανική μετάφραση, αλλά παλεύουν με πολύπλοκα προβλήματα πολλαπλών βημάτων, όπως η αριθμητική και η κοινή λογική.

Η προτροπή Chain of Thought αντιμετωπίζει αυτό το ζήτημα δομώντας τη διαδικασία επίλυσης προβλημάτων με τρόπο που το

μοντέλο

μπορεί να διαχειριστεί πιο αποτελεσματικά.

Τι

προτρέπει η Αλυσίδα Σκέψης;

Η προτροπή Chain of Thought έχει σχεδιαστεί για να χειρίζεται σύνθετες συλλογιστικές εργασίες αναγκάζοντας τα LLM να δημιουργήσουν μια σειρά από ενδιάμεσα βήματα που οδηγούν στην επιθυμητή απάντηση. Αυτή η μέθοδος έρχεται σε αντίθεση με τις παραδοσιακές τεχνικές προτροπής, όπως η προτροπή μηδενικής βολής και η προτροπή λίγων βολών. Στην προτροπή μηδενικής λήψης, δίνεται σε ένα μοντέλο μια περιγραφή εργασίας χωρίς παραδείγματα, ενώ η προτροπή μερικών λήψεων περιλαμβάνει μερικά παραδείγματα που καθοδηγούν το μοντέλο. Ωστόσο, και οι δύο προσεγγίσεις μπορεί να υπολείπονται σε σύνθετα συλλογιστικά σενάρια. Η προτροπή Chain of Thought αναλύει το πρόβλημα σε μικρότερα, πιο διαχειρίσιμα βήματα, επιτρέποντας στο μοντέλο να εστιάσει σε κάθε βήμα ξεχωριστά.

Για παράδειγμα, αντί να ζητηθεί από ένα μοντέλο να λύσει απευθείας ένα σύνθετο αριθμητικό πρόβλημα, η προτροπή Chain of Thought θα περιλάμβανε τον διαχωρισμό του προβλήματος σε μικρότερα βήματα, όπως ο προσδιορισμός των εμπλεκόμενων αριθμών, η εκτέλεση μεμονωμένων πράξεων και στη συνέχεια ο συνδυασμός των αποτελεσμάτων. Αυτή η μέθοδος βελτιώνει την ικανότητα του μοντέλου να χειρίζεται προβλήματα πολλαπλών βημάτων παρέχοντας μια σαφή, δομημένη προσέγγιση.

Ποιοι είναι οι διαφορετικοί τύποι προτροπής Chain of Thought;

Για την αποτελεσματική εφαρμογή της προτροπής Chain of Thought, είναι απαραίτητο να κατανοήσουμε τους διαφορετικούς τρόπους εφαρμογής:

• 
  Zero
  
  -shot CoT
• Ελάχιστες βολές CoT

Zero-shot CoT

περιλαμβάνει την προσθήκη μιας φράσης ενεργοποίησης όπως «Ας σκεφτούμε βήμα προς βήμα» στην προτροπή, ενθαρρύνοντας το μοντέλο να δημιουργήσει μια ακολουθία συλλογιστικών βημάτων. Για παράδειγμα, εάν η εργασία είναι να προσδιοριστεί το συνολικό κόστος των ειδών, το μοντέλο θα προσδιορίσει πρώτα το κόστος κάθε είδους και στη συνέχεια θα το συνοψίσει.

Ελάχιστες βολές CoT

, από την άλλη πλευρά, παρέχει στο μοντέλο παραδείγματα για το πώς έχουν λυθεί παρόμοια προβλήματα, μαζί με μια μορφή ερώτησης και απάντησης που περιλαμβάνει τα βήματα συλλογιστικής. Αυτή η μέθοδος είναι ιδιαίτερα χρήσιμη για πιο σύνθετα προβλήματα όπου τα παραδείγματα μπορούν να καθοδηγήσουν το μοντέλο στη δημιουργία της σωστής ακολουθίας βημάτων. Για παράδειγμα, κατά την επίλυση ενός μαθηματικού προβλήματος, το CoT με λίγες λήψεις μπορεί να παρουσιάσει παραδείγματα όπου παρόμοια προβλήματα αναλύονται σε μικρότερα βήματα, βοηθώντας το μοντέλο να μάθει την κατάλληλη συλλογιστική διαδικασία.

Πώς να δημιουργήσετε μια αποτελεσματική προτροπή αλυσίδας σκέψης

Η αποτελεσματικότητα της προτροπής Chain of Thought εξαρτάται από την ποιότητα των προτροπών που χρησιμοποιούνται. Οι καλοσχεδιασμένες προτροπές πρέπει να είναι σαφείς, συνοπτικές και προσαρμοσμένες στη συγκεκριμένη εργασία. Η αποφυγή της ορολογίας και η χρήση γλώσσας που το μοντέλο μπορεί εύκολα να κατανοήσει είναι ζωτικής σημασίας. Επιπλέον, η αντιστοίχιση της προτροπής με την εργασία διασφαλίζει ότι το μοντέλο μπορεί να δημιουργήσει τη σωστή απάντηση. Για πολύπλοκες εργασίες, είναι σημαντικό να παρέχονται λεπτομερείς και σχετικές προτροπές που καθοδηγούν το μοντέλο σε κάθε βήμα της διαδικασίας συλλογιστικής.

Η αυτοσυνέπεια είναι μια τεχνική που μπορεί να βελτιώσει περαιτέρω την απόδοση της προτροπής CoT. Αυτό περιλαμβάνει τη δημιουργία πολλαπλών διαφορετικών αλυσίδων σκέψης για το ίδιο πρόβλημα και την επιλογή της πιο συνεπούς απάντησης από αυτές τις αλυσίδες. Αυτή η προσέγγιση έχει αποδειχθεί ότι βελτιώνει σημαντικά την απόδοση σε

σημεία αναφοράς

αριθμητικής και κοινής λογικής. Για παράδειγμα, στο

Σημείο αναφοράς GSM8K

η αυτοσυνέπεια βελτίωσε την απόδοση από 17,9% σε 74% ακρίβεια.

Μην ξεχνάτε τις προηγμένες τεχνικές CoT

Πέρα από τη βασική εφαρμογή της προτροπής Chain of Thought, μπορούν να χρησιμοποιηθούν αρκετές προηγμένες τεχνικές για την περαιτέρω βελτίωση της απόδοσης των LLMs.

Το

Multimodal CoT, για παράδειγμα, ενσωματώνει κείμενο και εικόνες στη διαδικασία συλλογισμού, ενισχύοντας την ικανότητα του μοντέλου να κατανοεί και να παράγει ακριβείς απαντήσεις. Αυτή η προσέγγιση έχει αποδειχθεί ότι υπερέχει των παραδοσιακών μεθόδων, όπως η χρήση μόνο λεζάντων εικόνων, παρέχοντας ένα πλουσιότερο πλαίσιο για να συλλογιστεί το μοντέλο.

Η προτροπή Least-to-Most είναι μια άλλη προηγμένη τεχνική που περιλαμβάνει τον διαχωρισμό ενός σύνθετου προβλήματος σε απλούστερα υποπροβλήματα και τη διαδοχική επίλυσή τους. Αυτή η μέθοδος είναι ιδιαίτερα αποτελεσματική για εργασίες που απαιτούν συμβολικό χειρισμό, γενίκευση σύνθεσης και μαθηματικούς συλλογισμούς. Ξεκινώντας με τα πιο απλά υποπροβλήματα και αυξάνοντας σταδιακά την πολυπλοκότητα, η προτροπή Least-to-Most επιτρέπει στο μοντέλο να βασίζεται σε προηγούμενες απαντήσεις και να επιλύει πιο δύσκολα προβλήματα με μεγαλύτερη ακρίβεια.

Εφαρμογή προτροπής αλυσίδας σκέψης σε διάφορους τομείς

Η προτροπή Chain of Thought μπορεί να εφαρμοστεί σε ένα ευρύ φάσμα τομέων, συμπεριλαμβανομένου του αριθμητικού συλλογισμού, του συλλογισμού κοινής λογικής, του συμβολικού συλλογισμού, της εξαγωγής συμπερασμάτων φυσικής γλώσσας και της απάντησης ερωτήσεων. Στην αριθμητική συλλογιστική, η προτροπή CoT έχει αποδειχθεί ότι επιτυγχάνει επιδόσεις αιχμής σε σημεία αναφοράς όπως το GSM8K. Για λόγους κοινής λογικής, η προτροπή CoT βελτιώνει την ικανότητα του μοντέλου να αιτιολογεί τις φυσικές και ανθρώπινες αλληλεπιδράσεις με βάση τη γενική γνώση.

Σε εργασίες συμβολικής συλλογιστικής, όπως η συνένωση του τελευταίου γράμματος και τα προβλήματα αναστροφής νομίσματος, η προτροπή CoT επιτρέπει στο μοντέλο να χειρίζεται εισόδους χρόνου συμπερασμάτων μεγαλύτερες από αυτές που παρατηρούνται σε υποδείγματα με λίγες λήψεις. Για την απάντηση ερωτήσεων, η προτροπή CoT βοηθά το μοντέλο να κατανοήσει σύνθετες ερωτήσεις αναλύοντάς τις σε λογικά βήματα, βελτιώνοντας την ικανότητά του να παράγει ακριβείς απαντήσεις.

Πίστωση επιλεγμένης εικόνας

:

Freepik