Πώς εξελίχθηκε η γλωσσική τεχνητή νοημοσύνη και πώς φτάσαμε στο ChatGPT
Η νοημοσύνη τεχνητός σήμερα είναι στα χείλη όλων. Μέχρι τώρα ξέρουμε πώς να το χρησιμοποιήσουμε: απλώς αποκτήστε πρόσβαση στο διαδίκτυο και χρησιμοποιήστε πλατφόρμες όπως το ChatGPT, το Dall-E και το Synthesia. Από αυτή την άποψη, ετοιμάζουμε ένα ενδιαφέρον άρθρο για 10 ιστότοπους που χρησιμοποιούν τεχνητή νοημοσύνη για να κάνουν πολύ διαφορετικά πράγματα. Έχοντας πει όμως αυτό, ας πάρουμε το παράδειγμα της πιο ευρέως χρησιμοποιούμενης τεχνητής νοημοσύνης. Πώς γεννήθηκε; πώς φτάσαμε στην έκδοση που μπορούμε να χρησιμοποιήσουμε όλοι σήμερα Ελεύθερος?
Σήμερα, πολλοί από εμάς χρησιμοποιούμε το ChatGPT, αλλά δεν γνωρίζουν όλοι τι κρύβεται πίσω από αυτό και πώς φτάσαμε εκεί. Εδώ είναι ένα χρονοδιάγραμμα από τη δεκαετία του '80 έως σήμερα
Ας ξεκινήσουμε από τη δεκαετία του '80: Επαναλαμβανόμενα νευρωνικά δίκτυα
Το ChatGPT είναι μια έκδοση του GPT-3, ενός πολύ μεγάλου μοντέλου γλώσσας που αναπτύχθηκε από την OpenAI. Τα γλωσσικά μοντέλα είναι ένας τύπος νευρικό σύστημα που έχει εκπαιδευτεί σε πάρα πολλά κείμενα. Τα νευρωνικά δίκτυα είναι λογισμικό εμπνευσμένο από τον τρόπο που οι νευρώνες στον ανθρώπινο εγκέφαλο επικοινωνούν μεταξύ τους. Δεδομένου ότι κάθε κείμενο αποτελείται από ακολουθίες γραμμάτων και λέξεων διαφορετικού μήκους, τα γλωσσικά μοντέλα απαιτούν έναν τύπο νευρωνικού δικτύου ικανό να κατανοήσει αυτόν τον τύπο δεδομένων. Τα επαναλαμβανόμενα νευρωνικά δίκτυα (Επαναλαμβανόμενα νευρωνικά δίκτυα) που εφευρέθηκε τη δεκαετία του 80, μπορεί να χειριστεί αλληλουχίες λέξεων, αλλά αργεί να εκπαιδεύσει και μπορεί να ξεχάσει λέξεις που είχαν μάθει προηγουμένως σε μια σειρά. Τα LSTM μπορούσαν να χειριστούν συμβολοσειρές κειμένου πολλών εκατοντάδων λέξεων, αλλά οι γλωσσικές τους δυνατότητες ήταν περιορισμένες. Τι είναι? Ακρωνύμιο για "Μακροπρόθεσμη μνήμη"Ή"μακροπρόθεσμη μνήμη” είναι ένα τεχνητό νευρωνικό δίκτυο που χρησιμοποιείται στους τομείς της τεχνητής νοημοσύνης
Διαβάστε επίσης: Η Google επιβεβαιώνει τη συμβατότητα του περιεχομένου που δημιουργείται από το Chatbot και το AI
2017: η χρονιά της ανακάλυψης της τεχνητής νοημοσύνης με τους Transformers
Η ανακάλυψη που οδήγησε στη σημερινή γενιά μεγάλων γλωσσικών μοντέλων ήρθε όταν μια ομάδα ερευνητών της Google επινόησε το Μετασχηματιστές, ένας τύπος νευρωνικού δικτύου που μπορεί να παρακολουθεί πού εμφανίζεται κάθε λέξη ή φράση σε μια ακολουθία. Θα καταλάβετε μόνοι σας ότι το μεγαλύτερο πρόβλημα του LSTM ξεπερνιέται. Πώς το κατάφεραν όμως; Η έννοια της εφαρμοσμένης γλωσσολογίας εισέρχεται στην τεχνολογία. Η σημασία μιας λέξης συχνά εξαρτάται από τη σημασία άλλων λέξεων που προηγούνται ή ακολουθούν. Παρακολούθηση αυτών συμφραζόμενες πληροφορίες, Τα Transformers μπορούν να χειριστούν μεγαλύτερες σειρές κειμένου και να αποτυπώσουν το νόημα των λέξεων με μεγαλύτερη ακρίβεια. Για παράδειγμα, το "χοτ ντογκ" έχει πολύ διαφορετική σημασία στις προτάσεις "Προτιμώ τα χάμπουργκερ από τα χοτ ντογκ"Και"Τα χοτ ντογκ τρώγονται καλύτερα με μουστάρδα". Ουσιαστικά, οι πληροφορίες με βάση τα συμφραζόμενα, κάτι που αντιλαμβάνονται τα ανθρώπινα όντα και οι μηχανές όχι, κατέστησαν δυνατή τη διαφορά.
2018-2019: τα χρόνια ανάπτυξης GPT
Τα δύο πρώτα μεγάλα μοντέλα γλώσσας του OpenAI έφτασαν μέσα σε μήνες το ένα από το άλλο. Η εταιρεία ήθελε να αναπτύξει τεχνητή νοημοσύνη πολλαπλών χρήσεων και γενικής χρήσης και πιστεύει ότι τα μεγάλα γλωσσικά μοντέλα αποτελούν βασικό βήμα προς αυτόν τον στόχο. Με αυτόν τον τρόπο το λογισμικό είναι σε θέση να εντοπίστε μόνοι σας τα μοτίβα στα δεδομένα, χωρίς να τους λένε τι βλέπουν ή τι διαβάζουν. Πολλές προηγούμενες επιτυχίες στη μηχανική εκμάθηση βασίστηκαν σε εποπτευόμενη μάθηση και σχολιασμένα δεδομένα, αλλά η χειροκίνητη επισήμανση δεδομένων είναι αργή εργασία που περιορίζει το μέγεθος των συνόλων δεδομένων που είναι διαθέσιμα για εκπαίδευση. Ήταν το GPT-2 για να δημιουργήσετε τη μεγαλύτερη αναταραχή. Στην πραγματικότητα, το OpenAI είπε ότι ανησυχούσε ότι οι άνθρωποι μπορεί να χρησιμοποιούν GPT-2».να δημιουργήσει παραπλανητική, παραμορφωμένη ή υβριστική γλώσσα” που δεν θα κυκλοφορούσε το πλήρες μοντέλο. Αλλά δεν είναι μόνο αυτό.
Αν το GPT-2 ήταν εντυπωσιακό, η συνέχεια του OpenAI, το GPT-3, έκανε κυριολεκτικά την επανάσταση. Η ικανότητά του να δημιουργούν ανθρώπινα κείμενα αντιπροσώπευε ένα μεγάλο άλμα προς τα εμπρός. Το GPT-3 μπορεί να απαντά σε ερωτήσεις, να συνοψίζει έγγραφα, να δημιουργεί ιστορίες σε διαφορετικά στυλ, να μεταφράζει μεταξύ Αγγλικών, Γαλλικών, Ισπανικών και Ιαπωνικών και πολλά άλλα. Ωστόσο, εξακολουθεί να μην μπορεί να αντικαταστήσει έναν άνθρωπο γιατί του λείπουν τα ιδρυτικά χαρακτηριστικά της ανθρωπότητας. Το συζητήσαμε σε βάθος αυτό το άρθρο.
Πηγή | MIT
