Η εταιρεία xAI, που ιδρύθηκε από τον Elon Musk και η οποία έχει λάβει περίπου ένα δισεκατομμύριο δολάρια για την ανάπτυξη τεχνολογιών που σχετίζονται με την τεχνητή νοημοσύνη, ανακοίνωσε την ανακάλυψη ενός μεγάλου μοντέλου γλώσσας Grok που χρησιμοποιείται σε ένα chatbot ενσωματωμένο στο κοινωνικό δίκτυο X (Twitter). Το σύνολο των συντελεστών στάθμισης, η αρχιτεκτονική νευρωνικών δικτύων και οι περιπτώσεις χρήσης δημοσιεύονται με την άδεια Apache 2.0. Ένα έτοιμο προς χρήση αρχείο με το μοντέλο, μεγέθους 296 GB (μαγνήτης), είναι διαθέσιμο για λήψη.
Το μοντέλο Grok είναι προεκπαιδευμένο σε μια μεγάλη συλλογή δεδομένων κειμένου χρησιμοποιώντας την αποκλειστική στοίβα εκμάθησης του xAI και εκτείνεται σε περίπου 314 δισεκατομμύρια παραμέτρους, καθιστώντας το το μεγαλύτερο ανοιχτό μοντέλο μεγάλης γλώσσας διαθέσιμο. Για σύγκριση, το μοντέλο Gemma που άνοιξε πρόσφατα η Google έχει 7 δισεκατομμύρια παραμέτρους, το Sber GigaChat - 29 δισεκατομμύρια παραμέτρους, το Meta LLaMA - 65 δισεκατομμύρια, το Yandex YaLM - 100 δισεκατομμύρια, το OpenAI GPT-3.5 - 175 δισεκατομμύρια και ο ηγέτης της αγοράς, το GPT- μοντέλο 4, υποτίθεται ότι περιλαμβάνει 1.76 τρισεκατομμύρια παραμέτρους.
Η ανοιχτή έκδοση του μοντέλου Grok-1 δημοσιεύεται σε βασική αναπαράσταση και δεν περιλαμβάνει βελτιστοποιήσεις για συγκεκριμένους τομείς χρήσης, όπως η οργάνωση συστημάτων διαλόγου. Για τη δοκιμή απαιτείται GPU με μεγάλη ποσότητα μνήμης (δεν διευκρινίζεται ακριβώς τι είδους μνήμη). Ένα στατικό cast του μοντέλου είναι διαθέσιμο στο κοινό, ενώ ένα από τα χαρακτηριστικά του Grok chatbot που αναπτύσσεται για το Twitter είναι η δυναμική προσαρμογή σε αναδυόμενο νέο περιεχόμενο (η ενσωμάτωση με την πλατφόρμα X/Twitter χρησιμοποιείται για πρόσβαση σε νέα γνώση).
Χτισμένο στο Grok, το chatbot ξεπερνά το GPT-3.5 σε δοκιμές για την επίλυση μαθηματικών προβλημάτων γυμνασίου (GSM8k), τη δημιουργία απαντήσεων σε διεπιστημονικές ερωτήσεις (MMLU), τη συμπλήρωση κώδικα Python (HumanEval) και την επίλυση πανεπιστημιακών μαθηματικών προβλημάτων που περιγράφονται σε μορφή LaTeX (MATH ) .
Πηγή: opennet.ru