Công ty xAI, do Elon Musk thành lập và đã nhận được khoảng một tỷ đô la cho việc phát triển các công nghệ liên quan đến trí tuệ nhân tạo, đã công bố phát hiện ra một mô hình ngôn ngữ Grok lớn được sử dụng trong chatbot tích hợp vào mạng xã hội X (Twitter). Tập hợp các hệ số trọng số, kiến trúc mạng nơron và các trường hợp sử dụng được xuất bản theo giấy phép Apache 2.0. Một kho lưu trữ sẵn sàng sử dụng với kiểu máy có kích thước 296 GB (nam châm), hiện có sẵn để tải xuống.
Mô hình Grok được đào tạo trước trên một tập hợp lớn dữ liệu văn bản sử dụng ngăn xếp học tập độc quyền của xAI và trải rộng khoảng 314 tỷ tham số, khiến đây trở thành mô hình ngôn ngữ lớn mở lớn nhất hiện có. Để so sánh, mô hình Gemma mới mở gần đây của Google có 7 tỷ tham số, Sber GigaChat - 29 tỷ tham số, Meta LLaMA - 65 tỷ, Yandex YaLM - 100 tỷ, OpenAI GPT-3.5 - 175 tỷ và dẫn đầu thị trường, GPT- 4, được cho là bao gồm 1.76 nghìn tỷ tham số.
Phiên bản mở của mô hình Grok-1 được xuất bản ở dạng trình bày cơ bản và không bao gồm các tối ưu hóa cho một số lĩnh vực sử dụng nhất định, chẳng hạn như tổ chức hệ thống hộp thoại. Để thử nghiệm, cần có GPU có dung lượng bộ nhớ lớn (không xác định chính xác loại bộ nhớ nào). Một mô hình tĩnh của mô hình được cung cấp công khai, trong khi một trong những tính năng của chatbot Grok đang được phát triển cho Twitter là khả năng thích ứng linh hoạt với nội dung mới mới nổi (tích hợp với nền tảng X/Twitter được sử dụng để truy cập kiến thức mới).
Được xây dựng trên Grok, chatbot vượt trội hơn GPT-3.5 trong các bài kiểm tra giải các bài toán trung học (GSM8k), tạo ra câu trả lời cho các câu hỏi liên ngành (MMLU), hoàn thành mã Python (HumanEval) và giải các bài toán đại học được mô tả ở định dạng LaTeX (MATH) .
Nguồn: opennet.ru