Wprowadzenie otwartego zestawu narzędzi OpenChatKit, mającego na celu uproszczenie tworzenia chatbotów do zastosowań specjalistycznych i ogólnych. System jest przystosowany do wykonywania zadań takich jak odpowiadanie na pytania, prowadzenie wieloetapowych dialogów, podsumowywanie, wydobywanie informacji, klasyfikowanie tekstu. Kod jest napisany w Pythonie i dystrybuowany na licencji Apache 2.0. Projekt zawiera gotowy model, kod do trenowania modelu, narzędzia do testowania wyników modelu, narzędzia do uzupełniania modelu o kontekst z zewnętrznego indeksu oraz adaptacji modelu bazowego do rozwiązywania własnych problemów.
Bot oparty jest na podstawowym modelu uczenia maszynowego (GPT-NeoXT-Chat-Base-20B), zbudowanym z wykorzystaniem modelu językowego obejmującego około 20 miliardów parametrów i zoptymalizowanego pod kątem komunikacji konwersacyjnej. Model został wytrenowany z wykorzystaniem danych uzyskanych ze zbiorów projektów LAION, Together oraz Ontocord.ai.
Aby rozszerzyć istniejącą bazę wiedzy, proponuje się system, który jest w stanie wydobywać dodatkowe informacje z zewnętrznych repozytoriów, API i innych źródeł. Na przykład możliwe jest aktualizowanie informacji przy użyciu danych z Wikipedii i kanałów informacyjnych. Dodatkowo dostępny jest model moderacji, wyszkolony z 6 miliardami parametrów, oparty na modelu GPT-JT i zaprojektowany do filtrowania nieodpowiednich pytań lub ograniczania dyskusji do określonych tematów.
Osobno możemy zwrócić uwagę na projekt ChatLLaMA, który oferuje bibliotekę do tworzenia inteligentnych asystentów na wzór ChatGPT. Projekt rozwija się z myślą o możliwości uruchamiania na własnym sprzęcie i tworzeniu spersonalizowanych rozwiązań, mających objąć wąskie obszary wiedzy (np. medycyna, prawo, gry, badania naukowe itp.). Kod ChatLLaMA jest objęty licencją GPLv3.
Projekt wspiera wykorzystanie modeli opartych na architekturze LLaMA (Large Language Model Meta AI) zaproponowanej przez firmę Meta. Pełny model LLaMA obejmuje 65 miliardów parametrów, ale dla ChatLLaMA zaleca się stosowanie wariantów z 7 i 13 miliardami parametrów lub GPTJ (6 miliardów), GPTNeoX (1.3 miliarda), 20BOPT (13 miliardów), BLOOM (7.1 miliarda) i modele Galactica (6.7 miliarda). Początkowo modele LLaMA są dostarczane naukowcom tylko na specjalne życzenie, ale ponieważ do dostarczania danych używano torrentów, entuzjaści przygotowali skrypt, który pozwala każdemu pobrać model.
Źródło: opennet.ru