De OpenChatKit toolkit is gepresenteerd, gericht op het vereenvoudigen van de creatie van chatbots voor zowel gespecialiseerde als algemene toepassingen. Het systeem is aangepast om taken uit te voeren zoals het beantwoorden van vragen, het voeren van meerstapsdialogen, samenvatten, informatie-extractie, en tekstclassificatie. De code is geschreven in Python en wordt verspreid onder de Apache 2.0-licentie. Het project bevat een kant-en-klare model, code om je eigen model te trainen, tools voor het testen van de prestaties van het model, hulpmiddelen om het model van context te voorzien vanuit een externe index, en aanpassingen van het basismodel voor het oplossen van eigen taken.
Als basis voor de bot wordt een basismodel voor machine learning (GPT-NeoXT-Chat-Base-20B) voorgesteld, gebouwd met behulp van een taalmodel dat ongeveer 20 miljard parameters bestrijkt en geoptimaliseerd is voor conversatie. Voor het trainen van het model zijn gegevens gebruikt die zijn verkregen uit de collecties van de projecten LAION, Together en Ontocord.ai.
Om de bestaande kennisbasis uit te breiden, wordt een systeem aangeboden dat in staat is om aanvullende informatie uit externe repositories, API's en andere bronnen te extraheren. Bijvoorbeeld, het actualiseren van informatie met gegevens uit Wikipedia en nieuwsfeeds is mogelijk. Daarnaast is er een model beschikbaar voor moderatie, dat is getraind met behulp van 6 miljard parameters, gebaseerd op het GPT-JT model en bedoeld voor het filteren van ongepaste vragen of het beperken van discussies binnen bepaalde onderwerpen.
Een afzonderlijk project dat vermeld kan worden is ChatLLaMA, dat een bibliotheek biedt voor het creƫren van intelligente assistenten die vergelijkbaar zijn met ChatGPT. Het project is ontwikkeld met het oog op de mogelijkheid om uit te voeren op eigen hardware en om gepersonaliseerde oplossingen te creƫren die gericht zijn op specifieke kennisgebieden (bijvoorbeeld geneeskunde, recht, gaming, wetenschappelijk onderzoek, enz.). De code van ChatLLaMA wordt geleverd onder de GPLv3-licentie.
Het project ondersteunt het gebruik van modellen gebaseerd op de LLaMA-architectuur (Large Language Model Meta AI), voorgesteld door Meta. Het volledige LLaMA-model omvat 65 miljard parameters, maar voor ChatLLaMA wordt aangeraden om varianten met 7 en 13 miljard parameters of de modellen GPTJ (6 miljard), GPTNeoX (1,3 miljard), 20BOPT (13 miljard), BLOOM (7,1 miljard) en Galactica (6,7 miljard) te gebruiken. Aanvankelijk worden LLaMA-modellen alleen aan onderzoekers op speciale aanvraag geleverd, maar omdat torrents zijn gebruikt voor de gegevenslevering, hebben enthousiastelingen een script voorbereid waarmee iedereen het model kan downloaden.
Bron: opennet.ru
