OpenChatKit opna verkfærakistan er kynnt, sem miðar að því að einfalda gerð spjallbotna fyrir sérhæfð og almenn forrit. Kerfið er aðlagað til að sinna verkefnum eins og að svara spurningum, halda samræður á mörgum sviðum, draga saman, draga út upplýsingar, flokka texta. Kóðinn er skrifaður í Python og dreift undir Apache 2.0 leyfinu. Verkefnið inniheldur tilbúið líkan, kóða til að þjálfa líkanið þitt, tól til að prófa niðurstöður líkansins, verkfæri til að bæta líkanið við samhengi úr utanaðkomandi vísitölu og aðlaga grunnlíkanið til að leysa eigin vandamál.
Vélin er byggð á grunnvélanámslíkani (GPT-NeoXT-Chat-Base-20B), byggt með því að nota tungumálalíkan sem nær yfir um 20 milljarða breytur og fínstillt fyrir samtalssamskipti. Líkanið var þjálfað með því að nota gögn sem fengin voru úr söfnum LAION, Together og Ontocord.ai verkefnanna.
Til að stækka núverandi þekkingargrunn er lagt til kerfi sem er fært um að vinna viðbótarupplýsingar úr ytri geymslum, API og öðrum heimildum. Til dæmis er hægt að uppfæra upplýsingar með því að nota gögn frá Wikipedia og fréttastrauma. Að auki er stjórnunarlíkan fáanlegt, þjálfað með 6 milljörðum breytum, byggt á GPT-JT líkaninu, og hannað til að sía óviðeigandi spurningar eða takmarka umræður við ákveðin efni.
Sérstaklega getum við tekið eftir ChatLLaMA verkefninu, sem býður upp á bókasafn til að búa til greinda aðstoðarmenn svipað og ChatGPT. Verkefnið er að þróast með það fyrir augum að hægt sé að keyra á eigin búnaði og búa til persónulegar lausnir sem eru hannaðar til að ná yfir þröng þekkingarsvið (til dæmis læknisfræði, lögfræði, leiki, vísindarannsóknir o.fl.). ChatLLaMA kóðann er með leyfi samkvæmt GPLv3.
Verkefnið styður við notkun líkana sem byggja á LLaMA (Large Language Model Meta AI) arkitektúr sem Meta lagði til. Allt LLaMA líkanið nær yfir 65 milljarða breytur, en fyrir ChatLLaMA er mælt með því að nota afbrigðin með 7 og 13 milljarða breytum eða GPTJ (6 milljarðar), GPTNeoX (1.3 milljarðar), 20BOPT (13 milljarðar), BLOOM (7.1 milljarðar) og Galactica (6.7 milljarðar) módel ). Upphaflega eru LLaMA módel aðeins afhent rannsakendum ef óskað er eftir því, en þar sem straumur voru notaðir til að afhenda gögnin hafa áhugamenn útbúið handrit sem gerir hverjum sem er kleift að hlaða niður líkaninu.
Heimild: opennet.ru