Ներկայացված է OpenChatKit բաց կոդով գործիքակազմը, որն ուղղված է մասնագիտացված և ընդհանուր օգտագործման համար չաթ-բոտերի ստեղծման պարզեցմանը։ Համակարգը հարմարեցված է այնպիսի առաջադրանքներ կատարելու համար, ինչպիսիք են հարցերին պատասխանելը, բազմափուլ երկխոսություններ վարելը, ամփոփելը, տեղեկատվության դուրսբերումը և տեքստի դասակարգումը: Կոդը գրված է Python-ով և տարածվում է Apache 2.0 լիցենզիայի ներքո: Նախագիծը ներառում է պատրաստի մոդել, ձեր մոդելի վերապատրաստման կոդը, մոդելի արդյունքների փորձարկման կոմունալ ծառայություններ, արտաքին ինդեքսից մոդելը համատեքստով համալրելու և ձեր սեփական խնդիրները լուծելու համար բազային մոդելի հարմարեցման գործիքներ:
Բոտը հիմնված է մեքենայական ուսուցման հիմնական մոդելի վրա (GPT-NeoXT-Chat-Base-20B), որը կառուցվել է լեզվական մոդելի միջոցով, որն ընդգրկում է մոտ 20 միլիարդ պարամետր և օպտիմիզացված է խոսակցական հաղորդակցության համար: Մոդելը վարժեցնելու համար մենք օգտագործել ենք LAION, Together և Ontocord.ai նախագծերի հավաքածուներից ստացված տվյալները:
Գոյություն ունեցող գիտելիքների բազան ընդլայնելու համար առաջարկվում է համակարգ, որը կարող է լրացուցիչ տեղեկատվություն ստանալ արտաքին պահոցներից, API-ներից և այլ աղբյուրներից: Օրինակ, հնարավոր է թարմացնել տեղեկատվությունը Վիքիպեդիայի տվյալների և նորությունների հոսքերի միջոցով: Հասանելի է կամընտիր մոդերավորման մոդել, որը պատրաստված է 6 միլիարդ պարամետրերի վրա և հիմնված է GPT-JT մոդելի վրա՝ անպատշաճ հարցերը զտելու կամ քննարկումները որոշակի թեմաներով սահմանափակելու համար:
Առանձին-առանձին կարելի է նշել ChatLLaMA նախագիծը, որն առաջարկում է ChatGPT-ին նման խելացի օգնականներ ստեղծելու գրադարան։ Նախագիծը մշակվում է՝ հաշվի առնելով ձեր սեփական սարքավորումներով աշխատելու և անհատականացված լուծումներ ստեղծելու հնարավորությունը, որոնք նախատեսված են գիտելիքների նեղ ոլորտները ծածկելու համար (օրինակ՝ բժշկություն, իրավունք, խաղեր, գիտական հետազոտություններ և այլն): ChatLLaMA կոդը լիցենզավորված է GPLv3-ի ներքո:
Նախագիծն աջակցում է Meta-ի առաջարկած LLaMA (Large Language Model Meta AI) ճարտարապետության վրա հիմնված մոդելների օգտագործմանը: Ամբողջական LLaMA մոդելը ներառում է 65 միլիարդ պարամետր, սակայն ChatLLaMA-ի համար խորհուրդ է տրվում օգտագործել 7 և 13 միլիարդ պարամետրերով տարբերակներ կամ GPTJ (6 միլիարդ), GPTNeoX (1.3 միլիարդ), 20BOPT (13 միլիարդ), BLOOM (7.1 միլիարդ) և Galactica (6.7 միլիարդ) մոդելներ): Սկզբում LLaMA մոդելները տրամադրվում էին հետազոտողներին միայն հատուկ խնդրանքով, բայց քանի որ տվյալների փոխանցման համար օգտագործվում էին հեղեղներ, էնտուզիաստները պատրաստեցին սցենար, որը թույլ էր տալիս բոլորին ներբեռնել մոդելը:
Source: opennet.ru