OpenChatKit-ը բաց կոդով գործիքակազմ է, որը նպատակ ունի պարզեցնել չաթբոտերի ստեղծումը մասնագիտացված և ընդհանուր օգտագործման համար։ Համակարգը հարմարեցված է կատարելու այնպիսի առաջադրանքներ, ինչպիսիք են հարցերին պատասխանելը, բազմափուլ երկխոսություններ վարելը, ընդհանրացումը, տեղեկատվություն արդյունահանելը և տեքստը դասակարգելը։ Կոդը գրված է Python լեզվով և տարածվում է Apache 2.0 լիցենզիայի ներքո։ Նախագիծը ներառում է պատրաստի մոդել, ձեր մոդելը մարզելու կոդ, մոդելի արդյունքները փորձարկելու համար օգտակար գործիքներ, մոդելը արտաքին ինդեքսից համատեքստով լրացնելու և հիմնական մոդելը ձեր սեփական խնդիրները լուծելու համար հարմարեցնելու գործիքներ։
Բոտը հիմնված է մեքենայական ուսուցման հիմնական մոդելի (GPT-NeoXT-Chat-Base-20B) վրա, որը կառուցված է մոտ 20 միլիարդ պարամետր ընդգրկող լեզվական մոդելի միջոցով և օպտիմալացված է խոսակցական հաղորդակցության համար։ Մոդելը մարզվել է LAION, Together և Ontocord.ai նախագծերի հավաքածուներից ստացված տվյալների օգտագործմամբ։
Գոյություն ունեցող գիտելիքների բազան ընդլայնելու համար առաջարկվում է մի համակարգ, որը կարող է լրացուցիչ տեղեկատվություն արդյունահանել արտաքին պահոցներից, API-ներից և այլ աղբյուրներից։ Օրինակ, հնարավոր է թարմացնել տեղեկատվությունը Վիքիպեդիայից և նորությունների հոսքերից ստացված տվյալների միջոցով։ Բացի այդ, հասանելի է GPT-JT մոդելի վրա հիմնված 6 միլիարդ պարամետրերով մարզված մոդերացիայի մոդել, որը թույլ է տալիս զտել անպատշաճ հարցերը կամ սահմանափակել քննարկումները որոշակի թեմաներով։
Առանձին-առանձին, կարելի է նշել ChatLLaMA նախագիծը, որն առաջարկում է գրադարան ChatGPT-ի նման խելացի օգնականներ ստեղծելու համար։ Նախագիծը մշակվում է՝ հաշվի առնելով մեր սեփական սարքավորումների վրա իրականացման հնարավորությունը և գիտելիքների նեղ ոլորտները (օրինակ՝ բժշկություն, իրավունք, խաղեր, գիտական հետազոտություններ և այլն) ներառող անհատականացված լուծումների ստեղծումը։ ChatLLaMA կոդը լիցենզավորված է GPLv3 լիցենզիայի ներքո։
Նախագիծը աջակցում է Meta-ի կողմից առաջարկված LLaMA (Large Language Model Meta AI) ճարտարապետության վրա հիմնված մոդելների օգտագործմանը։ LLaMA մոդելն ամբողջությամբ ընդգրկում է 65 միլիարդ պարամետր, սակայն ChatLLaMA-ի համար խորհուրդ է տրվում օգտագործել 7 և 13 միլիարդ պարամետրերի տարբերակները կամ GPTJ (6 միլիարդ), GPTNeoX (1.3 միլիարդ), 20BOPT (13 միլիարդ), BLOOM (7.1 միլիարդ) և Galactica (6.7 միլիարդ) մոդելները։ Սկզբում LLaMA մոդելները հետազոտողներին տրամադրվում էին միայն հատուկ խնդրանքով, բայց քանի որ տվյալները մատակարարելու համար օգտագործվում էին տորենտներ, էնտուզիաստները պատրաստեցին սկրիպտ, որը թույլ է տալիս յուրաքանչյուրին ներբեռնել մոդելը։
Source: opennet.ru
