Ներկայացրեց RedPajama-ն՝ համատեղ նախագիծը, որի նպատակն է ստեղծել բաց մեքենայական ուսուցման մոդելներ և ուղեկցող ուսուցման միջոցներ, որոնք կարող են օգտագործվել խելացի օգնականներ ստեղծելու համար, որոնք մրցակցում են առևտրային արտադրանքների հետ, ինչպիսին է ChatGPT-ն: Ակնկալվում է, որ բաց կոդով տվյալների և մեծ լեզուների մոդելների առկայությունը կազատի մեքենայական ուսուցման անկախ հետազոտական թիմեր և կհեշտացնի անհատական խոսակցական համակարգերի կառուցումը: Նախագծին միացել են այնպիսի կազմակերպություններ և համայնքներ, ինչպիսիք են Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research և MILA Québec AI Institute:
Առաջին քայլը RedPajama-Data-1T տվյալների բազայի հրապարակումն էր խոսակցական մոդելների ուսուցման համար, որը պարունակում է 1.2 տրիլիոն նշան: RedPajama փաթեթը վերարտադրում է Facebook-ի կողմից իր LLaMA մոդելը ստեղծելու համար (1.25 տրիլիոն ժետոն) ստեղծած հանրային հասանելի տվյալները, սակայն տրամադրվում է բաց, ոչ սահմանափակող լիցենզիայի ներքո (LLaMA-ի տվյալները և մոդելները հասանելի են եղել հետազոտողներին միայն հատուկ խնդրանքով: - կոմերցիոն օգտագործում): RedPajama-Data-1T ներբեռնվող հավաքածուն ունի 2.67 ՏԲ չափ և ներառում է տեղեկություններ Common Crawl-ի ինդեքսավորված վեբ էջերից, Վիքիպեդիայի արխիվներից, աղբյուրի կոդը GitHub-ից, հանրային տիրույթի գրքեր Գուտենբերգի գրադարանից, գիտական հոդվածներ ArXiv արխիվից և քննարկումներ Stack Overflow և Stack Exchange-ի այլ կայքեր:
Պատրաստ մոդելներ, որոնք վերապատրաստվել են պատրաստված տվյալների հավաքածուի հիման վրա և օպտիմիզացված՝ օգտագործելով Alpaca և OpenChatKit նախագծերից հրահանգների կատարման տեսքով երկխոսությունների պատրաստի օրինակներ, նախատեսվում է ձևավորել առաջիկա մի քանի շաբաթների ընթացքում: Նմանատիպ լեզվական մոդելային նախաձեռնությունները ներառում են մասնակի բաց կոդով նախագծերը՝ LLaMA, Alpaca, Vicuna և Koala, ինչպես նաև ամբողջությամբ բաց կոդով Pythia, OpenChatKit, Open Assistant և Dolly նախագծերը:
Բացի այդ, կարելի է նշել մի քանի նոր նախագծեր՝ կապված մեքենայական ուսուցման հետ.
- MiniGPT-4 - ընդլայնում է ավանդական ինտերակտիվ չաթ-բոտերը հնարավորություններով, որոնք հաշվի են առնում տեսողական տեղեկատվությունը, ինչը թույլ է տալիս վերլուծել պատկերները և հաշվի առնել ձեռագիր տեքստը համակարգի հետ շփվելիս (օրինակ, կարող եք հարցնել, թե ինչ առարկա է պատկերված նկարում , խնդրեք բոտին գրել պատմություն՝ հիմնվելով լուսանկարում ցուցադրվածի վրա, կամ սխեմատիկ ուրվագծի հիման վրա՝ խնդրեք ստեղծել կայք): MiniGPT-4 իրականացումը գրված է Python-ով և տարածվում է BSD լիցենզիայի ներքո:
- Facebook-ը հրապարակել է գործիքներ և ինքնուսուցման (SSL, Self-Supervised Learning, չի օգտագործում մարդու կողմից պատրաստված պիտակներ և ծանոթագրություններ մարզումների ընթացքում) համակարգչային տեսողության մոդել DINOv2, որը հարմար է ընդհանուր տեսողական տվյալների մշակման խնդիրների լուծման համար (պատկերի դասակարգում, տեղեկատվության արդյունահանում): պատկերների առարկաները, հասկանալով, թե ինչ է կատարվում տեսանյութում) և մանիպուլյացիաները պիքսելային մակարդակում (խորության կանխատեսում, հատվածավորում): Մոդելը մարզվել է 142 միլիոն պատկերների հավաքածուի վրա։ Իրականացումը գրված է Python-ով և տարածվում է Creative Commons Attribution-NonCommercial 4.0 լիցենզիայի ներքո՝ թույլատրելով ոչ առևտրային օգտագործումը:
- GPT4All-ը գործիքակազմ է՝ ինքնուրույն չաթ-բոտեր արագ գործարկելու համար ձեր սեփական սարքաշարում (նրանք չեն մուտք գործում արտաքին ծառայություններ և օգտագործում են AVX2 աջակցությամբ պրոցեսոր՝ կատարման համար): Աջակցում է GPT-J-ի և LLaMa-ի վրա հիմնված մեծ լեզվական մոդելների միացմանը: Կոդը գրված է Python-ով և տարածվում է MIT լիցենզիայի ներքո:
Source: opennet.ru