રેડપજામા પ્રોજેક્ટ આર્ટિફિશિયલ ઇન્ટેલિજન્સ સિસ્ટમ્સ માટે ઓપન ડેટાસેટ વિકસાવે છે

રેડપજામા સહયોગી પ્રોજેક્ટ ઓપન મશીન લર્નિંગ મૉડલ્સ અને તેની સાથે તાલીમ ઇનપુટ્સ બનાવવા માટે રજૂ કરવામાં આવે છે જેનો ઉપયોગ બુદ્ધિશાળી સહાયકો બનાવવા માટે થઈ શકે છે જે ChatGPT જેવા વ્યાવસાયિક ઉત્પાદનો સાથે સ્પર્ધા કરે છે. એવી અપેક્ષા રાખવામાં આવે છે કે ઓપન સોર્સ ડેટા અને મોટા ભાષાના મોડલની હાજરી મશીન લર્નિંગના ક્ષેત્રમાં સંશોધનમાં રોકાયેલી સ્વતંત્ર ટીમોના પ્રતિબંધોને દૂર કરશે અને વિશિષ્ટ સંવાદ પ્રણાલીના નિર્માણને સરળ બનાવશે. Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research અને MILA Québec AI ઇન્સ્ટિટ્યૂટ જેવી સંસ્થાઓ અને સમુદાયો આ પ્રોજેક્ટ પર કામમાં જોડાયા છે.

પ્રથમ પગલું એ 1 ટ્રિલિયન ટોકન રેડપજામા-ડેટા-1.2T ડેટાસેટનું પ્રશિક્ષણ વાતચીતના મોડલ્સનું પ્રકાશન હતું. RedPajama સેટ ફેસબુક દ્વારા તેના LLaMA મોડલ (કુલ 1.25 ટ્રિલિયન ટોકન્સ) બનાવવા માટે ઉપયોગમાં લેવાતા જાહેર સ્ત્રોતોમાંથી ડેટાનું પુનઃઉત્પાદન કરે છે, પરંતુ તે ખુલ્લા લાયસન્સ હેઠળ પૂરા પાડવામાં આવે છે જે ઉપયોગના અવકાશને મર્યાદિત કરતું નથી (LLaMA ડેટા અને મોડલ માત્ર વિશેષ દ્વારા સંશોધકોને પૂરા પાડવામાં આવ્યા હતા. બિન-વ્યવસાયિક ઉપયોગ માટે વિનંતી). RedPajama-Data-1T ડાઉનલોડ કરી શકાય તેવો સેટ 2.67 TB છે અને તેમાં કોમન ક્રોલ ઈન્ડેક્સ્ડ વેબ પેજીસ, વિકિપીડિયા આર્કાઈવ્સ, ગિટહબના સોર્સ કોડ, ગુટેનબર્ગ લાઈબ્રેરીના જાહેર પુસ્તકો, ArXiv આર્કાઈવમાંથી વૈજ્ઞાનિક લેખો અને સ્ટેક ઓવરફ્લો અને અન્ય સ્ટેક સાથેની ચર્ચાઓનો સમાવેશ થાય છે. એક્સચેન્જ સાઇટ્સ.

તૈયાર ડેટાસેટના આધારે પ્રશિક્ષિત અને અલ્પાકા અને ઓપનચેટકિટ પ્રોજેક્ટ્સમાંથી સૂચના-એક્ઝિક્યુશનના રૂપમાં સંવાદોના તૈયાર ઉદાહરણોનો ઉપયોગ કરીને ઑપ્ટિમાઇઝ કરાયેલ તૈયાર મોડેલ્સ, આગામી થોડા અઠવાડિયામાં રચવાનું આયોજન છે. સમાન ભાષા મોડલ પહેલમાં આંશિક રીતે ઓપન સોર્સ પ્રોજેક્ટ્સ LLaMA, અલ્પાકા, વિકુના અને કોઆલા, તેમજ સંપૂર્ણ ઓપન સોર્સ પહેલ પાયથિયા, ઓપનચેટકિટ, ઓપન આસિસ્ટન્ટ અને ડોલીનો સમાવેશ થાય છે.

વધુમાં, મશીન લર્નિંગ સંબંધિત ઘણા નવા પ્રોજેક્ટ છે:

• MiniGPT-4 - વિઝ્યુઅલ માહિતીને ધ્યાનમાં લેતી ક્ષમતાઓ સાથે પરંપરાગત વાતચીત ચેટબોટ્સને વિસ્તૃત કરે છે, જે તમને છબીઓનું વિશ્લેષણ કરવાની અને સિસ્ટમ સાથે ક્રિયાપ્રતિક્રિયા કરવાની પ્રક્રિયામાં હસ્તલિખિત ટેક્સ્ટને ધ્યાનમાં લેવાની મંજૂરી આપે છે (ઉદાહરણ તરીકે, તમે પૂછી શકો છો કે કયા પ્રકારનું ઑબ્જેક્ટ બતાવવામાં આવ્યું છે. ચિત્રમાં, બૉટને ફોટામાં જે બતાવવામાં આવ્યું છે તેના આધારે વાર્તા લખવા માટે કહો, અથવા યોજનાકીય સ્કેચના આધારે, વેબસાઇટ બનાવવા માટે કહો). MiniGPT-4 અમલીકરણ Python માં લખાયેલ છે અને BSD લાયસન્સ હેઠળ વિતરિત કરવામાં આવે છે.
• Facebook એ એક ટૂલકીટ અને સ્વ-શિક્ષણ (SSL, સેલ્ફ-સુપરવાઇઝ્ડ લર્નિંગ, માનવ-તૈયાર લેબલ્સ અને એનોટેશન્સનો ઉપયોગ કરતું નથી) DINOv2 મશીન વિઝન મોડલ પ્રકાશિત કર્યું છે જે સામાન્યકૃત વિઝ્યુઅલ ડેટા પ્રોસેસિંગ (છબી વર્ગીકરણ, ઑબ્જેક્ટ્સ વિશેની માહિતી બહાર કાઢવા) ની સમસ્યાઓ ઉકેલવા માટે યોગ્ય છે. છબીઓ, વિડિઓ પર શું થઈ રહ્યું છે તે સમજવું) અને પિક્સેલ સ્તરે મેનિપ્યુલેશન્સ (ઊંડાણની આગાહી, વિભાજન). મોડેલને 142 મિલિયન ઈમેજોના સંગ્રહ પર તાલીમ આપવામાં આવી છે. અમલીકરણ પાયથોનમાં લખાયેલું છે અને ક્રિએટીવ કોમન્સ એટ્રિબ્યુશન-નોન કોમર્શિયલ 4.0 લાયસન્સ હેઠળ વિતરિત કરવામાં આવ્યું છે જે બિન-વ્યાવસાયિક ઉપયોગને મંજૂરી આપે છે.
• GPT4All એ તેમના પોતાના હાર્ડવેર પર સ્ટેન્ડ-અલોન ચેટબોટ્સ ઝડપથી લોન્ચ કરવા માટેની ટૂલકીટ છે (તેઓ બાહ્ય સેવાઓને ઍક્સેસ કરતા નથી અને ચલાવવા માટે AVX2 સપોર્ટ સાથે CPU નો ઉપયોગ કરે છે). GPT-J અને LLaMa પર આધારિત મોટા ભાષાના મોડલ્સને કનેક્ટ કરવાનું સપોર્ટેડ છે. કોડ Python માં લખાયેલ છે અને MIT લાયસન્સ હેઠળ વિતરિત કરવામાં આવે છે.

સોર્સ: opennet.ru