Проектът RedPajama разработва отворен набор от данни за системи с изкуствен интелект

Представен е съвместен проект на RedPajama за създаване на отворени модели за машинно обучение и придружаващи входни данни за обучение, които могат да се използват за изграждане на интелигентни асистенти, които се конкурират с комерсиални продукти като ChatGPT. Очаква се, че наличието на данни с отворен код и големи езикови модели ще премахне ограниченията на независими екипи, занимаващи се с изследвания в областта на машинното обучение, и ще опрости създаването на специализирани системи за диалог. Организации и общности като Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research и MILA Québec AI Institute се присъединиха към работата по проекта.

Първата стъпка беше публикуването на набор от данни RedPajama-Data-1T от 1.2 трилиона символи за обучение на разговорни модели. Комплектът RedPajama възпроизвежда данни от публични източници, използвани от Facebook за създаване на своя модел LLaMA (общо 1.25 трилиона токена), но се доставя под отворен лиценз, който не ограничава обхвата на използване (данните и моделите на LLaMA са предоставени само на изследователи от специални искане за некомерсиална употреба). Комплектът RedPajama-Data-1T за изтегляне е 2.67 TB и включва информация от индексирани с Common Crawl уеб страници, архиви на Wikipedia, изходен код от GitHub, публични книги от библиотеката Gutenberg, научни статии от архива ArXiv и дискусии със Stack Overflow и други Stack Обменни сайтове.

Готови модели, обучени на базата на подготвения набор от данни и оптимизирани с помощта на готови примери за диалози под формата на инструкции-изпълнение от проектите Alpaca и OpenChatKit, се планира да бъдат формирани през следващите няколко седмици. Подобни инициативи за езикови модели включват проектите с частично отворен код LLaMA, Alpaca, Vicuna и Koala, както и инициативите с напълно отворен код Pythia, OpenChatKit, Open Assistant и Dolly.

Освен това има няколко нови проекта, свързани с машинното обучение:

• MiniGPT-4 - разширява традиционните разговорни чатботове с възможности, които отчитат визуална информация, което ви позволява да анализирате изображения и да вземете предвид ръкописен текст в процеса на взаимодействие със системата (например можете да попитате какъв вид обект е показан на снимката, помолете бота да напише история въз основа на това, което е показано на снимката, или въз основа на схематична скица, помолете да създаде уебсайт). Реализацията на MiniGPT-4 е написана на Python и се разпространява под лиценз BSD.
• Facebook публикува набор от инструменти и самообучаващ се (SSL, Self-Supervised Learning, не използва етикети и анотации, подготвени от човека) DINOv2 модел на машинно зрение, подходящ за решаване на проблеми с генерализирана обработка на визуални данни (класификация на изображения, извличане на информация за обекти в изображения, разбиране на случващото се на видео) и манипулации на ниво пиксел (предсказване на дълбочина, сегментиране). Моделът е обучен върху колекция от 142 милиона изображения. Реализацията е написана на Python и се разпространява под лиценз Creative Commons Attribution-NonCommercial 4.0, който позволява некомерсиална употреба.
• GPT4All е инструментариум за бързо стартиране на самостоятелни чатботове на техния собствен хардуер (те нямат достъп до външни услуги и използват процесори с поддръжка на AVX2 за изпълнение). Поддържа се свързване на големи езикови модели, базирани на GPT-J и LLaMa. Кодът е написан на Python и се разпространява под лиценза на MIT.

Източник: opennet.ru