RedPajama 프로젝트는 인공 지능 시스템을 위한 개방형 데이터 세트를 개발합니다.

ChatGPT와 같은 상용 제품과 경쟁하는 지능형 비서를 만드는 데 사용할 수 있는 개방형 기계 학습 모델과 함께 제공되는 교육 입력을 만드는 것을 목표로 하는 공동 프로젝트인 RedPajama를 도입했습니다. 오픈 소스 데이터와 대규모 언어 모델의 가용성으로 인해 독립적인 기계 학습 연구팀이 자유로워지고 맞춤형 대화 시스템을 보다 쉽게 ​​구축할 수 있을 것으로 예상됩니다. Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research 및 MILA Québec AI Institute와 같은 조직 및 커뮤니티가 프로젝트에 참여했습니다.

첫 번째 단계는 1조 1.2천억 개의 토큰이 포함된 대화 모델 교육용 RedPajama-Data-1.25T 데이터 세트를 게시하는 것이었습니다. RedPajama 제품군은 Facebook이 LLaMA 모델(1조 2.67억 토큰 가치)을 생성하기 위해 사용하는 공개적으로 사용 가능한 데이터를 재생산하지만 개방형 오픈 소스 라이센스에 따라 제공됩니다(LLaMA 데이터 및 모델은 특별한 요청이 있는 경우에만 연구원에게 제공됩니다). -상업적 사용). RedPajama-Data-XNUMXT 다운로드 가능 세트의 크기는 XNUMXTB이며 Common Crawl 색인 웹 페이지, Wikipedia 아카이브, GitHub의 소스 코드, Gutenberg 라이브러리의 공개 도메인 서적, ArXiv 아카이브의 과학 ​​기사 및 토론이 포함되어 있습니다. Stack Overflow 및 기타 Stack Exchange 사이트.

준비된 데이터 세트를 기반으로 훈련되고 Alpaca 및 OpenChatKit 프로젝트의 지시-실행 형태로 기성 대화 예시를 사용하여 최적화된 기성 모델이 앞으로 몇 주 내에 형성될 예정입니다. 유사한 언어 모델 이니셔티브에는 부분 오픈 소스 프로젝트인 LLaMA, Alpaca, Vicuna 및 Koala와 완전한 오픈 소스 이니셔티브인 Pythia, OpenChatKit, Open Assistant 및 Dolly가 포함됩니다.

또한 기계 학습과 관련된 몇 가지 새로운 프로젝트를 주목할 수 있습니다.

• MiniGPT-4 - 시각적 정보를 고려하는 기능으로 기존 대화형 챗봇을 확장합니다. 이를 통해 시스템과 상호 작용할 때 이미지를 분석하고 손으로 쓴 텍스트를 고려할 수 있습니다(예: 사진에 어떤 종류의 개체가 표시되는지 물어볼 수 있음) , 봇에게 사진에 표시된 스토리를 기반으로 스토리를 작성하도록 요청하거나 도식 스케치를 기반으로 웹사이트 생성을 요청하세요). MiniGPT-4 구현은 Python으로 작성되었으며 BSD 라이센스에 따라 배포됩니다.
• Facebook은 일반화된 시각적 데이터 처리(이미지 분류, 이미지의 개체, 비디오에서 무슨 일이 일어나고 있는지 이해) 및 픽셀 수준의 조작(깊이 예측, 분할). 이 모델은 2억 142만 개의 이미지 컬렉션을 대상으로 학습되었습니다. 구현은 Python으로 작성되었으며 Creative Commons Attribution-NonCommercial 4.0 라이선스에 따라 배포되므로 비상업적 사용이 허용됩니다.
• GPT4All은 자체 하드웨어에서 독립형 챗봇을 빠르게 시작하기 위한 툴킷입니다(외부 서비스에 액세스하지 않고 실행을 위해 AVX2 지원 CPU를 사용하지 않음). GPT-J 및 LLaMa 기반의 대규모 언어 모델 연결을 지원합니다. 코드는 Python으로 작성되었으며 MIT 라이선스에 따라 배포됩니다.

출처 : opennet.ru