오픈소스 머신 러닝 시스템을 만드는 도구, 모델, 데이터 컬렉션을 개발하는 LAION(대규모 인공 지능 오픈 네트워크) 커뮤니티(예를 들어, LAION 컬렉션은 Stable Diffusion 이미지 합성 시스템용 모델을 훈련하는 데 사용됨)는 자연어로 된 질문을 이해하고 답하고, 타사 시스템과 상호 작용하고, 필요한 정보를 동적으로 추출할 수 있는 인공 지능을 갖춘 챗봇을 개발하는 Open-Assistant 프로젝트의 첫 번째 릴리스를 발표했습니다.
프로젝트 코드는 Python으로 작성되었으며 Apache 2.0 라이선스에 따라 배포됩니다. OpenAssistant의 개발 기능을 사용하면 외부 API 및 서비스에 얽매이지 않는 자체 지능형 비서 및 대화 시스템을 구축할 수 있습니다. 일반 소비자용 기기로도 출시가 가능하며, 예를 들어 스마트폰에서도 사용할 수 있습니다.
봇의 장비 작동을 훈련하고 구성하는 코드 외에도, 이미 훈련된 기성 모델 모음과 요청-응답(지시-실행) 형태의 대화 600만 개 사례를 기반으로 훈련된 언어 모델이 제공됩니다. 이 모델은 열성적인 커뮤니티의 참여를 통해 준비 및 검토되었습니다. 30억 개의 매개변수를 포함하는 OA_SFT_Llama_6B_30 지식 모델을 사용하는 챗봇 작업 품질 평가 온라인 서비스도 출시되었습니다.
시스템 효율성을 개선하고 사전 정의된 매개변수를 대량으로 저장할 필요성을 없애기 위해, 이 프로젝트는 검색 엔진이나 외부 서비스를 통해 필요한 정보를 추출할 수 있는 동적으로 업데이트되는 지식 기반을 활용할 수 있는 기능을 제공합니다. 예를 들어, 응답 생성 시 봇은 외부 API에 접근하여 추가 데이터를 얻을 수 있습니다. 고급 기능 중에는 개인화 지원, 즉 사용자의 이전 문구를 기반으로 특정 사용자에게 맞춰 조정하는 기능도 포함됩니다.
이 프로젝트는 ChatGPT의 기능을 복제하는 데 그치지 않을 것입니다. 오픈소스 프로젝트인 Stable Diffusion이 이미지 생성 도구 개발을 촉진했던 것처럼, Open-Assistant도 콘텐츠 생성 및 자연어 쿼리 처리 분야의 오픈소스 개발에 박차를 가할 것으로 예상됩니다.
출처 : opennet.ru
