Özel ve genel kullanıma yönelik sohbet robotlarının oluşturulmasını basitleştirmeyi amaçlayan OpenChatKit açık kaynak araç seti sunuldu. Sistem, soruları yanıtlama, çok aşamalı diyaloglar yürütme, özetleme, bilgi çıkarma ve metni sınıflandırma gibi görevleri yerine getirecek şekilde uyarlanmıştır. Kod Python'da yazılmıştır ve Apache 2.0 lisansı altında dağıtılmaktadır. Proje, hazır bir model, modelinizi eğitmek için kod, modelin sonuçlarını test etmek için yardımcı programlar, modeli harici bir indeksten bağlamla desteklemek ve temel modeli kendi sorunlarınızı çözmek için uyarlamak için araçlar içerir.
Bot, yaklaşık 20 milyar parametreyi kapsayan bir dil modeli kullanılarak oluşturulmuş ve konuşma iletişimi için optimize edilmiş temel bir makine öğrenimi modelini (GPT-NeoXT-Chat-Base-20B) temel alıyor. Modeli eğitmek için LAION, Together ve Ontocord.ai proje koleksiyonlarından elde edilen veriler kullanıldı.
Mevcut bilgi tabanını genişletmek için harici depolardan, API'lerden ve diğer kaynaklardan ek bilgi alabilen bir sistem önerilmiştir. Örneğin, Wikipedia'daki ve haber akışlarındaki verileri kullanarak bilgileri güncellemek mümkündür. Uygunsuz soruları filtrelemek veya tartışmaları belirli konularla sınırlamak için 6 milyar parametreyle eğitilmiş ve GPT-JT modelini temel alan isteğe bağlı bir denetleme modeli mevcuttur.
Ayrı olarak ChatGPT'ye benzer akıllı asistanlar oluşturmaya yönelik bir kütüphane sunan ChatLLaMA projesinden de bahsedebiliriz. Proje, kendi ekipmanınız üzerinde çalışabilme ve dar bilgi alanlarını (örneğin tıp, hukuk, oyun, bilimsel araştırma vb.) kapsayacak şekilde tasarlanmış kişiselleştirilmiş çözümler oluşturma olasılığı göz önünde bulundurularak geliştirilmektedir. ChatLLaMA kodu GPLv3 kapsamında lisanslanmıştır.
Proje, Meta tarafından önerilen LLaMA (Büyük Dil Modeli Meta AI) mimarisini temel alan modellerin kullanımını desteklemektedir. LLaMA modelinin tamamı 65 milyar parametreyi kapsar, ancak ChatLLaMA için 7 ve 13 milyar parametreli seçeneklerin veya GPTJ (6 milyar), GPTNeoX (1.3 milyar), 20BOPT (13 milyar), BLOOM (7.1 milyar) ve Galactica (6.7 milyar) modeli). Başlangıçta, LLaMA modelleri yalnızca özel istek üzerine araştırmacılara sağlanıyordu, ancak veri sağlamak için torrentler kullanıldığından meraklılar, herkesin modeli indirmesine izin veren bir komut dosyası hazırladı.
Kaynak: opennet.ru
