Програмери из Мозиле представили су прво издање услужног програма лламафиле, који вам омогућава да креирате универзалне извршне датотеке за покретање великих модела језика за машинско учење (ЛЛМ). Користећи лламафиле, можете узети датотеку параметара модела машинског учења у ГГУФ формату и претворити је у извршну датотеку која може да ради на шест различитих оперативних система на АМД64 и АРМ64 хардверу. Комплет алата је написан на Ц/Ц++ и дистрибуира се под лиценцом Апацхе 2.0.
За извршавање модела користи се оквир ллама.цпп са имплементацијом ЛЛаМА модела у Ц/Ц++, који се компајлира у универзалну извршну датотеку у АПЕ (Ацтуалли Портабле Екецутабле) формату, у комбинацији са датотеком модела. Преведени код је повезан са стандардном Цосмополитан Ц библиотеком, што омогућава креирање апликација које раде на Линук, ФрееБСД, мацОС, ОпенБСД, НетБСД и Виндовс. Код је сачуван у верзијама за АМД64 и АРМ64 архитектуре, а такође укључује компоненте за пребацивање калкулација на НВИДИА ГПУ (користећи ЦУДА).
Извор: опеннет.ру
