LLVM Creator разработва нов език за програмиране Mojo

Крис Латнър, основател и главен архитект на LLVM и създател на езика за програмиране Swift, и Тим Дейвис, бивш ръководител на проекти на Google AI като Tensorflow и JAX, представиха нов език за програмиране Mojo, който съчетава лекота на използване за R&D и бързо създаване на прототипи с пригодност за крайни продукти с висока производителност. Първото се постига чрез използването на познатия синтаксис на езика Python, а второто се дължи на възможността за компилиране в машинен код, механизми за безопасно управление на паметта и използване на инструменти за хардуерно ускорение на изчисленията.

Проектът е фокусиран върху използване за разработка на машинно обучение, но е представен като език с общо предназначение, който разширява възможностите на езика Python със системно програмиране и е подходящ за широк спектър от задачи. Например, езикът е приложим в области като високопроизводителни изчисления, обработка и трансформация на данни. Интересна функция на Mojo е възможността за указване на символа на емотикони „🔥“ като разширение за кодови файлове (например „helloworld.🔥“), в допълнение към текстовото разширение „.mojo“.

В момента езикът е в процес на интензивна разработка и само онлайн интерфейсът се предлага за тестване. Отделни сборки, които да работят на локални системи, се обещават да бъдат публикувани по-късно, след получаване на обратна връзка за работата на интерактивната уеб среда. Изходният код за компилатора, JIT и други разработки, свързани с проекта, се планира да бъдат отворени след завършване на дизайна на вътрешната архитектура (моделът за разработка на работещ прототип зад затворени врати прилича на началния етап на разработка на LLVM, Clang и Суифт). Тъй като синтаксисът на Mojo е базиран на Python и системата от типове е близка до C/C++, в бъдеще има планове за разработване на инструментариум за улесняване на превода на съществуващи проекти, написани на C/C++ и Python, в Mojo, както и за разработване на хибридни проекти, които комбинират код на Python и Mojo.

Проектът е предназначен да включи в изчисленията хардуерните ресурси на хетерогенни системи, налични в системата. Например, GPU, специализирани ускорители за машинно обучение и инструкции за векторна обработка (SIMD) могат да се използват за стартиране на Mojo приложения и паралелизиране на изчисленията. Причината за разработването на отделно подмножество на езика Python, вместо да се присъедини към оптимизационната работа на съществуващия CPython, се цитира като фокус върху компилацията, интегриране на възможности за системно програмиране и използване на фундаментално различна вътрешна архитектура, която позволява кодът да бъде изпълнявани на графични процесори и различни хардуерни ускорители. В същото време разработчиците на Mojo възнамеряват да се придържат към съвместимостта с CPython колкото е възможно повече.

Mojo може да се използва както в режим на интерпретация на JIT, така и за компилиране в изпълними файлове (AOT, преди време). Компилаторът има вградени съвременни технологии за автоматична оптимизация, кеширане и разпределена компилация. Изходните текстове на езика Mojo се преобразуват в междинен код от ниско ниво MLIR (Multi-Level Intermediate Representation), разработен от проекта LLVM и предоставящ допълнителни функции за оптимизиране на обработката на графика на потока от данни. Компилаторът ви позволява да използвате различни бекендове, които поддържат MLIR за генериране на машинен код.

Използването на допълнителни хардуерни механизми за ускоряване на изчисленията прави възможно постигането на производителност, която при интензивни изчисления надхвърля C / C ++ приложенията. Например, при тестване на приложение за генериране на набор на Mandelbrot, компилираното приложение Mojo, когато се изпълнява в AWS облака (r7iz.metal-16xl), беше 6 пъти по-бързо от внедряването на C ++ (0.03 сек. срещу 0.20 сек. .), както и 35 хиляди пъти по-бързо от приложение на Python, използващо стандартен CPython 3.10.9 (0.03 сек срещу 1027 сек) и 1500 пъти по-бързо с помощта на PYPY (0.03 сек срещу 46.1 сек).

При оценка на производителността в областта на решаването на проблеми с машинното обучение стекът Modular Inference Engine AI, написан на езика Mojo, в сравнение с решение, базирано на библиотеката TensorFlow, се оказа 3 пъти по-бърз на система с Intel процесор при обработка на езиков модел, 6.4 пъти по-бързо при изпълнение на модела за генериране на препоръки и 2.1 пъти по-бързо при работа с модели за обработка на визуална информация. При използване на AMD процесори печалбата при използване на Mojo е 3.2, 5 и 2.2 пъти, а при използване на ARM процесори - съответно 5.3, 7.5 и 1.7 пъти. Решението, базирано на PyTorch, изостава от Mojo с 1.4, 1.1 и 1.5 пъти при процесора Intel, 2.1, 1.2 и 1.5 пъти при процесора AMD и 4, 4.3 и 1.3 пъти при процесора ARM.

Езикът поддържа статично въвеждане и функции за безопасност на паметта на ниско ниво, напомнящи функциите на Rust, като проследяване на продължителността на референтния живот и проверка на заемане на променливи (проверка на заемане). В допълнение към средствата за безопасна работа с указатели, езикът също така предоставя функции за работа на ниско ниво, например, възможно е директен достъп до паметта в опасен режим, използвайки типа указател, извикване на отделни SIMD инструкции или достъп до хардуерни разширения като като TensorCores и AMX.

За да се опрости разделянето на класически и оптимизиран код на Python за функции с изрични дефиниции на типове за всички променливи, се предлага да се използва отделна ключова дума „fn“ вместо „def“. По подобен начин за класовете, ако трябва статично да опаковате данни в паметта по време на компилиране (както в C), вместо "class" можете да използвате типа "struct". Възможно е също така просто да импортирате модули на езици C / C ++, например, за да импортирате функцията cos от математическата библиотека, можете да посочите „от „math.h“ import cos“.

Източник: opennet.ru