DeepMind с отворен код S6, библиотека с реализация на JIT компилатор за CPython

DeepMind, известна с разработките си в областта на изкуствения интелект, отвори изходния код на проекта S6, който разработи JIT компилатор за езика Python. Проектът е интересен, защото е проектиран като библиотека с разширения, която се интегрира със стандартния CPython, осигурявайки пълна съвместимост с CPython и не изискваща модификация на кода на интерпретатора. Проектът се развива от 2019 г., но за съжаление беше прекратен и вече не се развива. Тъй като създадените разработки могат да бъдат полезни за подобряване на Python, беше решено кодът да бъде отворен. Кодът на JIT компилатора е написан на C++ и е базиран на CPython 3.7. и е с отворен код под лиценз Apache 2.0.

По отношение на задачите, които може да реши, S6 за Python се сравнява с двигателя V8 за JavaScript. Библиотеката заменя съществуващия манипулатор на интерпретатора на байт код ceval.c със собствена реализация, която използва JIT компилация за ускоряване на изпълнението. S6 проверява дали текущата функция вече е компилирана и ако е така, изпълнява компилирания код и ако не, изпълнява функцията в режим на интерпретация на байт код, подобно на интерпретатора на CPython. По време на интерпретацията се отчита броят на изпълнените инструкции и извиквания, свързани с обработваната функция. След достигане на определен етап се инициира процес на компилация, за да се ускори често изпълняваният код. Компилирането се извършва в междинно представяне на strongjit, което след оптимизация се преобразува в машинни инструкции на целевата система с помощта на библиотеката asmjit.

В зависимост от естеството на натоварването, S6 при оптимални условия демонстрира увеличение на скоростта на изпълнение на теста до 9.5 пъти в сравнение с обикновения CPython. При провеждане на 100 итерации на набора от тестове на Richards се наблюдава 7x ускорение, а при провеждане на теста Raytrace, който включва голямо количество математически изчисления, се наблюдава 3-4.5x ускорение.

Сред задачите, които са трудни за оптимизиране с помощта на S6, са проекти, които използват C API, като NumPy, както и операции, свързани с необходимостта от проверка на типовете на голям брой стойности. Ниска производителност се наблюдава и при единични извиквания на ресурсоемки функции поради използването на собствената неоптимизирана реализация на интерпретатора на Python на S6 (разработката не е достигнала етапа на оптимизиране на режима на интерпретация). Например при теста Unpack Sequence, който разопакова големи набори от масиви/кортежи, при едно извикване има забавяне до 5 пъти, а при циклично извикване производителността е 0.97 от CPython.

Източник: opennet.ru