Pyston-lite présenté, un compilateur JIT pour Python standard

Les développeurs du projet Pyston, qui propose une implémentation hautes performances du langage Python utilisant des technologies modernes de compilation JIT, ont présenté l'extension Pyston-lite avec une implémentation de compilateur JIT pour CPython. Alors que Pyston est une branche de la base de code CPython et se développe de manière indépendante, Pyston-lite est conçu comme une extension universelle destinée à être connectée à l'interpréteur Python standard (CPython).

Pyston-lite permet d'utiliser les technologies de base de Pyston sans remplacer l'interpréteur, par l'installation d'une extension supplémentaire via le gestionnaire de paquets PIP ou Conda. Pyston-lite est déjà disponible dans les dépôts PyPI et Conda, et pour l'installer, il suffit d'exécuter la commande « pip install pyston_lite_autoload » ou « conda install pyston_lite_autoload -c pyston ». Deux paquets sont proposés : pyston_lite (le JIT lui-même) et pyston_lite_autoload (qui effectue un chargement automatique du JIT lors du lancement du processus Python). Il est également possible de gérer le JIT de manière programmatique depuis l'application sans installer le module autoload, en utilisant la fonction pyston_lite.enable().

Bien que Pyston-lite ne couvre pas toutes les optimisations disponibles dans Pyston, son utilisation permet d'augmenter les performances d'environ 10 à 25 % par rapport à Python 3.8 standard. Dans le futur, il est prévu de transférer la plupart des optimisations présentes dans Pyston vers Pyston-lite, ainsi que d'élargir les versions de CPython prises en charge (la première version ne prend en charge que Python 3.8). Parmi les projets plus globaux, une collaboration avec l'équipe de CPython est envisagée pour mettre en œuvre de nouvelles API pour le JIT, permettant un contrôle plus complet de l'exécution de Python. L'inclusion des modifications proposées dans la branche Python 3.12 est en discussion. Idéalement, il est envisagé de transférer toute la fonctionnalité de Pyston vers l'extension, ce qui permettrait d'abandonner le maintien de notre propre fork de CPython.

En plus de Pyston-lite, le projet a également publié une mise à jour du paquet complet Pyston 2.3.4, qui propose de nouvelles optimisations. Dans le test pyperformance, la version 2.3.4 est environ 6 % plus rapide que la version 2.3.3. Le gain de performance global par rapport à CPython est estimé à 66 %.

On peut également souligner les optimisations mises en œuvre dans le cycle de développement de CPython 3.11, qui ont permis d'augmenter la performance de 25 % dans certains tests. Par exemple, dans CPython 3.11, l'efficacité du cache de l'état du bytecode des modules de base a été améliorée, ce qui accélérera le démarrage des scripts de 10 à 15 %. L'appel de fonctions a été considérablement accéléré et des interpréteurs rapides spécialisés pour les opérations de type ont été ajoutés. Un travail est également en cours pour transférer certaines optimisations développées par les projets Cinder et HotPy.

Dans le cadre du projet nogil, un travail est réalisé sur un mode expérimental de compilation de CPython sans verrouillage global des interpréteurs (GIL, Global Interpreter Lock), ce qui empêche l'accès simultané aux objets partagés depuis différents threads, gênant ainsi le parallélisme des opérations sur des systèmes multicœurs. Une autre solution possible au problème du GIL consiste à lier un GIL distinct à chaque interpréteur exécuté à l'intérieur d'un processus (plusieurs interpréteurs peuvent être exécutés dans un même processus, mais l'efficacité de leur exécution parallèle est limitée par le GIL).

Source : opennet.ru