Cinder с отворен код на Facebook, разклонение на CPython, използвано от Instagram

Facebook публикува изходния код за Project Cinder, разклонение на CPython 3.8.5, основната референтна реализация на езика за програмиране Python. Cinder се използва в производствената инфраструктура на Facebook за захранване на Instagram и включва оптимизации за подобряване на производителността.

Кодът е публикуван, за да обсъди възможността за пренасяне на подготвените оптимизации към основната рамка на CPython и да помогне на други проекти, участващи в подобряването на производителността на CPython. Facebook не възнамерява да поддържа Cinder под формата на отделен проект с отворен код и кодът се представя във вида, в който се използва в инфраструктурата на компанията, без допълнително разресване и документация. Те също така не се опитват да популяризират Cinder като алтернатива на CPython - основната цел на разработката е желанието да се подобри самия CPython.

Кодът на Cinder е отбелязан като доста надежден и тестван в производствени среди, но ако бъдат идентифицирани проблеми, ще трябва да ги разрешите сами, тъй като Facebook не гарантира, че ще отговори на външни съобщения за грешка и заявки за изтегляне. В същото време Facebook не изключва конструктивно сътрудничество с общността и е готов да обсъди идеи как да направи Cinder още по-бърз или как да ускори прехвърлянето на подготвените промени към основната част на CPython.

Основни оптимизации, внедрени в Cinder:

• Вградено кеширане на байт код („засенчен байт код“). Същността на метода е да се идентифицират ситуации, в които се изпълнява типичен код за операция, който може да бъде оптимизиран, и динамично да се замени такъв код за операция с по-бързи специализирани опции (например замяна на често извиквани функции).
• Нетърпелива сърутинна оценка. За извиквания на асинхронни функции, които се обработват незабавно (await не води до изчакване и функцията достига оператора за връщане по-рано), резултатът от такива функции се замества директно, без да се създава съпрограма или да се включва цикъл на събития. Във Facebook кода, който силно използва async/await, оптимизацията води до ускоряване от около 5%.
• Селективна JIT компилация на ниво отделни методи и функции (method-at-a-time). Активира се чрез опцията „-X jit“ или променливата на средата PYTHONJIT=1 и ви позволява да ускорите изпълнението на много тестове за производителност с 1.5-4 пъти. Тъй като JIT компилацията е подходяща само за често изпълнявани функции, не е препоръчително да се използва за рядко използвани функции, чието компилиране може само да забави изпълнението на програмата.

  Чрез опцията “-X jit-list-file=/path/to/jitlist.txt” или променливата на средата “PYTHONJITLISTFILE=/path/to/jitlist.txt” можете да посочите файл със списък от функции, за които JIT може да се използва (формат на пътя .to.module:funcname или path.to.module:ClassName.method_name). Списъкът с функции, за които трябва да се активира JIT, може да бъде определен въз основа на резултатите от профилирането. В бъдеще се очаква поддръжка за динамична JIT компилация въз основа на вътрешен анализ на честотата на извиквания на функции, но като се вземат предвид спецификите на стартиране на процеси в Instagram, JIT компилацията е подходяща и за Facebook в началния етап.

  JIT първо преобразува байт код на Python в междинно представяне на високо ниво (HIR), което е доста близко до байт кода на Python, но е проектирано да използва виртуална машина, базирана на регистър, вместо базирана на стек, и също така използва информация за типа и допълнителни критични за производителността подробности (като преброяване на препратки) . След това HIR се преобразува във формуляр SSA (статично единично присвояване) и преминава през стъпки за оптимизация, които вземат предвид резултатите от преброяването на справки и данните за потреблението на памет. В резултат на това се генерира междинно представяне на ниско ниво (LIR), близко до асемблерния език. След друга фаза на оптимизации, базирани на LIR, инструкциите за асемблиране се генерират с помощта на библиотеката asmjit.

• Строг режим за модули. Функционалността включва три компонента: Тип StrictModule. Статичен анализатор, който може да определи, че изпълнението на модул няма влияние върху кода извън този модул. Зареждащ модул, който определя, че модулите са в строг режим (кодът указва „import __strict__“), проверява за липса на пресичане с други модули и зарежда строги модули в sys.modules като обект StrictModule.
• Статичният Python е експериментален компилатор на байт код, който използва анотации на тип, за да генерира специфичен за типа байт код, който работи по-бързо благодарение на JIT компилацията. В някои тестове комбинацията от статичен Python и JIT демонстрира подобрения на производителността до 7 пъти в сравнение със стандартния CPython. В много ситуации резултатите се оценяват като близки до използването на компилаторите MyPyC и Cython.

Източник: opennet.ru