Фејсбук со отворен код Cinder, вилушка на CPython што ја користи Instagram

Фејсбук го објави изворниот код за Project Cinder, вилушка на CPython 3.8.5, главната референтна имплементација на програмскиот јазик Python. Cinder се користи во производствената инфраструктура на Facebook за напојување на Instagram и вклучува оптимизации за подобрување на перформансите.

Кодот е објавен за да се дискутира за можноста за пренесување на подготвените оптимизации во главната рамка на CPython и да им се помогне на другите проекти вклучени во подобрувањето на перформансите на CPython. Facebook нема намера да го поддржи Cinder во форма на посебен проект со отворен код и кодот е претставен во форма во која се користи во инфраструктурата на компанијата, без дополнително чешлање и документација. Тие, исто така, не се обидуваат да го промовираат Cinder како алтернатива на CPython - главната цел на развојот е желбата да се подобри самиот CPython.

Синдер кодот е забележан како прилично сигурен и тестиран во производствени средини, но ако се идентификуваат проблеми, ќе мора сами да ги решите, бидејќи Facebook не гарантира дека ќе одговори на надворешни пораки за грешки и ќе повлече барања. Во исто време, Facebook не ја исклучува конструктивната соработка со заедницата и е подготвен да разговара за идеи како Cinder да се направи уште побрз или како да се забрза трансферот на подготвените промени во главниот дел на CPython.

Главните оптимизации имплементирани во Cinder:

• Вградено кеширање на бајтекод („бајтокод во сенка“). Суштината на методот е да се идентификуваат ситуации каде што се извршува типичен оптички код кој може да се оптимизира и динамички да се замени таков оптички код со побрзи специјализирани опции (на пример, замена на често нарекуваните функции).
• Нестрплива корутинска евалуација. За повици за асинхронизирани функции кои се обработуваат веднаш (чекањето не резултира со чекање и функцијата ја достигнува изјавата за враќање порано), резултатот од таквите функции директно се заменува без да се создаде корутина или да вклучува циклус на настани. Во кодот на Facebook што многу користи async/wait, оптимизацијата резултира со забрзување од околу 5%.
• Селективна JIT компилација на ниво на поединечни методи и функции (metod-at-a-time). Овозможено преку опцијата „-X jit“ или променливата на околината PYTHONJIT=1 и ви овозможува да го забрзате извршувањето на многу тестови за изведба за 1.5-4 пати. Бидејќи компилацијата на JIT е релевантна само за често извршените функции, не е препорачливо да се користи за ретко користени функции, чиишто трошоци за компилација може само да го забават извршувањето на програмата.

  Преку опцијата „-X jit-list-file=/path/to/jitlist.txt“ или променливата на опкружувањето „PYTHONJITLISTFILE=/path/to/jitlist.txt“ можете да наведете датотека со листа на функции за кои JIT може да се користи (формат на патеката .to.module:funcname или path.to.module:ClassName.method_name). Списокот на функции за кои треба да биде овозможен JIT може да се определи врз основа на резултатите од профилирањето. Во иднина, се очекува поддршка за динамична компилација JIT врз основа на внатрешна анализа на фреквенцијата на повици на функции, но земајќи ги предвид спецификите на започнување процеси на Instagram, компилацијата JIT е погодна и за Facebook во почетната фаза.

  JIT прво го конвертира Python бајток во средно претставување на високо ниво (HIR), што е прилично блиску до Python бајтекодот, но е дизајниран да користи виртуелна машина базирана на регистри наместо онаа базирана на оџак, а исто така користи информации за типот и дополнителни детали кои се критични за перформансите (како што е броење на референци) . Потоа, HIR се претвора во форма SSA (статичка единечна задача) и поминува низ чекори за оптимизација кои ги земаат предвид резултатите од броењето референци и податоците за потрошувачката на меморијата. Како резултат на тоа, се генерира средно претставување на ниско ниво (LIR), блиску до асемблерски јазик. По друга фаза на оптимизации базирани на LIR, инструкциите за склопување се генерираат со помош на библиотеката asmjit.

• Строг режим за модули. Функционалноста вклучува три компоненти: Type StrictModule. Статички анализатор кој може да утврди дека извршувањето на модулот нема влијание врз кодот надвор од тој модул. Натоварувач на модули кој одредува дека модулите се во строг режим (шифрата одредува „увоз __strict__“), проверува за отсуство на пресеци со други модули и вчитува строги модули во sys.modules како објект StrictModule.
• Static Python е експериментален компајлер на бајтекод кој користи прибелешки за типови за да генерира бајтекод специфични за типот што работи побрзо благодарение на компилацијата JIT. Во некои тестови, комбинацијата на Static Python и JIT покажува подобрувања во перформансите до 7 пати во споредба со стандардниот CPython. Во многу ситуации, се проценува дека резултатите се блиску до користење на компајлерите MyPyC и Cython.

Извор: opennet.ru