Instagram에서 사용하는 CPython의 포크인 Facebook 오픈 소스 Cinder

Facebook은 Python 프로그래밍 언어의 주요 참조 구현인 CPython 3.8.5의 포크인 Project Cinder의 소스 코드를 공개했습니다. Cinder는 Facebook의 프로덕션 인프라에서 Instagram을 강화하는 데 사용되며 성능 개선을 위한 최적화 기능이 포함되어 있습니다.

이 코드는 준비된 최적화를 기본 CPython 프레임워크로 이식할 가능성을 논의하고 CPython 성능 개선과 관련된 다른 프로젝트를 돕기 위해 게시되었습니다. 페이스북은 Cinder를 별도의 오픈소스 프로젝트 형태로 지원할 계획이 없으며, 코드는 추가적인 정리와 문서화 없이 회사 인프라에서 사용되는 형태로 제시됩니다. 그들은 또한 Cinder를 CPython의 대안으로 홍보하려고 시도하지 않습니다. 개발의 주요 목표는 CPython 자체를 개선하려는 욕구입니다.

Cinder 코드는 상당히 안정적이고 프로덕션 환경에서 테스트된 것으로 알려져 있지만 문제가 확인되면 Facebook이 외부 오류 메시지 및 풀 요청에 응답할 것이라고 보장하지 않기 때문에 문제를 직접 해결해야 합니다. 동시에 Facebook은 커뮤니티와의 건설적인 협력을 배제하지 않으며 Cinder를 더욱 빠르게 만드는 방법이나 준비된 변경 사항을 CPython의 주요 부분으로 전송하는 속도를 높이는 방법에 대한 아이디어를 논의할 준비가 되어 있습니다.

Cinder에 구현된 주요 최적화:

• 바이트코드("섀도우 바이트코드")의 인라인 캐싱. 이 방법의 핵심은 최적화할 수 있는 일반적인 opcode가 실행되는 상황을 식별하고 이러한 opcode를 더 빠른 특수 옵션(예: 자주 호출되는 함수 대체)으로 동적으로 바꾸는 것입니다.
• 열정적인 코루틴 평가. 즉시 처리되는 비동기 함수 호출의 경우(await로 인해 wait가 발생하지 않고 함수가 더 일찍 return 문에 도달함) 이러한 함수의 결과는 코루틴을 생성하거나 이벤트 루프를 포함하지 않고 직접 대체됩니다. async/await를 많이 사용하는 Facebook 코드에서는 최적화로 인해 속도가 약 5% 향상됩니다.
• 개별 메서드 및 기능 수준에서 선택적 JIT 컴파일(한 번에 메서드) "-X jit" 옵션 또는 PYTHONJIT=1 환경 변수를 통해 활성화되며 많은 성능 테스트 실행 속도를 1.5-4배 높일 수 있습니다. JIT 컴파일은 자주 실행되는 함수에만 관련되므로 거의 사용되지 않는 함수에는 사용하지 않는 것이 좋습니다. 컴파일 오버헤드로 인해 프로그램 실행 속도가 느려질 수 있습니다.

  옵션 "-X jit-list-file=/path/to/jitlist.txt" 또는 환경 변수 "PYTHONJITLISTFILE=/path/to/jitlist.txt"를 통해 JIT를 수행할 함수 목록이 있는 파일을 지정할 수 있습니다. 사용할 수 있습니다(경로 형식 .to.module:funcname 또는 path.to.module:ClassName.method_name). JIT를 활성화해야 하는 기능 목록은 프로파일링 결과에 따라 결정될 수 있습니다. 앞으로는 함수 호출 빈도에 대한 내부 분석을 바탕으로 동적 JIT 컴파일에 대한 지원이 예상되지만 인스타그램의 실행 프로세스 특성을 고려하면 초기 단계에서는 JIT 컴파일이 Facebook에도 적합합니다.

  JIT는 먼저 Python 바이트코드를 HIR(고수준 중간 표현)로 변환합니다. 이는 Python 바이트코드와 상당히 유사하지만 스택 기반 가상 머신 대신 레지스터 기반 가상 머신을 사용하도록 설계되었으며 유형 정보 및 추가 정보도 사용합니다. 성능에 중요한 세부 정보(예: 참조 계산) 그런 다음 HIR은 SSA(정적 단일 할당) 형식으로 변환되고 참조 계산 결과와 메모리 소비 데이터를 고려하는 최적화 단계를 거칩니다. 결과적으로 어셈블리 언어에 가까운 LIR(저수준 중간 표현)이 생성됩니다. LIR 기반 최적화의 또 다른 단계 후에는 asmjit 라이브러리를 사용하여 어셈블리 지침이 생성됩니다.

• 모듈에 대한 엄격한 모드입니다. 이 기능에는 세 가지 구성 요소가 포함됩니다. Type StrictModule. 모듈 실행이 해당 모듈 외부의 코드에 영향을 미치지 않는지 확인할 수 있는 정적 분석기입니다. 모듈이 strict 모드(코드는 "import __strict__" 지정)에 있는지 확인하고, 다른 모듈과의 교차 부분이 없는지 확인하고, strict 모듈을 StrictModule 객체로 sys.modules에 로드하는 모듈 로더입니다.
• 정적 Python은 유형 주석을 사용하여 JIT 컴파일 덕분에 더 빠르게 실행되는 유형별 바이트코드를 생성하는 실험적인 바이트코드 컴파일러입니다. 일부 테스트에서 Static Python과 JIT의 조합은 표준 CPython에 비해 최대 7배의 성능 향상을 보여줍니다. 많은 상황에서 결과는 MyPyC 및 Cython 컴파일러를 사용하는 것과 유사한 것으로 추정됩니다.

출처 : opennet.ru