Facebook публикува Hermit, набор от инструменти за повтарящо се изпълнение на програми

Facebook (забранен в Руската федерация) публикува кода на инструментариума Hermit, който формира среда за детерминирано изпълнение на програма, която позволява получаване на същия резултат и повтаряне на напредъка на изпълнение, използвайки едни и същи входни данни при различни стартирания. Кодът на проекта е написан на Rust и се разпространява под BSD лиценз.

По време на нормалното изпълнение различни външни фактори влияят на резултата, като текущото време, функциите за планиране на нишки, адреси на виртуална памет, данни от генератор на псевдослучайни числа и различни уникални идентификатори. Hermit ви позволява да изпълнявате програмата в контейнер, в който тези фактори остават постоянни при следващи изпълнения. Повтарящото се изпълнение, което напълно възпроизвежда настройките на променливата среда, може да се използва за диагностика на грешки, многоетапно отстраняване на грешки с повторения, създаване на фиксирана среда за регресионни тестове, стрес тестове, отстраняване на проблеми с многонишковостта и повтарящи се системи за изграждане.

Създава се възпроизводима среда чрез прихващане на системни повиквания, някои от които се заменят със собствени манипулатори, които произвеждат постоянен резултат, а други се пренасочват към ядрото, след което резултатът се изчиства от непостоянни данни. За прихващане на системни обаждания се използва рамката reverie, чийто код също е публикуван от Facebook. За да се предотврати промените във файловата система и мрежовите заявки да повлияят на напредъка на изпълнение, изпълнението се извършва с помощта на фиксиран FS образ и с деактивиран достъп до външни мрежи. При достъп до генератора на псевдослучайни числа, Hermit произвежда предварително дефинирана последователност, която се повтаря всеки път, когато се стартира.

Сред най-сложните непостоянни влияния върху изпълнението е планировчикът на нишки, чието поведение зависи от много външни фактори, като броя на процесорните ядра и наличието на други работещи нишки. За да се осигури повторяемо поведение на планировчика, всички нишки са сериализирани, обвързани само с едно ядро ​​на процесора и в реда, в който контролът се предава на нишките. Всяка нишка има право да изпълни фиксиран брой инструкции, след което изпълнението спира и се прехвърля към друга нишка (за ограничаване се използва CPU PMU (Performance Monitoring Unit), който спира изпълнението след определен брой условни разклонения).

За диагностициране на проблеми с нишки поради състояние на състезание, Hermit има режим за откриване на операции, които не са в ред и са довели до срив. За идентифициране на такива проблеми се прави сравнение на състоянията, в които са записани правилна операция и необичайно завършване на изпълнението.

Източник: opennet.ru