У Unix-подібних операційних системах спілкування програми із зовнішнім світом та операційною системою відбувається через невеликий набір функцій – системних викликів. А значить, у налагоджувальних цілях корисно буває піддивитися за системними викликами, що виконуються процесами.

Слідкувати за «інтимним життям» програм на Linux допомагає утиліта strace, якій і присвячено цю статтю. До прикладів використання «шпигунського» обладнання додаються коротка історія strace та опис пристрою подібних програм.

Зміст

• походження видів
• Пристрій strace у двох словах: Piglet Trace
• Ази: запуск програми під керуванням strace
• Ази: приєднання до процесу на льоту
• Приклад: відстеження дочірніх процесів
• Приклад: шляхи до файлів замість дескрипторів
• Приклад: відстеження звернень до файлів
• приклад: багатопотокові програми
• Майстер-клас: стек процесу в момент системного виклику
• Майстер-клас: ін'єкція помилок
• Післямова

походження видів

Головний інтерфейс між програмами та ядром OC в Unix – системні виклики (англ. системні дзвінки, системні виклики), взаємодія програм із зовнішнім світом відбувається виключно через них.

Але в першій публічній версії Unix (Версія 6 Unix, 1975 рік) зручних способів відстеження поведінки користувальницьких процесів був. Для вирішення цієї проблеми Bell Labs до наступної версії (Версія 7 Unix, 1979 рік) запропонували новий системний виклик - ptrace.

Розроблявся ptrace насамперед для інтерактивних налагоджувачів, але до кінця 80-х (в епоху комерційного вже System V Release 4) на цій основі з'явилися і набули найширшого поширення вузьконаправлені відладники - трасувальники системних викликів.

перша ж версія strace була опублікована Полом Кроненбургом у розсилці comp.sources.sun в 1992 році як альтернатива закритій утиліті trace від Sun. Як клон, і оригінал призначалися для SunOS, але до 1994 року strace була портована на System V, Solaris і Linux, що набирає популярності.

Сьогодні strace підтримує тільки Linux і спирається на все той же ptrace, що оброс безліччю розширень.

Сучасний (і дуже активний) мейнтейнер strace - Дмитро Левін. Завдяки йому утиліта отримала просунуті можливості на кшталт ін'єкції помилок у системні виклики, підтримкою широкого спектра архітектур і, головне, маскотом. Неофіційні джерела стверджують, що вибір ліг на страуса через співзвучність російського слова «страус» та англійського "strace".

Важливо й те, що системний виклик ptrace і трасувальники так і не були включені до POSIX, незважаючи на довгу історію та наявність реалізації в Linux, FreeBSD, OpenBSD та традиційних Unix.

Пристрій strace у двох словах: Piglet Trace

"You are not expected to understand this" (Деніс Річі, коментар у вихідному коді Version 6 Unix)

З раннього дитинства я терпіти не можу чорні ящики: з іграшками я не грав, а намагався розібратися в їхньому пристрої (дорослі вживали слово «ламав», але не вірте злим мовам). Можливо, тому мені такі близькі неформальна культура перших Unix і сучасного open-source-руху.

У рамках цієї статті розбирати вихідний код strace, що роздобріла за десятиліття, нерозумно. Але й таємниць для читачів залишатись не повинно. Тому, щоб показати принцип роботи подібних strace програм, я наведу код мініатюрного трасувальника. Piglet Trace (Ptr). Нічого особливого він робити не вміє, але головне – системні виклики програми – виводить:

$ gcc examples/piglet-trace.c -o ptr
$ ptr echo test > /dev/null
BRK(12) -> 94744690540544
ACCESS(21) -> 18446744073709551614
ACCESS(21) -> 18446744073709551614
unknown(257) -> 3
FSTAT(5) -> 0
MMAP(9) -> 140694657216512
CLOSE(3) -> 0
ACCESS(21) -> 18446744073709551614
unknown(257) -> 3
READ(0) -> 832
FSTAT(5) -> 0
MMAP(9) -> 140694657208320
MMAP(9) -> 140694650953728
MPROTECT(10) -> 0
MMAP(9) -> 140694655045632
MMAP(9) -> 140694655070208
CLOSE(3) -> 0
unknown(158) -> 0
MPROTECT(10) -> 0
MPROTECT(10) -> 0
MPROTECT(10) -> 0
MUNMAP(11) -> 0
BRK(12) -> 94744690540544
BRK(12) -> 94744690675712
unknown(257) -> 3
FSTAT(5) -> 0
MMAP(9) -> 140694646390784
CLOSE(3) -> 0
FSTAT(5) -> 0
IOCTL(16) -> 18446744073709551591
WRITE(1) -> 5
CLOSE(3) -> 0
CLOSE(3) -> 0
unknown(231)
Tracee terminated

Piglet Trace розпізнає близько сотні системних викликів Linux (див. таблицю) та працює тільки на архітектурі x86-64. Для навчальних цілей цього достатньо.

Давайте розберемо роботу нашого клону. У випадку з Linux для відладчиків та трасувальників використовується, як згадувалося вище, системний виклик ptrace. Він працює за допомогою передачі у першому аргументі ідентифікаторів команд, з яких нам потрібні лише PTRACE_TRACEME, PTRACE_SYSCALL и PTRACE_GETREGS.

Робота трасувальника починається у звичайному Unix-стилі: fork(2) запускає дочірній процес, а той у свою чергу за допомогою exec(3) запускає досліджувану програму. Єдина тонкість тут – виклик ptrace(PTRACE_TRACEME) перед exec: процес-нащадок очікує, що процес-батько його відстежуватиме:

pid_t child_pid = fork();
switch (child_pid) {
case -1:
    err(EXIT_FAILURE, "fork");
case 0:
    /* Child here */
    /* A traced mode has to be enabled. A parent will have to wait(2) for it
     * to happen. */
    ptrace(PTRACE_TRACEME, 0, NULL, NULL);
    /* Replace itself with a program to be run. */
    execvp(argv[1], argv + 1);
    err(EXIT_FAILURE, "exec");
}

Процес-батько тепер має викликати wait(2) у дочірньому процесі, тобто переконатися, що переключення в режим трасування відбулося:

/* Parent */

/* First we wait for the child to set the traced mode (see
 * ptrace(PTRACE_TRACEME) above) */
if (waitpid(child_pid, NULL, 0) == -1)
    err(EXIT_FAILURE, "traceme -> waitpid");

На цьому приготування закінчено і можна розпочинати безпосередньо відстеження системних викликів у нескінченному циклі.

виклик ptrace(PTRACE_SYSCALL) гарантує, що наступний wait батька завершиться або перед виконанням системного виклику або відразу після його завершення. Між двома викликами можна здійснити будь-які дії: замінити виклик на альтернативний, змінити аргументи або значення, що повертається.

Нам достатньо двічі викликати команду ptrace(PTRACE_GETREGS), щоб отримати стан регістру rax до виклику (номер системного виклику) і відразу після (повертається).

Власне, цикл:

/* A system call tracing loop, one interation per call. */
for (;;) {
    /* A non-portable structure defined for ptrace/GDB/strace usage mostly.
     * It allows to conveniently dump and access register state using
     * ptrace. */
    struct user_regs_struct registers;

    /* Enter syscall: continue execution until the next system call
     * beginning. Stop right before syscall.
     *
     * It's possible to change the system call number, system call
     * arguments, return value or even avoid executing the system call
     * completely. */
  if (ptrace(PTRACE_SYSCALL, child_pid, NULL, NULL) == -1)
      err(EXIT_FAILURE, "enter_syscall");
  if (waitpid(child_pid, NULL, 0) == -1)
      err(EXIT_FAILURE, "enter_syscall -> waitpid");

  /* According to the x86-64 system call convention on Linux (see man 2
   * syscall) the number identifying a syscall should be put into the rax
   * general purpose register, with the rest of the arguments residing in
   * other general purpose registers (rdi,rsi, rdx, r10, r8, r9). */
  if (ptrace(PTRACE_GETREGS, child_pid, NULL, &registers) == -1)
      err(EXIT_FAILURE, "enter_syscall -> getregs");

  /* Note how orig_rax is used here. That's because on x86-64 rax is used
   * both for executing a syscall, and returning a value from it. To
   * differentiate between the cases both rax and orig_rax are updated on
   * syscall entry/exit, and only rax is updated on exit. */
  print_syscall_enter(registers.orig_rax);

  /* Exit syscall: execute of the syscall, and stop on system
   * call exit.
   *
   * More system call tinkering possible: change the return value, record
   * time it took to finish the system call, etc. */
  if (ptrace(PTRACE_SYSCALL, child_pid, NULL, NULL) == -1)
      err(EXIT_FAILURE, "exit_syscall");
  if (waitpid(child_pid, NULL, 0) == -1)
      err(EXIT_FAILURE, "exit_syscall -> waitpid");

  /* Retrieve register state again as we want to inspect system call
   * return value. */
  if (ptrace(PTRACE_GETREGS, child_pid, NULL, &registers) == -1) {
      /* ESRCH is returned when a child terminates using a syscall and no
       * return value is possible, e.g. as a result of exit(2). */
      if (errno == ESRCH) {
          fprintf(stderr, "nTracee terminatedn");
          break;
      }
      err(EXIT_FAILURE, "exit_syscall -> getregs");
  }

  /* Done with this system call, let the next iteration handle the next
   * one */
  print_syscall_exit(registers.rax);
}

Ось і весь трасувальник. Тепер ви знаєте, з чого розпочинати чергове портування DTrace на Linux.

Ази: запуск програми під керуванням strace

Як перший приклад використання strace, мабуть, варто навести найпростіший спосіб - запуск програми під керуванням strace.

Щоб не копатися в нескінченному списку викликів типової програми, напишемо мінімальну програму навколо write:

int main(int argc, char *argv[])
{
    char str[] = "write me to stdoutn";
    /* write(2) is a simple wrapper around a syscall so it should be easy to
     * find in the syscall trace. */
    if (sizeof(str) != write(STDOUT_FILENO, str, sizeof(str))){
        perror("write");
        return EXIT_FAILURE;
    }
    return EXIT_SUCCESS;
}

Зберемо програму і переконаємося, що вона працює:

$ gcc examples/write-simple.c -o write-simple
$ ./write-simple
write me to stdout

І нарешті запустимо її під керуванням strace:

$ strace ./write-simple
pexecve("./write", ["./write"], 0x7ffebd6145b0 /* 71 vars */) = 0
brk(NULL)                               = 0x55ff5489e000
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=197410, ...}) = 0
mmap(NULL, 197410, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f7a2a633000
close(3)                                = 0
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
read(3, "177ELF21133>1260342"..., 832) = 832
fstat(3, {st_mode=S_IFREG|0755, st_size=2030544, ...}) = 0
mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f7a2a631000
mmap(NULL, 4131552, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7f7a2a04c000
mprotect(0x7f7a2a233000, 2097152, PROT_NONE) = 0
mmap(0x7f7a2a433000, 24576, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x1e7000) = 0x7f7a2a433000
mmap(0x7f7a2a439000, 15072, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x7f7a2a439000
close(3)                                = 0
arch_prctl(ARCH_SET_FS, 0x7f7a2a6324c0) = 0
mprotect(0x7f7a2a433000, 16384, PROT_READ) = 0
mprotect(0x55ff52b52000, 4096, PROT_READ) = 0
mprotect(0x7f7a2a664000, 4096, PROT_READ) = 0
munmap(0x7f7a2a633000, 197410)          = 0
write(1, "write me to stdoutn", 20write me to stdout
)  = 20
exit_group(0)                           = ?

Дуже "багатослівно" і не дуже пізнавально. Проблеми тут дві: виведення програми змішане з висновком strace та достаток системних викликів, які нас не цікавлять.

Розділити стандартний потік виведення програми та виведення помилок strace можна за допомогою ключа -o, що перенаправляє список системних викликів у файл-аргумент.

Залишилося розібратися із проблемою «зайвих» викликів. Припустимо, що нас цікавлять лише виклики write. Ключ -e дозволяє вказувати вирази, за якими фільтруватимуться системні виклики. Найпопулярніший варіант умови - природно, trace=*, за допомогою якого можна залишити тільки виклики, що нас цікавлять.

При одночасному використанні -o и -e ми отримаємо:

$ strace -e trace=write -owrite-simple.log ./write-simple
write me to stdout
$ cat write-simple.log
write(1, "write me to stdoutn", 20
)  = 20
+++ exited with 0 +++

Так, погодьтеся, набагато легше читається.

А ще можна прибирати системні виклики - наприклад, пов'язані з виділенням та звільненням пам'яті:

$ strace -e trace=!brk,mmap,mprotect,munmap -owrite-simple.log ./write-simple
write me to stdout
$ cat write-simple.log
execve("./write-simple", ["./write-simple"], 0x7ffe9972a498 /* 69 vars */) = 0
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=124066, ...}) = 0
close(3)                                = 0
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
read(3, "177ELF21133>1260342"..., 832) = 832
fstat(3, {st_mode=S_IFREG|0755, st_size=2030544, ...}) = 0
close(3)                                = 0
arch_prctl(ARCH_SET_FS, 0x7f00f0be74c0) = 0
write(1, "write me to stdoutn", 20)  = 20
exit_group(0)                           = ?
+++ exited with 0 +++

Зверніть увагу на екранований знак оклику в списку виключених викликів: цього вимагає командна оболонка (англ. оболонка).

У моїй версії glibc завершує виконання процесу системний виклик exit_group, а не традиційний _exit. В цьому полягає складність роботи із системними викликами: інтерфейс, з яким працює програміст, не має прямого відношення до системних викликів. Більше того, він регулярно змінюється залежно від реалізації та платформи.

Ази: приєднання до процесу на льоту

Спочатку системний виклик ptrace, на якому побудовано strace, можна було використовувати лише під час запуску програми у спеціальному режимі. Таке обмеження, можливо, звучало розумно за часів Version 6 Unix. У наші ж дні цього недостатньо: буває, потрібно досліджувати проблеми працюючої програми. Типовий приклад - заблокований на дескрипторі або сплячий процес. Тому сучасна strace вміє приєднуватися до процесів на льоту.

Приклад зависає програми:

int main(int argc, char *argv[])
{
    (void) argc; (void) argv;

    char str[] = "write men";

    write(STDOUT_FILENO, str, sizeof(str));

    /* Sleep indefinitely or until a signal arrives */
    pause();

    write(STDOUT_FILENO, str, sizeof(str));

    return EXIT_SUCCESS;
}

Зберемо програму і переконаємося в тому, що вона зависла:

$ gcc examples/write-sleep.c -o write-sleep
$ ./write-sleep
./write-sleep
write me
^C
$

А тепер спробуємо приєднатися до неї:

$ ./write-sleep &
[1] 15329
write me
$ strace -p 15329
strace: Process 15329 attached
pause(
^Cstrace: Process 15329 detached
 <detached ...>

Програму заблоковано викликом pause. Подивимося, як вона відреагує на сигнали:

$ strace -o write-sleep.log -p 15329 &
strace: Process 15329 attached
$
$ kill -CONT 15329
$ cat write-sleep.log
pause()                                 = ? ERESTARTNOHAND (To be restarted if no handler)
--- SIGCONT {si_signo=SIGCONT, si_code=SI_USER, si_pid=14989, si_uid=1001} ---
pause(
$
$ kill -TERM 15329
$ cat write-sleep.log
pause()                                 = ? ERESTARTNOHAND (To be restarted if no handler)
--- SIGCONT {si_signo=SIGCONT, si_code=SI_USER, si_pid=14989, si_uid=1001} ---
pause()                                 = ? ERESTARTNOHAND (To be restarted if no handler)
--- SIGTERM {si_signo=SIGTERM, si_code=SI_USER, si_pid=14989, si_uid=1001} ---
+++ killed by SIGTERM +++

Ми запустили завислу програму і приєдналися до неї за допомогою strace. З'ясувалися дві речі: системний виклик pause ігнорує сигнали без обробників і, що цікавіше, strace відстежує не лише системні виклики, а й сигнали, що входять.

Приклад: відстеження дочірніх процесів

Робота з процесами через виклик fork - Основа всіх Unix. Давайте подивимося, як strace працює з деревом процесів на прикладі нескладної «плідної» програми:

int main(int argc, char *argv[])
{
    pid_t parent_pid = getpid();
    pid_t child_pid = fork();
    if (child_pid == 0) {
        /* A child is born! */
        child_pid = getpid();

        /* In the end of the day printf is just a call to write(2). */
        printf("child (self=%d)n", child_pid);
        exit(EXIT_SUCCESS);
    }

    printf("parent (self=%d, child=%d)n", parent_pid, child_pid);

    wait(NULL);

    exit(EXIT_SUCCESS);
}

Тут вихідний процес створює дочірній процес, обидва пишуть стандартний потік висновку:

$ gcc examples/fork-write.c -o fork-write
$ ./fork-write
parent (self=11274, child=11275)
child (self=11275)

За умовчанням ми побачимо лише системні виклики батьківського процесу:

$ strace -e trace=write -ofork-write.log ./fork-write
child (self=22049)
parent (self=22048, child=22049)
$ cat fork-write.log
write(1, "parent (self=22048, child=22049)"..., 33) = 33
--- SIGCHLD {si_signo=SIGCHLD, si_code=CLD_EXITED, si_pid=22049, si_uid=1001, si_status=0, si_utime=0, si_stime=0} ---
+++ exited with 0 +++

Відстежувати дерево процесів повністю допомагає прапор -f, з яким strace відстежує системні виклики у процесах-нащадках. До кожного рядка виводу при цьому додається pid процесу, що робить системний висновок:

$ strace -f -e trace=write -ofork-write.log ./fork-write
parent (self=22710, child=22711)
child (self=22711)
$ cat fork-write.log
22710 write(1, "parent (self=22710, child=22711)"..., 33) = 33
22711 write(1, "child (self=22711)n", 19) = 19
22711 +++ exited with 0 +++
22710 --- SIGCHLD {si_signo=SIGCHLD, si_code=CLD_EXITED, si_pid=22711, si_uid=1001, si_status=0, si_utime=0, si_stime=0} ---
22710 +++ exited with 0 +++

У цьому контексті може стати в нагоді фільтрація за групами системних викликів:

$ strace -f -e trace=%process -ofork-write.log ./fork-write
parent (self=23610, child=23611)
child (self=23611)
$ cat fork-write.log
23610 execve("./fork-write", ["./fork-write"], 0x7fff696ff720 /* 63 vars */) = 0
23610 arch_prctl(ARCH_SET_FS, 0x7f3d03ba44c0) = 0
23610 clone(child_stack=NULL, flags=CLONE_CHILD_CLEARTID|CLONE_CHILD_SETTID|SIGCHLD, child_tidptr=0x7f3d03ba4790) = 23611
23610 wait4(-1,  <unfinished ...>
23611 exit_group(0)                     = ?
23611 +++ exited with 0 +++
23610 <... wait4 resumed> NULL, 0, NULL) = 23611
23610 --- SIGCHLD {si_signo=SIGCHLD, si_code=CLD_EXITED, si_pid=23611, si_uid=1001, si_status=0, si_utime=0, si_stime=0} ---
23610 exit_group(0)                     = ?
23610 +++ exited with 0 +++

Який системний виклик використовується для створення нового процесу?

Приклад: шляхи до файлів замість дескрипторів

Знати файлові дескриптори, безумовно, корисно, але імена конкретних файлів, до яких звертається програма, можуть стати у нагоді.

Наступна програма пише рядок у тимчасовий файл:

void do_write(int out_fd)
{
    char str[] = "write me to a filen";

    if (sizeof(str) != write(out_fd, str, sizeof(str))){
        perror("write");
        exit(EXIT_FAILURE);
    }
}

int main(int argc, char *argv[])
{
    char tmp_filename_template[] = "/tmp/output_fileXXXXXX";

    int out_fd = mkstemp(tmp_filename_template);
    if (out_fd == -1) {
        perror("mkstemp");
        exit(EXIT_FAILURE);
    }

    do_write(out_fd);

    return EXIT_SUCCESS;
}

При звичайному виклику strace покаже значення числа-дескриптора, переданого до системного виклику:

$ strace -e trace=write -o write-tmp-file.log ./write-tmp-file
$ cat write-tmp-file.log
write(3, "write me to a filen", 20)  = 20
+++ exited with 0 +++

З прапором -y утиліта показує шлях до файлу, якому відповідає дескриптор:

$ strace -y -e trace=write -o write-tmp-file.log ./write-tmp-file
$ cat write-tmp-file.log
write(3</tmp/output_fileCf5MyW>, "write me to a filen", 20) = 20
+++ exited with 0 +++

Приклад: відстеження звернень до файлів

Ще одна корисна можливість: відображати лише системні дзвінки, пов'язані з конкретним файлом. Наступна програма дописує рядок довільного файлу, переданий в аргументі:

void do_write(int out_fd)
{
    char str[] = "write me to a filen";

    if (sizeof(str) != write(out_fd, str, sizeof(str))){
        perror("write");
        exit(EXIT_FAILURE);
    }
}

int main(int argc, char *argv[])
{
    /*
     * Path will be provided by the first program argument.
     *  */
    const char *path = argv[1];

    /*
     * Open an existing file for writing in append mode.
     *  */
    int out_fd = open(path, O_APPEND | O_WRONLY);
    if (out_fd == -1) {
        perror("open");
        exit(EXIT_FAILURE);
    }

    do_write(out_fd);

    return EXIT_SUCCESS;
}

За замовчуванням strace виводить багато зайвої інформації. Прапор -P з аргументом змушує strace виводити лише звернення до вказаного файлу:

$ strace -y -P/tmp/test_file.log -o write-file.log ./write-file /tmp/test_file.log
$ cat write-file.log
openat(AT_FDCWD, "/tmp/test_file.log", O_WRONLY|O_APPEND) = 3</tmp/test_file.log>
write(3</tmp/test_file.log>, "write me to a filen", 20) = 20
+++ exited with 0 +++

приклад: багатопотокові програми

Утиліта strace може допомогти і при роботі з багатопоточною програмою. Наступна програма пише стандартний потік виведення з двох потоків:

void *thread(void *arg)
{
    (void) arg;

    printf("Secondary thread: workingn");
    sleep(1);
    printf("Secondary thread: donen");

    return NULL;
}

int main(int argc, char *argv[])
{
    printf("Initial thread: launching a threadn");

    pthread_t thr;
    if (0 != pthread_create(&thr, NULL, thread, NULL)) {
        fprintf(stderr, "Initial thread: failed to create a thread");
        exit(EXIT_FAILURE);
    }

    printf("Initial thread: joining a threadn");
    if (0 != pthread_join(thr, NULL)) {
        fprintf(stderr, "Initial thread: failed to join a thread");
        exit(EXIT_FAILURE);
    };

    printf("Initial thread: done");

    exit(EXIT_SUCCESS);
}

Збирати її треба, звичайно, зі спеціальним привітом лінковнику - прапором -pthread:

$ gcc examples/thread-write.c -pthread -o thread-write
$ ./thread-write
/thread-write
Initial thread: launching a thread
Initial thread: joining a thread
Secondary thread: working
Secondary thread: done
Initial thread: done
$

прапор -f, як і у випадку зі звичайними процесами, додасть на початок кожного рядка pid процесу.

Звичайно, йдеться не про ідентифікатор потоку в сенсі реалізації стандарту POSIX Threads, а про номер, який використовується планувальником завдань у Linux. З погляду останнього немає жодних процесів і потоків — є завдання, які треба розподілити доступними ядрами машини.

При роботі в кілька потоків системних викликів стає дуже багато:

$ strace -f -othread-write.log ./thread-write
$ wc -l thread-write.log
60 thread-write.log

Має сенс обмежитися лише управлінням процесами та системним викликом write:

$ strace -f -e trace="%process,write" -othread-write.log ./thread-write
$ cat thread-write.log
18211 execve("./thread-write", ["./thread-write"], 0x7ffc6b8d58f0 /* 64 vars */) = 0
18211 arch_prctl(ARCH_SET_FS, 0x7f38ea3b7740) = 0
18211 write(1, "Initial thread: launching a thre"..., 35) = 35
18211 clone(child_stack=0x7f38e9ba2fb0, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0x7f38e9ba39d0, tls=0x7f38e9ba3700, child_tidptr=0x7f38e9ba39d0) = 18212
18211 write(1, "Initial thread: joining a thread"..., 33) = 33
18212 write(1, "Secondary thread: workingn", 26) = 26
18212 write(1, "Secondary thread: donen", 23) = 23
18212 exit(0)                           = ?
18212 +++ exited with 0 +++
18211 write(1, "Initial thread: done", 20) = 20
18211 exit_group(0)                     = ?
18211 +++ exited with 0 +++

До речі, питання. Який дзвінок використовується для створення нового потоку? Чим такий дзвінок для потоків відрізняється від дзвінка для процесів?

Майстер-клас: стек процесу в момент системного виклику

Одна з нещодавно з'явилася в strace можливостей — Відображення стека дзвінків функцій під час системного дзвінка. Простий приклад:

void do_write(void)
{
    char str[] = "write me to stdoutn";
    if (sizeof(str) != write(STDOUT_FILENO, str, sizeof(str))){
        perror("write");
        exit(EXIT_FAILURE);
    }
}

int main(int argc, char *argv[])
{
    do_write();
    return EXIT_SUCCESS;
}

Природно, висновок програми стає дуже об'ємним, і, крім прапора -k (відображення стека викликів), має сенс фільтрувати системні виклики на ім'я:

$ gcc examples/write-simple.c -o write-simple
$ strace -k -e trace=write -o write-simple.log ./write-simple
write me to stdout
$ cat write-simple.log
write(1, "write me to stdoutn", 20)  = 20
 > /lib/x86_64-linux-gnu/libc-2.27.so(__write+0x14) [0x110154]
 > /home/vkazanov/projects-my/strace-post/write-simple(do_write+0x50) [0x78a]
 > /home/vkazanov/projects-my/strace-post/write-simple(main+0x14) [0x7d1]
 > /lib/x86_64-linux-gnu/libc-2.27.so(__libc_start_main+0xe7) [0x21b97]
 > /home/vkazanov/projects-my/strace-post/write-simple(_start+0x2a) [0x65a]
+++ exited with 0 +++

Майстер-клас: ін'єкція помилок

І ще одна нова та дуже корисна можливість: ін'єкція помилок. Ось програма, що пише два рядки в потік виведення:

#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>

void do_write(const char *str, ssize_t len)
{
    if (len != write(STDOUT_FILENO, str, (size_t)len)){
        perror("write");
        exit(EXIT_FAILURE);
    }
}

int main(int argc, char *argv[])
{
    (void) argc; (void) argv;

    char str1[] = "write me 1n";
    do_write(str1, sizeof(str1));

    char str2[] = "write me 2n";
    do_write(str2, sizeof(str2));

    return EXIT_SUCCESS;
}

Відстежуємо обидва дзвінки write:

$ gcc examples/write-twice.c -o write-twice
$ ./write-twice
write me 1
write me 2
$ strace -e trace=write -owrite-twice.log ./write-twice
write me 1
write me 2
$ cat write-twice.log
write(1, "write me 1n", 12)          = 12
write(1, "write me 2n", 12)          = 12
+++ exited with 0 +++

А тепер використовуємо вираз injectщоб вставити помилку EBADF у всі виклики write:

$ strace -e trace=write -e inject=write:error=EBADF -owrite-twice.log ./write-twice
$ cat write-twice.log
write(1, "write me 1n", 12)          = -1 EBADF (Bad file descriptor) (INJECTED)
write(3, "write: Bad file descriptorn", 27) = -1 EBADF (Bad file descriptor) (INJECTED)
+++ exited with 1 +++

Цікаво, що помилки повертають всі виклики write, включаючи дзвінок, прихований за perror. Має сенс повертати помилку лише для першого із викликів:

$ strace -e trace=write -e inject=write:error=EBADF:when=1 -owrite-twice.log ./write-twice
write: Bad file descriptor
$ cat write-twice.log
write(1, "write me 1n", 12)          = -1 EBADF (Bad file descriptor) (INJECTED)
write(3, "write: Bad file descriptorn", 27) = 27
+++ exited with 1 +++

Або другого:

$ strace -e trace=write -e inject=write:error=EBADF:when=2 -owrite-twice.log ./write-twice
write me 1
write: Bad file descriptor
$ cat write-twice.log
write(1, "write me 1n", 12)          = 12
write(1, "write me 2n", 12)          = -1 EBADF (Bad file descriptor) (INJECTED)
write(3, "write: Bad file descriptorn", 27) = 27
+++ exited with 1 +++

Тип помилки вказувати не обов'язково:

$ strace -e trace=write -e fault=write:when=1 -owrite-twice.log ./write-twice
$ cat write-twice.log
write(1, "write me 1n", 12)          = -1 ENOSYS (Function not implemented) (INJECTED)
write(3, "write: Function not implementedn", 32) = 32
+++ exited with 1 +++

У поєднанні з іншими прапорами можна ламати звернення до конкретного файлу. Приклад:

$ strace -y -P/tmp/test_file.log -e inject=file:error=ENOENT -o write-file.log ./write-file /tmp/test_file.log
open: No such file or directory
$ cat write-file.log
openat(AT_FDCWD, "/tmp/test_file.log", O_WRONLY|O_APPEND) = -1 ENOENT (No such file or directory) (INJECTED)
+++ exited with 1 +++

Крім ін'єкцій помилок, можна вводити затримки під час здійснення дзвінків або отримання сигналів.

Післямова

Утиліта strace - Простий і надійний інструмент. Але крім системних викликів налагоджувати трапляється й інші аспекти роботи програм та операційної системи. Наприклад, відстежувати виклики бібліотек, що динамічно лінуються, вміє ltrace, зазирнути в роботу операційної системи можуть Клацніть System и ftrace, а глибоко досліджувати продуктивність програм дозволяє пер. Проте саме strace — перша лінія оборони у разі проблем із власними та чужими програмами, і використовую я її мінімум пару разів на тиждень.

Словом, любите Unix, читайте man 1 strace і не соромтеся підглядати за вашими програмами!

Джерело: habr.com