היום אנחנו רוצים לדבר על כמה מהעדכונים האחרונים למערכת שרלוק [זהו אשכול בעל ביצועים גבוהים באוניברסיטת סטנפורד - בערך. trans.], מה שמאיץ משמעותית את רישום הקבצים בספריות עם מספר רב של ערכים.

בניגוד למאמרים רגילים, זה יותר דיווח של מבפנים על האופן שבו אנו עובדים באופן קבוע על שרלוק כדי לשמור עליו לפעול במיטבו עבור המשתמשים שלנו. אנו מקווים לפרסם מאמרים נוספים כמו זה בעתיד.

רישום קבצים רבים לוקח זמן

הכל התחיל בשאלת תמיכה טכנית של משתמש. הוא דיווח על הבעיה שבהוצאה להורג ls לוקח כמה דקות בספרייה עם למעלה מ-15 ערכים $SCRATCH [ספרייה לקבצים זמניים - כ. נתיב].

אלפי קבצים בספרייה אחת מהווים בדרך כלל עומס על מערכת הקבצים ובהחלט לא מומלץ. המשתמש ידע זאת והודה שזה לא טוב, אבל ציין שהרישום מהיר פי 1000 במחשב הנייד שלו מאשר שרלוק. כמובן שזה פגע בנו. אז הסתכלנו לעומק.

כי זה נראה נחמד

בדקנו מה זה עושה בפועל ls בעת רישום ספרייה, ומדוע התהליך לוקח כל כך הרבה זמן. ברוב ההפצות המודרניות ls כברירת מחדל הוא פועל כ ls --color=auto, כי כולם אוהבים את הצבעים.

אבל לצבעים יפים יש מחיר: לכל קובץ ls חייב לקבל מידע על סוג הקובץ, הרשאותיו, דגלים, תכונות מורחבות וכדומה על מנת לבחור את הצבע המתאים.

פתרון פשוט אחד לבעיה הוא להשבית את הצבע ב-ls לחלוטין, אבל תארו לעצמכם את הזעם של המשתמשים. בשום פנים ואופן אסור לקחת את פלט הצבע, אנחנו לא מפלצות.

אז הסתכלנו לעומק. ls ערכים של צבעים באמצעות משתנה סביבה LS_COLORS, אשר נקבע dircolors(1) מבוסס על קובץ תצורה dir_colors(5)... כן, קובץ ההפעלה קורא את קובץ התצורה כדי ליצור משתנה סביבה, שבו הוא משתמש לאחר מכן (ואם אתה לא יודע על קבצים דלת (do), ואז dir_colors יעבוד, למרות הכל).

בואו נסתכל מקרוב

כדי לקבוע איזו ערכת צבעים גורמת להאטה, יצרנו סביבת ניסוי:

$ mkdir $SCRATCH/dont
$ touch $SCRATCH/dont/{1..10000} # don't try this at home!
$ time ls --color=always $SCRATCH/dont | wc -l
10000

real    0m12.758s
user    0m0.104s
sys     0m0.699s

12,7 שניות עבור 10 קבצים, לא טוב במיוחד.

דרך אגב, אנחנו צריכים דגל --color=always: למרות שהוא פונה ל ls --color=autoאבל ls מזהה כאשר הוא אינו מחובר למסוף (למשל באמצעות צינור או עם ניתוב מחדש של פלט) ומשבית את הצביעה אם מוגדר ל- auto. בחור חכם.

אז מה לוקח כל כך הרבה זמן? הסתכלנו עם strace:

$ strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 44.21    0.186617          19     10000           lstat
 42.60    0.179807          18     10000     10000 getxattr
 12.19    0.051438           5     10000           capget
  0.71    0.003002          38        80           getdents
  0.07    0.000305          10        30           mmap
  0.05    0.000217          12        18           mprotect
  0.03    0.000135          14        10           read
  0.03    0.000123          11        11           open
  0.02    0.000082           6        14           close
[...]

וואו: 10 שיחות lstat(), 10 שיחות getxattr() (שכולם נכשלים כי לסביבה שלנו אין את התכונות שאני מחפש), 10 שיחות capget().

אין ספק שאפשר לייעל את זה.

תכונת יכולות? לא

בעקבות עצות באג מלפני 10 שנים, ניסינו להשבית את בדיקת התכונות יכולות:

$ eval $(dircolors -b | sed s/ca=[^:]*:/ca=:/)
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 98.95    0.423443          42     10000           lstat
  0.78    0.003353          42        80           getdents
  0.04    0.000188          10        18           mprotect
  0.04    0.000181           6        30           mmap
  0.02    0.000085           9        10           read
  0.02    0.000084          28         3           mremap
  0.02    0.000077           7        11           open
  0.02    0.000066           5        14           close
[...]
------ ----------- ----------- --------- --------- ----------------
100.00    0.427920                 10221         6 total

real    0m8.160s
user    0m0.115s
sys     0m0.961s

וואו, עד 8 שניות של האצה! נפטרנו מכל השיחות היקרות האלה getxattr(), ואתגרים capget() גם נעלם, נהדר.

אבל עדיין יש את השיחות המעצבנות האלה lstat(), למרות ש…

כמה פרחים אתה צריך?

לכן, בדקנו מקרוב LS_COLORS.

ראשית פשוט השבתנו את המשתנה הזה:

$ echo $LS_COLORS
rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;36:
$ unset LS_COLORS
$ echo $LS_COLORS

$  time ls --color=always $SCRATCH/dont | wc -l
10000

real    0m13.037s
user    0m0.077s
sys     0m1.092s

מה!?! עדיין 13 שניות?

מסתבר שכאשר משתנה הסביבה LS_COLORS רק אחד מהאלמנטים שלו אינו מוגדר או חסר <type>=color:, הוא משתמש במסד הנתונים המובנה כברירת מחדל ועדיין משתמש בצבעים. אז אם אתה רוצה להשבית את הצביעה עבור סוג קובץ מסוים, אתה צריך לעקוף אותו עם <type>=: או <type> 00 בקובץ DIR_COLORS.

לאחר הרבה ניסוי וטעייה, צמצמנו את החיפוש שלנו לכאן:

EXEC 00
SETUID 00
SETGID 00
CAPABILITY 00

שנכתב כ

LS_COLORS='ex=00:su=00:sg=00:ca=00:'

זה אומר: אל תצבע קבצים לפי תכונה. יכולות, אבל טיפין טיפין setuid/setgid, גם לא על ידי דגל יכולת ביצוע.

אנחנו מאיצים ls

ואם אתה לא עושה אף אחת מהבדיקות האלה, אז תתקשר lstat() להיעלם, ועכשיו זה עניין אחר לגמרי:

$ export LS_COLORS='ex=00:su=00:sg=00:ca=00:'
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 63.02    0.002865          36        80           getdents
  8.10    0.000368          12        30           mmap
  5.72    0.000260          14        18           mprotect
  3.72    0.000169          15        11           open
  2.79    0.000127          13        10           read
[...]
------ ----------- ----------- --------- --------- ----------------
100.00    0.004546                   221         6 total

real    0m0.337s
user    0m0.032s
sys     0m0.029s

0,3 שניות ברשימה של 10 קבצים, שיא.

הגדרת שרלוק

מ-13 שניות עם הגדרות ברירת מחדל ועד 0,3 שניות עם התאמות קלות LS_COLORS פירושו האצה של פי 40 עקב היעדר setuid / setgid וקבצי הפעלה צבעוניים. לא הפסד כזה גדול.

כמובן, זה מוגדר כעת ב-Serlock עבור כל משתמש.

אבל אם אתה רוצה להחזיר את הצביעה, אתה יכול פשוט לחזור להגדרות ברירת המחדל:

$ unset LS_COLORS

אבל אז בספריות עם הרבה קבצים, הקפד לבשל קפה בזמן שהוא פועל ls.

מקור: www.habr.com