ఈ రోజు మనం షెర్లాక్ సిస్టమ్కి సంబంధించిన కొన్ని తాజా అప్డేట్ల గురించి మాట్లాడాలనుకుంటున్నాము [ఇది స్టాన్ఫోర్డ్ విశ్వవిద్యాలయంలో అధిక-పనితీరు గల క్లస్టర్ - సుమారుగా. ట్రాన్స్.], ఇది పెద్ద సంఖ్యలో ఎంట్రీలతో డైరెక్టరీలలో ఫైళ్ల జాబితాను గణనీయంగా వేగవంతం చేస్తుంది.
సాధారణ కథనాల వలె కాకుండా, ఇది మా వినియోగదారుల కోసం షెర్లాక్ని ఉత్తమంగా అమలు చేయడానికి మేము క్రమం తప్పకుండా ఎలా పని చేస్తాము అనేదానిపై అంతర్గత నివేదిక. భవిష్యత్తులో ఇలాంటి మరిన్ని కథనాలు ప్రచురించాలని ఆశిస్తున్నాము.
అనేక ఫైళ్లను జాబితా చేయడానికి సమయం పడుతుంది
ఇదంతా వినియోగదారు నుండి సాంకేతిక మద్దతు ప్రశ్నతో ప్రారంభమైంది. అతను అమలు సమస్య నివేదించారు ls
15 కంటే ఎక్కువ ఎంట్రీలు ఉన్న డైరెక్టరీలో కొన్ని నిమిషాలు పడుతుంది $SCRATCH
[తాత్కాలిక ఫైళ్ల కోసం డైరెక్టరీ - సుమారు. వీధి].
ఒక డైరెక్టరీలోని వేలకొద్దీ ఫైల్లు సాధారణంగా ఫైల్ సిస్టమ్కు భారాన్ని కలిగిస్తాయి మరియు ఖచ్చితంగా సిఫార్సు చేయబడవు. వినియోగదారుకు ఇది తెలుసు మరియు ఇది మంచిది కాదని ఒప్పుకున్నాడు, అయితే లిస్టింగ్ తన ల్యాప్టాప్లో షెర్లాక్ కంటే 1000 రెట్లు వేగంగా ఉందని పేర్కొన్నాడు. వాస్తవానికి, ఇది మాకు బాధ కలిగించింది. కాబట్టి మేము లోతుగా చూశాము.
ఎందుకంటే అది అందంగా కనిపిస్తుంది
ఇది వాస్తవానికి ఏమి చేస్తుందో మేము చూశాము ls
డైరెక్టరీని జాబితా చేస్తున్నప్పుడు మరియు ప్రక్రియ ఎందుకు ఎక్కువ సమయం పడుతుంది. చాలా ఆధునిక పంపిణీలపై ls
డిఫాల్ట్గా ఇది నడుస్తుంది ls --color=auto
, ఎందుకంటే ప్రతి ఒక్కరూ రంగులను ఇష్టపడతారు.
కానీ అందమైన రంగులు ఒక ధర వద్ద వస్తాయి: ప్రతి ఫైల్ కోసం ls
సముచితమైన రంగును ఎంచుకోవడానికి ఫైల్ రకం, దాని అనుమతులు, ఫ్లాగ్లు, పొడిగించిన లక్షణాలు మరియు వంటి వాటి గురించి సమాచారాన్ని తప్పనిసరిగా పొందాలి.
సమస్యకు ఒక సాధారణ పరిష్కారం ls లో రంగును పూర్తిగా నిలిపివేయడం, అయితే వినియోగదారుల ఆగ్రహాన్ని ఊహించుకోండి. ఎట్టి పరిస్థితుల్లోనూ మీరు రంగు అవుట్పుట్ను తీసివేయకూడదు, మేము రాక్షసులం కాదు.
కాబట్టి మేము లోతుగా చూశాము. ls
ఎన్విరాన్మెంట్ వేరియబుల్ ద్వారా రంగుల ఎంట్రీలు LS_COLORS
, ఇది సెట్ చేయబడింది dircolors(1)
కాన్ఫిగరేషన్ ఫైల్ ఆధారంగా dir_colors(5)
... అవును,
నిశితంగా పరిశీలిద్దాం
ఏ రంగు పథకం మందగమనానికి కారణమవుతుందో గుర్తించడానికి, మేము ప్రయోగాత్మక వాతావరణాన్ని సృష్టించాము:
$ mkdir $SCRATCH/dont
$ touch $SCRATCH/dont/{1..10000} # don't try this at home!
$ time ls --color=always $SCRATCH/dont | wc -l
10000
real 0m12.758s
user 0m0.104s
sys 0m0.699s
12,7 ఫైల్లకు 10 సెకన్లు, అంత బాగా లేవు.
మార్గం ద్వారా, మాకు జెండా అవసరం
--color=always
: అతను మారినప్పటికీls --color=auto
, కానీls
ఇది టెర్మినల్కు కనెక్ట్ చేయబడనప్పుడు (ఉదా. పైప్ ద్వారా లేదా అవుట్పుట్ మళ్లింపుతో) గుర్తించి, దీనికి సెట్ చేసినట్లయితే రంగును నిలిపివేస్తుంది.auto
. తెలివైన వ్యక్తి.
కాబట్టి ఇంత సమయం పట్టేది ఏమిటి? తో చూశాము strace
:
$ strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
44.21 0.186617 19 10000 lstat
42.60 0.179807 18 10000 10000 getxattr
12.19 0.051438 5 10000 capget
0.71 0.003002 38 80 getdents
0.07 0.000305 10 30 mmap
0.05 0.000217 12 18 mprotect
0.03 0.000135 14 10 read
0.03 0.000123 11 11 open
0.02 0.000082 6 14 close
[...]
వావ్: 10 కాల్లు lstat()
, 10 కాల్స్ getxattr()
(మన పర్యావరణం వెతుకుతున్న లక్షణాలను కలిగి లేనందున ఇవన్నీ విఫలమవుతాయి), 10 కాల్లు capget()
.
ఖచ్చితంగా దీన్ని ఆప్టిమైజ్ చేయవచ్చు.
సామర్థ్యాల లక్షణం? లేదు
సలహాను అనుసరించడం
$ eval $(dircolors -b | sed s/ca=[^:]*:/ca=:/)
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
98.95 0.423443 42 10000 lstat
0.78 0.003353 42 80 getdents
0.04 0.000188 10 18 mprotect
0.04 0.000181 6 30 mmap
0.02 0.000085 9 10 read
0.02 0.000084 28 3 mremap
0.02 0.000077 7 11 open
0.02 0.000066 5 14 close
[...]
------ ----------- ----------- --------- --------- ----------------
100.00 0.427920 10221 6 total
real 0m8.160s
user 0m0.115s
sys 0m0.961s
వావ్, 8 సెకన్ల వరకు త్వరణం! మేము ఆ ఖరీదైన కాల్లన్నింటినీ వదిలించుకున్నాము getxattr()
, మరియు సవాళ్లు capget()
చాలా గొప్పది.
కానీ ఇప్పటికీ ఈ బాధించే కాల్స్ ఉన్నాయి lstat()
, అయినప్పటికీ…
మీకు ఎన్ని పువ్వులు కావాలి?
అందువల్ల, మేము నిశితంగా పరిశీలించాము LS_COLORS
.
మొదట మేము ఈ వేరియబుల్ని డిసేబుల్ చేసాము:
$ echo $LS_COLORS rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;36: $ unset LS_COLORS $ echo $LS_COLORS $ time ls --color=always $SCRATCH/dont | wc -l 10000 real 0m13.037s user 0m0.077s sys 0m1.092s
ఏమిటి!?! ఇంకా 13 సెకన్లు?
పర్యావరణం వేరియబుల్ అయినప్పుడు ఇది మారుతుంది LS_COLORS
దాని మూలకాలలో ఒకటి మాత్రమే నిర్వచించబడలేదు లేదా లేదు <type>=color:
, ఇది డిఫాల్ట్గా అంతర్నిర్మిత డేటాబేస్ని ఉపయోగిస్తుంది మరియు ఇప్పటికీ రంగులను ఉపయోగిస్తుంది. కాబట్టి మీరు నిర్దిష్ట ఫైల్ రకానికి రంగులీకరణను నిలిపివేయాలనుకుంటే, మీరు దాన్ని భర్తీ చేయాలి <type>=:
లేదా <type> 00
ఫైల్లో DIR_COLORS
.
చాలా ట్రయల్ మరియు ఎర్రర్ తర్వాత, మేము మా శోధనను దీనికి తగ్గించాము:
EXEC 00
SETUID 00
SETGID 00
CAPABILITY 00
అని వ్రాయబడినది
LS_COLORS='ex=00:su=00:sg=00:ca=00:'
దీని అర్థం: అట్రిబ్యూట్ ద్వారా ఫైల్లకు రంగు వేయవద్దు.
, ద్వారా కాదు
మేము వేగవంతం చేస్తాము ls
మరియు మీరు ఈ తనిఖీలలో దేనినీ చేయకపోతే, కాల్ చేయండి lstat()
అదృశ్యం, మరియు ఇప్పుడు ఇది పూర్తిగా భిన్నమైన విషయం:
$ export LS_COLORS='ex=00:su=00:sg=00:ca=00:'
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
63.02 0.002865 36 80 getdents
8.10 0.000368 12 30 mmap
5.72 0.000260 14 18 mprotect
3.72 0.000169 15 11 open
2.79 0.000127 13 10 read
[...]
------ ----------- ----------- --------- --------- ----------------
100.00 0.004546 221 6 total
real 0m0.337s
user 0m0.032s
sys 0m0.029s
0,3 ఫైల్ల జాబితాలో 10 సెకన్లు, రికార్డు.
షెర్లాక్ని ఏర్పాటు చేస్తోంది
డిఫాల్ట్ సెట్టింగ్లతో 13 సెకన్ల నుండి చిన్న సర్దుబాట్లతో 0,3 సెకన్ల వరకు LS_COLORS
లేకపోవడం వల్ల 40 రెట్లు త్వరణం అని అర్థం setuid
/ setgid
మరియు రంగుల ఎక్జిక్యూటబుల్ ఫైల్స్. అంత పెద్ద నష్టం కాదు.
వాస్తవానికి, ఇది ఇప్పుడు ప్రతి వినియోగదారు కోసం షెర్లాక్లో కాన్ఫిగర్ చేయబడింది.
కానీ మీరు రంగును తిరిగి ఇవ్వాలనుకుంటే, మీరు డిఫాల్ట్ సెట్టింగ్లకు తిరిగి వెళ్లవచ్చు:
$ unset LS_COLORS
అయితే చాలా ఫైల్లు ఉన్న డైరెక్టరీలలో, అది రన్ అవుతున్నప్పుడు కాఫీని తయారుచేయండి ls
.
మూలం: www.habr.com