વગેરે માટે સ્ટોરેજ સ્પીડ યોગ્ય છે? ચાલો fio ને પૂછીએ

fio અને etcd વિશે ટૂંકી વાર્તા

ક્લસ્ટર કામગીરી વગેરે મોટાભાગે તેના સંગ્રહની કામગીરી પર આધાર રાખે છે. etcd કેટલાક મેટ્રિક્સની નિકાસ કરે છે પ્રોમિથિયસઇચ્છિત સંગ્રહ પ્રદર્શન માહિતી પ્રદાન કરવા માટે. ઉદાહરણ તરીકે, wal_fsync_duration_seconds મેટ્રિક. વગેરે માટેના દસ્તાવેજો કહે છે: સ્ટોરેજ પર્યાપ્ત ઝડપી ગણવા માટે, આ મેટ્રિકની 99મી પર્સેન્ટાઇલ 10ms કરતાં ઓછી હોવી જોઈએ. જો તમે Linux મશીનો પર એક etcd ક્લસ્ટર ચલાવવાનું આયોજન કરી રહ્યાં છો અને મૂલ્યાંકન કરવા માગો છો કે તમારો સ્ટોરેજ પૂરતો ઝડપી છે (દા.ત. SSD), તો તમે તેનો ઉપયોગ કરી શકો છો. ફિયો I/O કામગીરીનું પરીક્ષણ કરવા માટેનું લોકપ્રિય સાધન છે. નીચેનો આદેશ ચલાવો, જ્યાં ટેસ્ટ-ડેટા સ્ટોરેજ માઉન્ટ પોઈન્ટ હેઠળની ડિરેક્ટરી છે:

fio --rw=write --ioengine=sync --fdatasync=1 --directory=test-data --size=22m --bs=2300 --name=mytest

તમારે ફક્ત પરિણામો જોવાની જરૂર છે અને તપાસો કે સમયગાળાની 99મી ટકાવારી છે fdatasync 10 ms કરતા ઓછા જો એમ હોય, તો તમારી પાસે વ્યાજબી રીતે ઝડપી સ્ટોરેજ છે. અહીં પરિણામોનું ઉદાહરણ છે:

  sync (usec): min=534, max=15766, avg=1273.08, stdev=1084.70
  sync percentiles (usec):
   | 1.00th=[ 553], 5.00th=[ 578], 10.00th=[ 594], 20.00th=[ 627],
   | 30.00th=[ 709], 40.00th=[ 750], 50.00th=[ 783], 60.00th=[ 1549],
   | 70.00th=[ 1729], 80.00th=[ 1991], 90.00th=[ 2180], 95.00th=[ 2278],
   | 99.00th=[ 2376], 99.50th=[ 9634], 99.90th=[15795], 99.95th=[15795],
   | 99.99th=[15795]

નોંધો

• અમે અમારા ચોક્કસ દૃશ્ય માટે --size અને --bs વિકલ્પોને કસ્ટમાઇઝ કર્યા છે. fio માંથી ઉપયોગી પરિણામ મેળવવા માટે, તમારા પોતાના મૂલ્યો આપો. તેમને ક્યાંથી મેળવવું? વાંચવું અમે fio ને કેવી રીતે ગોઠવવાનું શીખ્યા.
• પરીક્ષણ દરમિયાન, તમામ I/O લોડ fio માંથી આવે છે. વાસ્તવિક જીવનના દૃશ્યમાં, સંભવતઃ સ્ટોરેજમાં wal_fsync_duration_seconds સાથે સંબંધિત અન્ય લેખન વિનંતીઓ આવી શકે છે. વધારાનો ભાર wal_fsync_duration_seconds ની કિંમત વધારશે. તેથી જો 99મી પર્સેન્ટાઈલ 10ms ની નજીક છે, તો તમારું સ્ટોરેજ સ્પીડ સમાપ્ત થઈ રહ્યું છે.
• સંસ્કરણ લો ફિયો 3.5 કરતા ઓછું નથી (અગાઉના લોકો fdatasync સમયગાળો પર્સન્ટાઇલ્સ બતાવતા નથી).
• ઉપર માત્ર fio ના પરિણામોની સ્નિપેટ છે.

fio અને etcd વિશે લાંબી વાર્તા

વગેરેમાં WAL શું છે

સામાન્ય રીતે ડેટાબેઝનો ઉપયોગ થાય છે આગળ લખો લોગ; etcd પણ તેનો ઉપયોગ કરે છે. અમે અહીં રાઈટ-હેડ લોગ (WAL)ની વિગતવાર ચર્ચા કરીશું નહીં. અમારા માટે તે જાણવું પૂરતું છે કે etcd ક્લસ્ટરના દરેક સભ્ય તેને સતત સ્ટોરેજમાં જાળવી રાખે છે. etcd સ્ટોર પર લાગુ કરતા પહેલા દરેક કી-વેલ્યુ ઓપરેશન (જેમ કે અપડેટ) WAL પર લખે છે. જો સ્ટોરેજ સભ્યોમાંથી એક ક્રેશ થાય છે અને સ્નેપશોટ વચ્ચે પુનઃપ્રારંભ થાય છે, તો તે WAL સામગ્રી દ્વારા છેલ્લા સ્નેપશોટથી સ્થાનિક રીતે વ્યવહારો પુનઃસ્થાપિત કરી શકે છે.

જ્યારે ક્લાયંટ કી-વેલ્યુ સ્ટોરમાં કી ઉમેરે છે અથવા હાલની કીની કિંમત અપડેટ કરે છે, ત્યારે etcd ઓપરેશનને WAL માં રેકોર્ડ કરે છે, જે પર્સિસ્ટન્ટ સ્ટોરેજમાં નિયમિત ફાઇલ છે. વગેરે પ્રક્રિયા ચાલુ રાખતા પહેલા સંપૂર્ણપણે ખાતરી હોવી જોઈએ કે WAL એન્ટ્રી ખરેખર આવી છે. Linux પર, આ માટે એક સિસ્ટમ કૉલ પૂરતો નથી. લખી, કારણ કે ભૌતિક સંગ્રહ પર વાસ્તવિક લખવામાં વિલંબ થઈ શકે છે. ઉદાહરણ તરીકે, Linux અમુક સમય માટે કર્નલ મેમરી (જેમ કે પેજ કેશ) માં કેશમાં WAL એન્ટ્રી સ્ટોર કરી શકે છે. અને ડેટાને સતત સ્ટોરેજ પર ચોક્કસ રીતે લખવા માટે, લખ્યા પછી fdatasync સિસ્ટમ કૉલની જરૂર છે, અને etcd ફક્ત તેનો ઉપયોગ કરે છે (જેમ તમે કાર્યના પરિણામમાં જોઈ શકો છો. સ્ટ્રેસ, જ્યાં 8 WAL ફાઇલ વર્ણનકર્તા છે):

21:23:09.894875 lseek(8, 0, SEEK_CUR)   = 12808 <0.000012>
21:23:09.894911 write(8, ". 20210220361223255266632$10 20103026"34"rn3fo"..., 2296) = 2296 <0.000130>
21:23:09.895041 fdatasync(8)            = 0 <0.008314>

કમનસીબે, સતત સ્ટોરેજ પર લખવાનું તરત થતું નથી. જો fdatasync કૉલ ધીમું હોય, તો etcd સિસ્ટમની કામગીરીને નુકસાન થશે. વગેરે માટેના દસ્તાવેજો કહે છેજો 99મી પર્સેન્ટાઈલમાં, fdatasync કોલ WAL ફાઇલ પર લખવા માટે 10ms કરતા ઓછો સમય લે તો સ્ટોરેજને પર્યાપ્ત ઝડપી ગણવામાં આવે છે. સ્ટોરેજ માટે અન્ય ઉપયોગી મેટ્રિક્સ છે, પરંતુ આ પોસ્ટમાં અમે ફક્ત આ મેટ્રિક વિશે વાત કરી રહ્યા છીએ.

fio સાથે સ્ટોરેજનો અંદાજ લગાવી રહ્યાં છીએ

જો તમારે મૂલ્યાંકન કરવાની જરૂર હોય કે તમારું સ્ટોરેજ etcd માટે યોગ્ય છે કે કેમ, fio નો ઉપયોગ કરો, એક ખૂબ જ લોકપ્રિય I/O લોડ પરીક્ષણ સાધન. તે યાદ રાખવું જોઈએ કે ડિસ્ક ઓપરેશન્સ ખૂબ જ અલગ હોઈ શકે છે: સિંક્રનસ અને અસુમેળ, સિસ્ટમ કૉલ્સના ઘણા વર્ગો, વગેરે. પરિણામે, fio નો ઉપયોગ કરવો તદ્દન મુશ્કેલ છે. તેમાં ઘણા પરિમાણો છે, અને તેમના મૂલ્યોના વિવિધ સંયોજનો ખૂબ જ અલગ I/O વર્કલોડ ઉત્પન્ન કરે છે. etcd માટે પર્યાપ્ત આંકડા મેળવવા માટે, તમારે ખાતરી કરવી જોઈએ કે WAL ફાઈલો લખતી વખતે fio માંથી ટેસ્ટ રાઈટ લોડ etcd ના વાસ્તવિક લોડની શક્ય તેટલી નજીક છે.

તેથી, fio એ, ઓછામાં ઓછું, ફાઇલ પર સળંગ લખાણોની શ્રેણીના સ્વરૂપમાં લોડ બનાવવો જોઈએ, દરેક લખાણમાં સિસ્ટમ કૉલનો સમાવેશ થશે. લખીfdatasync સિસ્ટમ કૉલ દ્વારા અનુસરવામાં આવે છે. fio ને અનુક્રમિક લખવા માટે --rw=write વિકલ્પની જરૂર છે. fio માટે લખતી વખતે રાઇટ સિસ્ટમ કૉલનો ઉપયોગ કરવા માટે, તેના બદલે લખો, તમારે --ioengine=sync પરિમાણ સ્પષ્ટ કરવું જોઈએ. છેલ્લે, દરેક લખાણ પછી fdatasync ને કૉલ કરવા માટે, તમારે --fdatasync=1 પરિમાણ ઉમેરવાની જરૂર છે. આ ઉદાહરણમાં અન્ય બે વિકલ્પો (--size અને -bs) સ્ક્રિપ્ટ-વિશિષ્ટ છે. આગલા વિભાગમાં, અમે તમને તેમને કેવી રીતે સેટ કરવું તે બતાવીશું.

શા માટે fio અને અમે તેને કેવી રીતે સેટ કરવાનું શીખ્યા

આ પોસ્ટમાં, અમે એક વાસ્તવિક કેસનું વર્ણન કરીએ છીએ. અમારી પાસે ક્લસ્ટર છે ક્યુબર્નેટિસ v1.13 જેનું અમે પ્રોમિથિયસ સાથે નિરીક્ષણ કર્યું. etcd v3.2.24 એ SSD પર હોસ્ટ કરવામાં આવ્યું હતું. Etcd મેટ્રિક્સે fdatasync લેટન્સી ખૂબ ઊંચી દર્શાવી છે, જ્યારે ક્લસ્ટર કંઈ કરી રહ્યું ન હતું. મેટ્રિક્સ વિચિત્ર હતા અને અમને ખરેખર ખબર ન હતી કે તેનો અર્થ શું છે. ક્લસ્ટરમાં વર્ચ્યુઅલ મશીનોનો સમાવેશ થાય છે, તે સમજવું જરૂરી હતું કે સમસ્યા શું છે: ભૌતિક SSDs અથવા વર્ચ્યુઅલાઈઝેશન સ્તરમાં. વધુમાં, અમે હાર્ડવેર અને સૉફ્ટવેર ગોઠવણીમાં વારંવાર ફેરફારો કર્યા છે, અને અમને તેમના પરિણામોનું મૂલ્યાંકન કરવાની રીતની જરૂર છે. અમે દરેક રૂપરેખાંકનમાં etcd ચલાવી શકીએ છીએ અને પ્રોમિથિયસ મેટ્રિક્સ જોઈ શકીએ છીએ, પરંતુ તે ખૂબ જ મુશ્કેલી છે. અમે ચોક્કસ રૂપરેખાંકનનું મૂલ્યાંકન કરવા માટે એકદમ સરળ રીત શોધી રહ્યા હતા. અમે વગેરે વગેરેમાંથી પ્રોમિથિયસ મેટ્રિક્સને યોગ્ય રીતે સમજીએ છીએ કે કેમ તે તપાસવા માગીએ છીએ.

પરંતુ આ માટે, બે સમસ્યાઓ હલ કરવાની હતી. પ્રથમ, WAL પર લખતી વખતે etcd જે I/O લોડ બનાવે છે તે કેવો દેખાય છે? કયા સિસ્ટમ કૉલ્સનો ઉપયોગ થાય છે? રેકોર્ડનું કદ કેટલું છે? બીજું, જો આપણે આ પ્રશ્નોના જવાબ આપીએ, તો આપણે ફિઓ સાથે સમાન વર્કલોડને કેવી રીતે પુનઃઉત્પાદિત કરીશું? ભૂલશો નહીં કે fio ઘણા વિકલ્પો સાથે ખૂબ જ લવચીક સાધન છે. અમે બંને સમસ્યાઓને એક અભિગમમાં હલ કરી - આદેશોનો ઉપયોગ કરીને lsof и સ્ટ્રેસ. lsof પ્રક્રિયા દ્વારા ઉપયોગમાં લેવાતા તમામ ફાઇલ વર્ણનકર્તાઓ અને તેમની સંકળાયેલ ફાઇલોની યાદી આપે છે. અને સ્ટ્રેસ સાથે, તમે પહેલેથી ચાલી રહેલી પ્રક્રિયાને ચકાસી શકો છો, અથવા પ્રક્રિયા શરૂ કરી શકો છો અને તેનું પરીક્ષણ કરી શકો છો. strace તપાસવામાં આવી રહેલી પ્રક્રિયા (અને તેની ચાઇલ્ડ પ્રક્રિયાઓ)માંથી તમામ સિસ્ટમ કૉલ્સને છાપે છે. બાદમાં ખૂબ જ મહત્વપૂર્ણ છે, કારણ કે etcd માત્ર એક સમાન અભિગમ અપનાવે છે.

જ્યારે ક્લસ્ટર પર કોઈ ભાર ન હતો ત્યારે અમે કુબરનેટ્સ માટે etcd સર્વરનું અન્વેષણ કરવા માટે સૌપ્રથમ સ્ટ્રેસનો ઉપયોગ કર્યો હતો. અમે જોયું કે લગભગ તમામ WAL રેકોર્ડ્સ લગભગ સમાન કદના હતા: 2200-2400 બાઇટ્સ. તેથી, પોસ્ટની શરૂઆતમાં આદેશમાં, અમે પરિમાણ -bs=2300 (bs એટલે દરેક ફિઓ એન્ટ્રી માટે બાઈટમાં માપ) નો ઉલ્લેખ કર્યો છે. નોંધ કરો કે etcd એન્ટ્રીનું કદ etcd સંસ્કરણ, વિતરણ, પરિમાણ મૂલ્યો વગેરે પર આધાર રાખે છે, અને fdatasync સમયગાળાને અસર કરે છે. જો તમારી પાસે સમાન દૃશ્ય છે, તો ચોક્કસ સંખ્યાઓ શોધવા માટે તમારી વગેરેની પ્રક્રિયાઓને સ્ટ્રેસ સાથે તપાસો.

પછી, etcd ફાઇલ સિસ્ટમ શું કરી રહી છે તેનો સારો ખ્યાલ મેળવવા માટે, અમે તેને strace અને -ffttT વિકલ્પોથી શરૂ કર્યું. તેથી અમે ચાઇલ્ડ પ્રક્રિયાઓનું પરીક્ષણ કરવાનો અને તેમાંથી દરેકના આઉટપુટને એક અલગ ફાઇલમાં રેકોર્ડ કરવાનો પ્રયાસ કર્યો, અને દરેક સિસ્ટમ કૉલની શરૂઆત અને અવધિ વિશે વિગતવાર અહેવાલો પણ મેળવ્યા. અમે strace આઉટપુટના અમારા પૃથ્થકરણની પુષ્ટિ કરવા માટે lsof નો ઉપયોગ કર્યો અને જુઓ કે કયા હેતુ માટે કઈ ફાઇલ ડિસ્ક્રીપ્ટરનો ઉપયોગ કરવામાં આવી રહ્યો છે. તેથી સ્ટ્રેસની મદદથી, ઉપર દર્શાવેલ પરિણામો મેળવવામાં આવ્યા હતા. સિંક્રનાઇઝેશન સમયના આંકડા પુષ્ટિ કરે છે કે etcd માંથી wal_fsync_duration_seconds WAL ફાઇલ વર્ણનકર્તાઓ સાથે fdatasync કૉલ્સ સાથે સુસંગત છે.

અમે fio માટેના દસ્તાવેજીકરણમાંથી પસાર થયા અને અમારી સ્ક્રિપ્ટ માટે વિકલ્પો પસંદ કર્યા જેથી fio એ etcd જેવો જ લોડ જનરેટ કરે. અમે etcd ની જેમ strace માંથી fio ચલાવીને સિસ્ટમ કોલ્સ અને તેમની અવધિ પણ તપાસી.

અમે fio ના સમગ્ર I/O લોડને રજૂ કરવા માટે --size પેરામીટરની કિંમત કાળજીપૂર્વક પસંદ કરી છે. અમારા કિસ્સામાં, આ સ્ટોરેજ પર લખેલ બાઈટ્સની કુલ સંખ્યા છે. તે લખવા (અને fdatasync) સિસ્ટમ કૉલ્સની સંખ્યાના સીધા પ્રમાણસર હોવાનું બહાર આવ્યું છે. bs ના ચોક્કસ મૂલ્ય માટે, fdatasync કૉલ્સની સંખ્યા = કદ/bs. અમને પર્સેન્ટાઈલમાં રસ હોવાથી, અમારી પાસે ખાતરી કરવા માટે પૂરતા નમૂનાઓ હોવા જરૂરી હતા, અને અમે ગણતરી કરી કે 10^4 અમારા માટે પૂરતા હશે (તે 22 મેબીબાઈટ છે). જો --size નાની હોય, તો આઉટલીયર થઈ શકે છે (ઉદાહરણ તરીકે, ઘણા fdatasync કૉલ સામાન્ય કરતાં વધુ સમય લે છે અને 99મી પર્સેન્ટાઈલને અસર કરે છે).

તે જાતે પ્રયાસ કરો

અમે તમને બતાવ્યું કે કેવી રીતે fio નો ઉપયોગ કરવો અને જુઓ કે શું સ્ટોરેજ એટલો ઝડપી છે કે તે સારી કામગીરી કરી શકે. હવે તમે તેને તમારા માટે અજમાવી શકો છો, ઉદાહરણ તરીકે, SSD સ્ટોરેજ સાથે વર્ચ્યુઅલ મશીનો આઇબીએમ ક્લાઉડ.

સોર્સ: www.habr.com