લાખો નાની ફાઇલોને અસરકારક રીતે સંગ્રહિત કરો. સ્વ-યોજિત ઉકેલ

પ્રિય સમુદાય, આ લેખ લાખો નાની ફાઇલોને અસરકારક રીતે સંગ્રહિત કરવા અને પુનઃપ્રાપ્ત કરવા પર ધ્યાન કેન્દ્રિત કરશે. આ તબક્કે, POSIX-સુસંગત ફાઇલ સિસ્ટમો માટે અંતિમ ઉકેલની દરખાસ્ત કરવામાં આવે છે જેમાં તાળાઓ માટે સંપૂર્ણ સમર્થન હોય છે, જેમાં ક્લસ્ટર લૉક્સનો સમાવેશ થાય છે, અને દેખીતી રીતે ક્રચ વગર પણ.

તેથી મેં આ હેતુ માટે મારું પોતાનું કસ્ટમ સર્વર લખ્યું.
આ કાર્યના અમલીકરણ દરમિયાન, અમે મુખ્ય સમસ્યાને હલ કરવામાં વ્યવસ્થાપિત છીએ, અને તે જ સમયે ડિસ્ક સ્પેસ અને રેમમાં બચત હાંસલ કરી છે, જે અમારી ક્લસ્ટર ફાઇલ સિસ્ટમ નિર્દયતાથી ઉપયોગ કરી રહી છે. ખરેખર, આવી સંખ્યાબંધ ફાઇલો કોઈપણ ક્લસ્ટર ફાઇલ સિસ્ટમ માટે હાનિકારક છે.

વિચાર આ છે:

સરળ શબ્દોમાં કહીએ તો, નાની ફાઇલો સર્વર દ્વારા અપલોડ કરવામાં આવે છે, તે સીધી આર્કાઇવમાં સાચવવામાં આવે છે, અને તેમાંથી વાંચવામાં પણ આવે છે, અને મોટી ફાઇલો બાજુમાં મૂકવામાં આવે છે. સ્કીમ: 1 ફોલ્ડર = 1 આર્કાઇવ, કુલ મળીને અમારી પાસે નાની ફાઇલો સાથેના ઘણા મિલિયન આર્કાઇવ્સ છે, અને કેટલાક સો મિલિયન ફાઇલો નથી. અને આ બધુ કોઈપણ સ્ક્રિપ્ટ વગર કે ફાઈલોને ટાર/ઝિપ આર્કાઈવ્સમાં મૂક્યા વિના સંપૂર્ણ રીતે અમલમાં મુકવામાં આવ્યું છે.

હું તેને ટૂંકી રાખવાનો પ્રયત્ન કરીશ, જો પોસ્ટ લાંબી હોય તો હું અગાઉથી માફી માંગુ છું.

આ બધું એ હકીકતથી શરૂ થયું કે મને વિશ્વમાં યોગ્ય સર્વર મળી શક્યું નથી કે જે પરંપરાગત આર્કાઇવ્સ અને ઑબ્જેક્ટ સ્ટોરેજમાં સહજ ગેરફાયદા વિના, HTTP પ્રોટોકોલ દ્વારા પ્રાપ્ત ડેટાને સીધા આર્કાઇવ્સમાં સાચવી શકે. અને શોધનું કારણ 10 સર્વર્સનું ઓરિજિન ક્લસ્ટર હતું જે મોટા પાયે વિકસ્યું હતું, જેમાં 250,000,000 નાની ફાઇલો પહેલેથી જ એકઠી થઈ ગઈ હતી, અને વૃદ્ધિનો ટ્રેન્ડ અટકવાનો નહોતો.

જેઓ લેખો વાંચવાનું પસંદ કરતા નથી, તેમના માટે થોડું દસ્તાવેજીકરણ સરળ છે:

અહીં и અહીં.

અને તે જ સમયે ડોકર, હવે ફક્ત કિસ્સામાં જ અંદર nginx સાથે વિકલ્પ છે:

docker run -d --restart=always -e host=localhost -e root=/var/storage 
-v /var/storage:/var/storage --name wzd -p 80:80 eltaline/wzd

આગલું:

જો ત્યાં ઘણી બધી ફાઇલો છે, તો નોંધપાત્ર સંસાધનોની જરૂર છે, અને સૌથી ખરાબ ભાગ એ છે કે તેમાંથી કેટલીક વેડફાઈ ગઈ છે. ઉદાહરણ તરીકે, ક્લસ્ટર્ડ ફાઇલ સિસ્ટમ (આ કિસ્સામાં, MooseFS) નો ઉપયોગ કરતી વખતે, ફાઇલ, તેના વાસ્તવિક કદને ધ્યાનમાં લીધા વિના, હંમેશા ઓછામાં ઓછો 64 KB લે છે. એટલે કે, 3, 10 અથવા 30 KB કદની ફાઇલો માટે, ડિસ્ક પર 64 KB જરૂરી છે. જો ત્યાં એક અબજ ફાઇલોનો એક ક્વાર્ટર હોય, તો અમે 2 થી 10 ટેરાબાઇટ ગુમાવીએ છીએ. નવી ફાઈલો અનિશ્ચિત રૂપે બનાવવી શક્ય બનશે નહીં, કારણ કે MooseFS ની મર્યાદા છે: દરેક ફાઈલની એક પ્રતિકૃતિ સાથે 1 બિલિયનથી વધુ નહીં.

જેમ જેમ ફાઇલોની સંખ્યા વધે છે તેમ મેટાડેટા માટે ઘણી બધી RAM ની જરૂર પડે છે. વારંવાર મોટા મેટાડેટા ડમ્પ પણ SSD ડ્રાઇવના ઘસારામાં ફાળો આપે છે.

wZD સર્વર. અમે વસ્તુઓને ડિસ્ક પર ક્રમમાં મૂકીએ છીએ.

સર્વર Go માં લખેલું છે. સૌ પ્રથમ, મારે ફાઇલોની સંખ્યા ઘટાડવાની જરૂર છે. તે કેવી રીતે કરવું? આર્કાઇવિંગને કારણે, પરંતુ આ કિસ્સામાં કમ્પ્રેશન વિના, કારણ કે મારી ફાઇલો માત્ર સંકુચિત ચિત્રો છે. બોલ્ટડીબી બચાવમાં આવ્યું, જે હજી પણ તેની ખામીઓમાંથી દૂર કરવાની હતી, આ દસ્તાવેજીકરણમાં પ્રતિબિંબિત થાય છે.

કુલ મળીને, એક અબજ ફાઇલોના એક ક્વાર્ટરને બદલે, મારા કિસ્સામાં માત્ર 10 મિલિયન બોલ્ટ આર્કાઇવ્સ બાકી હતા. જો મારી પાસે વર્તમાન ડિરેક્ટરી ફાઇલ માળખું બદલવાની તક હોય, તો તેને લગભગ 1 મિલિયન ફાઇલો સુધી ઘટાડવાનું શક્ય બનશે.

બધી નાની ફાઇલો બોલ્ટ આર્કાઇવ્સમાં પેક કરવામાં આવે છે, જે આપમેળે તે ડિરેક્ટરીઓના નામ પ્રાપ્ત કરે છે જેમાં તેઓ સ્થિત છે, અને બધી મોટી ફાઇલો આર્કાઇવ્સની બાજુમાં રહે છે, આ કસ્ટમાઇઝ કરવા યોગ્ય છે; નાનાને આર્કાઇવ કરવામાં આવે છે, મોટાને યથાવત રાખવામાં આવે છે. સર્વર બંને સાથે પારદર્શક રીતે કામ કરે છે.

આર્કિટેક્ચર અને wZD સર્વરની સુવિધાઓ.

સર્વર ઓપરેટિંગ સિસ્ટમ્સના નિયંત્રણ હેઠળ કાર્ય કરે છે Linux, BSD, Solaris, અને OSX. મેં ફક્ત AMD64 આર્કિટેક્ચર માટે પરીક્ષણ કર્યું છે Linux, પરંતુ તે ARM64, PPC64, MIPS64 માટે પણ કામ કરશે.

મુખ્ય લક્ષણો:

• મલ્ટિથ્રેડીંગ;
• મલ્ટિસર્વર, ફોલ્ટ સહિષ્ણુતા અને લોડ બેલેન્સિંગ પ્રદાન કરે છે;
• વપરાશકર્તા અથવા વિકાસકર્તા માટે મહત્તમ પારદર્શિતા;
• સપોર્ટેડ HTTP પદ્ધતિઓ: GET, HEAD, PUT અને DELETE;
• ક્લાયંટ હેડરો દ્વારા વાંચન અને લેખન વર્તનનું નિયંત્રણ;
• લવચીક વર્ચ્યુઅલ યજમાનો માટે આધાર;
• લખવા/વાંચતી વખતે CRC ડેટાની અખંડિતતાને સપોર્ટ કરો;
• ન્યૂનતમ મેમરી વપરાશ અને શ્રેષ્ઠ નેટવર્ક પ્રદર્શન ટ્યુનિંગ માટે અર્ધ-ડાયનેમિક બફર્સ;
• વિલંબિત ડેટા કોમ્પેક્શન;
• વધુમાં, સેવાને બંધ કર્યા વિના ફાઇલોને સ્થાનાંતરિત કરવા માટે મલ્ટિ-થ્રેડેડ આર્કીવર wZA ઓફર કરવામાં આવે છે.

વાસ્તવિક અનુભવ:

હું ઘણા લાંબા સમયથી લાઇવ ડેટા પર સર્વર અને આર્કાઇવરનો વિકાસ અને પરીક્ષણ કરી રહ્યો છું, હવે તે એક ક્લસ્ટર પર સફળતાપૂર્વક કાર્ય કરી રહ્યું છે જેમાં અલગ SATA ડ્રાઇવ પર 250,000,000 ડિરેક્ટરીઓમાં સ્થિત 15,000,000 નાની ફાઇલો (ચિત્રો) શામેલ છે. 10 સર્વર્સનું ક્લસ્ટર એ CDN નેટવર્ક પાછળ સ્થાપિત ઓરિજિન સર્વર છે. તેને સેવા આપવા માટે, 2 Nginx સર્વર્સ + 2 wZD સર્વર્સનો ઉપયોગ થાય છે.

જેઓ આ સર્વરનો ઉપયોગ કરવાનું નક્કી કરે છે, તેમના માટે, જો લાગુ પડતું હોય, તો ઉપયોગ કરતા પહેલા, ડિરેક્ટરી માળખું તૈયાર કરવું તે મુજબની રહેશે. મને તરત જ એક આરક્ષણ કરવા દો કે સર્વર 1 બોલ્ટ આર્કાઇવમાં બધું જ ક્રેમ કરવાનો નથી.

પ્રદર્શન પરીક્ષણ:

ઝિપ કરેલી ફાઇલનું કદ જેટલું નાનું છે, તેના પર ઝડપી GET અને PUT ઑપરેશન થાય છે. ચાલો HTTP ક્લાયંટના લેખન માટેના કુલ સમયની નિયમિત ફાઇલો અને બોલ્ટ આર્કાઇવ્સ તેમજ વાંચન સાથે સરખામણી કરીએ. 32 KB, 256 KB, 1024 KB, 4096 KB અને 32768 KB સાઇઝની ફાઇલો સાથે કામની સરખામણી કરવામાં આવે છે.

બોલ્ટ આર્કાઇવ્સ સાથે કામ કરતી વખતે, દરેક ફાઇલની ડેટા અખંડિતતા તપાસવામાં આવે છે (સીઆરસીનો ઉપયોગ થાય છે), રેકોર્ડિંગ પહેલાં અને રેકોર્ડિંગ પછી પણ, ફ્લાય વાંચન અને પુન: ગણતરી થાય છે, આ કુદરતી રીતે વિલંબનો પરિચય આપે છે, પરંતુ મુખ્ય વસ્તુ ડેટા સુરક્ષા છે.

મેં SSD ડ્રાઇવ્સ પર પ્રદર્શન પરીક્ષણો હાથ ધર્યા, કારણ કે SATA ડ્રાઇવ્સ પરના પરીક્ષણો સ્પષ્ટ તફાવત બતાવતા નથી.

પરીક્ષણ પરિણામો પર આધારિત આલેખ:

જેમ તમે જોઈ શકો છો, નાની ફાઇલો માટે આર્કાઇવ કરેલી અને બિન-આર્કાઇવ કરેલી ફાઇલો વચ્ચે વાંચવા અને લખવાના સમયમાં તફાવત ઓછો છે.

32 MB કદની ફાઇલો વાંચવા અને લખવાનું પરીક્ષણ કરતી વખતે અમને સંપૂર્ણપણે અલગ ચિત્ર મળે છે:

ફાઇલો વાંચવા વચ્ચેનો સમય તફાવત 5-25 ms ની અંદર છે. રેકોર્ડિંગ સાથે, વસ્તુઓ વધુ ખરાબ છે, તફાવત લગભગ 150 એમએસ છે. પરંતુ આ કિસ્સામાં મોટી ફાઇલો અપલોડ કરવાની જરૂર નથી; તેઓ આર્કાઇવથી અલગ રહી શકે છે.

*તકનીકી રીતે, તમે આ સર્વરનો ઉપયોગ NoSQL જરૂરી કાર્યો માટે કરી શકો છો.

wZD સર્વર સાથે કામ કરવાની મૂળભૂત પદ્ધતિઓ:

નિયમિત ફાઇલ લોડ કરી રહ્યું છે:

curl -X PUT --data-binary @test.jpg http://localhost/test/test.jpg

બોલ્ટ આર્કાઇવ પર ફાઇલ અપલોડ કરવી (જો સર્વર પેરામીટર fmaxsize, જે આર્કાઇવમાં સમાવી શકાય તે મહત્તમ ફાઇલ કદ નક્કી કરે છે, તે ઓળંગી નથી; જો તે ઓળંગી જાય, તો ફાઇલ સામાન્ય રીતે આર્કાઇવની બાજુમાં અપલોડ કરવામાં આવશે):

curl -X PUT -H "Archive: 1" --data-binary @test.jpg http://localhost/test/test.jpg

ફાઇલ ડાઉનલોડ કરી રહી છે (જો ડિસ્ક પર અને આર્કાઇવમાં સમાન નામવાળી ફાઇલો હોય, તો ડાઉનલોડ કરતી વખતે, અનઆર્કાઇવ કરેલી ફાઇલને મૂળભૂત રીતે પ્રાથમિકતા આપવામાં આવે છે):

curl -o test.jpg http://localhost/test/test.jpg

બોલ્ટ આર્કાઇવમાંથી ફાઇલ ડાઉનલોડ કરવી (બળજબરીથી):

curl -o test.jpg -H "FromArchive: 1" http://localhost/test/test.jpg

અન્ય પદ્ધતિઓનું વર્ણન દસ્તાવેજીકરણમાં છે.

wZD દસ્તાવેજીકરણ
wZA દસ્તાવેજીકરણ

સર્વર હાલમાં ફક્ત HTTP પ્રોટોકોલને સમર્થન આપે છે; તે હજુ સુધી HTTPS સાથે કામ કરતું નથી. POST પદ્ધતિ પણ સમર્થિત નથી (તેની જરૂર છે કે નહીં તે હજી નક્કી કરવામાં આવ્યું નથી).

જે કોઈ સ્રોત કોડમાં ખોદશે તેને ત્યાં બટરસ્કોચ મળશે, દરેકને તે ગમતું નથી, પરંતુ મેં ઇન્ટરપ્ટ હેન્ડલર સિવાય, વેબ ફ્રેમવર્કના કાર્યો સાથે મુખ્ય કોડ બાંધ્યો નથી, તેથી ભવિષ્યમાં હું તેને લગભગ કોઈપણ માટે ઝડપથી ફરીથી લખી શકું છું. એન્જિન

શું કરવું:

• ક્લસ્ટર ફાઇલ સિસ્ટમ્સ વિના મોટી સિસ્ટમમાં ઉપયોગની શક્યતા માટે તમારા પોતાના પ્રતિકૃતિ અને વિતરક + જીઓનો વિકાસ (પુખ્ત વયના લોકો માટે બધું)
• જો મેટાડેટા સંપૂર્ણપણે ખોવાઈ જાય તો તેની સંપૂર્ણ વિપરીત પુનઃપ્રાપ્તિની શક્યતા (જો કોઈ વિતરકનો ઉપયોગ કરી રહ્યાં હોય)
• વિવિધ પ્રોગ્રામિંગ ભાષાઓ માટે સતત નેટવર્ક કનેક્શન્સ અને ડ્રાઇવરોનો ઉપયોગ કરવાની ક્ષમતા માટે મૂળ પ્રોટોકોલ
• NoSQL ઘટકનો ઉપયોગ કરવા માટે અદ્યતન શક્યતાઓ
• બોલ્ટ આર્કાઇવ્સની અંદરની ફાઇલો અથવા મૂલ્યો અને નિયમિત ફાઇલો માટે વિવિધ પ્રકારના કમ્પ્રેશન્સ (gzip, zstd, snappy)
• બોલ્ટ આર્કાઇવ્સની અંદર અને નિયમિત ફાઇલો માટે ફાઇલો અથવા મૂલ્યો માટે વિવિધ પ્રકારોનું એન્ક્રિપ્શન
• વિલંબિત સર્વર-સાઇડ વિડિઓ રૂપાંતરણ, GPU પર સહિત

મારી પાસે બધું છે, હું આશા રાખું છું કે આ સર્વર કોઈને ઉપયોગી થશે, BSD-3 લાઇસન્સ, ડબલ કૉપિરાઇટ, કારણ કે જો હું જ્યાં કામ કરું ત્યાં કોઈ કંપની ન હોત, તો સર્વર લખવામાં આવ્યું ન હોત. હું એકમાત્ર વિકાસકર્તા છું. તમને મળેલ કોઈપણ બગ્સ અને ફીચર વિનંતીઓ માટે હું આભારી રહીશ.

સોર્સ: www.habr.com