ጤና ይስጥልኝ፣ በቅርቡ አንድ አስደሳች ችግር አጋጥሞኛል፡ ብዙ ቁጥር ያላቸውን የማገጃ መሳሪያዎች ምትኬ ለማስቀመጥ ማከማቻ ማዘጋጀት።
በየሳምንቱ በደመናችን ውስጥ ያሉትን ሁሉንም ቨርቹዋል ማሽኖች ምትኬ እናደርጋለን፣ስለዚህ በሺዎች የሚቆጠሩ መጠባበቂያዎችን ማቆየት እና በተቻለ ፍጥነት እና በብቃት መስራት መቻል አለብን።
እንደ አለመታደል ሆኖ መደበኛ ውቅሮች RAID5, RAID6 በዚህ ሁኔታ እንደ እኛ ባሉ ትላልቅ ዲስኮች ላይ የማገገሚያ ሂደት በጣም የሚያሠቃይ ረጅም እና ምናልባትም መጨረሻ ላይ ስለሌለው እኛ እንድናደርግ አንፈቅድም።
ምን አማራጮች እንዳሉ እንመልከት፡-
- ከ RAID5 ፣ RAID6 ጋር ተመሳሳይ ነው ፣ ግን ሊዋቀር በሚችል ተመሳሳይነት ደረጃ። በዚህ ሁኔታ, ቦታ ማስያዝ የሚከናወነው በማገድ አይደለም, ነገር ግን ለእያንዳንዱ ነገር በተናጠል. የመደምሰስ ኮድን ለመሞከር ቀላሉ መንገድ መስፋፋት ነው። .
በአሁኑ ጊዜ ያልተለቀቀ የZFS ባህሪ ነው። እንደ RAIDZ ሳይሆን DRAID የተከፋፈለ ፓሪቲ ብሎክ ያለው ሲሆን በማገገሚያ ወቅት ሁሉንም የድርድር ዲስኮች በአንድ ጊዜ ይጠቀማል፣ ይህም ከዲስክ ውድቀት ለመዳን እና ከተሳካ በኋላ በፍጥነት እንዲያገግም ያደርገዋል።
አገልጋይ ይገኛል። Fujitsu Primergy RX300 S7 ከፕሮሰሰር ጋር ኢንቴል Xeon ሲፒዩ E5-2650L 0 @ 1.80GHzራም ዘጠኝ እንጨቶች ሳምሰንግ DDR3-1333 8Gb PC3L-10600R ECC የተመዘገበ (M393B1K70DH0-YH9), የዲስክ መደርደሪያ ሱፐርማይክሮ ሱፐርቻሲስ 847E26-RJBOD1, በ በኩል ተገናኝቷል ባለሁለት LSI SAS2X36 ማስፋፊያ እና 45 ዲስኮች ሲጋጅ ST6000NM0115-1YZ110 ላይ 6TB እያንዳንዳቸው
ማንኛውንም ነገር ከመወሰንዎ በፊት በመጀመሪያ ሁሉንም ነገር በትክክል መሞከር አለብን.
ይህንን ለማድረግ, የተለያዩ አወቃቀሮችን አዘጋጅቼ ሞከርሁ. ይህንን ለማድረግ ሚኒዮ ተጠቀምኩኝ፣ እሱም እንደ S3 ጀርባ ሆኖ የሚያገለግል እና በተለያዩ የዒላማ ቁጥሮች በተለያዩ ሁነታዎች ያስጀመርኩት።
በመሠረቱ፣ የሚኒዮ መያዣው በተመሳሳይ የዲስክ ብዛት እና ተመሳሳይ የዲስኮች ብዛት ያለው በሶፍትዌር ወረራ በerasure codeing vs software ወረራ የተፈተነ ሲሆን እነዚህም፦ RAID6፣ RAIDZ2 እና DRAID2 ናቸው።
ለማጣቀሻ፡ ሚኒዮንን ከአንድ ኢላማ ጋር ብቻ ስታስጀምር ሚኒዮ በS3 ጌትዌይ ሁነታ ይሰራል፣ የአካባቢዎን የፋይል ስርዓት በS3 ማከማቻ መልክ ያቀርባል። ብዙ ኢላማዎችን የሚገልጽ ሚኒዮ ከጀመሩ፣ የ Erasure Codeing ሁነታ በራስ-ሰር ይበራል፣ ይህም ውሂቡን በዒላማዎችዎ መካከል ያሰራጫል እና የስህተት መቻቻልን ይሰጣል።
በነባሪ፣ ሚኒዮ ኢላማዎችን ወደ 16 ዲስኮች በቡድን ይከፍላል፣ በቡድን 2 ፓሪቲዎች። እነዚያ። ሁለት ዲስኮች ውሂብ ሳያጡ በአንድ ጊዜ ሊሳኩ ይችላሉ።
አፈፃፀሙን ለመፈተሽ እያንዳንዳቸው 16 ዲስኮች 6TB ተጠቀምኩ እና 1 ሜባ መጠን ያላቸው ትናንሽ ቁሶችን ጻፍኩባቸው ፣ ይህ የወደፊቱን ሸክማችንን በትክክል ይገልፃል ፣ ምክንያቱም ሁሉም ዘመናዊ የመጠባበቂያ መሳሪያዎች መረጃን በበርካታ ሜጋባይት ብሎኮች ከፋፍለው በዚህ መንገድ ይፃፉ ።
ቤንችማርክን ለማስኬድ፣ s3bench utility ተጠቀምን፣ በርቀት አገልጋይ ላይ አስጀምረናል እና በአስር ሺዎች የሚቆጠሩ እንደዚህ ያሉ ነገሮችን በመቶዎች በሚቆጠሩ ክሮች ወደ ሚኒዮ እንልካለን። ከዚያ በኋላ በተመሳሳይ መንገድ ልጠይቃቸው ሞከርኩ።
የማመሳከሪያ ውጤቶቹ በሚከተለው ሠንጠረዥ ውስጥ ይታያሉ።
እንደምናየው፣ ሚኒዮ በራሱ erasure codeing mode ውስጥ ሚኒዮ በሶፍትዌር RAID6፣ RAIDZ2 እና DRAID2 ላይ በተመሳሳይ ውቅረት ላይ ከሚሰራው ይልቅ በመፃፍ በጣም የከፋ ነው።
በተናጠል እኔ minio በ ext4 vs XFS ላይ ይሞክሩ። የሚገርመው፣ ለኔ የስራ ጫና አይነት፣ XFS ከ ext4 በጣም ቀርፋፋ ሆኖ ተገኝቷል።
በመጀመሪያው የፈተናዎች ስብስብ መድድም በZFS ላይ ብልጫ አሳይቷል፣ ነገር ግን በኋላ የሚከተሉትን አማራጮች በማዘጋጀት የ ZFS አፈጻጸምን ማሻሻል እንደሚችሉ፡-
xattr=sa atime=off recordsize=1Mእና ከዚያ በኋላ ከ ZFS ጋር የተደረጉ ሙከራዎች በጣም የተሻሉ ሆኑ.
እንዲሁም DRAID በRAIDZ ላይ ብዙ የአፈፃፀም ትርፍ እንደማይሰጥ ልብ ይበሉ ፣ ግን በንድፈ ሀሳብ የበለጠ ደህንነቱ የተጠበቀ መሆን አለበት።
በመጨረሻዎቹ ሁለት ሙከራዎች ውስጥ ዲበዳታ (ልዩ) እና ZIL (ሎግ) ከኤስኤስዲ ወደ መስታወት ለማስተላለፍ ሞክሬ ነበር። ነገር ግን ሜታዳታን ማስወገድ በመቅዳት ፍጥነት ላይ ብዙ ትርፍ አልሰጠም እና ZIL ን ሲያስወግድ የኔ ጣሪያውን በ 100% አጠቃቀም ይምቱ ፣ ስለዚህ ይህንን ሙከራ እንደ ውድቀት እቆጥረዋለሁ። ፈጣን የኤስኤስዲ አሽከርካሪዎች ካሉኝ ፣ ምናልባት ይህ ውጤቶቼን በእጅጉ ሊያሻሽል ይችላል ፣ ግን በሚያሳዝን ሁኔታ ፣ እኔ አልነበረኝም ።
በመጨረሻ, DRAID ን ለመጠቀም ወሰንኩ እና ምንም እንኳን የቅድመ-ይሁንታ ሁኔታ ቢኖረውም, በእኛ ሁኔታ ውስጥ በጣም ፈጣኑ እና በጣም ቀልጣፋ የማከማቻ መፍትሄ ነው.
ቀላል DRAID2 በሶስት ቡድን እና በሁለት የተከፋፈሉ መለዋወጫዎች ውቅር ውስጥ ፈጠርኩ፡
# zpool status data
pool: data
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
draid2:3g:2s-0 ONLINE 0 0 0
sdy ONLINE 0 0 0
sdam ONLINE 0 0 0
sdf ONLINE 0 0 0
sdau ONLINE 0 0 0
sdab ONLINE 0 0 0
sdo ONLINE 0 0 0
sdw ONLINE 0 0 0
sdak ONLINE 0 0 0
sdd ONLINE 0 0 0
sdas ONLINE 0 0 0
sdm ONLINE 0 0 0
sdu ONLINE 0 0 0
sdai ONLINE 0 0 0
sdaq ONLINE 0 0 0
sdk ONLINE 0 0 0
sds ONLINE 0 0 0
sdag ONLINE 0 0 0
sdi ONLINE 0 0 0
sdq ONLINE 0 0 0
sdae ONLINE 0 0 0
sdz ONLINE 0 0 0
sdan ONLINE 0 0 0
sdg ONLINE 0 0 0
sdac ONLINE 0 0 0
sdx ONLINE 0 0 0
sdal ONLINE 0 0 0
sde ONLINE 0 0 0
sdat ONLINE 0 0 0
sdaa ONLINE 0 0 0
sdn ONLINE 0 0 0
sdv ONLINE 0 0 0
sdaj ONLINE 0 0 0
sdc ONLINE 0 0 0
sdar ONLINE 0 0 0
sdl ONLINE 0 0 0
sdt ONLINE 0 0 0
sdah ONLINE 0 0 0
sdap ONLINE 0 0 0
sdj ONLINE 0 0 0
sdr ONLINE 0 0 0
sdaf ONLINE 0 0 0
sdao ONLINE 0 0 0
sdh ONLINE 0 0 0
sdp ONLINE 0 0 0
sdad ONLINE 0 0 0
spares
s0-draid2:3g:2s-0 AVAIL
s1-draid2:3g:2s-0 AVAIL
errors: No known data errorsእሺ፣ ማከማቻውን አስተካክለነዋል፣ አሁን ምትኬ ስለምናስቀመጥለት ነገር እንነጋገር። እዚህ ለመሞከር ስለ ቻልኩባቸው ሶስት መፍትሄዎች ወዲያውኑ ማውራት እፈልጋለሁ ፣ እና እነዚህም-
- ሹካ , የማገጃ መሣሪያ መጠባበቂያ የሚሆን ልዩ መፍትሔ, Ceph ጋር ጥብቅ ውህደት አለው. በቅጽበተ-ፎቶዎች መካከል ልዩነቶችን ማንሳት እና ከእነሱ ተጨማሪ ምትኬ መፍጠር ይችላል። ሁለቱንም አካባቢያዊ እና S3 ን ጨምሮ ብዙ የማከማቻ ጀርባዎችን ይደግፋል። የማባዛት ሃሽ ሠንጠረዥን ለማከማቸት የተለየ የውሂብ ጎታ ያስፈልገዋል። ጉዳቶች፡ በፓይቶን የተፃፈ፣ ትንሽ ምላሽ የማይሰጥ ክሊ አለው።
- ሹካ , ለረጅም ጊዜ የሚታወቅ እና የተረጋገጠ የመጠባበቂያ መሳሪያ, ውሂብን መቆጠብ እና በደንብ ማባዛት ይችላል. ምትኬዎችን በአገር ውስጥ እና በሩቅ አገልጋይ በ scp በኩል ማስቀመጥ ይችላል። በባንዲራ ከተጀመረ መሳሪያዎችን መጠባበቂያ ማገድ ይችላል። --special, ከመቀነሱ ውስጥ አንዱ: ምትኬን ሲፈጥሩ, ማከማቻው ሙሉ በሙሉ ታግዷል, ስለዚህ ለእያንዳንዱ ቨርቹዋል ማሽን የተለየ ማከማቻ ለመፍጠር ይመከራል, በመርህ ደረጃ ይህ ችግር አይደለም, እንደ እድል ሆኖ እነሱ በጣም ቀላል ናቸው.
በንቃት በማደግ ላይ ያለ ፕሮጀክት ነው፣ በጉዞ የተፃፈ፣ በጣም ፈጣን እና ብዙ ቁጥር ያላቸውን የማከማቻ ደጋፊዎችን ይደግፋል፣ የአካባቢ ማከማቻ፣ scp፣ S3 እና ሌሎችንም ጨምሮ። ለየብቻ፣ በልዩ ሁኔታ የተፈጠረ እንዳለ ማስተዋል እፈልጋለሁ ለሬስቲክ፣ ይህም ማከማቻን በርቀት ለመጠቀም በፍጥነት ወደ ውጭ ለመላክ ያስችልዎታል። ከላይ ከተጠቀሱት ሁሉ, በጣም ወደድኩት. ከ stdin ምትኬ ማድረግ ይችላል። እሱ ማለት ይቻላል ምንም የሚታዩ ጉዳቶች የሉትም ፣ ግን በርካታ ባህሪዎች አሉ-
-
በመጀመሪያ ፣ ለሁሉም ቨርቹዋል ማሽኖች (እንደ ቤንጂ ያሉ) በአጠቃላይ የመረጃ ማከማቻ ሁኔታ ለመጠቀም ሞከርኩ እና በጥሩ ሁኔታ ሰርቷል ፣ ግን የመልሶ ማቋቋም ስራዎች በጣም ረጅም ጊዜ ወስደዋል ፣ ምክንያቱም… ወደነበረበት ከመመለሱ በፊት ሁል ጊዜ ሪስቲክ የሁሉንም ምትኬዎች ዲበዳታ ለማንበብ ይሞክራል። ለእያንዳንዱ ምናባዊ ማሽን የተለየ ማከማቻ በመፍጠር እንደ ቦርግ ይህ ችግር በቀላሉ ተፈቷል። ይህ አካሄድ ምትኬዎችን ለማስተዳደር በጣም ውጤታማ ሆኖ ተገኝቷል። የተለያዩ ማከማቻዎች ውሂብን ለማግኘት የተለየ የይለፍ ቃል ሊኖራቸው ይችላል፣ እና እንዲሁም የአለምአቀፍ ማከማቻ በሆነ መንገድ ሊሰበር ይችላል ብለን መፍራት የለብንም ። ልክ እንደ ቦርግ ባክአፕ ውስጥ አዲስ ማከማቻዎችን ማፍለቅ ይችላሉ።
በማንኛውም ሁኔታ ማባዛት የሚከናወነው ከቀድሞው የመጠባበቂያ ቅጂ አንፃር ብቻ ነው ፣የቀድሞው ምትኬ የሚወሰነው በተጠቀሰው የመጠባበቂያ መንገድ ነው ፣ስለዚህ ከ stdin ወደ አንድ የጋራ ማከማቻ የተለያዩ ዕቃዎችን ምትኬ ካስቀመጡ ፣መግለጽዎን አይርሱ ። አማራጭ
--stdin-filename፣ ወይም በእያንዳንዱ ጊዜ ምርጫውን በግልፅ ይግለጹ--parent.
-
በሁለተኛ ደረጃ፣ ወደ ስቶዶት ማገገም ከፋይል ስርዓቱ በትይዩ ባህሪ የተነሳ ከማገገም የበለጠ ጊዜ ይወስዳል። ለወደፊት፣ ለመሳሪያዎች መጠባበቂያዎች ቅርብ ድጋፍ ለመጨመር አቅደናል።
-
ሦስተኛ, በአሁኑ ጊዜ ለመጠቀም ይመከራል , ምክንያቱም ስሪት 0.9.6 ትላልቅ ፋይሎችን ረጅም መልሶ ማግኘት ያለው ስህተት አለው።
የመጠባበቂያውን ውጤታማነት እና ከመጠባበቂያ የመፃፍ/የመልሶ ማግኛ ፍጥነትን ለመፈተሽ የተለየ ማከማቻ ፈጠርኩ እና የቨርቹዋል ማሽን (21 ጂቢ) ትንሽ ምስል ምትኬ ለማስቀመጥ ሞከርኩ። የተባዛው መረጃ ምን ያህል በፍጥነት/በዝግታ እንደተቀዳ ለመፈተሽ እያንዳንዱን የተዘረዘሩ መፍትሄዎችን በመጠቀም ኦርጅናሉን ሳይቀይሩ ሁለት መጠባበቂያዎች ተካሂደዋል።
እንደምናየው፣ ቦርግ ባክአፕ በጣም ጥሩው የመነሻ ምትኬ ብቃት ሬሾ አለው፣ ነገር ግን ፍጥነትን በመፃፍ እና ወደነበረበት መመለስ አንፃር ዝቅተኛ ነው።
ሬስቲክ ከቤንጂ ባክአፕ የበለጠ ፈጣኑ ሆኖ ተገኝቷል፣ ነገር ግን ወደ stdout ለመመለስ ረጅም ጊዜ ይወስዳል፣ እና በሚያሳዝን ሁኔታ፣ እንዴት ወደ ብሎክ መሣሪያ እንዴት እንደሚፃፍ እስካሁን አያውቅም።
ሁሉንም ጥቅሞቹን እና ጉዳቱን ካመዘንኩ በኋላ, ለመስማማት ወሰንኩ እረፍት с የእረፍት አገልጋይ እንደ በጣም ምቹ እና ተስፋ ሰጪ የመጠባበቂያ መፍትሄ.
በዚህ የስክሪን ቀረጻ ላይ ባለ 10-ጊጋቢት ቻናል እንዴት ሙሉ በሙሉ ጥቅም ላይ እንደሚውል ማየት ይችላሉ በርካታ የመጠባበቂያ ክዋኔዎች በተመሳሳይ ጊዜ። የዲስክ መልሶ ጥቅም ላይ ማዋል ከ 30% በላይ እንደማይጨምር ልብ ሊባል የሚገባው ጉዳይ ነው.
በተቀበልኩት መፍትሄ በጣም ተደስቻለሁ!
ምንጭ: hab.com