S3 වස්තුව ගබඩා කිරීමේ විධානය වස්තු ගබඩාවක් තෝරාගැනීමේදී වැදගත් වන නිර්ණායක මොනවාද යන්න පිළිබඳ ලිපියක් පරිවර්තනය කළේය. පහත දැක්වෙන්නේ කතුවරයාගේ දෘෂ්ටිකෝණයෙන් පෙළයි.
වස්තු ගබඩා කිරීම සම්බන්ධයෙන් ගත් කල, මිනිසුන් සාමාන්‍යයෙන් සිතන්නේ එක් දෙයක් ගැන පමණි: TB/GB සඳහා මිල. ඇත්ත වශයෙන්ම, මෙම මෙට්රික් වැදගත් වේ, නමුත් එය ප්රවේශය ඒකපාර්ශ්වික වන අතර වස්තු ගබඩාව සංරක්ෂිත ගබඩා කිරීමේ මෙවලමක් සමඟ සමාන කරයි. තවද, මෙම ප්රවේශය ව්‍යවසාය තාක්‍ෂණ තොගය සඳහා වස්තු ගබඩා කිරීමේ වැදගත්කම අඩු කරයි.
වස්තු ගබඩාව තෝරාගැනීමේදී, ඔබ ලක්ෂණ පහක් කෙරෙහි අවධානය යොමු කළ යුතුය:
- කාර්ය සාධනය;
- පරිමාණය;
- S3 අනුකූල;
- අසාර්ථකත්වයට ප්රතිචාරය;
- අඛණ්ඩතාව.
මෙම ලක්ෂණ පහ පිරිවැය සමඟ වස්තු ගබඩා කිරීම සඳහා නව මිතික වේ. අපි ඒවා සියල්ලම බලමු.
ඵලදායිතාව
සාම්ප්‍රදායික වස්තු ගබඩාවල ක්‍රියාකාරීත්වය නොමැත. අඩු මිල ගණන් සඳහා සේවා සපයන්නන් නිරන්තරයෙන් එය කැප කළහ. කෙසේ වෙතත්, නවීන වස්තු ගබඩා සමඟ දේවල් වෙනස් වේ.
විවිධ ගබඩා පද්ධති Hadoop ගේ වේගයට ළඟා වීම හෝ ඉක්මවයි. කියවීමේ සහ ලිවීමේ වේගය සඳහා නවීන අවශ්‍යතා: දෘඪ තැටි සඳහා 10 GB/s සිට, NVMe සඳහා 35 GB/s දක්වා.
විශ්ලේෂණ තොගයේ ඇති Spark, Presto, Tensorflow, Teradata, Vertica, Splunk සහ අනෙකුත් නවීන පරිගණක රාමු සඳහා මෙම ප්‍රතිදානය ප්‍රමාණවත් වේ. වස්තු ආචයනය සඳහා MPP දත්ත සමුදායන් වින්‍යාස කර ඇති බව පෙන්නුම් කරන්නේ එය ප්‍රාථමික ආචයනය ලෙස වැඩි වැඩියෙන් භාවිතා වන බවයි.
ඔබගේ ගබඩා පද්ධතිය ඔබට අවශ්ය වේගය ලබා නොදෙන්නේ නම්, ඔබට දත්ත භාවිතා කර එයින් අගය උකහා ගත නොහැක. ඔබ වස්තු ගබඩාවේ සිට මතකයේ සැකසුම් ව්‍යුහයකට දත්ත ලබා ගත්තද, ඔබට දත්ත මතකයට සහ ඉන් පිටතට මාරු කිරීමට කලාප පළලක් අවශ්ය වේ. ලෙගසි වස්තු ගබඩාවල එය ප්‍රමාණවත් නැත.
මෙය ප්රධාන කරුණයි: නව කාර්ය සාධන මෙට්රික් ප්‍රමාදය නොව ප්‍රතිදාන වේ. එය පරිමාණයෙන් දත්ත සඳහා අවශ්ය වන අතර නවීන දත්ත යටිතල ව්‍යුහයේ සම්මතය වේ.
කාර්ය සාධනය තීරණය කිරීමට මිණුම් සලකුණු හොඳ ක්‍රමයක් වන අතර, පරිසරය තුළ යෙදුම ධාවනය කිරීමට පෙර එය නිවැරදිව මැනිය නොහැක. මෘදුකාංග, තැටි, ජාලය හෝ පරිගණක මට්ටමින් බාධාව ඇති ස්ථානය හරියටම කිව හැක්කේ එයින් පසුව පමණි.
පරිමාණය
පරිමාණය යනු එක් නාම අවකාශයකට ගැලපෙන පෙටාබයිට් ගණනයි. වෙළෙන්දන් පවසන දෙය පහසු පරිමාණය, ඔවුන් නොකියන දෙය නම්, ඒවා පරිමාණය කරන විට, දැවැන්ත මොනොලිතික් පද්ධති බිඳෙන සුළු, සංකීර්ණ, අස්ථායී සහ මිල අධික වේ.
පරිමාණය සඳහා වන නව මෙට්රික් යනු ඔබට සේවය කළ හැකි නාම අවකාශයන් හෝ සේවාලාභීන් සංඛ්‍යාවයි. මෙට්රික් එක සෘජුවම අධි පරිමාණයෙන් ගනු ලැබේ, එහිදී ගබඩා ගොඩනැඟිලි කොටස් කුඩා නමුත් පරිමාණ ඒකක බිලියන ගණනක් වේ. පොදුවේ, මෙය වලාකුළු මෙට්රික් වේ.
ගොඩනැඟිලි කොටස් කුඩා වන විට, ඒවා ආරක්ෂාව, ප්‍රවේශ පාලනය, ප්‍රතිපත්ති කළමනාකරණය, ජීවන චක්‍ර කළමනාකරණය සහ බාධාකාරී නොවන යාවත්කාලීන සඳහා ප්‍රශස්ත කිරීම පහසුය. සහ අවසානයේ ඵලදායිතාව සහතික කරන්න. ගොඩනැඟිලි කොටසෙහි විශාලත්වය අසාර්ථක කලාපයේ පාලනය කිරීමේ කාර්යයක් වන අතර, එය ඉහළ ඔරොත්තු දෙන පද්ධති ගොඩනගා ඇත.
බහු කුලියට බොහෝ ලක්ෂණ ඇත. ආයතන දත්ත සහ යෙදුම් වෙත ප්රවේශය සපයන ආකාරය ගැන මානය කතා කරන අතර, එය යෙදුම් සහ ඒවා එකිනෙකින් හුදකලා කිරීම පිටුපස ඇති තර්කය ද සඳහන් කරයි.
බහු-සේවාදායකයින් සඳහා නවීන ප්රවේශයක ලක්ෂණ:
- කෙටි කාලයක් තුළ, ගනුදෙනුකරුවන්ගේ සංඛ්යාව සිය ගණනක සිට මිලියන කිහිපයක් දක්වා වර්ධනය විය හැකිය.
- ගනුදෙනුකරුවන් එකිනෙකාගෙන් සම්පූර්ණයෙන්ම හුදකලා වේ. මෙය ඔවුන්ට එකම මෘදුකාංගයේ විවිධ අනුවාද ධාවනය කිරීමට සහ විවිධ වින්‍යාසයන්, අවසරයන්, විශේෂාංග, ආරක්ෂාව සහ නඩත්තු මට්ටම් සහිත වස්තූන් ගබඩා කිරීමට ඉඩ සලසයි. නව සේවාදායකයන්, යාවත්කාලීන කිරීම් සහ භූගෝලයන් වෙත පරිමාණය කිරීමේදී මෙය අවශ්ය වේ.
- ගබඩාව ප්‍රත්‍යාස්ථ ලෙස පරිමාණය කළ හැකි ය, ඉල්ලුම මත සම්පත් සපයනු ලැබේ.
- සෑම මෙහෙයුමක්ම API මඟින් පාලනය වන අතර මිනිස් මැදිහත්වීමකින් තොරව ස්වයංක්‍රීය වේ.
- මෘදුකාංග බහාලුම්වල සංග්‍රහ කළ හැකි අතර Kubernetes වැනි සම්මත වාද්‍ය වෘන්ද පද්ධති භාවිතා කළ හැක.
S3 අනුකූල වේ
Amazon S3 API යනු වස්තු ගබඩා කිරීම සඳහා තථ්‍ය ප්‍රමිතියයි. සෑම වස්තු ගබඩා මෘදුකාංග වෙළෙන්දෙකුම එය සමග ගැළපීමට හිමිකම් කියයි. S3 සමඟ ගැළපීම ද්විමය වේ: එක්කෝ එය සම්පූර්ණයෙන්ම ක්‍රියාත්මක කර ඇත, නැතහොත් එසේ නොවේ.
ප්‍රායෝගිකව, වස්තු ආචයනය භාවිතා කරන විට යම් දෙයක් වැරදී ගිය දාර අවස්ථා සිය ගණනක් හෝ දහස් ගණනක් ඇත. විශේෂයෙන්ම හිමිකාර මෘදුකාංග සහ සේවා සපයන්නන්ගෙන්. එහි ප්රධාන භාවිත අවස්ථා වන්නේ සෘජු ලේඛනගත කිරීම හෝ උපස්ථ කිරීමයි, එබැවින් API ඇමතීමට හේතු කිහිපයක් ඇත, භාවිත අවස්ථා සමජාතීය වේ.
විවෘත කේත මෘදුකාංග සැලකිය යුතු වාසි ඇත. යෙදුම්වල ප්‍රමාණය සහ විවිධත්වය, මෙහෙයුම් පද්ධති සහ දෘඪාංග ගෘහනිර්මාණයන් ලබා දී එය බොහෝ ආන්තික අවස්ථා ආවරණය කරයි.
යෙදුම් සංවර්ධකයින් සඳහා මේ සියල්ල වැදගත් වේ, එබැවින් ගබඩා සපයන්නන් සමඟ යෙදුම පරීක්ෂා කිරීම වටී. විවෘත මූලාශ්රය ක්‍රියාවලිය පහසු කරයි—ඔබේ යෙදුම සඳහා සුදුසු වේදිකාව කුමක්ද යන්න තේරුම් ගැනීම පහසු කරයි. සැපයුම්කරු ගබඩාවට ඇතුල් වීමේ තනි ලක්ෂ්යයක් ලෙස භාවිතා කළ හැක, එනම් එය ඔබගේ අවශ්‍යතා සපුරාලනු ඇත.
විවෘත මූලාශ්රය යන්නෙන් අදහස් වන්නේ: යෙදුම් වෙළෙන්දෙකුට බැඳී නොමැති අතර වඩාත් විනිවිද පෙනෙන ඒවා වේ. මෙය දිගු යෙදුම් ජීවන චක්‍රයක් සහතික කරයි.
විවෘත මූලාශ්‍ර සහ S3 පිළිබඳ තවත් සටහන් කිහිපයක්.
ඔබ විශාල දත්ත යෙදුමක් ධාවනය කරන්නේ නම්, S3 SELECT විශාලත්වයේ අනුපිළිවෙලකින් කාර්ය සාධනය සහ කාර්යක්ෂමතාව වැඩි දියුණු කරයි. එය කරන්නේ SQL භාවිතයෙන් ඔබට අවශ්ය වස්තු පමණක් ගබඩාවෙන් ලබා ගැනීමයි.
ප්රධාන කරුණ වන්නේ බාල්දි දැනුම්දීම් සඳහා සහාය වීමයි. බාල්දි දැනුම්දීම් සේවාදායක රහිත පරිගණනයට පහසුකම් සපයයි, සේවාවක් ලෙස ලබා දෙන ඕනෑම ක්ෂුද්‍ර සේවා ගෘහ නිර්මාණ ශිල්පයක වැදගත් අංගයකි. වස්තු ආචයනය ඵලදායී ලෙස වලාකුළු ආචයනය වන බැවින්, වලාකුළු මත පදනම් වූ යෙදුම් මගින් වස්තු ගබඩාව භාවිතා කරන විට මෙම හැකියාව තීරණාත්මක වේ.
අවසාන වශයෙන්, S3 ක්‍රියාත්මක කිරීම Amazon S3 සේවාදායක පැත්තේ සංකේතාංකන API සඳහා සහය විය යුතුය: SSE-C, SSE-S3, SSE-KMS. ඊටත් වඩා හොඳයි, S3 සැබවින්ම ආරක්ෂිත වන tamper ආරක්ෂණයට සහය දක්වයි.
අසාර්ථකත්වයට ප්‍රතිචාර දැක්වීම
බොහෝ විට නොසලකා හරින ලද ප්‍රමිතිකයක් වන්නේ පද්ධතිය අසමත්වීම් හසුරුවන ආකාරයයි. විවිධ හේතූන් මත අසාර්ථකත්වයන් සිදු වන අතර, වස්තු ගබඩාව ඒවා සියල්ලම හැසිරවිය යුතුය.
උදාහරණයක් ලෙස, අසාර්ථක වීමේ තනි ලක්ෂ්යයක් ඇත, මෙහි මෙට්රික් ශුන්ය වේ.
අවාසනාවන්ත ලෙස, බොහෝ වස්තු ගබඩා පද්ධති පොකුර නිසි ලෙස ක්‍රියා කිරීම සඳහා සක්‍රීය කළ යුතු විශේෂ නෝඩ් භාවිතා කරයි. මේවාට නාම නෝඩ් හෝ පාර-දත්ත සේවාදායකයන් ඇතුළත් වේ - මෙය අසාර්ථක වීමේ තනි ලක්ෂ්යයක් නිර්මාණය කරයි.
අසාර්ථක වීමේ අවස්ථා කිහිපයක් තිබුණත්, ව්‍යසනකාරී අසාර්ථකත්වයට ඔරොත්තු දීමේ හැකියාව ප්‍රමුඛ වේ. තැටි අසමත් වේ, සේවාදායකයන් අසමත් වේ. ප්රධාන දෙය වන්නේ අසාර්ථකත්වය සාමාන්ය තත්වයක් ලෙස හැසිරවීමට නිර්මාණය කර ඇති මෘදුකාංගයක් නිර්මාණය කිරීමයි. තැටියක් හෝ නෝඩයක් අසමත් වුවහොත්, එවැනි මෘදුකාංග වෙනස්කම් නොමැතිව දිගටම වැඩ කරනු ඇත.
දත්ත මැකීමට සහ දත්ත පිරිහීමට එරෙහිව ගොඩනඟන ලද ආරක්ෂාව මඟින් ඔබට සමානාත්මතා බ්ලොක් ඇති තරම් තැටි හෝ නෝඩ් නැති විය හැකි බව සහතික කරයි - සාමාන්‍යයෙන් තැටි වලින් අඩක්. එවිට පමණක් මෘදුකාංගයට දත්ත ආපසු ලබා දීමට නොහැකි වනු ඇත.
අසමත් වීම භාරය යටතේ කලාතුරකින් පරීක්ෂා කරනු ලැබේ, නමුත් එවැනි පරීක්ෂණයක් අවශ්ය වේ. පැටවීමේ අසමත් වීමක් අනුකරණය කිරීමෙන් අසාර්ථක වීමෙන් පසු දැරූ මුළු පිරිවැය පෙන්වනු ඇත.
අනුකූලතාව
100% ක අනුකූලතා ලකුණු දැඩි අනුකූලතාවයක් ලෙසද හැඳින්වේ. ඕනෑම ගබඩා පද්ධතියක ප්රධාන අංගයක් වන්නේ අනුකූලතාවයි, නමුත් ශක්තිමත් අනුකූලතාව දුර්ලභ වේ. උදාහරණයක් ලෙස, Amazon S3 ListObject දැඩි ලෙස අනුකූල නොවේ, එය අවසානයේ පමණක් ස්ථාවර වේ.
දැඩි අනුකූලතාවයෙන් අදහස් කරන්නේ කුමක්ද? තහවුරු කරන ලද PUT මෙහෙයුමකින් පසු සියලුම මෙහෙයුම් සඳහා, පහත සඳහන් දේ සිදු විය යුතුය:
- ඕනෑම නෝඩයකින් කියවන විට යාවත්කාලීන කළ අගය දෘශ්‍යමාන වේ.
- යාවත්කාලීනය නෝඩ් අසාර්ථක අතිරික්තතාවයෙන් ආරක්ෂා කර ඇත.
ඒ කියන්නේ රෙකෝඩින් එකක් මැදින් ප්ලග් එක ඇද්දොත් කිසිම දෙයක් නැති වෙන්නේ නැහැ. පද්ධතිය කිසි විටෙකත් දූෂිත හෝ යල් පැන ගිය දත්ත ආපසු ලබා නොදේ. මෙය ගනුදෙනු යෙදුම්වල සිට උපස්ථ සහ ප්‍රතිසාධනය දක්වා බොහෝ අවස්ථා වලදී වැදගත් වන ඉහළ තීරුවකි.
නිගමනය
මේවා වර්තමාන ආයතනවල භාවිත රටා පිළිබිඹු කරන නව වස්තු ගබඩා ප්‍රමිතික වන අතර, ක්‍රියාකාරීත්වය, අනුකූලතාව, පරිමාණය, දෝෂ සහිත වසම් සහ S3 ගැළපුම වලාකුළු යෙදුම් සහ විශාල දත්ත විශ්ලේෂණ සඳහා ගොඩනැඟිලි කොටස් වේ. නවීන දත්ත තොග ගොඩනඟන විට මිලට අමතරව මෙම ලැයිස්තුව භාවිතා කිරීමට මම නිර්දේශ කරමි.
Mail.ru Cloud Solutions වස්තු ගබඩාව ගැන: .
තවත් කියවිය යුතු දේ:
- .
- .
- .
මූලාශ්රය: www.habr.com