Odnoklassniki යනු RuNet හි Apache Cassandra හි විශාලතම පරිශීලකයා වන අතර ලෝකයේ විශාලතම එකකි. ඡායාරූප ශ්‍රේණිගත කිරීම් ගබඩා කිරීම සඳහා අපි 2010 දී කැසැන්ඩ්රා භාවිතා කිරීමට පටන් ගත් අතර දැන් කැසැන්ඩ්රා දහස් ගණනක් නෝඩ් වල පෙටාබයිට් දත්ත කළමනාකරණය කරයි, ඇත්ත වශයෙන්ම, අපි අපේම ඒවා පවා සංවර්ධනය කළෙමු .
සැප්තැම්බර් 12 වන දින අපගේ ශාන්ත පීටර්ස්බර්ග් කාර්යාලයේදී අපි පවත්වනු ඇත . උත්සවයේ ප්රධාන කථිකයා Odnoklassniki Oleg Anastasyev හි ප්රධාන ඉංජිනේරුවරයා වනු ඇත. ඔලෙග් යනු බෙදා හරින ලද සහ දෝෂ-ඉවසන පද්ධති ක්ෂේත්‍රයේ ප්‍රවීණයෙකි; ඔහු කැසැන්ඩ්රා සමඟ වසර 10 කට වැඩි කාලයක් සහ නැවත නැවතත් වැඩ කර ඇත. .
රැස්වීම ආසන්නයේ, අපි ඔලෙග් සමඟ කැසැන්ඩ්රා සමඟ බෙදා හරින ලද පද්ධතිවල වැරදි ඉවසීම ගැන කතා කළෙමු, ඔහු රැස්වීමේදී කතා කරන්නේ කුමක්ද සහ මෙම අවස්ථාවට සහභාගී වීම වටී ඇයිදැයි ඇසුවෙමු.
ඔලෙග් සිය වැඩසටහන් වෘත්තිය ආරම්භ කළේ 1995 දී ය. ඔහු බැංකු, ටෙලිකොම් සහ ප්‍රවාහනය සඳහා මෘදුකාංග නිර්මාණය කළේය. ඔහු 2007 සිට Odnoklassniki හි ප්‍රමුඛ සංවර්ධකයෙකු ලෙස වේදිකා කණ්ඩායමේ සේවය කරයි. ඔහුගේ වගකීම්වලට ගෘහ නිර්මාණ ශිල්පය සහ අධි බර පද්ධති සඳහා විසඳුම්, විශාල දත්ත ගබඩා කිරීම් සහ ද්වාර කාර්ය සාධනය සහ විශ්වසනීයත්වය පිළිබඳ ගැටළු විසඳීම ඇතුළත් වේ. ඔහු සමාගම තුළ සංවර්ධකයින් ද පුහුණු කරයි.
- ඔලෙග්, හෙලෝ! මැයි මාසයේදී සිදු විය .
විවිධ සමාගම්වල විවිධ පසුබිම් සහිත සංවර්ධකයින් පැමිණියේ ඔවුන්ගේම වේදනාව, ගැටළු සඳහා අනපේක්ෂිත විසඳුම් සහ විස්මිත කථා සමඟිනි. බොහෝ රැස්වීම් සාකච්ඡා ආකෘතියකින් පැවැත්වීමට අපි සමත් වූ නමුත්, සැලසුම් කළ මාතෘකා වලින් තුනෙන් එකක් පමණක් ස්පර්ශ කිරීමට අපට හැකි වූයේ බොහෝ සාකච්ඡා විය. අපගේ සැබෑ නිෂ්පාදන සේවාවන්ගේ උදාහරණය භාවිතා කරමින් අප නිරීක්ෂණය කරන්නේ කෙසේද සහ කුමක් ද යන්න පිළිබඳව අපි වැඩි අවධානයක් යොමු කළෙමු.
මම උනන්දු වූ අතර ඇත්තටම එයට කැමතියි.
- නිවේදනය අනුව විනිශ්චය කිරීම, වැරදි ඉවසීම සඳහා සම්පූර්ණයෙන්ම කැප වනු ඇත, ඔබ මෙම මාතෘකාව තෝරා ගත්තේ ඇයි?
Cassandra යනු සාමාන්‍ය කාර්යබහුල බෙදාහැරීමේ පද්ධතියක් වන අතර පරිශීලක ඉල්ලීම් වලට සෘජුවම සේවා සැපයීමෙන් ඔබ්බට විශාල ක්‍රියාකාරීත්වයක් ඇත: ඕපාදූප, අසාර්ථක හඳුනාගැනීම, යෝජනා ක්‍රම වෙනස්වීම් ප්‍රචාරණය, පොකුරු ප්‍රසාරණය/අඩු කිරීම, ප්‍රති-එන්ට්‍රොපි, උපස්ථ සහ ප්‍රතිසාධනය යනාදිය. ඕනෑම බෙදා හරින ලද පද්ධතියක මෙන්, දෘඩාංග ප්‍රමාණය වැඩි වන විට, අසාර්ථක වීමේ සම්භාවිතාව වැඩි වේ, එබැවින් කැසැන්ඩ්රා නිෂ්පාදන පොකුරු වල ක්‍රියාකාරිත්වය අසාර්ථක වීම සහ ක්රියාකරු ක්‍රියා වලදී හැසිරීම පුරෝකථනය කිරීම සඳහා එහි ව්‍යුහය පිළිබඳ ගැඹුරු අවබෝධයක් අවශ්‍ය වේ. වසර ගණනාවක් කැසැන්ඩ්රා භාවිතා කිරීමෙන් පසු, අපි , අපි බෙදා ගැනීමට සූදානම් වන අතර, සාප්පුවේ සිටින සගයන් සාමාන්‍ය ගැටලු විසඳන ආකාරය ගැන සාකච්ඡා කිරීමට ද අපට අවශ්‍යය.
- කැසැන්ඩ්රා ගැන කතා කරන විට, වැරදි ඉවසීම යන්නෙන් ඔබ අදහස් කරන්නේ කුමක්ද?
පළමුවෙන්ම, ඇත්ත වශයෙන්ම, සාමාන්‍ය දෘඩාංග අසමත්වීම් වලින් බේරීමට පද්ධතියට ඇති හැකියාව: යන්ත්‍ර, තැටි හෝ නෝඩ්/දත්ත මධ්‍යස්ථාන සමඟ ජාල සම්බන්ධතාවය නැතිවීම. නමුත් මාතෘකාවම වඩා පුළුල් වන අතර විශේෂයෙන් අසාර්ථකත්වයන්ගෙන් අයකර ගැනීම ඇතුළත් වේ, මිනිසුන් කලාතුරකින් සූදානම් වන අසාර්ථකත්වයන් ඇතුළුව, උදාහරණයක් ලෙස, ක්රියාකරු දෝෂ.
— ඔබට වඩාත්ම පටවන ලද සහ විශාලතම දත්ත පොකුරේ උදාහරණයක් දිය හැකිද?
අපගේ විශාලතම පොකුරු වලින් එකක් වන්නේ තෑගි පොකුරයි: නෝඩ් 200 කට වඩා සහ TB දත්ත සිය ගණනක්. නමුත් එය බෙදා හරින ලද හැඹිලියකින් ආවරණය වී ඇති බැවින් එය වැඩිපුරම පටවා නැත. අපගේ කාර්යබහුලම පොකුරු ලිවීම සඳහා RPS දස දහස් ගණනක් සහ කියවීම සඳහා RPS දහස් ගණනක් හසුරුවයි.
- වාව්! යමක් කොපමණ වාරයක් කැඩී යයිද?
! සමස්තයක් වශයෙන්, අපට සේවාදායකයන් 6 දහසකට වඩා ඇති අතර, සෑම සතියකම සේවාදායකයන් කිහිපයක් සහ තැටි දුසිම් කිහිපයක් ප්‍රතිස්ථාපනය වේ (යන්ත්‍ර බලඇණිය වැඩිදියුණු කිරීමේ හා පුළුල් කිරීමේ සමාන්තර ක්‍රියාවලීන් සැලකිල්ලට නොගෙන). එක් එක් ආකාරයේ අසාර්ථකත්වයන් සඳහා, කළ යුතු දේ සහ කුමන අනුපිළිවෙලෙහිද යන්න පිළිබඳ පැහැදිලි උපදෙස් තිබේ, හැකි සෑම විටම සියල්ල ස්වයංක්‍රීය වේ, එබැවින් අසාර්ථකවීම් සාමාන්‍ය වන අතර 99% ක්ම පරිශීලකයින් විසින් නොදැනුවත්ව සිදු වේ.
- එවැනි ප්‍රතික්ෂේප කිරීම් සමඟ ඔබ කටයුතු කරන්නේ කෙසේද?
කැසැන්ඩ්රා ක්‍රියාකාරිත්වයේ ආරම්භයේ සිටම සහ පළමු සිදුවීම් වලින්, අපි උපස්ථ සහ ඒවායින් ප්‍රතිසාධනය සඳහා යාන්ත්‍රණයන් පිළිබඳව ක්‍රියා කළෙමු, කැසැන්ඩ්රා පොකුරු වල තත්වය සැලකිල්ලට ගනිමින් යෙදවීමේ ක්‍රියා පටිපාටි ගොඩනඟා, උදාහරණයක් ලෙස, නෝඩ් නැවත ආරම්භ කිරීමට ඉඩ නොදෙමු. දත්ත අහිමි විය හැකි නම්. අපි රැස්වීමේදී මේ සියල්ල ගැන කතා කිරීමට සැලසුම් කරමු.
- ඔබ කී පරිදි, සම්පූර්ණයෙන්ම විශ්වාසදායක පද්ධති නොමැත. ඔබ කුමන ආකාරයේ අසාර්ථකත්වයන් සඳහා සූදානම් වන්නේද සහ නොනැසී පැවතිය හැකිද?
අපි කැසැන්ඩ්රා පොකුරු ස්ථාපනය කිරීම ගැන කතා කරන්නේ නම්, එක් DC එකක හෝ සම්පූර්ණ DC එකක යන්ත්‍ර කිහිපයක් නැති වුවහොත් පරිශීලකයින් කිසිවක් නොදකිනු ඇත (මෙය සිදුවී ඇත). DC සංඛ්‍යාව වැඩිවීමත් සමඟ, DC දෙකක් අසාර්ථක වූ විට ක්‍රියාකාරීත්වය සහතික කිරීමට පටන් ගැනීම ගැන අපි සිතමු.
- වැරදි ඉවසීම සම්බන්ධයෙන් කැසැන්ඩ්‍රාට ඇති අඩුව කුමක්ද?
Cassandra, අනෙකුත් බොහෝ මුල් NoSQL වෙළඳසැල් මෙන්, එහි අභ්‍යන්තර ව්‍යුහය සහ සිදුවන ගතික ක්‍රියාවලීන් පිළිබඳ ගැඹුරු අවබෝධයක් අවශ්‍ය වේ. එහි සරල බව, පුරෝකථනය කිරීමේ හැකියාව සහ නිරීක්ෂණ හැකියාව නොමැති බව මම කියමි. නමුත් අනෙකුත් රැස්වීම් සහභාගිවන්නන්ගේ අදහස් ඇසීමට සිත්ගන්නාසුළු වනු ඇත!
ඔලෙග්, ප්‍රශ්නවලට පිළිතුරු දීමට කාලය ගත කිරීම ගැන ඔබට බොහෝම ස්තූතියි!
සැප්තැම්බර් 12 වන දින අපගේ ශාන්ත පීටර්ස්බර්ග් කාර්යාලයේදී පැවැත්වෙන රැස්වීමේදී Apache Cassandra මෙහෙයුම් ක්ෂේත්‍රයේ ප්‍රවීණයන් සමඟ සන්නිවේදනය කිරීමට කැමති සෑම දෙනාම අපි බලා සිටිමු.
එන්න, එය රසවත් වනු ඇත!
මූලාශ්රය: www.habr.com