ජූලි 11-12 දිනවල ශාන්ත පීටර්ස්බර්ග්හිදී සම්මන්ත්රණයක් පැවැත්වේ
Hydra යනු පසුගිය වසර කිහිපය තුළ අපගේ වැදගත්ම සම්මන්ත්රණවලින් එකකි. ඊට පෙර ඉතා බැරෑරුම් ලෙස සකස් කිරීම, කථිකයන් තෝරා ගැනීම සහ වාර්තා කිරීම සිදු විය. මේ ගැන ගිය සතියේ
අපි
අභිප්රේරණය
ඔබ ක්රමලේඛනයට සම්බන්ධ නම්, එක් ආකාරයකින් හෝ වෙනත් ආකාරයකින් ඔබ බහු නූල් සහ බෙදා හරින ලද පරිගණකකරණය සමඟ කටයුතු කරයි. අදාළ ක්ෂේත්රවල ප්රවීණයන් ඔවුන් සමඟ කෙලින්ම වැඩ කරයි, නමුත් ව්යංගයෙන්, බෙදා හැරීම සෑම තැනකම අප දෙස බලයි: ඕනෑම බහු-core පරිගණකයක හෝ බෙදා හරින ලද සේවාවක සමාන්තරව ගණනය කිරීම් සිදු කරන දෙයක් තිබේ.
යෙදුම් වැඩසටහන්කරණයේ විවිධ පැති ආවරණය වන සම්මන්ත්රණ රාශියක් ඇත. වර්ණාවලියේ අනෙක් පැත්තෙන්, දේශන ආකෘතියෙන් සංකීර්ණ න්යායන් විශාල ප්රමාණයක් හෙළි කරන විශේෂිත විද්යාත්මක පාසල් අප සතුව ඇත. නිදසුනක් වශයෙන්, ශාන්ත පීටර්ස්බර්ග්හි හයිඩ්රා සමග සමාන්තරව පවතී
මේ ගැන සිතන්න: අප ජීවත් වන්නේ අප ඉගෙන ගන්නා විද්යා හා ඉංජිනේරු ක්ෂේත්රයේ ආරම්භකයින් ඔබට පෞද්ගලිකව හමුවීමට හැකි පුදුමාකාර කාලයක ය. භෞතික විද්යාඥයින්ට නිව්ටන් හෝ අයින්ස්ටයින් හමු නොවනු ඇත - දුම්රිය පිටත්ව ගොස් ඇත. නමුත් අප අසල තවමත් ජීවත් වන්නේ බෙදා හරින ලද පද්ධති පිළිබඳ න්යායේ අත්තිවාරම් නිර්මාණය කළ, ජනප්රිය ක්රමලේඛන භාෂා සොයා ගත් සහ පළමු වරට මේ සියල්ල වැඩ කරන මූලාකෘතිවල මූර්තිමත් කළ අයයි. මේ අය තම රැකියාව අතරමග අත්හැරියේ නැත, ඔවුන් මේ වන විට ලෝක ප්රකට විශ්ව විද්යාල සහ සමාගම්වල දැවෙන ප්රශ්න මත වැඩ කරමින් සිටින අතර අද වන විට විශාලතම දැනුම හා අත්දැකීම් මූලාශ්ර වේ.
අනෙක් අතට, ඔවුන් හමුවීමට ඇති අවස්ථාව සාමාන්යයෙන් සම්පූර්ණයෙන්ම න්යායාත්මකව පවතී: අපෙන් කිහිප දෙනෙකුට රොචෙස්ටර් විශ්ව විද්යාලයේ පොදු සිදුවීම් නිරන්තරයෙන් නිරීක්ෂණය කළ හැකි අතර, පසුව ඇමරිකා එක්සත් ජනපදයට ගොස් මයිකල් ස්කොට් සමඟ දේශනයක් සඳහා ආපසු යා හැකිය. සියලුම හයිඩ්රා සාමාජිකයින් නැරඹීමට කුඩා ධනයක් වැය වනු ඇත, නාස්ති කරන කාලයෙහි අගාධය ගණන් නොගනී (එය සිත්ගන්නාසුලු ගවේෂණයක් ලෙස පෙනුනද).
අනෙක් අතට, මේ වන විට බෙදා හරින ලද පද්ධතිවල ඇති ගැටළු පිළිබඳව කටයුතු කරන බොහෝ ඉහළ ඉංජිනේරුවන් අප සතුව ඇති අතර ඔවුන්ට අනිවාර්යයෙන්ම පැවසීමට බොහෝ දේ ඇත. නමුත් මෙන්න ගැටලුව - ඔවුන් වැඩ කරනවා, සහ ඔවුන්ගේ කාලය වටිනවා. ඔව්, ඔබ Microsoft, Google හෝ JetBrains හි සේවකයෙකු නම්, අභ්යන්තර සිදුවීමකදී ප්රසිද්ධ කථිකයන්ගෙන් කෙනෙකු හමුවීමේ සම්භාවිතාව තියුනු ලෙස වැඩි වේ, නමුත් පොදුවේ, නැත, මෙය සෑම දිනකම සිදු නොවේ.
මේ ආකාරයෙන්, හයිඩ්රා සමුළුව අපෙන් බොහෝ දෙනෙකුට තනිවම කළ නොහැකි වැදගත් කාර්යයක් ඉටු කරයි - එක තැනක සහ එක් අවස්ථාවක, එය ඔබේ ජීවිතය වෙනස් කළ හැකි අදහස් හෝ අන්තර්ක්රියා ඇති පුද්ගලයින් එක් කරයි. සෑම කෙනෙකුටම බෙදා හරින ලද පද්ධති හෝ සමහර සංකීර්ණ මූලික දේවල් අවශ්ය නොවන බව මම පිළිගනිමි. ඔබට ඔබේ ජීවිත කාලය පුරාම PHP හි CRUD වැඩසටහන්ගත කර සම්පූර්ණයෙන්ම සතුටින් සිටිය හැක. නමුත් එය අවශ්ය ඕනෑම කෙනෙකුට, මෙය ඔබේ අවස්ථාවයි.
හබ්රේ පිළිබඳ හයිඩ්රා සමුළුවේ පළමු නිවේදනයෙන් බොහෝ කාලයක් ගතවී ඇත. මෙම කාලය තුළ, බොහෝ වැඩ කටයුතු සිදු කර ඇත - දැන් අප සතුව සියලුම වාර්තා ලැයිස්තුවක් තිබේ. මන්දගාමී තනි-නූල් ඇල්ගොරිතම නැත, පිරිසිදු බෙදා හරින ලද දෘඪ තැටිය පමණි! අපි සාමාන්ය වචන වලින් අවසන් කර දැන් අපගේ අතේ ඇති දේ බලමු.
ප්රධාන සටහන්
ප්රධාන සටහන් සම්මන්ත්රණයේ දින ආරම්භ වී අවසන් වේ. සාමාන්යයෙන් ආරම්භක ප්රධාන දේශනයක කාරණය වන්නේ සම්මන්ත්රණයේ සාමාන්ය ආත්මය සහ දිශාව සැකසීමයි. අවසාන ප්රධාන දේශනය රේඛාවක් අඳින අතර සමුළුවේදී ලබාගත් දැනුම හා කුසලතා සමඟ අපට ජීවත් විය හැකි ආකාරය පැහැදිලි කරයි. ආරම්භය සහ අවසානය: හොඳින්ම මතක තබා ගත යුතු දේ, සහ පොදුවේ, වැදගත්කම වැඩි කර ඇත.
ක්ලිෆ් ක්ලික් කරන්න H2O බෙදා හරින ලද K/V ඇල්ගොරිතම
ක්ලිෆ් යනු ජාවා ලෝකයේ පුරාවෘත්තයකි. 90 දශකයේ අගභාගයේදී, ඔහුගේ ආචාර්ය උපාධි නිබන්ධනය සඳහා, ඔහු නමින් පත්රිකාවක් ලිවීය
ආරම්භක ප්රධාන දේශනයේදී, ක්ලිෆ් ඔහුගේ අනෙක් උත්සාහය ගැන කතා කරනු ඇත -
ක්ලිෆ් ලබා දෙන තවත් වාර්තාවක් වන්නේ -
වඩාත්ම සිත්ගන්නා කොටස ආරම්භ වූයේ ඔවුන් විශාල ව්යාපාරයක් සඳහා දෘඩාංග සාදන විටය - ජාවා ධාවනය කිරීමට සුපිරි පරිගණකයක්. එය තරමක් නව්ය දෙයක් විය, විශේෂ අවශ්යතා ඇති ජාවා සඳහා විශේෂයෙන් සකස් කර ඇත - අඩු විරාම කසළ එකතු කිරීම සඳහා මතක බාධක කියවීම, සීමාවන් පරීක්ෂා කිරීම සහිත අරා, අතථ්ය ඇමතුම්... සිසිල් තාක්ෂණයක් වන්නේ දෘඩාංග ගනුදෙනු මතකයයි. හරය 1 න් ඕනෑම එකක සම්පූර්ණ L864 හට ගණුදෙණු ලිවීමට සහභාගී විය හැකි අතර, එය ජාවා හි අගුලු සමඟ වැඩ කිරීම සඳහා විශේෂයෙන් වැදගත් වේ (සැබෑ මතක ගැටුමක් නොමැති තාක් සමමුහුර්ත කළ කුට්ටි සමාන්තරව ක්රියා කළ හැක). නමුත් මෙම සුන්දර අදහස කටුක යථාර්ථයෙන් තලා දැමුවා - සහ මෙම කතාවේදී ක්ලිෆ් ඔබට කියනු ඇත HTM සහ STM බහු-නූල් පරිගණකකරණයේ ප්රායෝගික අවශ්යතා සඳහා ඉතා හොඳින් නොගැලපේ.
මයිකල් ස්කොට් - ද්විත්ව දත්ත ව්යුහයන්
මුළු ලෝකයම මයිකල්ව හඳුනන්නේ පෙළපොතට ස්තූතියි
ජාවා ලෝකය සම්බන්ධයෙන් ගත් කල, මෙය විශේෂ අවස්ථාවකි: ඩග් ලී සමඟ එක්ව, ඔහු ජාවා පුස්තකාල වැඩ කරන අවහිර නොවන ඇල්ගොරිතම සහ සමමුහුර්ත පෝලිම් සංවර්ධනය කළේය. “ද්විත්ව දත්ත ව්යුහයන්” ප්රධාන දේශනය හරියටම මෙයයි - Java SE 6 හි මෙම ව්යුහයන් හඳුන්වා දීමෙන් කාර්ය සාධනය 10 ගුණයකින් වැඩි දියුණු කර ඇත. java.util.concurrent.ThreadPoolExecutor
. මෙම "ද්විත්ව දත්ත ව්යුහයන්" යනු කුමක්දැයි ඔබ කල්තියා කල්පනා කරන්නේ නම්, ඒ පිළිබඳ තොරතුරු තිබේ
මොරිස් හර්ලිහි - Blockchains සහ බෙදා හරින ලද පරිගණකකරණයේ අනාගතය
මෙම අවසන් ප්රධාන දේශනයේදී, බෙදා හරින ලද පරිගණකකරණයේ සම්භාව්ය දෘෂ්ටි කෝණයෙන් බ්ලොක්චේන් බෙදා හරින ලද පද්ධතිවල න්යාය සහ භාවිතය සහ එය බොහෝ අදාළ ගැටළු සරල කරන ආකාරය ගැන මොරිස් කතා කරනු ඇත. මෙය සම්මන්ත්රණයේ මාතෘකාවට පමණක් සීමා වූ වාර්තාවකි - කිසිසේත්ම පතල් කැණීම් ගැන නොව, විවිධ කාර්යයන් සම්බන්ධයෙන් අපගේ දැනුම විශ්මය ජනක ලෙස ඵලදායී ලෙස සහ යෝග්ය ලෙස භාවිතා කළ හැකි ආකාරය පිළිබඳ වාර්තාවකි.
2017 ජූලි මාසයේදී, මොරිස් දැනටමත් SPTDC පාසලට යාමට රුසියාවට පැමිණ, JUG.ru රැස්වීමට සහභාගී වූ අතර, පටිගත කිරීම YouTube හි නැරඹිය හැකිය:
ප්රධාන වැඩසටහන
ඊළඟට වැඩසටහනට ඇතුළත් කර ඇති වාර්තා පිළිබඳ කෙටි දළ විශ්ලේෂණයක් ඇත. සමහර වාර්තා මෙහි විස්තරාත්මකව විස්තර කර ඇත, තවත් සමහරක් කෙටියෙන්. දිගු විස්තරයන් ප්රධාන වශයෙන් ඉංග්රීසි භාෂා වාර්තා වෙත ගොස් විද්යාත්මක පත්රිකා, විකිපීඩියාවේ නියමයන් සහ යනාදිය වෙත සබැඳි අවශ්ය විය. සම්පූර්ණ ලැයිස්තුව ලබා ගත හැකිය
ලෙස්ලි ලැම්පෝට් - ප්රශ්න හා ඒ
ලෙස්ලි ලැම්පෝට් බෙදා හරින ලද පරිගණකකරණයේ මූලික කෘතිවල කතුවරයා වේ.
ආකෘතිය අනුව වැඩසටහනේ වඩාත්ම අසාමාන්ය කොටස මෙයයි, මන්ද එය වාර්තාවක් පවා නොවන නමුත් ප්රශ්නෝත්තර සැසියකි. ප්රේක්ෂකයින්ගෙන් සැලකිය යුතු කොටසක් දැනටමත් "Lamport's theory", ඔහුගේම ලිපි සහ වාර්තා මත පදනම් වූ සියලු වර්ගවල කෘති සමඟ හුරුපුරුදු (හෝ හුරුපුරුදු විය හැකි) විට, සෘජු සන්නිවේදනය සඳහා පවතින කාලය ගත කිරීම වඩා වැදගත් වේ.
අදහස සරලයි - ඔබ YouTube හි වාර්තා දෙකක් නරඹයි:
මෙම වීඩියෝ දෙකෙන් පළමුවැන්න දැනටමත් අප සතුව ඇත
සටහන: YouTube හි තවත් බොහෝ ලෙස්ලි ලැම්පෝට් වීඩියෝ තිබේ. උදාහරණයක් ලෙස, විශිෂ්ට එකක් තිබේ
මාටින් ක්ලෙප්මන් - බෙදා හරින ලද සහයෝගීතාවය සඳහා පරිශීලක උපාංග හරහා දත්ත සමමුහුර්ත කිරීම
Martin Kleppmann යනු CRDT සහ ඇල්ගොරිතම පිළිබඳ විධිමත් සත්යාපනය පිළිබඳ කටයුතු කරන කේම්බ්රිජ් විශ්ව විද්යාලයේ පර්යේෂකයෙකි. මාටින්ගේ පොත
ශාස්ත්රීය පර්යේෂණ වෙත යාමට පෙර, මාටින් කර්මාන්තයේ වැඩ කළ අතර සාර්ථක ආරම්භක දෙකක් සම-ආරම්භ කළේය:
- 2012 දී LinkedIn මිල දී ගත් ඔබේ විද්යුත් තැපෑලෙන් සම්බන්ධතා වල සමාජ පැතිකඩ ප්රදර්ශනය කිරීමට කැප වූ, වාර්තාගත;
- RedGate 2009 දී මිලදී ගත් විවිධ බ්රව්සර්වල වෙබ් අඩවි ස්වයංක්රීයව පරීක්ෂා කිරීමේ සේවාවක් වන Go Test It.
පොදුවේ ගත් කල, මාටින්, අපගේ ප්රධාන දේශනවලට වඩා අඩු ප්රසිද්ධියක් ලබා ඇතත්, බෙදා හරින ලද පරිගණකකරණයේ දියුණුවට සහ කර්මාන්තයට යම් දායකත්වයක් ලබා දීමට දැනටමත් සමත් වී ඇත.
මෙම කතාවේදී මාටින් ඔහුගේ ශාස්ත්රීය පර්යේෂණයට සමීප මාතෘකාවක් ගැන කතා කරනු ඇත. Google Docs සහ ඒ හා සමාන ලේඛන සම-සංස්කරණ සෝෆා වල, "සහයෝගී සංස්කරණ" යනු අනුකරණය කිරීමේ කාර්යයකට යොමු කරයි: සෑම පරිශීලකයෙකුටම බෙදාගත් ලේඛනයේ තමන්ගේම අනුරුවක් ඇත, එය ඔවුන් පසුව වෙනස් කරයි, සහ සියලු වෙනස්කම් ජාලය හරහා ඉතිරි කොටස් වෙත යවනු ලැබේ. සහභාගිවන්නන්. නොබැඳි ලේඛනවල වෙනස් කිරීම් අනෙකුත් සහභාගිවන්නන් සම්බන්ධයෙන් ලේඛනයේ තාවකාලික අනනුකූලතාවයට හේතු වන අතර නැවත සමමුහුර්තකරණය සඳහා ගැටුම් හැසිරවීම අවශ්ය වේ. ඒවා හරියටම පවතින්නේ ඒ සඳහා ය
ලබන සතියේ අපි හබ්රේ හි මාටින් සමඟ දිගු සම්මුඛ සාකච්ඡාවක් ප්රකාශයට පත් කරන්නෙමු, එය සිත්ගන්නාසුළු වනු ඇත.
පේද්රෝ රමල්හෙටේ - රැඳවුම්-නිදහස් දත්ත ව්යුහයන් සහ රැඳී-රහිත ගනුදෙනු
Pedro Cisco හි ක්රියා කරන අතර සමමුහුර්තකරණ යාන්ත්රණ, අගුළු-නිදහස් සහ රැඳී සිටීම්-රහිත දත්ත ව්යුහයන් සහ මෙම මාතෘකාව පිළිබඳව ඔබට සිතාගත හැකි සියල්ල ඇතුළුව පසුගිය වසර දහයක පමණ කාලය තුළ සමාන්තර ඇල්ගොරිතම සංවර්ධනය කරමින් සිටී. ඔහුගේ වර්තමාන පර්යේෂණ සහ ඉංජිනේරු අවශ්යතා විශ්වීය ඉදිකිරීම්, මෘදුකාංග ගනුදෙනු මතකය, ස්ථීර මතකය සහ නිවැරදි, පරිමාණය කළ හැකි සහ දෝෂ-ඉවසන යෙදුම් සක්රීය කරන සමාන තාක්ෂණයන් කෙරෙහි අවධානය යොමු කරයි. ඔහු පටු කවයන් තුළ බහුලව දන්නා බ්ලොග් අඩවියක කතුවරයා ද වේ
බොහෝ බහු නූල් යෙදුම් දැන් ක්රියාකාරීන් අතර පණිවිඩ පෝලිම් භාවිතයේ සිට ප්රධාන අගය ගබඩාවල සුචිගත දත්ත ව්යුහයන් දක්වා සමාන්තර දත්ත ව්යුහයන් මත ධාවනය වේ. ඔවුන් වසර ගණනාවක් තිස්සේ Java JDK හි සාර්ථකව වැඩ කර ඇති අතර, ඔවුන් සෙමින් C++ වෙත එකතු වේ.
සමාන්තර දත්ත ව්යුහයක් ක්රියාත්මක කිරීමේ සරලම ක්රමය වන්නේ ක්රම මුටෙක්ස් මගින් ආරක්ෂා කරන අනුක්රමික (තනි නූල්) ක්රියාත්මක කිරීමයි. මෙය ඕනෑම ජූනි මාසයකට ප්රවේශ විය හැකි නමුත් පරිමාණය සහ කාර්ය සාධනය සම්බන්ධයෙන් පැහැදිලි ගැටළු ඇත. ඒ අතරම, අගුළු-නිදහස් සහ රැඳී සිටීමෙන් තොර දත්ත ව්යුහයන් දෝෂ සමඟ වඩා හොඳින් මුහුණ දෙනවා පමණක් නොව, වඩා හොඳ කාර්ය සාධන පැතිකඩක් ද ඇත - කෙසේ වෙතත්, ඒවායේ සංවර්ධනය සඳහා ගැඹුරු විශේෂ ise තාවක් සහ නිශ්චිත යෙදුමකට අනුවර්තනය වීම අවශ්ය වේ. සෑම දෙයක්ම බිඳ දැමීමට එක් වැරදි කේතයක් ප්රමාණවත්ය.
ප්රවීණයෙකු නොවන අයෙකුට පවා එවැනි දත්ත ව්යුහයන් සැලසුම් කර ක්රියාත්මක කිරීමට හැකි වන පරිදි එය සකස් කරන්නේ කෙසේද? ඕනෑම අනුක්රමික ඇල්ගොරිතමයක් නූල් ආරක්ෂිතව භාවිතා කළ හැකි බව දන්නා කරුණකි
හයිඩි හොවාර්ඩ් - බෙදා හරින ලද සම්මුතිය මුදා හැරීම
Heidi Howard යනු, මාටින් මෙන්, කේම්බ්රිජ් විශ්වවිද්යාලයේ බෙදාහැරීමේ පද්ධති පර්යේෂකයෙකි. ඇයගේ විශේෂත්වය වන්නේ අනුකූලතාව, වැරදි ඉවසීම, කාර්ය සාධනය සහ බෙදාහැරීමේ සම්මුතියයි. ඇය වඩාත් ප්රසිද්ධියට පත්ව ඇත්තේ පැක්සෝස් ඇල්ගොරිතමයේ සාමාන්යකරණය සඳහා ය
බව ඔබට මතක ඇති
ආමන්ත්රණය කිරීම, නායක තේරීම, අවහිර කිරීම හෝ සම්බන්ධීකරණය සඳහා බහු සත්කාරක සමාගම් අතර සම්මුතිය සොයා ගැනීමේ හැකියාව නවීන බෙදාහැරීමේ පද්ධතිවල මූලික ප්රශ්නයකි. පැක්සෝස් දැන් සම්මුති ගැටළු විසඳීමේ ප්රධාන මාර්ගය වන අතර විවිධ ප්රායෝගික අවශ්යතා සඳහා ඇල්ගොරිතම පුළුල් කිරීමට සහ ප්රශස්ත කිරීමට ඒ වටා බොහෝ පර්යේෂණ සිදුවෙමින් පවතී.
මෙම කථාවේදී, අපි Paxos හි න්යායික පදනම නැවත සලකා බලමු, මුල් අවශ්යතා ලිහිල් කිරීම සහ ඇල්ගොරිතම සාමාන්යකරණය කිරීම. පැක්සෝස් යනු සම්මුති ප්රවේශයන් විශාල පරාසයක් අතර අත්යවශ්යයෙන්ම එක් විකල්පයක් පමණක් බවත්, වර්ණාවලියේ අනෙකුත් කරුණු ද හොඳ බෙදාහැරීමේ පද්ධති ගොඩනැගීම සඳහා ඉතා ප්රයෝජනවත් වන බවත් අපට පෙනෙනු ඇත.
ඇලෙක්ස් පෙට්රොව් - සංක්රාන්ති අනුකරණය සහ ලාභ ගණපූර්ණය සමඟින් ඔබේ ගබඩා පිරිවැය අඩු කරන්න
ඇලෙක්ස් යනු දත්ත සමුදාය සහ ගබඩා පද්ධති විශේෂඥයෙකු වන අතර, වඩාත් වැදගත් ලෙස අපට, කැපකරුවෙකි
සමඟ පද්ධති සඳහා
කෙසේ වෙතත්, සෑම දෙයක්ම එහි මිල ඇත. ගණපූර්ණ අනුරූ ක්රමයකින් අදහස් වන්නේ ගබඩා කිරීමේ පිරිවැය වැඩි වීමයි: ගැටලුවක් ඇති වූ විට ප්රමාණවත් පිටපත් තිබෙන බව සහතික කිරීම සඳහා අතිරික්ත දත්ත නෝඩ් කිහිපයක එකවර ගබඩා කළ යුතුය. සියලුම අනුපිටපත්වල සියලුම දත්ත ගබඩා කිරීමට ඔබට අවශ්ය නොවන බව පෙනේ. ඔබ නෝඩ් වල කොටසක පමණක් දත්ත ගබඩා කරන්නේ නම් සහ අසාර්ථක හැසිරවීමේ අවස්ථා සඳහා විශේෂ නෝඩ් (Transient Replica) භාවිතා කරන්නේ නම් ඔබට ගබඩාව මත පැටවීම අඩු කළ හැක.
වාර්තාව අතරතුර අපි සලකා බලමු
දිමිත්රි වියුකොව් - Goroutines නිරාවරණය වී ඇත
Dmitry යනු C/C++ සහ Go - Address/Memory/ThreadSanitizer සඳහා ගතික පරීක්ෂණ සහ Linux කර්නලය සඳහා සමාන මෙවලම් සඳහා Google හි සංවර්ධකයෙකි. Go පරිමාණය කළ හැකි goroutine උපලේඛකයෙකු, ජාල ඡන්ද විමසන්නෙකු සහ සමාන්තර කුණු එකතු කරන්නෙකු වෙත දායක විය. ඔහු බහු නූල්කරණයේ ප්රවීණයෙකි, නව අවහිර නොවන ඇල්ගොරිතම දුසිමක කතුවරයා වන අතර එහි හිමිකරු වේ.
දැන් වාර්තාව ගැන ටිකක්. Go භාෂාවට goroutines (සැහැල්ලු නූල්) සහ නාලිකා (FIFO පෝලිම්) ආකාරයෙන් බහු නූල් කිරීම සඳහා ස්වදේශීය සහාය ඇත. මෙම යාන්ත්රණයන් නවීන බහු-නූල් යෙදුම් ලිවීමට පරිශීලකයින්ට ඉතා පහසු සහ ප්රියජනක කරයි, එය මැජික් මෙන් පෙනේ. අපට වැටහෙන පරිදි, මෙහි මැජික් නොමැත. මෙම කතාවේදී, දිමිත්රි Go උපලේඛකයාගේ සංකීර්ණතා සොයා බලා මෙම “මැජික්” ක්රියාත්මක කිරීමේ රහස් පෙන්වනු ඇත. පළමුව, ඔහු උපලේඛකයේ ප්රධාන සංරචක පිළිබඳ දළ විශ්ලේෂණයක් ලබා දෙන අතර එය ක්රියා කරන ආකාරය ඔබට කියනු ඇත. මීළඟට, වාහන නැවැත්වීමේ/නැවැත්වීමේ උපාය මාර්ගය සහ අවහිර කිරීමේ පද්ධති ඇමතුම් හැසිරවීම වැනි තනි අංගයන් දෙස අපි සමීපව බලමු. අවසාන වශයෙන්, දිමිත්රි උපලේඛකයාට කළ හැකි වැඩිදියුණු කිරීම් ගැන ටිකක් කතා කරනු ඇත.
දිමිත්රි බුගයිචෙන්කෝ - සම්භාවිතා කටු සටහන් සහ තවත් දේ සමඟ බෙදා හරින ලද ප්රස්තාර විශ්ලේෂණය වේගවත් කිරීම
දිමිත්රි වසර 9 කට ආසන්න කාලයක් විශ්ව විද්යාලය සහ විද්යාත්මක ප්රජාව සමඟ සම්බන්ධතා නැති කර නොගෙන බාහිරින් ලබා ගැනීමේ කටයුතුවල නිරත විය. Odnoklassniki හි විශාල දත්ත විශ්ලේෂණය ඔහුට න්යායික පුහුණුව සහ විද්යාත්මක පදනම සැබෑ, ඉල්ලුමේ නිෂ්පාදන සංවර්ධනය කිරීම සමඟ ඒකාබද්ධ කිරීමට අද්විතීය අවස්ථාවක් බවට පත්විය.
බෙදා හරින ලද ප්රස්ථාර විශ්ලේෂණය දුෂ්කර කාර්යයක් වී ඇති අතර එය තවමත් පවතී: අසල්වැසි ශීර්ෂයක සම්බන්ධතා පිළිබඳ තොරතුරු ලබා ගැනීමට අවශ්ය වූ විට, දත්ත බොහෝ විට යන්ත්ර අතර මාරු කිරීමට සිදු වන අතර එමඟින් ක්රියාත්මක වීමේ කාලය වැඩි කිරීමට සහ ජාල යටිතල ව්යුහය මත පැටවීමට හේතු වේ. මෙම කතාවේදී, සම්භාවිතා දත්ත ව්යුහයන් හෝ සමාජ ජාලයක මිත්රත්ව ප්රස්තාරයේ සමමිතිය වැනි කරුණු භාවිතා කිරීමෙන් ඔබට සැලකිය යුතු සැකසුම් වේගයක් ලබා ගත හැකි ආකාරය අපි බලමු. මේ සියල්ල Apache Spark හි කේත උදාහරණ සමඟ නිදර්ශනය කර ඇත.
ඩෙනිස් රිස්ට්සොව් - සංක්රාන්ති අනුකරණය සහ ලාභ ගණපූර්ණය සමඟින් ඔබේ ගබඩා පිරිවැය අඩු කරන්න
ඩෙනිස් - සංවර්ධක
මෙම කතාවේදී, අපි පසුගිය වසර කිහිපය තුළ නිර්මාණය කර ඇති බෙදා හරින ලද ගනුදෙනු ප්රොටෝකෝල දෙස බලමු, ඒවා කොන්දේසි සහිත යාවත්කාලීන කිරීමට සහය දක්වන ඕනෑම දත්ත ගබඩාවක ඉහළින් ක්රියාත්මක කළ හැකි (සසඳන්න සහ සකසන්න). අවසාන කරුණ නම් ජීවිතය අදියර දෙකක කැපවීමකින් අවසන් නොවන බවයි, ඕනෑම දත්ත සමුදායක් මත ගනුදෙනු එකතු කළ හැකිය - යෙදුම් මට්ටමින්, නමුත් විවිධ ප්රොටෝකෝල (2PC, Percolator, RAMP) විවිධ වෙළඳාම් ඇති අතර ඒවා අපට ලබා නොදේ. නොමිලේ.
ඇලෙක්සි සිනොවියෙව් - සියලුම ML ඇල්ගොරිතම එය බෙදා හරින ලද ස්වර්ගය බවට පත් නොකරයි
ඇලෙක්සි (
මෙම කතාවේදී, Apache Spark ML, Apache Mahout, Apache Flink ML සහ Apache Ignite ML නිර්මාණය කිරීමේ අත්දැකීම් මත පදනම්ව බෙදා හරින ලද මාදිලියේ ක්රියාත්මක කිරීම සඳහා සම්භාව්ය යන්ත්ර ඉගෙනීමේ ඇල්ගොරිතම අනුවර්තනය කිරීමේ ගැටළු ගැන ඇලෙක්සි කතා කරනු ඇත. මෙම රාමු තුළ බෙදා හරින ලද ML ඇල්ගොරිතම ක්රියාත්මක කිරීම ගැන ඇලෙක්සි ද කතා කරනු ඇත.
අවසාන වශයෙන්, Yandex දත්ත සමුදාය පිළිබඳ Yandex වෙතින් වාර්තා දෙකක්.
ව්ලැඩිස්ලාව් කුස්නෙට්සොව් - Yandex දත්ත සමුදාය - අපි වැරදි ඉවසීම සහතික කරන ආකාරය
ව්ලැඩිස්ලාව් යනු බෙදා හරින ලද වේදිකා සමූහයේ Yandex හි සංවර්ධකයෙකි. Yandex දත්ත සමුදාය යනු තිරස් ලෙස පරිමාණය කළ හැකි, භූ-බෙදාහැරි, දෝෂ-ඉවසිය හැකි DBMS වන අතර එය තැටි, සේවාදායකයන්, රාක්ක සහ දත්ත මධ්යස්ථානවල අඛණ්ඩතාව අහිමි නොවී අසමත් වීමට ඔරොත්තු දිය හැකිය. වැරදි ඉවසීම සහතික කිරීම සඳහා, බෙදා හරින ලද සම්මුතිය සාක්ෂාත් කර ගැනීම සඳහා හිමිකාර ඇල්ගොරිතමයක් භාවිතා කරනු ලබන අතර, වාර්තාවේ විස්තරාත්මකව සාකච්ඡා කෙරෙන තාක්ෂණික විසඳුම් ගණනාවක් ද භාවිතා වේ. වාර්තාව DBMS සංවර්ධකයින් සහ DBMS මත පදනම් වූ යෙදුම් විසඳුම් සංවර්ධකයින් යන දෙඅංශයෙන්ම උනන්දු විය හැකිය.
Semyon Checherinda - YDB හි බෙදා හරින ලද ගනුදෙනු
සෙමියොන් යනු YDB ස්ථාපනය බහු කුලී නිවැසියන් භාවිතා කිරීමේ හැකියාව මත වැඩ කරමින් Yandex හි බෙදා හරින ලද වේදිකා සමූහයේ සංවර්ධකයෙකි.
Yandex දත්ත සමුදාය OLTP විමසුම් සඳහා නිර්මාණය කර ඇති අතර ගනුදෙනු පද්ධතියක් සඳහා ACID අවශ්යතා සමඟ අනුකූල වේ. මෙම වාර්තාවේ, අපි YDB ගනුදෙනු පද්ධතියට යටින් පවතින ගනුදෙනු කාලසටහන් ඇල්ගොරිතම සලකා බලමු. ගනුදෙනුවලට සහභාගී වන ආයතන මොනවාද, ගනුදෙනු සඳහා ගෝලීය අනුපිළිවෙල පවරන්නේ කවුද, ගනුදෙනු පරමාණුකත්වය, විශ්වසනීයත්වය සහ දැඩි හුදකලා මට්ටමක් සාක්ෂාත් කර ගන්නේ කෙසේද යන්න බලමු. උදාහරණයක් ලෙස පොදු ගැටළුවක් භාවිතා කරමින්, ද්වි-අදියර කැපවීම් සහ නියතිවාදී ගනුදෙනු භාවිතා කරමින් ගනුදෙනු ක්රියාත්මක කිරීම් දෙස බලමු. අපි ඔවුන්ගේ වෙනස්කම් සාකච්ඡා කරමු.
ඊළඟට කුමක්ද?
සම්මන්ත්රණ වැඩසටහන දිගටම නව වාර්තා වලින් පිරී යයි. විශේෂයෙන්ම අපි වාර්තාවක් බලාපොරොත්තු වෙනවා නිකිටා කෝවාල් (
හයිඩ්රා සමුළුව ජූලි 11-12 දිනවල ශාන්ත පීටර්ස්බර්ග්හිදී පැවැත්වේ. ප්රවේශපත්ර තිබේ
Hydra හිදී හමුවෙමු!
මූලාශ්රය: www.habr.com