ජූලි 11-12 දිනවල ශාන්ත පීටර්ස්බර්ග්හිදී සම්මන්ත්රණයක් පැවැත්වේ , සමාන්තර හා බෙදා හරින ලද පද්ධති සංවර්ධනය කිරීම සඳහා කැපවී ඇත. හයිඩ්රා හි උපක්‍රමය නම්, එය සිසිල් විද්‍යාඥයින් (සාමාන්යයෙන් සොයා ගත හැක්කේ විදේශීය විද්‍යාත්මක සම්මන්ත්‍රණවලදී පමණක්) සහ ප්‍රසිද්ධ පුහුණු ඉංජිනේරුවන් විද්‍යාව හා ප්‍රායෝගික ඡේදනයකදී එක් විශාල වැඩසටහනකට ඒකාබද්ධ කිරීමයි.
Hydra යනු පසුගිය වසර කිහිපය තුළ අපගේ වැදගත්ම සම්මන්ත්‍රණවලින් එකකි. ඊට පෙර ඉතා බැරෑරුම් ලෙස සකස් කිරීම, කථිකයන් තෝරා ගැනීම සහ වාර්තා කිරීම සිදු විය. මේ ගැන ගිය සතියේ JUG.ru සමූහයේ අධ්‍යක්ෂ ඇලෙක්සි ෆෙඩෝරොව් සමඟ ().
අපි බෙදා හරින ලද පද්ධති පිළිබඳ න්‍යායේ ආරම්භකයින් - ලෙස්ලි ලැම්පෝට්, මොරිස් හර්ලිහි සහ මයිකල් ස්කොට් යන වැදගත් සහභාගිවන්නන් තිදෙනෙකු ගැන. සම්පූර්ණ වැඩසටහන ගැන වඩාත් විස්තරාත්මකව කතා කිරීමට කාලයයි!
අභිප්රේරණය
ඔබ ක්‍රමලේඛනයට සම්බන්ධ නම්, එක් ආකාරයකින් හෝ වෙනත් ආකාරයකින් ඔබ බහු නූල් සහ බෙදා හරින ලද පරිගණකකරණය සමඟ කටයුතු කරයි. අදාළ ක්ෂේත්‍රවල ප්‍රවීණයන් ඔවුන් සමඟ කෙලින්ම වැඩ කරයි, නමුත් ව්‍යංගයෙන්, බෙදා හැරීම සෑම තැනකම අප දෙස බලයි: ඕනෑම බහු-core පරිගණකයක හෝ බෙදා හරින ලද සේවාවක සමාන්තරව ගණනය කිරීම් සිදු කරන දෙයක් තිබේ.
යෙදුම් වැඩසටහන්කරණයේ විවිධ පැති ආවරණය වන සම්මන්ත්‍රණ රාශියක් ඇත. වර්ණාවලියේ අනෙක් පැත්තෙන්, දේශන ආකෘතියෙන් සංකීර්ණ න්‍යායන් විශාල ප්‍රමාණයක් හෙළි කරන විශේෂිත විද්‍යාත්මක පාසල් අප සතුව ඇත. නිදසුනක් වශයෙන්, ශාන්ත පීටර්ස්බර්ග්හි හයිඩ්රා සමග සමාන්තරව පවතී . හයිඩ්රා සම්මන්ත්‍රණයේදී, අපි කටුක භාවිතය, විද්‍යාව සහ සෑම දෙයක්ම ඔවුන්ගේ මංසන්ධියේදී එකට ගෙන ඒමට උත්සාහ කළෙමු.
මේ ගැන සිතන්න: අප ජීවත් වන්නේ අප ඉගෙන ගන්නා විද්‍යා හා ඉංජිනේරු ක්ෂේත්‍රයේ ආරම්භකයින් ඔබට පෞද්ගලිකව හමුවීමට හැකි පුදුමාකාර කාලයක ය. භෞතික විද්‍යාඥයින්ට නිව්ටන් හෝ අයින්ස්ටයින් හමු නොවනු ඇත - දුම්රිය පිටත්ව ගොස් ඇත. නමුත් අප අසල තවමත් ජීවත් වන්නේ බෙදා හරින ලද පද්ධති පිළිබඳ න්‍යායේ අත්තිවාරම් නිර්මාණය කළ, ජනප්‍රිය ක්‍රමලේඛන භාෂා සොයා ගත් සහ පළමු වරට මේ සියල්ල වැඩ කරන මූලාකෘතිවල මූර්තිමත් කළ අයයි. මේ අය තම රැකියාව අතරමග අත්හැරියේ නැත, ඔවුන් මේ වන විට ලෝක ප්‍රකට විශ්ව විද්‍යාල සහ සමාගම්වල දැවෙන ප්රශ්න මත වැඩ කරමින් සිටින අතර අද වන විට විශාලතම දැනුම හා අත්දැකීම් මූලාශ්‍ර වේ.
අනෙක් අතට, ඔවුන් හමුවීමට ඇති අවස්ථාව සාමාන්යයෙන් සම්පූර්ණයෙන්ම න්‍යායාත්මකව පවතී: අපෙන් කිහිප දෙනෙකුට රොචෙස්ටර් විශ්ව විද්‍යාලයේ පොදු සිදුවීම් නිරන්තරයෙන් නිරීක්ෂණය කළ හැකි අතර, පසුව ඇමරිකා එක්සත් ජනපදයට ගොස් මයිකල් ස්කොට් සමඟ දේශනයක් සඳහා ආපසු යා හැකිය. සියලුම හයිඩ්රා සාමාජිකයින් නැරඹීමට කුඩා ධනයක් වැය වනු ඇත, නාස්ති කරන කාලයෙහි අගාධය ගණන් නොගනී (එය සිත්ගන්නාසුලු ගවේෂණයක් ලෙස පෙනුනද).
අනෙක් අතට, මේ වන විට බෙදා හරින ලද පද්ධතිවල ඇති ගැටළු පිළිබඳව කටයුතු කරන බොහෝ ඉහළ ඉංජිනේරුවන් අප සතුව ඇති අතර ඔවුන්ට අනිවාර්යයෙන්ම පැවසීමට බොහෝ දේ ඇත. නමුත් මෙන්න ගැටලුව - ඔවුන් වැඩ කරනවා, සහ ඔවුන්ගේ කාලය වටිනවා. ඔව්, ඔබ Microsoft, Google හෝ JetBrains හි සේවකයෙකු නම්, අභ්‍යන්තර සිදුවීමකදී ප්‍රසිද්ධ කථිකයන්ගෙන් කෙනෙකු හමුවීමේ සම්භාවිතාව තියුනු ලෙස වැඩි වේ, නමුත් පොදුවේ, නැත, මෙය සෑම දිනකම සිදු නොවේ.
මේ ආකාරයෙන්, හයිඩ්රා සමුළුව අපෙන් බොහෝ දෙනෙකුට තනිවම කළ නොහැකි වැදගත් කාර්යයක් ඉටු කරයි - එක තැනක සහ එක් අවස්ථාවක, එය ඔබේ ජීවිතය වෙනස් කළ හැකි අදහස් හෝ අන්තර්ක්‍රියා ඇති පුද්ගලයින් එක් කරයි. සෑම කෙනෙකුටම බෙදා හරින ලද පද්ධති හෝ සමහර සංකීර්ණ මූලික දේවල් අවශ්ය නොවන බව මම පිළිගනිමි. ඔබට ඔබේ ජීවිත කාලය පුරාම PHP හි CRUD වැඩසටහන්ගත කර සම්පූර්ණයෙන්ම සතුටින් සිටිය හැක. නමුත් එය අවශ්ය ඕනෑම කෙනෙකුට, මෙය ඔබේ අවස්ථාවයි.
හබ්රේ පිළිබඳ හයිඩ්රා සමුළුවේ පළමු නිවේදනයෙන් බොහෝ කාලයක් ගතවී ඇත. මෙම කාලය තුළ, බොහෝ වැඩ කටයුතු සිදු කර ඇත - දැන් අප සතුව සියලුම වාර්තා ලැයිස්තුවක් තිබේ. මන්දගාමී තනි-නූල් ඇල්ගොරිතම නැත, පිරිසිදු බෙදා හරින ලද දෘඪ තැටිය පමණි! අපි සාමාන්‍ය වචන වලින් අවසන් කර දැන් අපගේ අතේ ඇති දේ බලමු.
ප්රධාන සටහන්
ප්රධාන සටහන් සම්මන්ත්‍රණයේ දින ආරම්භ වී අවසන් වේ. සාමාන්යයෙන් ආරම්භක ප්රධාන දේශනයක කාරණය වන්නේ සම්මන්ත්‍රණයේ සාමාන්‍ය ආත්මය සහ දිශාව සැකසීමයි. අවසාන ප්රධාන දේශනය රේඛාවක් අඳින අතර සමුළුවේදී ලබාගත් දැනුම හා කුසලතා සමඟ අපට ජීවත් විය හැකි ආකාරය පැහැදිලි කරයි. ආරම්භය සහ අවසානය: හොඳින්ම මතක තබා ගත යුතු දේ, සහ පොදුවේ, වැදගත්කම වැඩි කර ඇත.
ක්ලිෆ් ක්ලික් කරන්න
ක්ලිෆ් යනු ජාවා ලෝකයේ පුරාවෘත්තයකි. 90 දශකයේ අගභාගයේදී, ඔහුගේ ආචාර්ය උපාධි නිබන්ධනය සඳහා, ඔහු නමින් පත්‍රිකාවක් ලිවීය , එය කලකට පසුව HotSpot JVM Server Compiler සඳහා පදනම විය. වසර දෙකකට පසුව, ඔහු දැනටමත් JVM හි Sun Microsystems හි සේවය කරමින් සිටි අතර JIT හට පැවැත්මට අයිතියක් ඇති බව මුළු ලෝකයටම පෙන්වා දුන්නේය. ජාවා දක්ෂම සහ වේගවත්ම ප්රශස්තකරණයන් සහිත වේගවත්ම නවීන ධාවන කාලවලින් එකක් වන ආකාරය පිළිබඳ මෙම සම්පූර්ණ කතාව Cliff Click වෙතින් පැමිණියේය. ආරම්භයේදීම, යමක් ස්ථිතික සම්පාදකයකට ප්‍රවේශ විය හැකි නම්, ඔබ එය ඉවත් කිරීමට උත්සාහ නොකළ යුතු බව විශ්වාස කෙරිණි. ක්ලිෆ් සහ කණ්ඩායමේ කාර්යයට ස්තූතිවන්ත වන්නට, පෙරනිමියෙන් JIT සම්පාදනය කිරීමේ අදහසින් සියලුම නව භාෂා නිර්මාණය වීමට පටන් ගත්තේය. ඇත්ත වශයෙන්ම, මෙය තනි පුද්ගල රැකියාවක් නොවේ, නමුත් ක්ලිෆ් එහි ඉතා වැදගත් කාර්යභාරයක් ඉටු කළේය.
ආරම්භක ප්රධාන දේශනයේදී, ක්ලිෆ් ඔහුගේ අනෙක් උත්සාහය ගැන කතා කරනු ඇත - , කාර්මික යෙදුම් සඳහා බෙදා හරින ලද සහ පරිමාණය කළ හැකි යන්ත්‍ර ඉගෙනීම සඳහා මතක වේදිකාවකි. හෝ වඩාත් නිවැරදිව, එය තුළ ඇති යතුරු-අගය යුගල බෙදා හරින ලද ගබඩාව ගැන. මෙය රසවත් ගුණාංග රාශියක් සහිත ඉතා වේගවත් ගබඩාවකි (නිවැරදි ලැයිස්තුව ඇත ), විශාල දත්ත ප්‍රවාහයේ ගණිතයේ සමාන විසඳුම් භාවිතා කිරීමට ඉඩ සලසයි.
ක්ලිෆ් ලබා දෙන තවත් වාර්තාවක් වන්නේ - . ඔහුගේ චරිතාපදානයේ තවත් කොටසක් - අවුරුදු දහයක් , එහිදී ඔහු Azul දෘඪාංග සහ තාක්ෂණ තොගයේ බොහෝ දේ යාවත්කාලීන කර වැඩි දියුණු කළේය: JIT සම්පාදක, ධාවන කාලය, නූල් ආකෘතිය, දෝෂ හැසිරවීම, තොග හැසිරවීම, දෘඩාංග බාධා කිරීම්, පන්ති පැටවීම සහ යනාදිය - හොඳයි, ඔබට ලැබේ අදහස.
වඩාත්ම සිත්ගන්නා කොටස ආරම්භ වූයේ ඔවුන් විශාල ව්‍යාපාරයක් සඳහා දෘඩාංග සාදන විටය - ජාවා ධාවනය කිරීමට සුපිරි පරිගණකයක්. එය තරමක් නව්‍ය දෙයක් විය, විශේෂ අවශ්යතා ඇති ජාවා සඳහා විශේෂයෙන් සකස් කර ඇත - අඩු විරාම කසළ එකතු කිරීම සඳහා මතක බාධක කියවීම, සීමාවන් පරීක්ෂා කිරීම සහිත අරා, අතථ්‍ය ඇමතුම්... සිසිල් තාක්‍ෂණයක් වන්නේ දෘඩාංග ගනුදෙනු මතකයයි. හරය 1 න් ඕනෑම එකක සම්පූර්ණ L864 හට ගණුදෙණු ලිවීමට සහභාගී විය හැකි අතර, එය ජාවා හි අගුලු සමඟ වැඩ කිරීම සඳහා විශේෂයෙන් වැදගත් වේ (සැබෑ මතක ගැටුමක් නොමැති තාක් සමමුහුර්ත කළ කුට්ටි සමාන්තරව ක්රියා කළ හැක). නමුත් මෙම සුන්දර අදහස කටුක යථාර්ථයෙන් තලා දැමුවා - සහ මෙම කතාවේදී ක්ලිෆ් ඔබට කියනු ඇත HTM සහ STM බහු-නූල් පරිගණකකරණයේ ප්‍රායෝගික අවශ්යතා සඳහා ඉතා හොඳින් නොගැලපේ.
මයිකල් ස්කොට් -
- දෛවය ඔහුව සම්බන්ධ කළ රොචෙස්ටර් විශ්ව විද්‍යාලයේ පරිගණක විද්‍යාව පිළිබඳ මහාචාර්ය , සහ ඔහුගේ නිවසේ විස්කොන්සින්-මැඩිසන් විශ්ව විද්‍යාලයේ, ඔහු වසර පහක් පීඨාධිපති විය. ඔහු සමාන්තර හා බෙදා හරින ලද ක්‍රමලේඛනය සහ භාෂා නිර්මාණය පිළිබඳව සිසුන්ට පර්යේෂණ කර උගන්වයි.
මුළු ලෝකයම මයිකල්ව හඳුනන්නේ පෙළපොතට ස්තූතියි , එහි නවතම සංස්කරණය සාපේක්ෂව මෑතකදී ප්‍රකාශයට පත් කරන ලදී - 2015 දී. ඔහුගේ රැකියාව ලැබුණි බෙදා හරින ලද පරිගණක ක්ෂේත්‍රයේ වඩාත් ප්‍රසිද්ධ එකක් ලෙස සහ රොචෙස්ටර් විශ්ව විද්‍යාලයේ ඔන්ලයින් පුස්තකාලයේ. මයිකල්-ස්කොට් ඇල්ගොරිතමයේ කතුවරයා ලෙසද ඔබ ඔහුව හඳුනනවා විය හැකිය .
ජාවා ලෝකය සම්බන්ධයෙන් ගත් කල, මෙය විශේෂ අවස්ථාවකි: ඩග් ලී සමඟ එක්ව, ඔහු ජාවා පුස්තකාල වැඩ කරන අවහිර නොවන ඇල්ගොරිතම සහ සමමුහුර්ත පෝලිම් සංවර්ධනය කළේය. “ද්විත්ව දත්ත ව්යුහයන්” ප්රධාන දේශනය හරියටම මෙයයි - Java SE 6 හි මෙම ව්යුහයන් හඳුන්වා දීමෙන් කාර්ය සාධනය 10 ගුණයකින් වැඩි දියුණු කර ඇත. java.util.concurrent.ThreadPoolExecutor. මෙම "ද්විත්ව දත්ත ව්යුහයන්" යනු කුමක්දැයි ඔබ කල්තියා කල්පනා කරන්නේ නම්, ඒ පිළිබඳ තොරතුරු තිබේ .
මොරිස් හර්ලිහි -
- Dijkstra සම්මාන දෙකක ජයග්රාහකයා. පළමුවැන්න වැඩ සඳහා ය (බ්‍රවුන් විශ්ව විද්‍යාලය), සහ දෙවන, වඩාත් මෑතකාලීන - (වර්ජිනියා තාක්ෂණ විශ්ව විද්‍යාලය). Dijkstra ත්‍යාගය මඟින් අවම වශයෙන් වසර දහයක්වත් එහි වැදගත්කම සහ බලපෑම දෘශ්‍යමාන වූ වැඩ හඳුනා ගන්නා අතර මොරිස් පැහැදිලිවම ක්ෂේත්‍රයේ වඩාත්ම කීර්තිමත් ප්‍රවීණයන්ගෙන් කෙනෙකි. ඔහු දැනට බ්‍රවුන් විශ්ව විද්‍යාලයේ මහාචාර්යවරයෙකු ලෙස සේවය කරන අතර ඡේදයක් දක්වා වූ ජයග්‍රහණ ලැයිස්තුවක් ඇත.
මෙම අවසන් ප්රධාන දේශනයේදී, බෙදා හරින ලද පරිගණකකරණයේ සම්භාව්‍ය දෘෂ්ටි කෝණයෙන් බ්ලොක්චේන් බෙදා හරින ලද පද්ධතිවල න්‍යාය සහ භාවිතය සහ එය බොහෝ අදාළ ගැටළු සරල කරන ආකාරය ගැන මොරිස් කතා කරනු ඇත. මෙය සම්මන්ත්‍රණයේ මාතෘකාවට පමණක් සීමා වූ වාර්තාවකි - කිසිසේත්ම පතල් කැණීම් ගැන නොව, විවිධ කාර්යයන් සම්බන්ධයෙන් අපගේ දැනුම විශ්මය ජනක ලෙස ඵලදායී ලෙස සහ යෝග්‍ය ලෙස භාවිතා කළ හැකි ආකාරය පිළිබඳ වාර්තාවකි.
2017 ජූලි මාසයේදී, මොරිස් දැනටමත් SPTDC පාසලට යාමට රුසියාවට පැමිණ, JUG.ru රැස්වීමට සහභාගී වූ අතර, පටිගත කිරීම YouTube හි නැරඹිය හැකිය:
ප්රධාන වැඩසටහන
ඊළඟට වැඩසටහනට ඇතුළත් කර ඇති වාර්තා පිළිබඳ කෙටි දළ විශ්ලේෂණයක් ඇත. සමහර වාර්තා මෙහි විස්තරාත්මකව විස්තර කර ඇත, තවත් සමහරක් කෙටියෙන්. දිගු විස්තරයන් ප්රධාන වශයෙන් ඉංග්‍රීසි භාෂා වාර්තා වෙත ගොස් විද්‍යාත්මක පත්‍රිකා, විකිපීඩියාවේ නියමයන් සහ යනාදිය වෙත සබැඳි අවශ්ය විය. සම්පූර්ණ ලැයිස්තුව ලබා ගත හැකිය . වෙබ් අඩවියේ ලැයිස්තුව යාවත්කාලීන කර අතිරේක වනු ඇත.
ලෙස්ලි ලැම්පෝට් -
ලෙස්ලි ලැම්පෝට් බෙදා හරින ලද පරිගණකකරණයේ මූලික කෘතිවල කතුවරයා වේ. "Lamport TeX" යන්නෙන් අදහස් කෙරේ. 1979 දී මුලින්ම සංකල්පය හඳුන්වා දුන්නේ ඔහුය , සහ ඔහුගේ ලිපිය Dijkstra ත්‍යාගය ලැබුණා.
ආකෘතිය අනුව වැඩසටහනේ වඩාත්ම අසාමාන්‍ය කොටස මෙයයි, මන්ද එය වාර්තාවක් පවා නොවන නමුත් ප්‍රශ්නෝත්තර සැසියකි. ප්‍රේක්ෂකයින්ගෙන් සැලකිය යුතු කොටසක් දැනටමත් "Lamport's theory", ඔහුගේම ලිපි සහ වාර්තා මත පදනම් වූ සියලු වර්ගවල කෘති සමඟ හුරුපුරුදු (හෝ හුරුපුරුදු විය හැකි) විට, සෘජු සන්නිවේදනය සඳහා පවතින කාලය ගත කිරීම වඩා වැදගත් වේ.
අදහස සරලයි - ඔබ YouTube හි වාර්තා දෙකක් නරඹයි: и සහ අවම වශයෙන් එක් ප්රශ්නයක් සූදානම් කරන්න, සහ ලෙස්ලි පිළිතුරු දෙයි.
මෙම වීඩියෝ දෙකෙන් පළමුවැන්න දැනටමත් අප සතුව ඇත . වීඩියෝව නැරඹීමට ඔබට පැයක කාලයක් නොමැති නම්, ඔබට ඉක්මනින් ඒ සියල්ල පෙළ ආකාරයෙන් කියවිය හැක.
සටහන: YouTube හි තවත් බොහෝ ලෙස්ලි ලැම්පෝට් වීඩියෝ තිබේ. උදාහරණයක් ලෙස, විශිෂ්ට එකක් තිබේ . මෙම සම්පූර්ණ පාඨමාලාවේ නොබැඳි අනුවාදයක් මෙහි ඇත , සහ ජංගම උපාංගවල පහසුවෙන් බැලීම සඳහා ඔහු එය YouTube වෙත උඩුගත කළේය.
මාටින් ක්ලෙප්මන් -
Martin Kleppmann යනු CRDT සහ ඇල්ගොරිතම පිළිබඳ විධිමත් සත්‍යාපනය පිළිබඳ කටයුතු කරන කේම්බ්‍රිජ් විශ්ව විද්‍යාලයේ පර්යේෂකයෙකි. මාටින්ගේ පොත , 2017 දී ප්‍රකාශයට පත් කරන ලද, ඉතා සාර්ථක බව ඔප්පු වූ අතර එය දත්ත ගබඩා කිරීම සහ සැකසීමේ ක්ෂේත්‍රයේ හොඳම විකුණුම් ලැයිස්තුවට ඇතුළත් විය. කෙවින් ස්කොට්, මයික්‍රොසොෆ්ට් හි CTO, : “මෙම පොත මෘදුකාංග ඉංජිනේරුවන් සඳහා අත්‍යවශ්‍ය පොතක් විය යුතුය. මෙය සංවර්ධකයින්ට යටිතල පහසුකම් සහ දත්ත පද්ධති සැලසුම් කිරීමේදී සහ ක්රියාත්මක කිරීමේදී වඩාත් දක්ෂ ලෙස උපකාර කිරීම සඳහා න්‍යාය සහ භාවිතයන් ඒකාබද්ධ කරන දුර්ලභ සම්පතකි. Kafka හි නිර්මාතෘ සහ Confluent හි CTO, Jay Kreps, සමාන දෙයක් පැවසීය.
ශාස්ත්‍රීය පර්යේෂණ වෙත යාමට පෙර, මාටින් කර්මාන්තයේ වැඩ කළ අතර සාර්ථක ආරම්භක දෙකක් සම-ආරම්භ කළේය:
- 2012 දී LinkedIn මිල දී ගත් ඔබේ විද්‍යුත් තැපෑලෙන් සම්බන්ධතා වල සමාජ පැතිකඩ ප්‍රදර්ශනය කිරීමට කැප වූ, වාර්තාගත;
- RedGate 2009 දී මිලදී ගත් විවිධ බ්‍රව්සර්වල වෙබ් අඩවි ස්වයංක්‍රීයව පරීක්ෂා කිරීමේ සේවාවක් වන Go Test It.
පොදුවේ ගත් කල, මාටින්, අපගේ ප්රධාන දේශනවලට වඩා අඩු ප්‍රසිද්ධියක් ලබා ඇතත්, බෙදා හරින ලද පරිගණකකරණයේ දියුණුවට සහ කර්මාන්තයට යම් දායකත්වයක් ලබා දීමට දැනටමත් සමත් වී ඇත.
මෙම කතාවේදී මාටින් ඔහුගේ ශාස්ත්‍රීය පර්යේෂණයට සමීප මාතෘකාවක් ගැන කතා කරනු ඇත. Google Docs සහ ඒ හා සමාන ලේඛන සම-සංස්කරණ සෝෆා වල, "සහයෝගී සංස්කරණ" යනු අනුකරණය කිරීමේ කාර්යයකට යොමු කරයි: සෑම පරිශීලකයෙකුටම බෙදාගත් ලේඛනයේ තමන්ගේම අනුරුවක් ඇත, එය ඔවුන් පසුව වෙනස් කරයි, සහ සියලු වෙනස්කම් ජාලය හරහා ඉතිරි කොටස් වෙත යවනු ලැබේ. සහභාගිවන්නන්. නොබැඳි ලේඛනවල වෙනස් කිරීම් අනෙකුත් සහභාගිවන්නන් සම්බන්ධයෙන් ලේඛනයේ තාවකාලික අනනුකූලතාවයට හේතු වන අතර නැවත සමමුහුර්තකරණය සඳහා ගැටුම් හැසිරවීම අවශ්ය වේ. ඒවා හරියටම පවතින්නේ ඒ සඳහා ය (CRDT), ඇත්ත වශයෙන්ම, තරමක් අලුත් දෙයක් වන අතර, එහි සාරය 2011 දී පමණක් සකස් කරන ලදී. CRDT ලෝකයේ එතැන් සිට සිදු වූ දේ, වඩාත්ම මෑත දියුණුව මොනවාද, පොදුවේ දේශීය-පළමු යෙදුම් නිර්මාණය කිරීමේ ප්‍රවේශය සහ විවෘත මූලාශ්‍ර පුස්තකාලයක් භාවිතා කිරීම මෙම කතාව සාකච්ඡා කරයි. විශේෂයෙන්ම.
ලබන සතියේ අපි හබ්රේ හි මාටින් සමඟ දිගු සම්මුඛ සාකච්ඡාවක් ප්‍රකාශයට පත් කරන්නෙමු, එය සිත්ගන්නාසුළු වනු ඇත.
පේද්‍රෝ රමල්හෙටේ -
Pedro Cisco හි ක්රියා කරන අතර සමමුහුර්තකරණ යාන්ත්‍රණ, අගුළු-නිදහස් සහ රැඳී සිටීම්-රහිත දත්ත ව්යුහයන් සහ මෙම මාතෘකාව පිළිබඳව ඔබට සිතාගත හැකි සියල්ල ඇතුළුව පසුගිය වසර දහයක පමණ කාලය තුළ සමාන්තර ඇල්ගොරිතම සංවර්ධනය කරමින් සිටී. ඔහුගේ වර්තමාන පර්යේෂණ සහ ඉංජිනේරු අවශ්යතා විශ්වීය ඉදිකිරීම්, මෘදුකාංග ගනුදෙනු මතකය, ස්ථීර මතකය සහ නිවැරදි, පරිමාණය කළ හැකි සහ දෝෂ-ඉවසන යෙදුම් සක්‍රීය කරන සමාන තාක්ෂණයන් කෙරෙහි අවධානය යොමු කරයි. ඔහු පටු කවයන් තුළ බහුලව දන්නා බ්ලොග් අඩවියක කතුවරයා ද වේ .
බොහෝ බහු නූල් යෙදුම් දැන් ක්‍රියාකාරීන් අතර පණිවිඩ පෝලිම් භාවිතයේ සිට ප්රධාන අගය ගබඩාවල සුචිගත දත්ත ව්යුහයන් දක්වා සමාන්තර දත්ත ව්යුහයන් මත ධාවනය වේ. ඔවුන් වසර ගණනාවක් තිස්සේ Java JDK හි සාර්ථකව වැඩ කර ඇති අතර, ඔවුන් සෙමින් C++ වෙත එකතු වේ.
සමාන්තර දත්ත ව්‍යුහයක් ක්රියාත්මක කිරීමේ සරලම ක්රමය වන්නේ ක්‍රම මුටෙක්ස් මගින් ආරක්ෂා කරන අනුක්‍රමික (තනි නූල්) ක්රියාත්මක කිරීමයි. මෙය ඕනෑම ජූනි මාසයකට ප්‍රවේශ විය හැකි නමුත් පරිමාණය සහ කාර්ය සාධනය සම්බන්ධයෙන් පැහැදිලි ගැටළු ඇත. ඒ අතරම, අගුළු-නිදහස් සහ රැඳී සිටීමෙන් තොර දත්ත ව්යුහයන් දෝෂ සමඟ වඩා හොඳින් මුහුණ දෙනවා පමණක් නොව, වඩා හොඳ කාර්ය සාධන පැතිකඩක් ද ඇත - කෙසේ වෙතත්, ඒවායේ සංවර්ධනය සඳහා ගැඹුරු විශේෂ ise තාවක් සහ නිශ්චිත යෙදුමකට අනුවර්තනය වීම අවශ්ය වේ. සෑම දෙයක්ම බිඳ දැමීමට එක් වැරදි කේතයක් ප්රමාණවත්ය.
ප්‍රවීණයෙකු නොවන අයෙකුට පවා එවැනි දත්ත ව්යුහයන් සැලසුම් කර ක්රියාත්මක කිරීමට හැකි වන පරිදි එය සකස් කරන්නේ කෙසේද? ඕනෑම අනුක්‍රමික ඇල්ගොරිතමයක් නූල් ආරක්ෂිතව භාවිතා කළ හැකි බව දන්නා කරුණකි , හෝ ගනුදෙනු මතකය. එක් දෙයක් නම්, මෙම ගැටලුව විසඳීමට ඇතුල් වීමට ඇති බාධකය අඩු කළ හැකිය. කෙසේ වෙතත්, විසඳුම් දෙකම සාමාන්යයෙන් අකාර්යක්ෂම ලෙස ක්රියාත්මක කිරීමට හේතු වේ. මෙම නිර්මාණ වඩාත් කාර්යක්ෂම කිරීමට ඔවුන් සමත් වූ ආකාරය සහ ඔබේ ඇල්ගොරිතම සඳහා ඒවා භාවිතා කළ හැකි ආකාරය ගැන Pedro කතා කරනු ඇත.
හයිඩි හොවාර්ඩ් -
Heidi Howard යනු, මාටින් මෙන්, කේම්බ්‍රිජ් විශ්වවිද්‍යාලයේ බෙදාහැරීමේ පද්ධති පර්යේෂකයෙකි. ඇයගේ විශේෂත්වය වන්නේ අනුකූලතාව, වැරදි ඉවසීම, කාර්ය සාධනය සහ බෙදාහැරීමේ සම්මුතියයි. ඇය වඩාත් ප්‍රසිද්ධියට පත්ව ඇත්තේ පැක්සෝස් ඇල්ගොරිතමයේ සාමාන්යකරණය සඳහා ය .
බව ඔබට මතක ඇති ලෙස්ලි ලැම්පෝට්ගේ කාර්යය මත පදනම් වූ විශ්වාස කළ නොහැකි පරිගණක ජාලයක සම්මුතිය පිළිබඳ ගැටළුව විසඳීම සඳහා වන ප්‍රොටෝකෝල පවුලකි. මේ අනුව, අපගේ සමහර කථිකයන් අපගේ අනෙකුත් කථිකයන් විසින් මුලින් යෝජනා කරන ලද ගැටළු මත ක්රියා කරයි - මෙය අපූරු ය.
ආමන්ත්‍රණය කිරීම, නායක තේරීම, අවහිර කිරීම හෝ සම්බන්ධීකරණය සඳහා බහු සත්කාරක සමාගම් අතර සම්මුතිය සොයා ගැනීමේ හැකියාව නවීන බෙදාහැරීමේ පද්ධතිවල මූලික ප්‍රශ්නයකි. පැක්සෝස් දැන් සම්මුති ගැටළු විසඳීමේ ප්රධාන මාර්ගය වන අතර විවිධ ප්‍රායෝගික අවශ්යතා සඳහා ඇල්ගොරිතම පුළුල් කිරීමට සහ ප්‍රශස්ත කිරීමට ඒ වටා බොහෝ පර්යේෂණ සිදුවෙමින් පවතී.
මෙම කථාවේදී, අපි Paxos හි න්යායික පදනම නැවත සලකා බලමු, මුල් අවශ්යතා ලිහිල් කිරීම සහ ඇල්ගොරිතම සාමාන්යකරණය කිරීම. පැක්සෝස් යනු සම්මුති ප්‍රවේශයන් විශාල පරාසයක් අතර අත්‍යවශ්‍යයෙන්ම එක් විකල්පයක් පමණක් බවත්, වර්ණාවලියේ අනෙකුත් කරුණු ද හොඳ බෙදාහැරීමේ පද්ධති ගොඩනැගීම සඳහා ඉතා ප්‍රයෝජනවත් වන බවත් අපට පෙනෙනු ඇත.
ඇලෙක්ස් පෙට්රොව් -
ඇලෙක්ස් යනු දත්ත සමුදාය සහ ගබඩා පද්ධති විශේෂඥයෙකු වන අතර, වඩාත් වැදගත් ලෙස අපට, කැපකරුවෙකි . ඔහු දැනට O'Reilly සමඟ Database Internals නම් පොතක වැඩ කරමින් සිටී.
සමඟ පද්ධති සඳහා (රුසියානු පාරිභාෂිතය තුළ - "අවසාන අනුකූලතාව"), නෝඩයක් බිඳ වැටීමෙන් හෝ ජාල බෙදීමකින් පසු, ඔබට පහත උභතෝකෝටිකය විසඳා ගත යුතුය: එක්කෝ ඉල්ලීම් දිගටම ක්රියාත්මක කිරීම, අනුකූලතාව කැප කිරීම හෝ ඒවා ක්රියාත්මක කිරීම ප්‍රතික්ෂේප කිරීම සහ ලබා ගැනීමේ හැකියාව කැප කිරීම. එවැනි පද්ධතියක් තුළ, ගණපූර්ණය, නෝඩ් වල උප කුලක අතිච්ඡාදනය කිරීම සහ අවම වශයෙන් එක් නෝඩයක වඩාත්ම මෑත අගය අඩංගු බව සහතික කිරීම හොඳ දාර විසඳුමක් විය හැකිය. ඔබට තවමත් නවතම අගයන් සමඟ ප්‍රතිචාර දක්වන අතරේ සමහර නෝඩ් වෙත ඇති අසාර්ථකත්වයන් සහ සම්බන්ධතාව අහිමි වීමෙන් බේරී සිටිය හැක.
කෙසේ වෙතත්, සෑම දෙයක්ම එහි මිල ඇත. ගණපූර්ණ අනුරූ ක්‍රමයකින් අදහස් වන්නේ ගබඩා කිරීමේ පිරිවැය වැඩි වීමයි: ගැටලුවක් ඇති වූ විට ප්‍රමාණවත් පිටපත් තිබෙන බව සහතික කිරීම සඳහා අතිරික්ත දත්ත නෝඩ් කිහිපයක එකවර ගබඩා කළ යුතුය. සියලුම අනුපිටපත්වල සියලුම දත්ත ගබඩා කිරීමට ඔබට අවශ්ය නොවන බව පෙනේ. ඔබ නෝඩ් වල කොටසක පමණක් දත්ත ගබඩා කරන්නේ නම් සහ අසාර්ථක හැසිරවීමේ අවස්ථා සඳහා විශේෂ නෝඩ් (Transient Replica) භාවිතා කරන්නේ නම් ඔබට ගබඩාව මත පැටවීම අඩු කළ හැක.
වාර්තාව අතරතුර අපි සලකා බලමු , භාවිතා කරන ලද අනුකරණ යෝජනා ක්රමය и , සහ Apache Cassandra හි මෙම සංකල්පය ක්රියාත්මක කිරීම කැඳවනු ලැබේ .
දිමිත්‍රි වියුකොව් -
Dmitry යනු C/C++ සහ Go - Address/Memory/ThreadSanitizer සඳහා ගතික පරීක්ෂණ සහ Linux කර්නලය සඳහා සමාන මෙවලම් සඳහා Google හි සංවර්ධකයෙකි. Go පරිමාණය කළ හැකි goroutine උපලේඛකයෙකු, ජාල ඡන්ද විමසන්නෙකු සහ සමාන්තර කුණු එකතු කරන්නෙකු වෙත දායක විය. ඔහු බහු නූල්කරණයේ ප්‍රවීණයෙකි, නව අවහිර නොවන ඇල්ගොරිතම දුසිමක කතුවරයා වන අතර එහි හිමිකරු වේ. ඉන්ටෙල්.
දැන් වාර්තාව ගැන ටිකක්. Go භාෂාවට goroutines (සැහැල්ලු නූල්) සහ නාලිකා (FIFO පෝලිම්) ආකාරයෙන් බහු නූල් කිරීම සඳහා ස්වදේශීය සහාය ඇත. මෙම යාන්ත්‍රණයන් නවීන බහු-නූල් යෙදුම් ලිවීමට පරිශීලකයින්ට ඉතා පහසු සහ ප්‍රියජනක කරයි, එය මැජික් මෙන් පෙනේ. අපට වැටහෙන පරිදි, මෙහි මැජික් නොමැත. මෙම කතාවේදී, දිමිත්‍රි Go උපලේඛකයාගේ සංකීර්ණතා සොයා බලා මෙම “මැජික්” ක්රියාත්මක කිරීමේ රහස් පෙන්වනු ඇත. පළමුව, ඔහු උපලේඛකයේ ප්රධාන සංරචක පිළිබඳ දළ විශ්ලේෂණයක් ලබා දෙන අතර එය ක්රියා කරන ආකාරය ඔබට කියනු ඇත. මීළඟට, වාහන නැවැත්වීමේ/නැවැත්වීමේ උපාය මාර්ගය සහ අවහිර කිරීමේ පද්ධති ඇමතුම් හැසිරවීම වැනි තනි අංගයන් දෙස අපි සමීපව බලමු. අවසාන වශයෙන්, දිමිත්‍රි උපලේඛකයාට කළ හැකි වැඩිදියුණු කිරීම් ගැන ටිකක් කතා කරනු ඇත.
දිමිත්‍රි බුගයිචෙන්කෝ -
දිමිත්‍රි වසර 9 කට ආසන්න කාලයක් විශ්ව විද්‍යාලය සහ විද්‍යාත්මක ප්‍රජාව සමඟ සම්බන්ධතා නැති කර නොගෙන බාහිරින් ලබා ගැනීමේ කටයුතුවල නිරත විය. Odnoklassniki හි විශාල දත්ත විශ්ලේෂණය ඔහුට න්යායික පුහුණුව සහ විද්‍යාත්මක පදනම සැබෑ, ඉල්ලුමේ නිෂ්පාදන සංවර්ධනය කිරීම සමඟ ඒකාබද්ධ කිරීමට අද්විතීය අවස්ථාවක් බවට පත්විය.
බෙදා හරින ලද ප්‍රස්ථාර විශ්ලේෂණය දුෂ්කර කාර්යයක් වී ඇති අතර එය තවමත් පවතී: අසල්වැසි ශීර්ෂයක සම්බන්ධතා පිළිබඳ තොරතුරු ලබා ගැනීමට අවශ්ය වූ විට, දත්ත බොහෝ විට යන්ත්‍ර අතර මාරු කිරීමට සිදු වන අතර එමඟින් ක්රියාත්මක වීමේ කාලය වැඩි කිරීමට සහ ජාල යටිතල ව්‍යුහය මත පැටවීමට හේතු වේ. මෙම කතාවේදී, සම්භාවිතා දත්ත ව්යුහයන් හෝ සමාජ ජාලයක මිත්‍රත්ව ප්‍රස්තාරයේ සමමිතිය වැනි කරුණු භාවිතා කිරීමෙන් ඔබට සැලකිය යුතු සැකසුම් වේගයක් ලබා ගත හැකි ආකාරය අපි බලමු. මේ සියල්ල Apache Spark හි කේත උදාහරණ සමඟ නිදර්ශනය කර ඇත.
ඩෙනිස් රිස්ට්සොව් -
ඩෙනිස් - සංවර්ධක , අනුකූලතා ආකෘති, සම්මුති ඇල්ගොරිතම සහ බෙදා හරින ලද ගනුදෙනු පරීක්ෂා කිරීමේ විශේෂඥයෙකි. ඔහු දැනට Microsoft හි සේවය කරන අතර, ඊට පෙර ඔහු Amazon සහ Yandex හි බෙදාහැරීමේ පද්ධතිවල සේවය කළේය.
මෙම කතාවේදී, අපි පසුගිය වසර කිහිපය තුළ නිර්මාණය කර ඇති බෙදා හරින ලද ගනුදෙනු ප්‍රොටෝකෝල දෙස බලමු, ඒවා කොන්දේසි සහිත යාවත්කාලීන කිරීමට සහය දක්වන ඕනෑම දත්ත ගබඩාවක ඉහළින් ක්රියාත්මක කළ හැකි (සසඳන්න සහ සකසන්න). අවසාන කරුණ නම් ජීවිතය අදියර දෙකක කැපවීමකින් අවසන් නොවන බවයි, ඕනෑම දත්ත සමුදායක් මත ගනුදෙනු එකතු කළ හැකිය - යෙදුම් මට්ටමින්, නමුත් විවිධ ප්‍රොටෝකෝල (2PC, Percolator, RAMP) විවිධ වෙළඳාම් ඇති අතර ඒවා අපට ලබා නොදේ. නොමිලේ.
ඇලෙක්සි සිනොවියෙව් -
ඇලෙක්සි () දිගුකාලීන කථිකයෙකු වන අතර අනෙකුත් සම්මන්ත්‍රණවල වැඩසටහන් කමිටු සාමාජිකයෙකි. EPAM පද්ධතිවල පුහුණුකරු පුහුණු වන අතර, 2012 සිට Hadoop/Spark සහ අනෙකුත් විශාල දත්ත සමඟ මිතුරු වී ඇත.
මෙම කතාවේදී, Apache Spark ML, Apache Mahout, Apache Flink ML සහ Apache Ignite ML නිර්මාණය කිරීමේ අත්දැකීම් මත පදනම්ව බෙදා හරින ලද මාදිලියේ ක්රියාත්මක කිරීම සඳහා සම්භාව්‍ය යන්ත්‍ර ඉගෙනීමේ ඇල්ගොරිතම අනුවර්තනය කිරීමේ ගැටළු ගැන ඇලෙක්සි කතා කරනු ඇත. මෙම රාමු තුළ බෙදා හරින ලද ML ඇල්ගොරිතම ක්රියාත්මක කිරීම ගැන ඇලෙක්සි ද කතා කරනු ඇත.
අවසාන වශයෙන්, Yandex දත්ත සමුදාය පිළිබඳ Yandex වෙතින් වාර්තා දෙකක්.
ව්ලැඩිස්ලාව් කුස්නෙට්සොව් -
ව්ලැඩිස්ලාව් යනු බෙදා හරින ලද වේදිකා සමූහයේ Yandex හි සංවර්ධකයෙකි. Yandex දත්ත සමුදාය යනු තිරස් ලෙස පරිමාණය කළ හැකි, භූ-බෙදාහැරි, දෝෂ-ඉවසිය හැකි DBMS වන අතර එය තැටි, සේවාදායකයන්, රාක්ක සහ දත්ත මධ්‍යස්ථානවල අඛණ්ඩතාව අහිමි නොවී අසමත් වීමට ඔරොත්තු දිය හැකිය. වැරදි ඉවසීම සහතික කිරීම සඳහා, බෙදා හරින ලද සම්මුතිය සාක්ෂාත් කර ගැනීම සඳහා හිමිකාර ඇල්ගොරිතමයක් භාවිතා කරනු ලබන අතර, වාර්තාවේ විස්තරාත්මකව සාකච්ඡා කෙරෙන තාක්ෂණික විසඳුම් ගණනාවක් ද භාවිතා වේ. වාර්තාව DBMS සංවර්ධකයින් සහ DBMS මත පදනම් වූ යෙදුම් විසඳුම් සංවර්ධකයින් යන දෙඅංශයෙන්ම උනන්දු විය හැකිය.
Semyon Checherinda -
සෙමියොන් යනු YDB ස්ථාපනය බහු කුලී නිවැසියන් භාවිතා කිරීමේ හැකියාව මත වැඩ කරමින් Yandex හි බෙදා හරින ලද වේදිකා සමූහයේ සංවර්ධකයෙකි.
Yandex දත්ත සමුදාය OLTP විමසුම් සඳහා නිර්මාණය කර ඇති අතර ගනුදෙනු පද්ධතියක් සඳහා ACID අවශ්යතා සමඟ අනුකූල වේ. මෙම වාර්තාවේ, අපි YDB ගනුදෙනු පද්ධතියට යටින් පවතින ගනුදෙනු කාලසටහන් ඇල්ගොරිතම සලකා බලමු. ගනුදෙනුවලට සහභාගී වන ආයතන මොනවාද, ගනුදෙනු සඳහා ගෝලීය අනුපිළිවෙල පවරන්නේ කවුද, ගනුදෙනු පරමාණුකත්වය, විශ්වසනීයත්වය සහ දැඩි හුදකලා මට්ටමක් සාක්ෂාත් කර ගන්නේ කෙසේද යන්න බලමු. උදාහරණයක් ලෙස පොදු ගැටළුවක් භාවිතා කරමින්, ද්වි-අදියර කැපවීම් සහ නියතිවාදී ගනුදෙනු භාවිතා කරමින් ගනුදෙනු ක්රියාත්මක කිරීම් දෙස බලමු. අපි ඔවුන්ගේ වෙනස්කම් සාකච්ඡා කරමු.
ඊළඟට කුමක්ද?
සම්මන්ත්‍රණ වැඩසටහන දිගටම නව වාර්තා වලින් පිරී යයි. විශේෂයෙන්ම අපි වාර්තාවක් බලාපොරොත්තු වෙනවා නිකිටා කෝවාල් () JetBrains වෙතින් සහ Oleg Anastasyev () Odnoklassniki සමාගමෙන්. Nikita Kotlin කණ්ඩායම තුළ coroutines සඳහා ඇල්ගොරිතම මත ක්රියා කරයි, සහ Oleg Odnoklassniki වේදිකාවේ ඉහළ බර පද්ධති සඳහා ගෘහ නිර්මාණ ශිල්පය සහ විසඳුම් සංවර්ධනය කරයි. ඊට අමතරව, තවත් කොන්දේසි සහිත හිස් තව් 1 ක් ඇත, වැඩසටහන් කමිටුව මේ වන විට අපේක්ෂකයින් සමඟ වැඩ කරමින් සිටී.
හයිඩ්රා සමුළුව ජූලි 11-12 දිනවල ශාන්ත පීටර්ස්බර්ග්හිදී පැවැත්වේ. ප්‍රවේශපත්‍ර තිබේ . කරුණාකර මාර්ගගත ප්‍රවේශපත්‍ර ලබා ගැනීම කෙරෙහි අවධානය යොමු කරන්න - කිසියම් හේතුවක් නිසා ඔබට මේ දිනවල ශාන්ත පීටර්ස්බර්ග් වෙත යාමට නොහැකි නම්.
Hydra හිදී හමුවෙමු!
මූලාශ්රය: www.habr.com