19 глави на хидра. Одличен преглед на програмата

Конференција ќе се одржи од 11 до 12 јули во Санкт Петербург Хидра, посветен на развојот на паралелни и дистрибуирани системи. Трикот на Хидра е во тоа што ги обединува кул научници (кои обично можат да се најдат само на странски научни конференции) и познати инженери-практичари во една голема програма на пресекот на науката и практиката.

Hydra е една од нашите најважни конференции во последните неколку години. Му претходеше многу сериозна подготовка, избор на говорници и извештаи. Минатата недела за ова излезе хабро интервју со директорот на JUG.ru Group, Алексеј Федоров (23дерево).

Ние веќе кажано за тројца важни учесници, основачите на теоријата на дистрибуирани системи - Лесли Лампорт, Морис Херлихи и Мајкл Скот. Време е да разговараме подетално за целата програма!

Мотивација

Ако се занимавате со програмирање, тогаш на еден или друг начин се занимавате со повеќенишки и дистрибуирано пресметување. Експертите од соодветните области работат со нив директно, но имплицитно, дистрибуцијата нè гледа од секаде: во кој било компјутер со повеќе јадра или дистрибуирана услуга има нешто што паралелно врши пресметки.

Постојат многу конференции кои покриваат различни аспекти на апликативното програмирање. Од другата страна на спектарот, имаме специјализирани научни училишта кои откриваат огромни количини на комплексна теорија во формат на предавања. На пример, паралелно со Хидра во Санкт Петербург постои Училиште за СПТДЦ. На конференцијата „Хидра“, се обидовме да ги споиме суровата практика, науката и се што е на нивното вкрстување.

Размислете за ова: живееме во неверојатно време кога можете лично да ги запознаете основачите на областа на науката и инженерството што ги проучуваме. Физичарите нема да се сретнат ниту со Њутн, ниту со Ајнштајн - возот тргна. Но, до нас сè уште живеат оние кои ги создадоа основите на теоријата на дистрибуирани системи, измислија популарни програмски јазици и за прв пат сето тоа го отелотворија во работни прототипови. Овие луѓе не ја напуштија работата на половина пат, тие во моментов работат на актуелни прашања во светски познатите универзитети и компании и се најголемите извори на знаење и искуство денес.

Од друга страна, можноста да се запознаеме со нив обично останува чисто теоретска: малкумина од нас можат постојано да ги следат јавните настани на некој универзитет во Рочестер, а потоа да брзаат во САД и назад на предавање со Мајкл Скот. Посетата на сите членови на Hydra би чинела мало богатство, не сметајќи ја бездната на потрошеното време (иако звучи како интересна потрага).

Од друга страна, имаме многу врвни инженери кои работат на итни проблеми во дистрибуираните системи во моментов, и тие дефинитивно имаат многу да кажат. Но, тука е проблемот - тие работают, а нивното време е вредно. Да, ако сте вработен во Microsoft, Google или JetBrains, веројатноста да се сретнете со некој од познатите говорници на внатрешен настан нагло се зголемува, но генерално, не, тоа не се случува секој ден.

На овој начин, конференцијата Хидра постигнува важна задача што повеќето од нас не можат сами да ја направат - на едно место и во исто време, таа ги обединува луѓето чии идеи или интеракции со кои можат да ви го променат животот. Признавам дека не секој има потреба од дистрибуирани системи или некои сложени фундаментални работи. Можете да програмирате CRUD во PHP до крајот на животот и да останете целосно среќни. Но, на кој му треба, ова е вашата шанса.

Помина доста долго време од првото објавување на конференцијата Хидра на Хабре. За ова време е направена многу работа - и сега имаме список на речиси сите извештаи. Нема бавни алгоритми со една нишка, само чист дистрибуиран хардкор! Ајде да завршиме со општи зборови и да видиме што имаме на нашите раце сега.

Главни белешки

Воведните говори започнуваат и завршуваат со деновите на конференцијата. Обично поентата на воведниот говор е да се постави општиот дух и насоката на конференцијата. Завршниот говор повлекува линија и објаснува како можеме да живееме со знаењата и вештините стекнати за време на конференцијата. Почетокот и крајот: она што најдобро се памети, и воопшто, има зголемено значење.

Клиф Клиф H2O дистрибуирани K/V алгоритам

Клиф е легенда во светот на Јава. Во доцните 90-ти, за својата докторска теза, тој напиша труд со наслов „Комбинирање на анализи, комбинирање на оптимизации“, кој некое време подоцна стана основа за HotSpot JVM Server Compiler. Две години подоцна, тој веќе работеше во Sun Microsystems на JVM и му покажа на целиот свет дека JIT има право да постои. Целата оваа приказна за тоа како Java е едно од најбрзите модерни работи со најпаметните и најбрзите оптимизации дојде од Cliff Click. На самиот почеток, се веруваше дека ако нешто е достапно за статичен компајлер, не треба ни да се обидувате да го откачите. Благодарение на работата на Клиф и тимот, сите нови јазици почнаа да се создаваат со идејата за компилација на JIT стандардно. Се разбира, ова не беше работа на еден човек, но Клиф одигра многу важна улога во неа.

Во воведниот говор, Клиф ќе зборува за неговиот друг потфат - H20, платформа во меморијата за дистрибуирано и скалабилно машинско учење за индустриски апликации. Или поточно, за дистрибуираното складирање на парови клуч-вредност во него. Ова е многу брзо складирање со многу интересни својства (точниот список е во опис), кои овозможуваат употреба на слични решенија во математиката на пренос на големи податоци.

Друг извештај што Клиф ќе го даде е - Искуството со трансакциска меморија со хардвер Azul. Друг дел од неговата биографија - десет години работа во Азул, каде што ажурираше и подобри многу работи во стекот на хардверот и технологијата на Azul: компајлери JIT, време на траење, модел на нишки, справување со грешки, справување со стек, прекини на хардвер, вчитување класа, и така натаму и така натаму - добро, добивате идеја.

Најинтересниот дел започна кога направија хардвер за голем бизнис - суперкомпјутер за да работи Java. Тоа беше прилично иновативна работа, скроена специјално за Java, која има посебни барања - читање мемориски бариери за собирање ѓубре со мала пауза, низи со проверка на границите, виртуелни повици... Една од најкул технологиите е хардверската трансакциска меморија. Целиот L1 на кое било од 864-те јадра би можело да учествува во пишувањето трансакции, што е особено важно за работа со брави во Јава (синхронизираните блокови можат да работат паралелно се додека нема реален конфликт во меморијата). Но, убавата идеја беше уништена од суровата реалност - и во овој говор Клиф ќе ви каже зошто HTM и STM не се многу прилагодени за практичните потреби на пресметувањето со повеќе нишки.

Мајкл Скот - Двојни структури на податоци

Мајкл Скот - Професор по компјутерски науки на Универзитетот во Рочестер, со кого судбината го поврза веќе има 34 години, а на неговиот матичен универзитет во Висконсин-Медисон, тој беше декан пет години. Тој истражува и ги учи студентите за паралелно и дистрибуирано програмирање и дизајн на јазици.

Целиот свет го познава Мајкл благодарение на учебникот „Прагматика на програмски јазик“, чие најново издание беше објавено релативно неодамна - во 2015 година. Негова работа „Алгоритми за скалабилна синхронизација на мултипроцесори со заедничка меморија“ примени Награда Дијкстра како еден од најпознатите во областа на дистрибуирани компјутери и отворено лаже на Интернет-библиотеката на Универзитетот во Рочестер. Можеби го знаете и како автор на самиот алгоритам Мајкл-Скот од „Едноставни, брзи и практични алгоритми за неблокирање и блокирање на истовремена редица“.

Што се однесува до светот на Јава, ова е посебен случај: заедно со Даг Леа, тој ги разви алгоритмите за неблокирање и синхроните редици на кои работат Java библиотеките. Токму за ова ќе биде воведниот говор „Двојни структури на податоци“ - воведувањето на овие структури во Java SE 6 ги подобри перформансите за 10 пати java.util.concurrent.ThreadPoolExecutor. Ако однапред се прашувате што се овие „Двојни структури на податоци“, тогаш има информации за тоа поврзана Работа.

Морис Херлихи - Блокчејн и иднината на дистрибуираните компјутери

Морис Херлихи - добитник на две награди Dijkstra. Првиот е за работа „Синхронизација без чекање“ (Браун универзитет), а вториот, понов - „Трансакциска меморија: Архитектонска поддршка за структури на податоци без заклучување“ (Технички универзитет во Вирџинија). Наградата Дијкстра ја признава работата чие значење и влијание се видливи најмалку десет години, а Морис е очигледно еден од најреномираните експерти во областа. Тој моментално работи како професор на Универзитетот Браун и има листа на достигнувања долга пасуси.

Во овој завршен говор, Морис ќе зборува за теоријата и практиката на дистрибуираните системи со блокчејн од гледна точка на класиците на дистрибуирани компјутери и како тоа поедноставува многу поврзани проблеми. Ова е извештај исклучиво на темата на конференцијата - воопшто не за возбуда за рударството, туку за тоа како нашето знаење може да се користи неверојатно ефективно и соодветно во однос на различни задачи.

Во јули 2017 година, Морис веќе дојде во Русија за да присуствува на училиштето SPTDC, учествуваше на состанокот JUG.ru, а снимката може да се погледне на YouTube:

Главна програма

Следно ќе има краток преглед на извештаите вклучени во програмата. Некои од извештаите се опишани овде детално, други пократко. Долгите описи главно се однесуваа на извештаи на англиски јазик кои бараа врски до научни трудови, термини на Википедија итн. Целосната листа е достапна видете на веб-страницата на конференцијата. Списокот на веб-страницата ќе биде ажуриран и дополнет.

Лесли Лампорт - Q & A

Лесли Лампорт е автор на основни дела во дистрибуирани компјутери. "LaTeX" кратенка за "Lamport TeX". Токму тој прв, во далечната 1979 година, го претстави концептот секвенцијална конзистентност, и неговата статија „Како да направите мултипроцесорски компјутер кој правилно ги извршува програмите со повеќе процеси“ ја доби наградата Дијкстра.

Ова е најнеобичниот дел од програмата по формат, бидејќи не е ни извештај, туку сесија за прашања и одговори. Кога значителен дел од публиката е веќе запознаен (или може да се запознае) со секакви дела засновани на „теоријата на Лампорт“, неговите сопствени написи и извештаи, поважно е целото расположливо време да се потроши на директна комуникација.

Идејата е едноставна - гледате два извештаи на YouTube: „Програмирањето треба да биде повеќе од кодирање“ и „Ако не пишувате програма, не користете програмски јазик“ и подгответе барем едно прашање, а Лесли одговара.

Првото од овие две видеа веќе го имаме се претвори во хабро статија. Ако немате 1 час време да го гледате видеото, можете брзо да го прочитате сето тоа во текстуална форма.

Забелешка: Има уште многу видеа на Лесли Лампорт на YouTube. На пример, постои одличен TLA+ курс. Офлајн верзија на целиот овој курс е достапна на почетната страница на авторот, и го постави на YouTube за полесно гледање на мобилните уреди.

Мартин Клепман - Синхронизирање податоци низ кориснички уреди за дистрибуирана соработка

Мартин Клепман е истражувач на Универзитетот во Кембриџ кој работи на CRDT и формална верификација на алгоритми. книгата на Мартин „Дизајнирање апликации со интензивни податоци“, објавен во 2017 година, се покажа како многу успешен и се најде на листите на бестселери во областа на складирање и обработка на податоци. Кевин Скот, CTO во Мајкрософт, еднаш рече: „Оваа книга треба да биде задолжителна за софтверските инженери. Ова е редок ресурс кој ги комбинира теоријата и практиката за да им помогне на програмерите попаметни во дизајнирањето и имплементирањето на инфраструктурата и системите за податоци“. Нешто слично рече и креаторот на Кафка и CTO на Confluent, Џеј Крепс.

Пред да се пресели во академско истражување, Мартин работеше во индустријата и беше ко-основач на две успешни старт-ап:

• Rapportive, посветен на прикажување на социјалниот профил на контакти од вашата е-пошта, која LinkedIn ја купи во 2012 година;
• Go Test It, услуга за автоматско тестирање на веб-локации во различни прелистувачи, која RedGate ја купи во 2009 година.

Генерално, Мартин, иако помалку познат од нашите клучни белешки, веќе можеше да даде одреден придонес во развојот на дистрибуираните компјутери и во индустријата.

Во овој говор Мартин ќе зборува за тема поблиска до неговото академско истражување. Во Документи на Google и слични софи за заедничко уредување документи, „заедничко уредување“ се однесува на задача за репликација: секој корисник има своја реплика на споделениот документ, кој потоа го менува, а сите промени се испраќаат низ мрежата до остатокот од учесници. Промените на документите офлајн доведуваат до привремена неусогласеност на документот во однос на другите учесници, а ресинхронизацијата бара справување со конфликти. Токму за тоа постојат Реплицирани типови податоци без конфликт (CRDT), всушност, е прилично нова работа, чија суштина беше формулирана дури во 2011 година. Овој говор разговара за тоа што се случило оттогаш во светот на CRDT, кои се најновите достигнувања, пристапот кон креирање локални први апликации воопшто и употребата на библиотека со отворен код Автоматско спојување особено.

Следната недела ќе објавиме долго интервју со Мартин на Хабре, ќе биде интересно.

Педро Рамалхете - Структури на податоци без чекање и трансакции без чекање

Педро работи во Cisco и развива паралелни алгоритми во последните десет години, вклучувајќи механизми за синхронизација, структури на податоци без заклучување и чекање и сè што можете да замислите на оваа тема. Неговите сегашни истражувачки и инженерски интереси се фокусираат на универзални конструкции, софтверска трансакциска меморија, постојана меморија и слични технологии кои овозможуваат правилни, скалабилни и толерантни апликации. Тој е и автор на блог надалеку познат во тесни кругови Concurrency Freaks.

Повеќето апликации со повеќе нишки сега работат на паралелни структури на податоци, од употреба на редици за пораки помеѓу актерите до индексирани структури на податоци во складишта со клучни вредности. Долги години успешно работат во Java JDK и полека се додаваат во C++.

Наједноставниот начин за имплементација на паралелна податочна структура е секвенцијална (едно-нишка) имплементација во која методите се заштитени со mutexes. Ова е достапно за секој јуни, но има очигледни проблеми со скалирање и перформанси. Во исто време, структурите на податоци без заклучување и чекање не само што подобро се справуваат со грешките, туку имаат и подобар профил на перформанси - сепак, нивниот развој бара длабока експертиза и прилагодување на одредена апликација. Една погрешна линија на код е доволна за да се скрши сè.

Како можеме да го направиме тоа така што дури и нестручен да може да дизајнира и имплементира такви структури на податоци? Познато е дека секој секвенцијален алгоритам може да се направи безбеден со нишки со користење или универзален дизајн, или трансакциска меморија. Како прво, тие можат да ја намалат бариерата за влез во решавањето на овој проблем. Сепак, и двете решенија обично водат до неефикасна имплементација. Педро ќе зборува за тоа како успеале да ги направат овие дизајни поефикасни и како можете да ги користите за вашите алгоритми.

Хајди Хауард - Ослободувачки дистрибуиран консензус

Хајди Хауард е, како Мартин, истражувач на дистрибуирани системи на Универзитетот во Кембриџ. Нејзините специјалитети се конзистентност, толеранција на грешки, перформанси и дистрибуиран консензус. Најпозната е по нејзината генерализација на алгоритмот Паксос наречен Флексибилни Паксос.

Потсетиме дека Паксос е фамилија на протоколи за решавање на проблемот на консензус во мрежа од несигурни компјутери, базирани на работата на Лесли Лампорт. Така, некои од нашите говорници работат на проблеми кои првично беа предложени од нашите други говорници - и ова е прекрасно.

Способноста да се најде консензус меѓу повеќе домаќини - за адресирање, избор на лидер, блокирање или координација - е фундаментално прашање во современите дистрибуирани системи. Паксос сега е главниот начин за решавање на проблемите со консензус, а околу него се водат многу истражувања за да се прошири и оптимизира алгоритмот за различни практични потреби.

Во овој разговор, повторно ќе ја разгледаме теоретската основа на Паксос, релаксирајќи ги оригиналните барања и генерализирајќи го алгоритмот. Ќе видиме дека Paxos во суштина е само една опција меѓу огромниот опсег на консензусни пристапи, и дека другите точки на спектарот се исто така многу корисни за градење добри дистрибуирани системи.

Алекс Петров - Намалете ги трошоците за складирање со минлива репликација и евтини кворуми

Алекс е специјалист за бази на податоци и системи за складирање, и уште поважно за нас, извршител во Касандра. Тој во моментов работи на книгата, Внатрешни бази на податоци, со О'Рајли.

За системи со евентуална конзистентност (во руска терминологија - „крајна конзистентност“), по паѓање на јазол или поделба на мрежата, треба да ја решите следната дилема: или да продолжите да ги извршувате барањата, да ја жртвувате конзистентноста или да одбиете да ги извршите и да ја жртвувате достапноста. Во таков систем, кворумите, преклопувањето на подмножества на јазли и обезбедувањето дека барем еден јазол ја содржи најновата вредност, може да биде добро решение. Може да преживеете неуспеси и губење на поврзувањето со некои јазли додека сè уште одговарате со најновите вредности.

Сепак, сè има своја цена. Шемата за репликација на кворум значи зголемени трошоци за складирање: непотребните податоци мора да се складираат на повеќе јазли одеднаш за да се осигура дека има доволно достапни копии кога ќе се појави проблем. Излегува дека не мора да ги складирате сите податоци на сите реплики. Можете да го намалите оптоварувањето на складиштето ако складирате податоци само на дел од јазлите и користите специјални јазли (Transient Replica) за сценарија за справување со неуспех.

Во текот на извештајот ќе разгледаме Реплики на сведоци, шемата за репликација што се користи во Пантер и Мегастор, и имплементацијата на овој концепт во Apache Cassandra наречен Преодна репликација и евтини кворуми.

Дмитриј Вјуков - Горутините изложени

Дмитриј е програмер во Google кој работи на динамично тестирање за C/C++ и Go - Address/Memory/ThreadSanitizer и слични алатки за кернелот Linux. Придонесе за Go скалабилен распоредувач на горутини, мрежен анкетар и паралелен собирач на ѓубре. Тој е експерт за мултинишки, автор на десетина нови неблокирачки алгоритми и е сопственик на Црн појас Интел.

Сега малку за самиот извештај. Јазикот Go има мајчин поддршка за повеќенишки во форма на горутини (лесни нишки) и канали (FIFO редици). Овие механизми го прават многу лесно и пријатно за корисниците да пишуваат модерни апликации со повеќе нишки и изгледа како магија. Како што разбираме, тука нема магија. Во овој разговор, Дмитриј ќе истражува во сложеноста на распоредувачот Go и ќе ги покаже тајните на спроведувањето на оваа „магија“. Прво, тој ќе даде преглед на главните компоненти на распоредувачот и ќе ви каже како функционира. Следно, ќе ги разгледаме подетално поединечните аспекти како што се стратегијата за паркирање/распаркување и справување со системските повици за блокирање. Конечно, Дмитриј ќе зборува малку за можните подобрувања на распоредувачот.

Дмитриј Бугаиченко - Забрзување на анализата на дистрибуирани графикони со веројатни скици и многу повеќе

Дмитриј работеше во аутсорсинг скоро 9 години без да изгуби контакт со универзитетот и со научната заедница. Анализата на големи податоци во Однокласници за него стана единствена шанса да ги комбинира теоретската обука и научната основа со развојот на вистински производи на побарувачката.

Анализата на дистрибуирани графикони беше и останува тешка задача: кога станува неопходно да се добијат информации за поврзувањата на соседното теме, податоците често мора да се префрлаат помеѓу машините, што доведува до зголемено време на извршување и оптоварување на мрежната инфраструктура. Во овој разговор, ќе видиме како можете да добиете значителни брзини на обработка со користење на веројатни структури на податоци или факти како што е симетријата на графикот за пријателство во социјална мрежа. Сето ова е илустрирано со примери на код во Apache Spark.

Денис Ристсов - Намалете ги трошоците за складирање со минлива репликација и евтини кворуми

Денис - програмер Космос ДБ, експерт за проверка на модели на конзистентност, алгоритми за консензус и дистрибуирани трансакции. Моментално работи во Мајкрософт, а пред тоа работеше на дистрибуирани системи во Амазон и Јандекс.

Во овој разговор, ќе ги погледнеме дистрибуираните трансакциски протоколи што беа измислени во текот на изминатите неколку години, кои може да се имплементираат на страната на клиентот над секоја продавница за податоци што поддржува условно ажурирање (споредете и поставете). Заклучокот е дека животот не завршува со обврзување во две фази, трансакциите може да се додадат на врвот на која било база на податоци - на ниво на апликација, но различни протоколи (2PC, Percolator, RAMP) имаат различни компромиси и не ни се дадени бесплатно.

Алексеј Зиновиев - Не сите ML алгоритми успеваат да стигнат до дистрибуираниот рај

Алексеј (залеслав) е долгогодишен говорник и член на програмски комисии на други конференции. Вежбачки тренер во EPAM Systems и е пријател со Hadoop/Spark и други големи податоци од 2012 година.

Во овој говор, Алексеј ќе зборува за проблемите на адаптирање на класичните алгоритми за машинско учење за извршување во дистрибуиран режим врз основа на неговото искуство со работа со Apache Spark ML, Apache Mahout, Apache Flink ML и искуството за создавање на Apache Ignite ML. Алексеј ќе зборува и за имплементација на дистрибуирани ML алгоритми во овие рамки.

И, конечно, два извештаи од Yandex за Yandex базата на податоци.

Владислав Кузњецов - База на податоци Yandex - како обезбедуваме толеранција на грешки

Владислав е развивач на Yandex во групата на дистрибуирана платформа. Базата на податоци на Yandex е хоризонтално скалабилна, гео-дистрибуирана, толерантна на грешки DBMS што може да издржи дефект на дискови, сервери, решетките и центрите за податоци без губење на конзистентноста. За да се обезбеди толеранција на грешки, користен е комерцијален алгоритам за постигнување дистрибуиран консензус, како и голем број технички решенија, кои се детално разгледани во извештајот. Извештајот може да биде од интерес и за развивачите на DBMS и за развивачите на апликативни решенија базирани на DBMS.

Семјон Чечеринда - Дистрибуирани трансакции во YDB

Семјон е развивач во групата на дистрибуирана платформа во Yandex, кој работи на можноста за повеќекратно користење на инсталацијата YDB.

Базата на податоци на Yandex е дизајнирана за OLTP прашања и е во согласност со барањата за ACID за трансакциски систем. Во овој извештај, ќе го разгледаме алгоритмот за закажување трансакции што лежи во основата на системот за трансакции YDB. Ајде да погледнеме кои ентитети учествуваат во трансакциите, кој доделува глобален ред на трансакциите, како се постигнуваат атомичноста на трансакцијата, доверливоста и строго ниво на изолација. Користејќи заеднички проблем како пример, ајде да ги погледнеме имплементациите на трансакциите користејќи двофазни обврзувања и детерминистички трансакции. Ајде да разговараме за нивните разлики.

Што е следно?

Програмата на конференцијата продолжува да биде исполнета со нови извештаи. Конкретно, очекуваме извештај од Никита Ковал (ндковал) од JetBrains и Олег Анастасиев (m0nstermind) од компанијата Однокласници. Никита работи на алгоритми за корутини во тимот на Котлин, а Олег развива архитектура и решенија за системи со големо оптоварување во платформата Однокласници. Покрај тоа, има уште 1 условно празен слот, програмскиот комитет работи со кандидати за него во моментов.

Конференцијата Хидра ќе се одржи од 11 до 12 јули во Санкт Петербург. Билетите се достапни купете на официјалната веб-страница. Ве молиме, обрнете внимание на достапноста на онлајн билети - ако поради некоја причина не можете да стигнете до Санкт Петербург овие денови.

Се гледаме во Хидра!

Извор: www.habr.com