{"id":35091,"date":"2019-10-31T22:02:18","date_gmt":"2019-10-31T19:02:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/19-golov-gidry-bolshoj-obzor-programmy\/"},"modified":"2019-10-31T22:02:18","modified_gmt":"2019-10-31T19:02:18","slug":"19-golov-gidry-bolshoj-obzor-programmy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/19-golov-gidry-bolshoj-obzor-programmy","title":{"rendered":"19 g\u0142\u00f3w hydry. Obszerna recenzja programu","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

11-12 lipca w Sankt Petersburgu odb\u0119dzie si\u0119 konferencja Hydra<\/a><\/noindex>, po\u015bwi\u0119cona rozwojowi system\u00f3w r\u00f3wnoleg\u0142ych i rozproszonych. Zalet\u0105 Hydry jest to, \u017ce \u0142\u0105czy znakomitych naukowc\u00f3w (kt\u00f3rych zazwyczaj mo\u017cna spotka\u0107 tylko na zagranicznych konferencjach naukowych) i znanych praktyk\u00f3w in\u017cynierii w jeden obszerny program na przeci\u0119ciu nauki i praktyki.<\/p>\n

<\/p>\n

Hydra to jedna z najwa\u017cniejszych naszych konferencji w ostatnich latach. Towarzyszy\u0142y jej powa\u017cne przygotowania, dob\u00f3r prelegent\u00f3w i temat\u00f3w wyst\u0105pie\u0144. W zesz\u0142ym tygodniu ukaza\u0142o si\u0119 wywiad na Habrahabr<\/a><\/noindex> z dyrektorem firmy JUG.ru Group, Aleksejem Fedorowem (23derevo<\/a><\/noindex>). <\/p>\n

<\/p>\n

My ju\u017c wspomnieli\u015bmy<\/a><\/noindex> ) o trzech kluczowych uczestnikach, tw\u00f3rcach teorii system\u00f3w rozproszonych \u2014 Leslie Lamport, Maurice Herlihy i Michael Scott. Nadszed\u0142 czas, aby dok\u0142adniej om\u00f3wi\u0107 ca\u0142y program!<\/p>\n

<\/p>\n

\"19<\/p>\n

<\/a><\/noindex><\/p>\n

Motywacja<\/h2>\n

<\/p>\n

Je\u015bli zajmujesz si\u0119 programowaniem, w jakim\u015b stopniu masz do czynienia z wielow\u0105tkowo\u015bci\u0105 i obliczeniami rozproszonymi. Specjali\u015bci w odpowiednich dziedzinach pracuj\u0105 z nimi bezpo\u015brednio, jednak rozproszenie jest wsz\u0119dzie wok\u00f3\u0142 nas: w ka\u017cdym wielordzeniowym komputerze lub rozproszonym serwisie znajdzie si\u0119 co\u015b, co r\u00f3wnolegle wykonuje obliczenia.<\/p>\n

<\/p>\n

Istnieje wiele konferencji, kt\u00f3re przedstawiaj\u0105 r\u00f3\u017cne aspekty programowania aplikacyjnego. Z drugiej strony mamy specjalne szko\u0142y naukowe, kt\u00f3re w formie wyk\u0142ad\u00f3w odkrywaj\u0105 ogromne ilo\u015bci z\u0142o\u017conej teorii. Na przyk\u0142ad r\u00f3wnolegle z Hydr\u0105 w Petersburgu odbywa si\u0119 szko\u0142a SPTDC<\/a><\/noindex>. Na konferencji Hydra starali\u015bmy si\u0119 zgromadzi\u0107 zar\u00f3wno surow\u0105 praktyk\u0119, jak i nauk\u0119 oraz wszystko, co znajduje si\u0119 na ich przeci\u0119ciu.<\/strong> <\/p>\n

<\/p>\n

Pomy\u015blcie o tym: \u017cyjemy w niezwyk\u0142ych czasach, kiedy mo\u017cna na \u017cywo spotka\u0107 za\u0142o\u017cycieli dziedziny nauki i in\u017cynierii, kt\u00f3r\u0105 si\u0119 zajmujemy. Fizyk nie spotka ani Newtona, ani Einsteina \u2014 poci\u0105g odjecha\u0142. Ale obok nas nadal \u017cyj\u0105 ci, kt\u00f3rzy stworzyli podstawy teorii system\u00f3w rozproszonych, wymy\u015blili popularne j\u0119zyki programowania, po raz pierwszy zrealizowali to wszystko w dzia\u0142aj\u0105cych prototypach. Ci ludzie nie porzucili swojej pracy w po\u0142owie drogi, obecnie zajmuj\u0105 si\u0119 aktualnymi problemami w znanych na ca\u0142ym \u015bwiecie uniwersytetach i firmach, i s\u0105 najwi\u0119kszymi \u017ar\u00f3d\u0142ami wiedzy i do\u015bwiadczenia wsp\u00f3\u0142cze\u015bnie. <\/p>\n

<\/p>\n

Z drugiej strony, mo\u017cliwo\u015b\u0107 spotkania si\u0119 z nimi cz\u0119sto pozostaje czysto teoretyczna: niewielu z nas mo\u017ce na bie\u017c\u0105co monitorowa\u0107 publiczne wydarzenia na uniwersytecie w Rochester, aby potem polecie\u0107 do USA, a nast\u0119pnie wr\u00f3ci\u0107 na wyk\u0142ad do Michaela Scotta. Uczestniczenie we wszystkich wydarzeniach Hydra kosztowa\u0142oby ma\u0142\u0105 fortun\u0119, nie wspominaj\u0105c o niezliczonym czasie po\u015bwi\u0119conym na to (cho\u0107 brzmi to jak interesuj\u0105cy quest).<\/p>\n

<\/p>\n

Z drugiej strony, mamy wielu topowych in\u017cynier\u00f3w, kt\u00f3rzy obecnie pracuj\u0105 nad aktualnymi problemami system\u00f3w rozproszonych, i na pewno maj\u0105 wiele do opowiedzenia. Ale problem polega na tym, \u017ce ich czas jest cenny. korzysta<\/em>Tak, je\u015bli jeste\u015b pracownikiem Microsoftu, Google\u2019a lub JetBrains, szanse na spotkanie jednego z znanych prelegent\u00f3w na wewn\u0119trznym wydarzeniu drastycznie rosn\u0105, ale og\u00f3lnie \u2014 to nie zdarza si\u0119 codziennie.<\/p>\n

<\/p>\n

W ten spos\u00f3b konferencja Hydra pe\u0142ni wa\u017cn\u0105 rol\u0119, kt\u00f3rej wi\u0119kszo\u015b\u0107 z nas nie mo\u017ce zrealizowa\u0107 samodzielnie \u2014 w jednym miejscu i w tym samym czasie gromadzi ludzi, kt\u00f3rych pomys\u0142y lub rozmowy mog\u0105 zmieni\u0107 twoje \u017cycie. Przyznaj\u0119, \u017ce nie wszyscy potrzebuj\u0105 system\u00f3w rozproszonych czy skomplikowanych fundamentalnych rzeczy. Mo\u017cna przez ca\u0142e \u017cycie programowa\u0107 CRUD-y w PHP i by\u0107 ca\u0142kiem szcz\u0119\u015bliwym. Ale kto ich potrzebuje \u2014 to twoja szansa.<\/p>\n

<\/p>\n

Od pierwszej zapowiedzi konferencji Hydra na Habra min\u0119\u0142o ju\u017c sporo czasu. W tym okresie wykonano ogromn\u0105 prac\u0119 \u2014 i oto, mamy list\u0119 prawie wszystkich wyk\u0142ad\u00f3w. \u017badnych w\u0105t\u0142ych jednow\u0105tkowych algorytm\u00f3w, tylko czysty rozproszony hardcore! Zako\u0144czmy og\u00f3lne s\u0142owa i zobaczmy, co teraz mamy w r\u0119kach.<\/p>\n

<\/p>\n

Wyk\u0142ady g\u0142\u00f3wne<\/h2>\n

<\/p>\n

Wyk\u0142ady g\u0142\u00f3wne otwieraj\u0105 i zamykaj\u0105 dni konferencji. Zwykle sens otwieraj\u0105cego wyk\u0142adu g\u0142\u00f3wnego polega na nadaniu og\u00f3lnego ducha i kierunku konferencji. Zamykaj\u0105cy wyk\u0142ad g\u0142\u00f3wny podsumowuje wydarzenia i wyja\u015bnia, jak \u017cy\u0107 z wiedz\u0105 i umiej\u0119tno\u015bciami zdobytymi w trakcie konferencji. Pocz\u0105tek i koniec: to, co zostaje w pami\u0119ci najlepiej, a tak\u017ce ma podwy\u017cszone znaczenie.<\/p>\n

<\/p>\n

Cliff Click \u2014 Algorytm K\/V rozproszony H2O<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Cliff to legenda \u015bwiata Java. Pod koniec lat 90-tych dla pracy doktorskiej napisa\u0142 prac\u0119 zatytu\u0142owan\u0105 \u201e\u0141\u0105czenie analiz, \u0142\u0105czenie optymalizacji\u201d<\/noindex>, kt\u00f3ra po pewnym czasie sta\u0142a si\u0119 podstaw\u0105 dla HotSpot JVM Server Compiler. Dwa lata p\u00f3\u017aniej pracowa\u0142 ju\u017c w Sun Microsystems nad JVM, pokazuj\u0105c \u015bwiatu, \u017ce JIT ma racj\u0119 bytu. Ca\u0142a ta historia o tym, \u017ce Java jest jednym z najszybszych nowoczesnych runtime\u2019\u00f3w z najinteligentniejszymi i najszybszymi optymalizacjami wywodzi si\u0119 w\u0142a\u015bnie od Cliffa Clicka. Na samym pocz\u0105tku uwa\u017cano, \u017ce je\u015bli co\u015b jest dost\u0119pne dla kompilatora statycznego \u2014 to nie ma sensu pr\u00f3bowa\u0107 kompilacji JIT. Dzi\u0119ki pracom Cliffa i jego zespo\u0142u, wszystkie nowe j\u0119zyki zacz\u0119\u0142y by\u0107 tworzone z za\u0142o\u017ceniem domy\u015blnej kompilacji JIT. Niew\u0105tpliwie, by\u0142a to praca nie dla jednej osoby, ale Cliff odegra\u0142 w niej bardzo wa\u017cn\u0105 rol\u0119.<\/p>\n

<\/p>\n

W otwieraj\u0105cym keynote, Cliff opowie o swoim innym przedsi\u0119wzi\u0119ciu \u2014 H20<\/a><\/noindex>, platformie in-memory do rozproszonego i skalowalnego uczenia maszynowego w zastosowaniach przemys\u0142owych. A dok\u0142adniej \u2014 o rozproszonym magazynie par \u201eklucz-warto\u015b\u0107\u201d wewn\u0105trz niej. To bardzo szybki magazyn z mn\u00f3stwem interesuj\u0105cych w\u0142a\u015bciwo\u015bci (dok\u0142adna lista znajduje si\u0119 w opisie<\/a><\/noindex>), kt\u00f3re umo\u017cliwiaj\u0105 stosowanie podobnych rozwi\u0105za\u0144 w matematyce przetwarzania strumieni du\u017cych danych.<\/p>\n

<\/p>\n

Kolejny wyk\u0142ad, w kt\u00f3rym wyst\u0105pi Cliff \u2014 Do\u015bwiadczenie Azul Hardware Transactional Memory<\/a><\/noindex>. Inna cz\u0119\u015b\u0107 jego biografii to dziesi\u0119\u0107 lat pracy w Azul<\/noindex>, gdzie zaktualizowa\u0142 i poprawi\u0142 wiele aspekt\u00f3w sprz\u0119tu i stosu technologii Azul: kompilatory JIT, runtime, model w\u0105tk\u00f3w, obs\u0142ug\u0119 b\u0142\u0119d\u00f3w, prac\u0119 ze stosem, przerwania sprz\u0119towe, \u0142adowanie klas i tak dalej \u2014 no, rozumiecie.<\/p>\n

<\/p>\n

Najciekawsza cz\u0119\u015b\u0107 zacz\u0119\u0142a si\u0119, gdy stworzyli sprz\u0119t dla du\u017cych biznes\u00f3w \u2014 superkomputer do uruchamiania Javy. To by\u0142o do\u015b\u0107 innowacyjne rozwi\u0105zanie, dostosowane specjalnie do Javy, kt\u00f3ra ma szczeg\u00f3lne wymagania \u2014 bariery pami\u0119ci do odczytu dla zminimalizowania pauz w zbieraniu \u015bmieci, tablice z kontrol\u0105 granic, wirtualne wywo\u0142ania\u2026 Jedn\u0105 z najlepszych technologii by\u0142a sprz\u0119towa pami\u0119\u0107 transakcyjna. Ca\u0142e L1 ka\u017cdego z 864 rdzeni mog\u0142o bra\u0107 udzia\u0142 w transakcyjnych zapisach, co jest szczeg\u00f3lnie istotne przy pracy z blokadami w Javie (bloki synchronized mog\u0105 dzia\u0142a\u0107 r\u00f3wnolegle, dop\u00f3ki nie wyst\u0105pi rzeczywisty konflikt pami\u0119ci). Jednak pi\u0119kna idea zderzy\u0142a si\u0119 z surow\u0105 rzeczywisto\u015bci\u0105 \u2014 i w tym wyk\u0142adzie Cliff opowie, dlaczego HTM i STM niezbyt nadaj\u0105 si\u0119 do praktycznych potrzeb oblicze\u0144 wielow\u0105tkowych.<\/p>\n

<\/p>\n

Michael Scott \u2014 Struktury danych o podw\u00f3jnej funkcji<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Michael Scott<\/a><\/noindex> \u2014 profesor informatyki na Uniwersytecie w Rochester, z kt\u00f3rym los go zwi\u0105za\u0142 ju\u017c od 34 lat<\/noindex>, a na macierzystym Uniwersytecie Wisconsin\u2013Madison by\u0142 dziekanem przez pi\u0119\u0107 lat. Zajmuje si\u0119 badaniami w dziedzinie programowania r\u00f3wnoleg\u0142ego i rozproszonego oraz projektowania j\u0119zyk\u00f3w, a tak\u017ce naucza swoich student\u00f3w.<\/p>\n

<\/p>\n

Ca\u0142y \u015bwiat zna Michaela dzi\u0119ki podr\u0119cznikowi \u201ePragmatyka j\u0119zyk\u00f3w programowania\u201d<\/a><\/noindex>, kt\u00f3rego ostatnie wydanie ukaza\u0142o si\u0119 stosunkowo niedawno \u2014 w 2015 roku. Jego praca \u201eAlgorytmy dla skalowalnej synchronizacji na wieloprocesorach wsp\u00f3\u0142dziel\u0105cych pami\u0119\u0107\u201d<\/a><\/noindex> otrzyma\u0142 zdoby\u0142a nagrod\u0119 Dijkstra<\/a><\/noindex> jako jedna z najbardziej rozpoznawalnych w dziedzinie oblicze\u0144 rozproszonych i jest dost\u0119pna<\/a><\/noindex> w internetowej bibliotece Uniwersytetu w Rochester. Mo\u017cna go r\u00f3wnie\u017c zna\u0107 jako autora s\u0142ynnego algorytmu Michael-Scotta z \u201eProste, szybkie i praktyczne algorytmy kolejki r\u00f3wnoleg\u0142ej bez blokowania i z blokowaniem\u201d<\/a><\/noindex>.<\/p>\n

<\/p>\n

Je\u015bli chodzi o \u015bwiat Javy, to tutaj sytuacja jest szczeg\u00f3lna: wraz z Doug Lea opracowa\u0142 te nieblokuj\u0105ce algorytmy i synchronizowane kolejki, na kt\u00f3rych opieraj\u0105 si\u0119 biblioteki Javy. O tym w\u0142a\u015bnie b\u0119dzie keynote \u201eStruktury danych o podw\u00f3jnej funkcji\u201d \u2014 wprowadzenie tych struktur w Java SE 6 pozwoli\u0142o na dziesi\u0119ciokrotne zwi\u0119kszenie wydajno\u015bci java.util.concurrent.ThreadPoolExecutor<\/code>. Je\u015bli ju\u017c teraz jeste\u015bcie ciekawi, czym s\u0105 te \u201estruktury danych o podw\u00f3jnej funkcji\u201d, to istnieje odpowiednia praca<\/a><\/noindex>. <\/p>\n

<\/p>\n

Maurice Herlihy \u2014 Blockchainy i przysz\u0142o\u015b\u0107 oblicze\u0144 rozproszonych<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Maurice Herlihy<\/a><\/noindex> \u2014 laureat dw\u00f3ch nagr\u00f3d Dijkstra. Pierwsza \u2014 za prac\u0119 nad \u201eSynchronizacja bez blokowania\u201d<\/a><\/noindex> (Uniwersytet Brown), a druga, bardziej wsp\u00f3\u0142czesna \u2014 \u201ePami\u0119\u0107 transakcyjna: wsparcie architektoniczne dla struktur danych bez blokad\u201d<\/a><\/noindex> (Uniwersytet Virginia Tech). Nagrod\u0119 Dijkstra przyznaje si\u0119 za prace, kt\u00f3rych znaczenie i wp\u0142yw by\u0142y zauwa\u017calne przez co najmniej dziesi\u0119\u0107 lat, i oczywi\u015bcie Maurice jest jednym z najbardziej znanych specjalist\u00f3w w tej dziedzinie. Obecnie jest profesorem na Uniwersytecie Brown i ma na koncie wiele osi\u0105gni\u0119\u0107, kt\u00f3re mog\u0142yby zaj\u0105\u0107 ca\u0142y akapit.<\/p>\n

<\/p>\n

Na tym ko\u0144cz\u0105cym keynote Maurice om\u00f3wi teori\u0119 i praktyk\u0119 blockchainowych system\u00f3w rozproszonych z perspektywy klasyki oblicze\u0144 rozproszonych oraz jak to upraszcza wiele powi\u0105zanych problem\u00f3w. To wyst\u0105pienie b\u0119dzie \u015bci\u015ble zwi\u0105zane z tematyk\u0105 konferencji \u2014 zupe\u0142nie nie o szumie g\u00f3rniczym, a raczej o tym, jak nasze zasoby wiedzy mo\u017cna zdumiewaj\u0105co efektywnie i stosownie wykorzystywa\u0107 do r\u00f3\u017cnych zada\u0144.<\/p>\n

<\/p>\n

W lipcu 2017 roku Maurice ju\u017c przyjecha\u0142 do Rosji na szko\u0142\u0119 SPTDC, uczestniczy\u0142 w meet-upie JUG.ru, a nagranie mo\u017cna zobaczy\u0107 na YouTube:<\/p>\n

\n

\r\n \"Odtwarzaj\r\n
<\/div>\r\n <\/div><\/center><\/p>\n

G\u0142\u00f3wna agenda<\/h2>\n

<\/p>\n

Poni\u017cej znajduje si\u0119 kr\u00f3tki przegl\u0105d prezentacji, kt\u00f3re wesz\u0142y w sk\u0142ad programu. Cz\u0119\u015b\u0107 prezentacji zosta\u0142a opisana szczeg\u00f3\u0142owo, cz\u0119\u015b\u0107 \u2014 kr\u00f3cej. D\u0142ugie opisy otrzyma\u0142y g\u0142\u00f3wnie referaty w j\u0119zyku angielskim, kt\u00f3re wymagaj\u0105 odniesie\u0144 do prac naukowych, termin\u00f3w na Wikipedii itd. Pe\u0142n\u0105 list\u0119 mo\u017cna zobaczy\u0107 na stronie konferencji<\/a><\/noindex>. Lista na stronie b\u0119dzie aktualizowana i uzupe\u0142niana. <\/p>\n

<\/p>\n

Leslie Lamport \u2014 Q & A<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Leslie Lamport jest autorem fundamentalnych prac w zakresie oblicze\u0144 rozproszonych. \u201eLaTeX\u201d<\/a><\/noindex> rozszyfrowuje si\u0119 jako \u201eLamport TeX\u201d. To on po raz pierwszy, jeszcze w 1979 roku, wprowadzi\u0142 poj\u0119cie sp\u00f3jno\u015bci sekwencyjnej<\/a><\/noindex>, a jego artyku\u0142 \u201eHow to Make a Multiprocessor Computer That Correctly Executes Multiprocess Programs\u201d<\/a><\/noindex> otrzyma\u0142 nagrod\u0119 Dijkstra.<\/p>\n

<\/p>\n

To najbardziej nietypowa cz\u0119\u015b\u0107 programu, poniewa\u017c to nawet nie jest wyk\u0142ad, a sesja pyta\u0144 i odpowiedzi. Kiedy znaczna cz\u0119\u015b\u0107 widowni jest ju\u017c zaznajomiona (lub mo\u017ce si\u0119 zapozna\u0107) z wszelkimi pracami opartymi na \u201eteorii Lamporta\u201d, jego w\u0142asnymi artyku\u0142ami i prezentacjami, najwa\u017cniejsze jest, aby wykorzysta\u0107 ca\u0142y dost\u0119pny czas na bezpo\u015bredni\u0105 komunikacj\u0119.<\/p>\n

<\/p>\n

Pomys\u0142 jest prosty \u2014 ogl\u0105dacie na YouTube dwa wyk\u0142ady: \u201eProgramming Should Be More Than Coding\u201d<\/a><\/noindex> i \u201eJe\u015bli nie piszesz programu, nie u\u017cywaj j\u0119zyka programowania\u201d<\/a><\/noindex> i przygotowujecie przynajmniej jedno pytanie, a Leslie odpowiada.<\/p>\n

<\/p>\n

Pierwsze z tych dw\u00f3ch wideo ju\u017c przerobili\u015bmy na artyku\u0142 na blogu<\/a><\/noindex>. Je\u015bli nie macie godziny na obejrzenie filmu, mo\u017cna szybko przeczyta\u0107 to w formie tekstu.<\/p>\n

<\/p>\n

Na marginesie: na YouTube jest znacznie wi\u0119cej wideo z Leslie Lamportem. Na przyk\u0142ad, jest \u015bwietny kurs dotycz\u0105cy TLA+<\/a><\/noindex>. Off-line wersja ca\u0142ego tego kursu dost\u0119pna jest na stronie domowej autora<\/a><\/noindex>, a na YouTube zosta\u0142o to udost\u0119pnione dla \u0142atwiejszego ogl\u0105dania na urz\u0105dzeniach mobilnych.<\/p>\n

<\/p>\n

Martin Kleppmann \u2014 Synchronizacja danych mi\u0119dzy urz\u0105dzeniami u\u017cytkownik\u00f3w w celu wsp\u00f3lnej wsp\u00f3\u0142pracy<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Martin Kleppmann jest badaczem na Uniwersytecie w Cambridge, pracuj\u0105cym nad CRDT i formaln\u0105 weryfikacj\u0105 algorytm\u00f3w. Ksi\u0105\u017cka Martina \u201eDesigning Data-Intensive Applications\u201d<\/noindex>, opublikowana w 2017 roku, okaza\u0142a si\u0119 bardzo udana i trafi\u0142a do bestseller\u00f3w w dziedzinie przechowywania i przetwarzania danych. Kevin Scott, CTO w Microsoft, pewnego razu powiedzia\u0142<\/a><\/noindex>: \u201eTa ksi\u0105\u017cka powinna by\u0107 obowi\u0105zkowa dla in\u017cynier\u00f3w-programist\u00f3w. To rzadki zas\u00f3b, kt\u00f3ry \u0142\u0105czy teori\u0119 z praktyk\u0105, pomagaj\u0105c programistom projektowa\u0107 i wdra\u017ca\u0107 infrastruktur\u0119 oraz systemy przetwarzania danych w bardziej inteligentny spos\u00f3b\u201c. Co\u015b podobnego m\u00f3wi\u0142 tak\u017ce tw\u00f3rca Kafki i CTO Confluent, Jay Kreps.<\/p>\n

<\/p>\n

Zanim zaj\u0105\u0142 si\u0119 badaniami akademickimi, Martin pracowa\u0142 w bran\u017cy i by\u0142 wsp\u00f3\u0142za\u0142o\u017cycielem dw\u00f3ch udanych startup\u00f3w:<\/p>\n

<\/p>\n