Konferencija će se održati 11-12. srpnja u Sankt Peterburgu , posvećena razvoju paralelnih i distribuiranih sustava. Kvaliteta Hydre je u tome što okuplja izvrsne znanstvenike (koje obično možete pronaći samo na inozemnim znanstvenim konferencijama) i poznate praktične inženjere u veliki program na sjecištu znanosti i prakse.
Hydra je jedna od naših najvažnijih konferencija u posljednjih nekoliko godina. Pred nju je prethodila vrlo ozbiljna priprema, odabir govornika i predavanja. O tome je s direktorom tvrtke JUG.ru Group, Aleksejem Fedorovim ().
Mi ) o tri važna sudionika, utemeljitelja teorije distribuiranih sustava — Lesliju Lamportu, Mauriceu Herlihyju i Michaelu Scottu. Vrijeme je da detaljnije razgovaramo o cijelom programu!

Motivacija
Ako se bavite programiranjem, na ovaj ili onaj način se susrećete s višedretvenošću i distribuiranim računanjem. Stručnjaci u relevantnim područjima rade s njima izravno, no distribuiranost nas očigledno promatra od svuda: u svakom višejezgrenom računalu ili distribuiranoj usluzi postoji nešto što paralelno izvršava izračune.
Postoji mnogo konferencija koje obrađuju određene aspekte primijenjenog programiranja. S druge strane spektra imamo specijalizirane znanstvene škole koje u obliku predavanja otkrivaju ogromne količine složene teorije. Na primjer, paralelno s Hydrom u Petersburgu se održava . Na konferenciji Hydra potrudili smo se spojiti i čistu praksu, i znanost, i sve što je na njihovom sjecištu.
Razmislite o ovome: živimo u nevjerojatnom vremenu kada se možemo uživo susresti s osnivačima onog područja znanosti i inženjerstva kojim se bavimo. Fizičari se ne mogu susresti ni s Newtonom ni s Einsteinom — vlak je otišao. No, uz nas još uvijek žive oni koji su stvorili temelje teorije distribuiranih sustava, osmislili popularne programske jezike, prvi to realizirali u radne prototipove. Ti ljudi nisu napustili svoj rad na pola puta, upravo sada se bave aktualnim zadatcima na svjetski poznatim sveučilištima i kompanijama, i predstavljaju najveće izvore znanja i iskustva danas.
S druge strane, mogućnost susreta s njima obično ostaje samo teoretska: malo tko od nas može neprekidno pratiti javne događaje na nekom Sveučilištu u Rochesteru, kako bi se potom uputio u SAD i vratio se na predavanje kod Mikea Scott-a. Posjetiti sve sudionike Hydre koštalo bi pravo malo bogatstvo, ne računajući neizmjerno utrošenog vremena (iako to zvuči kao zanimljiv izazov).
S druge strane, imamo brojne vrhunske inženjere koji upravo sada rade na aktualnim problemima distribuiranih sustava, i oni sigurno imaju puno toga za reći. No, problem je u tome — njihovo vrijeme je skupo. radiDa, ako si zaposlenik Microsofta, Googlea ili JetBrainsa, vjerojatnost da ćeš sresti jednog od poznatih govornika na internom događaju naglo raste, ali općenito — to se ne događa svaki dan.
Tako konferencija Hydra obavlja važnu funkciju koju većina od nas ne može sami ostvariti — na jednom mjestu i u isto vrijeme okuplja ljude čije ideje ili čija komunikacija mogu promijeniti vaš život. Pretpostavljam da raspodijeljeni sustavi i neke složene fundamentalne stvari nisu potrebne svima. Možeš provesti cijeli život programirajući CRUD aplikacije na PHP-u i ostati sasvim sretan. No, koji ih trebaju — to je tvoja šansa.
Od prvog najavljivanja konferencije Hydra na Habr-u prošlo je već dosta vremena. Tijekom tog vremena, odrađen je ogroman posao — i evo, imamo popis gotovo svih predavanja. Nema uspavljujućih jednostrukih algoritama, samo čisti distribuirani hardcore! Završimo s općim riječima i pogledajmo što imamo sada na raspolaganju.
Keynote-ovi
Keynote-ovi započinju i zaključuju dane konferencije. Obično, svrha otvarajućeg keynote-a jest postaviti opći duh i smjer konferencije. Zatvarajući keynote dovršava priču i objašnjava kako živjeti sa znanjem i vještinama stečenim tijekom dana konferencije. Početak i kraj: ono što će se bolje pamtiti i općenito ima povećanu važnost.
Cliff Click —
Cliff je legenda svijeta Jave. Krajem 90-ih, za svoju doktorsku disertaciju napisao je rad pod nazivom , koja je nakon nekog vremena postala osnova za HotSpot JVM Server Compiler. Nakon dvije godine već je radio u Sun Microsystems-u na JVM-u i pokazao cijelom svijetu da JIT ima pravo na postojanje. Cijela ova priča o tome da je Java jedan od najbržih modernih runtime-a s najpametnijim i najbržim optimizacijama započela je upravo s Cliffom Clickom. Na samom početku se smatralo da, ako je nešto dostupno statičkom kompajleru - ne treba ni pokušavati s JIT-om. Zahvaljujući radu Cliffa i tima, svi novi jezici počeli su se razvijati s idejom o JIT-kompilaciji prema zadanim postavkama. Bez sumnje, to nije bio posao samo jednog čovjeka, ali Cliff je odigrao vrlo važnu ulogu.
Na uvodnoj keynote prezentaciji, Cliff će govoriti o drugom svom poduhvatu - , platformi za distribuirano i skalabilno strojno učenje za industrijsku primjenu. Preciznije - o distribuiranom skladištu parova "ključ-vrijednost" unutar njega. To je vrlo brzo skladište s mnoštvom zanimljivih svojstava (tčni popis se može naći u ), koja omogućava korištenje sličnih rješenja u matematici streaminga velikih podataka.
Još jedna prezentacija s kojom će se Cliff predstaviti je - . Drugi dio njegove biografije - deset godina , gdje je modernizirao i poboljšao mnogo toga u hardveru i tehnološkom stacku Azul: JIT-kompajleri, runtime, model niti, obrada grešaka, rad sa stakom, hardverski prekidi, učitavanje klasa i tako dalje - znate na što mislim.
Najzanimljiviji dio započeo je kada su stvorili hardver za veliki biznis - superkompjuter za pokretanje Jave. To je bila prilično inovativna stvar, posebno prilagođena Javi, koja ima posebne zahtjeve - barijere memorije za čitanje za nisko-laganu sakupljanje smeća, nizovi s provjerom granica, virtualni pozivi… Jedna od najkul tehnologija je hardverska transakcijska memorija. Cijeli L1 bilo kojeg od 864 jezgri mogao je sudjelovati u transakcijskom zapisu, što je posebno važno za rad s blokadama u Javi (synchronized-blokovi mogu raditi paralelno sve dok ne dođe do stvarnog sukoba po memoriji). No, lijepa ideja se raspala o surovu stvarnost - i u ovoj prezentaciji, Cliff će govoriti zašto HTM i STM nisu najprikladniji za praktične potrebe višeslojnih računalnih operacija.
Michael Scott —
— profesor računalnih znanosti na Sveučilištu Rochester, s kojim ga je sudbina spojila , a na rodnom sveučilištu Wisconsin–Madison, bio je dekan pet godina. Bavi se istraživanjem paralelnog i distribuiranog programiranja te dizajniranja jezika, a podučava i studente.
Cijeli svijet poznaje Michaela zahvaljujući udžbeniku , čije je posljednje izdanje objavljeno relativno nedavno — 2015. godine. Njegov rad dobila je kao jedan od najpoznatijih u području distribuiranih računalnih sustava i u online knjižnici Sveučilišta Rochester. Također ga možete znati kao autora onog algoritma Michael-Scott iz .
Što se tiče svijeta Jave, tu je situacija posebna: zajedno s Dougom Leom razvio je te neblokirajuće algoritme i sinkronizirane redove, na kojima rade Java biblioteke. Upravo će o tome govoriti keynote «Dvojne podatkovne strukture» — implementacija ovih struktura u Java SE 6 omogućila je deset puta bolje performanse java.util.concurrent.ThreadPoolExecutor. Ako vas unaprijed zanima što su te tzv. «dvojne podatkovne strukture», o tome postoji .
Maurice Herlihy —
— dobitnik čak dvije Dijkstra nagrade. Prva — za rad na (Sveučilište Brown), a druga, novija — (Sveučilište Virginia Tech). Dijkstra nagrada se dodjeljuje za radove čiji su značaj i utjecaj bili vidljivi najmanje deset godina, a očito je da je Maurice jedan od najpoznatijih stručnjaka u tom području. Trenutno radi kao profesor na Sveučilištu Brown i ima brojne uspjehe koji bi mogli ispuniti cijeli odlomak.
Na ovom završnom keynoteu Maurice će govoriti o teoriji i praksi blokchain distribuiranih sustava iz perspektive klasika distribuiranih računalnih sustava i o tome kako pojednostavljuje mnoge povezane probleme. Ovo je izlaganje isključivo na temu konferencije — ne radi se o rudarskom trendu, već o tome kako naša saznanja možemo izvanredno učinkovito i prikladno primijeniti na razne zadatke.
U srpnju 2017. Maurice je već bio u Rusiji na školi SPTDC, sudjelovao je na meetupu JUG.ru, a snimku možete pogledati na YouTubeu:

Glavni program
Slijedi kratak pregled izlaganja koja su uključena u program. Neka izlaganja su ovdje detaljno opisana, a neka kraće. Duga opisa dobila su, uglavnom, izlaganja na engleskom jeziku, koja zahtijevaju reference na znanstvene radove, pojmove na Wikipediji i slično. Cjelovit popis možete . Popis na web stranici bit će ažuriran i dopunjen.
Leslie Lamport —
Leslie Lamport je autor temeljnih radova u distribuiranim računalstvima. se razlaže kao «Lamport TeX». On je prvi, još 1979. godine, uveo pojam , a njegov članak dobio Dijkstra nagradu.
Ovo je najneobičniji format programa, jer to nije ni izlaganje, već sesija pitanja i odgovora. Kada je značajan dio publike već upoznat (ili može postati upoznat) sa svim vrstama radova temeljenim na „Lamportovoj teoriji“, njegovim vlastitim člancima i izlaganjima, najvažnije je iskoristiti sve dostupno vrijeme za direktnu komunikaciju.
Ideja je jednostavna — gledate na YouTube dva izlaganja: i i pripremite barem jedno pitanje, a Leslie odgovara.
Prvo od ta dva videa već smo . Ako nemate sat vremena za gledanje videa, možete brzo pročitati sve to u tekstualnom obliku.
Na bilješku: na YouTubeu ima mnogo više videa s Leslie Lamportom. Na primjer, postoji odličan . Offline verzija cijelog ovog kursa dostupna je na , a na YouTubeu je prešao radi lakšeg pregleda na mobilnim uređajima.
Martin Kleppmann —
Martin Kleppmann je istraživač na Sveučilištu u Cambridgeu, koji radi na CRDT i formalnoj verifikaciji algoritama. Knjiga Martina , objavljena 2017. godine, postala je veoma uspješna i našla se na popisima bestselera u području pohrane i obrade podataka. Kevin Scott, CTO u Microsoftu, : „Ova knjiga bi trebala biti obavezna za inženjere razvojnog tima. To je rijetki resurs koji ujedinjuje teoriju i praksu, pomažući programerima da inteligentnije dizajniraju i implementiraju infrastrukturu i sustave obrade podataka“. Nešto slično rekao je i tvorac Kafke i CTO Confluenta, Jay Kreps.
Prije nego što se posvetio akademskom istraživanju, Martin je radio u industriji i bio je suosnivač dvoje uspješnih startupova:
- Rapportive, koji je prikazivao društveni profil kontakata iz vaše e-pošte, a LinkedIn ga je kupio 2012. godine;
- Go Test It, usluga za automatsko testiranje web stranica u različitim preglednicima, koju je RedGate kupio 2009. godine.
Ukratko, iako je Martin manje poznat od naših glavnih govornika, već je uspio dati doprinos i razvoju distribuiranog računanja i industriji.
U ovom izlaganju, Martin će govoriti o temi koja je bliža njegovim akademskim istraživanjima. U Google Docs i sličnim softverima za zajedničko uređivanje dokumenata, "zajedničko uređivanje" podrazumijeva zadatak replikacije: svaki korisnik ima svoju repliku zajedničkog dokumenta koju potom mijenja, a sve promjene se šalju mreži ostalim sudionicima. Promjene dokumenata offline dovode do privremene nesuglasnosti dokumenta u odnosu na ostale sudionike, a ponovna sinkronizacija zahtijeva rješavanje sukoba. Upravo za to postoje (CRDT), što je u suštini prilično nova stvar, čija suština je formulirana tek 2011. godine. U ovom izlaganju raspravlja se o tome što se dogodilo od tada u svijetu CRDT-a, koja su najnovija dostignuća, raspravlja se o pristupu razvoju aplikacija s lokalnim prioritetom uopće i korištenju open-source biblioteke konkretno.
Sljedeći tjedan na Habr-u objavit ćemo veliko intervju s Martinom, bit će zanimljivo.
Pedro Ramalhete —
Pedro radi u Cisco-u i već desetak godina razvija paralelne algoritme, uključujući mehanizme sinkronizacije, strukture podataka bez zaključavanja i bez čekanja, i sve što možete zamisliti na tu temu. Njegovi trenutni znanstveni i inženjerski interesi fokusirani su na Univerzalne konstrukcije, Softversku transakcijsku memoriju, Trajnu memoriju i slične tehnologije koje omogućuju razvoj ispravnih, skalabilnih i otpornih aplikacija. Također je autor široko poznatog u uskim krugovima bloga .
Na paralelnim strukturama podataka danas radi većina multithread aplikacija, počevši od upotrebe redova poruka između aktera do indeksiranih struktura podataka u key-value skladištima. U Java JDK-u uspješno funkcionišu već dugi niz godina, a polako se dodaju i u C++.
Najjednostavniji način za implementaciju paralelne strukture podataka je sekvencijalna (jednothread) implementacija u kojoj su metode zaštićene mutexima. Ovo je dostupno svakom junioru, ali ima očigledne probleme sa skalabilnošću i performansama. Istovremeno, lock-free i wait-free strukture podataka ne samo da se bolje nose s greškama, već imaju i povoljniji profil performansi — međutim, za njihovu izradu potrebna je duboka ekspertiza i prilagođavanje specifičnim primjenama. Jedna pogrešna linija koda može sve pokvariti.
Kako omogućiti da čak i neekspert može dizajnirati i implementirati takve strukture podataka? Poznato je da se svaki sekvencijalni algoritam može učiniti sigurnim za rad u više niti uz pomoć ili , ili transakcijske memorije. Prvi od njih može smanjiti prag ulaska u rješenje ovog problema. Međutim, oba rješenja obično dovode do neučinkovite implementacije. Pedro će pričati o tome kako su uspjeli učiniti ove konstrukcije učinkovitijima i kako ih možete koristiti za svoje algoritme.
Heidi Howard —
Heidi Howard — kao i Martin, istraživač distribuiranih sistema na Univerzitetu u Cambridgeu. Njezina specijalizacija je konzistentnost, otpornost na greške, performanse i distribuirani konsenzus. Najpoznatija je po generalizaciji Paxos algoritma nazvanog .
Podsjećamo, da — porodica protokola za rješavanje problema konsenzusa u mreži nepouzdanih računara, koja se temelji na radovima Leslie Lampa. Tako naši predavači rade na temama koje su prvotno predložili drugi naši predavači — i to je predivno.
Mogućnost postizanja konsenzusa između više hostova — za adresiranje, odabir vođe, blokiranje ili koordinaciju — osnovno je pitanje modernih distribuiranih sustava. Paxos je trenutno glavni način rješavanja problema postizanja konsenzusa, a oko njega se vodi mnogo istraživanja s ciljem proširenja i optimizacije algoritma za različite praktične potrebe.
U ovom izvještaju ćemo revidirati teorijsku osnovu Paxosa, oslobađajući izvorne zahtjeve i generalizirajući algoritam. Vidjet ćemo da je Paxos, u suštini, samo jedan od mogućih pristupa unutar širokog spektra metoda za postizanje konsenzusa, i da su druge tačke spektra također vrlo korisne za izgradnju dobrih distribuiranih sustava.
Alex Petrov —
Aleks je stručnjak za baze podataka i sustave pohrane, a što je za nas najvažnije — komitator u . Zajedno s O’Reillyjem trenutno radi na knjizi Database Internals.
Za sustave s (u hrvatskoj terminologiji — 'konačna dosljednost'), nakon pada čvora ili podjele mreže, potrebno je riješiti sljedeću dilemu: nastaviti s izvršavanjem zahtjeva, žrtvujući dosljednost, ili odbiti njihovo izvršavanje i žrtvovati dostupnost. U takvom sustavu, kvorumi, preklapajući podskupovi čvorova koji jamče da će barem jedan čvor sadržavati najnoviju vrijednost, mogu postati dobro granično rješenje. Može se preživjeti kvarove i gubitak veze do nekih čvorova, nastavljajući odgovarati najnovijim vrijednostima.
Međutim, sve ima svoju cijenu. Kvorumska shema replikacije znači povećane troškove pohrane: potrebno je pohraniti redundante podatke na više čvorova istovremeno kako bi se osigurao dovoljan broj dostupnih kopija u trenutku problema. Pokazuje se da nije potrebno čuvati sve podatke na svim replikama. Može se smanjiti opterećenje na pohranu ako se podaci drže samo na dijelu čvorova, dok se za scenarije obrade kvarova koriste posebni čvorovi (Transient Replica).
Tijekom izlaganja razmotrit ćemo , shemu replikacije koja se koristi u i , i implementaciju ovog koncepta u Apache Cassandri pod nazivima .
Dmitrij Vjukov —
Dmitrij je programer u Googleu koji radi na dinamičkom testiranju C/C++ i Go — Address/Memory/ThreadSanitizer, i sličnim alatima za Linux kernel. Doprinio je Go skalabilnom planerju gorutina, mrežnom ispitivaču i paralelnom sakupljaču smeća. Stručnjak je za višedretvenost, autor je desec novih algoritama bez blokirajuće prirode i nosi titulu Intel.
Sada malo o prezentaciji. U jeziku Go postoji nativna podrška za višedretvenost u obliku gorutina (lagani threadovi) i kanala (FIFO redovi). Zahvaljujući ovim mehanizmima korisnicima je veoma lako i prijatno pisati moderne višedretvene aplikacije, i izgleda kao magija. Kako razumemo, ovde nema nikakve magije. U ovoj prezentaciji Dmitrij će se detaljno osvrnuti na suštinu rada Go planerja i pokazati tajne implementacije te "magije". Na početku će dati pregled osnovnih komponenti planerja, objasnit će kako funkcioniše. Zatim ćemo se pobliže upoznati s određenim aspektima poput strategije parkiranja/odparkiranja i obrade blokirajućih sistemskih poziva. Na kraju, Dmitrij će malo govoriti o mogućim unapređenjima u planerju.
Dmitrij Bugajčenko —
Dmitrij je skoro 9 godina radio u outsourcingu, ne gubeći kontakt s univerzitetom i naučnom zajednicom. Analiza velikih podataka u Odnoklassnicima pružila mu je jedinstvenu priliku da spoji teorijsku pripremljenost i naučnu osnovu s razvojem stvarnih, traženih proizvoda.
Distribuirana analiza grafova bila je i ostaje izazovan zadatak: kada se javi potreba da se dobije informacija o vezama obližnjeg čvora, često se podaci moraju prebacivati između mašina, što dovodi do povećanja vremena izvršavanja i opterećenja mrežne infrastrukture. U ovoj prezentaciji ćemo videti kako se može postići značajno ubrzanje obrade korišćenjem probabilističkih struktura podataka ili činjenica poput simetričnosti grafova prijateljstava u društvenoj mreži. Sve to biće ilustrovano primerima koda na Apache Spark.
Denis Rytsov —
Denis je programer , stručnjak za provjeru modela konzistentnosti, u algoritmima konsenzusa i u distribuiranim transakcijama. Trenutno radi u Microsoftu, a prije toga se bavio distribuiranim sustavima u Amazonu i Yandexu.
U ovom izlaganju upoznat ćemo se s protokolima distribuiranih transakcija koji su izumljeni u posljednjih nekoliko godina, a koji se mogu implementirati na klijentskoj strani iznad bilo kojeg skladišta podataka koje podržava uslovno ažuriranje (compare and set). Suština je u tome da život ne završava dvostupanjskim potvrđivanjem, transakcije se mogu dodati iznad bilo kojih baza podataka — na razini aplikacije, ali različiti protokoli (2PC, Percolator, RAMP) imaju različite trade-off-e i ne dolaze nam besplatno.
Aleksij Zinovjev —
Aleksij () — naš dugogodišnji govornik i član programskih odbora na drugim konferencijama. Praktični trener u kompaniji EPAM Systems, i s Hadoop/Spark i ostalim big data alatima prijateljuje od 2012. godine.
U ovom izlaganju Aleksij će govoriti o problemima prilagodbe klasičnih algoritama strojnog učenja za izvođenje u distribuiranom načinu rada na temelju svog iskustva s Apache Spark ML, Apache Mahout, Apache Flink ML i iskustva u izradi Apache Ignite ML. Također, Aleksij će govoriti o implementaciji distribuiranih ML-algoritama u tim okvirima.
I na kraju — dva izlaganja iz kompanije Yandex o Yandex Bazi podataka.
Vladislav Kuznecov —
Vladislav je developer u Yandexu u grupi distribuirane platforme. Yandex Database — horizontalno skalabilna geodistribuirana otporna baza podataka, otpornija na kvarove diskova, poslužitelja, ormara i data centara bez kršenja konzistentnosti. Za osiguranje otpornosti na greške koristi se vlastiti algoritam za postizanje distribuiranog konsenzusa, kao i niz tehničkih rješenja koja su detaljno razrađena u izlaganju. Izlaganje može biti zanimljivo kako developerima baza podataka, tako i developerima aplikativnih rješenja na bazi baza podataka.
Semen Čečerinda —
Semen je developer u grupi distribuirane platforme u Yandexu, radi na mogućnosti višekratnog korištenja instalacije YDB.
Yandex Database je dizajnirana za OLTP upite i ispunjava ACID zahtjeve za transakcijski sustav. U izvještaju ćemo razmotriti algoritam planiranja transakcija koji leži u osnovi transakcijskog sustava YDB. Analizirat ćemo koje entiteti sudjeluju u transakcijama, tko dodjeljuje globalni redoslijed transakcijama, kako se postiže atomarnost transakcija, pouzdanost i stroga razina izolacije. Na primjeru uobičajenog zadatka razmotrit ćemo implementacije transakcija koristeći dvofaznu potvrdu i determinističke transakcije. Raspravljat ćemo o njihovim razlikama.
Što dalje?
Program konferencije nastavlja se ispunjavati novim izlaganjima. Konkretno, očekujemo izlaganje od Nikita Koval () iz JetBrains i Oleg Anastasev () iz kompanije Odnoklassniki. Nikita se bavi algoritmima za korutine u Kotlin timu, a Oleg razvija arhitekturu i rješenja za sustave visokih opterećenja na platformi kompanije Odnoklassniki. Osim toga, postoji još 1 uvjetno prazno mjesto, s kandidatima za koje trenutno radi programski odbor.
Konferencija Hydra će se održati 11-12. srpnja u Sankt Peterburgu. Karte se mogu . Skrećemo pozornost na dostupnost online karata — ako iz nekog razloga ne možete uživo doći u Peterburg tih dana.
Vidimo se na Hydri!
Izvor: habr.com
