11-12 julija bo v Sankt Peterburgu potekala konferenca , posvečena razvoju paralelnih in porazdeljenih sistemov. Edinstvenost Hidre je v tem, da povezuje vrhunske znanstvenike (ki jih običajno najdemo le na tujih znanstvenih konferencah) in znane prakticirajoče inženirje v en velik program na stičišču znanosti in prakse.
Hidra je ena od najpomembnejših konferenc v zadnjih nekaj letih. Pred njo je potekla zelo resna priprava, izbor govorcev in prispevkov. Prejšnji teden je o tem z direktorjem podjetja JUG.ru Group, Aleksejem Fedorovim ().
Mi o treh pomembnih udeležencih, začetnikih teoretiziranja o porazdeljenih sistemih — Leslie Lamportu, Mauriceu Herlihyju in Michaelu Scottu. Prišel je čas, da bolj podrobno govorimo o celem programu!

Motivacija
Če se ukvarjate s programiranjem, ste na tak ali drugačen način že seznanjeni z večnitnostjo in porazdeljenimi izračuni. Specialistki na ustreznih področjih delajo neposredno z njimi, toda pomišljajte, porazdeljenost nas gleda od povsod: v katerem koli večjedrnem računalniku ali porazdeljeni storitvi boste našli nekaj, kar hkrati izvaja izračune.
Obstaja mnogo konferenc, ki razkrivajo določene vidike praktičnega programiranja. Na drugi strani spektra pa imamo posebne znanstvene šole, ki v obliki predavanj razkrivajo ogromne količine zapletene teorije. Na primer, poleg Hidre poteka v Petrogradu . Na konferenci Hidra smo se potrudili, da skupaj združimo resno prakso, znanost ter vse, kar leži na njihovem stičišču.
Razmislite o tem: živimo v čudovitem času, ko lahko v živo srečamo ustanovitelje tistega področja znanosti in inženiringa, s katerim se ukvarjamo. Fiziki ne bodo srečali ne Newtona ne Einsteina — vlak je odpeljal. Toda ob nas še vedno živijo tisti, ki so ustanovili temelje teorije porazdeljenih sistemov, ustvarili priljubljene programske jezike in prvič uresničili vse to v delujoče prototipe. Ti ljudje niso opustili svojega dela na pol poti, prav zdaj se ukvarjajo z aktualnimi vprašanji na svetovno znanih univerzah in podjetjih ter so danes največji viri znanja in izkušenj.
Na drugi strani pa možnost, da se srečamo z njimi, običajno ostaja čisto teoretična: malo kdo od nas lahko nenehno spremlja javne dogodke na katerem koli univerzi v Rochesterju, da bi se nato odpravili v ZDA in nazaj na predavanje k Michaelu Scottu. Obisk vseh udeležencev Hydra bi bil drago, ne da bi upoštevali brezno porabljenega časa (čeprav se to sliši kot zanimiva pustolovščina).
Na drugi strani pa imamo številne vrhunske inženirje, ki trenutno delajo na aktualnih problemih porazdeljenih sistemov, in ti zagotovo imajo kar nekaj za povedati. Toda problem je — njihov čas je dragocen. radeJa, če si zaposlen v Microsoftu, Googlu ali JetBrainsu, se verjetnost, da srečaš enega od znanih govornikov na notranjem dogodku, hitro povečuje, vendar na splošno — to ne zgodi vsak dan.
Tako konferenca Hydra opravlja pomembno nalogo, katere večina od nas ne more opraviti sama — na enem mestu in v enem času združuje ljudi, katerih ideje ali komunikacija lahko spremenijo vaše življenje. Priznam, da vsi ne potrebujejo porazdeljenih sistemov ali kakšnih zapletenih osnovnih stvari. Do konca življenja lahko programirate CRUD aplikacije v PHP-ju in ostanete povsem srečni. Ampak tisti, ki jih potrebujejo — to je vaša priložnost.
Od prvega napovedovanja konference Hydra na Habré je minilo že kar nekaj časa. V tem času je bilo opravljeno ogromno dela — in zdaj imamo seznam skoraj vseh predavanj. Nobenih šibkih enotnih algoritmov, samo čisti porazdeljeni hardcore! Poglejmo, kaj imamo zdaj na mizi.
Ključni govori
Ključni govori začnejo in zaključijo dni konference. Običajno je smisel uvodnega ključnega govora, da postavi splošen duh in smer konference. Zaključni ključni govor povzame dogodek in razloži, kako naj živimo z znanjem in veščinami, pridobljenimi v času konference. Začetek in konec: to, kar se bo najbolje zapomnilo, in na splošno, ima povečano pomembnost.
Cliff Click —
Cliff je legenda v svetu Jave. Konec 90-ih let je za svoj doktorat napisal delo z naslovom , которая через некоторое время стала основой для HotSpot JVM Server Compiler. Через два года он уже работал в Sun Microsystems над JVM и показал всему миру, что JIT имеет право на существование. Вся эта история о том, что Java — один из быстрейших современных рантаймов с самыми умными и быстрыми оптимизациями пошла именно с Клиффа Клика. В самом начале считалось, что, если что-то доступно статическому компилятору — это можно даже не пытаться джитить. Благодаря работам Клиффа и команды, все новые языки начали создаваться с идеей о JIT-компиляции по умолчанию. Безусловно, это была работа не для одного человека, но Клифф сыграл в ней очень важную роль.
Na uvodnem keynoteu bo Cliff predstavil drugo svojo pobudo — , platformo v pomnilniku za porazdeljeno in skalabilno strojno učenje za industrijsko uporabo. Natančneje — o porazdeljenem skladišču parov „ključ-vrednost“ znotraj nje. To je zelo hitro skladišče z množico zanimivih lastnosti (natančen seznam je v ), ki omogočajo uporabo podobnih rešitev v matematiki pretakanja velikih podatkov.
Še enega poročila, s katerim bo Cliff nastopil — . Drugi del njegove biografije — deset let , kjer je posodobil in izboljšal marsikaj v strojni opremi in tehnološkem skladu Azul: JIT-kompilatorje, runtime, model niti, obdelavo napak, delo s skladi, strojne prekinitve, nalaganje razredov in tako naprej — no, razumete.
Najbolj zanimiv del se je začel, ko so naredili strojno opremo za velike podjetja — superračunalnik za zagon Jave. To je bila dokaj inovativna zadeva, zasnovana prav za Javo, ki ima posebne zahteve — omejitve pomnilnika za nizkopauzno zbiranje smeti, nizke omejitve, virtualni klici... Ena izmed najzanimivejših tehnologij je bila strojna transakcijska pomnilnika. Celotna L1 katerega koli od 864 jeder je lahko sodelovala v transakcijskem zapisu, kar je še posebej pomembno za delo z zaklepi, v Javi (synchronized-bloki lahko delujejo hkrati, dokler ni pravega konflikta v pomnilniku). A lepa ideja se je razbila o surovo resničnost — in v tem poročilu bo Cliff razložil, zakaj HTM in STM nista ravno primerni za praktične potrebe večnitnih izračunov.
Michael Scott —
— profesor računalništva na Univerzi v Rochesteru, s katerim ga je usoda povezala , medtem ko je na svoji domači univerzi Wisconsin–Madison pet let deloval kot dekan. Ukvarja se z raziskavami na področju paralelnega in razdeljenega programiranja ter oblikovanja jezikov in uči študente to.
Vsak na svetu pozna Michaela po učbeniku , zadnja izdaja katerega je izšla relativno nedavno — leta 2015. Njegovo delo je prejela kot eno najznamenitejših na področju razdeljenih izračunov in v spletni knjižnici Univerze v Rochesterju. Poznate ga lahko tudi kot avtorja tistega znanega algoritma Michael-Scott iz .
Kar se tiče sveta Jave, pa je tukaj posebna zgodba: skupaj z Dougom Leajem je razvil tiste neblokirne algoritme in sinhronizirane čakalne vrste, ki jih uporabljajo knjižnice Jave. O tem bo tudi ključna tema »Dvojne podatkovne strukture« — vpeljava teh struktur v Java SE 6 je omogočila 10-kratno izboljšanje zmogljivosti java.util.concurrent.ThreadPoolExecutor. Če vas vnaprej zanima, kaj so te »Dvojne podatkovne strukture«, potem obstaja .
Maurice Herlihy —
— prejemnik kar dveh Dijkstra nagrad. Prva — za delo na (Univerza Brown), in druga, novejša — (Univerza Virginia Tech). Dijkstra nagrado podeljujejo za dela, katerih pomembnost in vpliv sta bila vidna najmanj deset let, in očitno je, da je Maurice eden najznamenitejših strokovnjakov na tem področju. Trenutno dela kot profesor na Univerzi Brown in ima številne dosežke, dolge kot cel odstavek.
Na tem zaključnem ključnem govoru bo Maurice spregovoril o teoriji in praksi blokadnih razdeljenih sistemov z vidika klasike razdeljenih izračunov in o tem, kako to poenostavi številne povezane probleme. Govor je izključno v okviru teme konference — nikakor ne o rudarskem vzponu, temveč bolj o tem, kako lahko naše znanje presenetljivo učinkovito in ustrezno uporabimo pri različnih nalogah.
Julija 2017 je Maurice že prišel v Rusijo na šolo SPTDC in sodeloval na srečanju JUG.ru, posnetek pa si lahko ogledate na YouTubu:

Osnovni program
Nadalje je tu kratak pregled predavanja uključenih u program. Neka od predavanja su ovde detaljno opisani, dok su neka prikazana sažeto. Duži opisi su uglavnom pripali anglosaksonskim predavanjima koja zahtevaju reference na naučne radove, termine na Wikipediji itd. Potpuni popis možete . Lista na sajtu će se ažurirati i dopunjavati.
Leslie Lamport —
Leslie Lamport je autor temeljnog istraživanja u distribuiranim računarstvima. se dekodira kao «Lamport TeX». On je prvi, još 1979. godine, uveo pojam , njegov članek dobila Dijkstra nagradu.
Ovo je najneobičniji deo programa po formatu, jer to nije predavanje, već sesija pitanja i odgovora. Kada je značajan deo publike već upoznat (ili može da se upozna) sa raznim radovima temeljenim na «Lamportovoj teoriji», njegovim radovima i predavanjima, ključno je iskoristiti sav dostupan vreme za direktnu komunikaciju.
Ideja je jednostavna — gledate dva predavanja na YouTube-u: in i pripremate barem jedno pitanje, a Leslie odgovara.
Prvo od ova dva videa smo već . Ako nemate sat vremena za gledanje videa, možete brzo pročitati sve to u formi teksta.
Za napomenu: na YouTube-u ima mnogo više videa sa Leslie Lamportom. Na primer, postoji odličan . Offline verzija celog ovog kursa dostupna je na , a na YouTube-u je je premeštena radi lakšeg gledanja na mobilnim uređajima.
Martin Kleppmann —
Martin Kleppmann je istraživač na Univerzitetu u Kembridžu, koji radi na CRDT i formalnoj verifikaciji algoritama. Knjiga Martina , objavljena 2017. godine, postala je vrlo uspešna i našla se na listama bestselera u oblasti skladištenja i obrade podataka. Kevin Scott, CTO u Microsoftu, : «Ova knjiga treba biti obavezna za inženjere-razvijače. Ovo je retki resurs koji kombinuje teoriju i praksu, pomažući razvijačima da pametnije dizajniraju i implementiraju infrastrukturu i sisteme obrade podataka». Nešto slično je rekao i kreator Kafke i CTO-a Confluent-a, Jay Kreps.
Preden se je lotil akademskih raziskav, je Martin delal v industriji in je bil so-founder dveh uspešnih startupov:
- Rapportive, orodju za prikazovanje družbenih profilov kontaktov iz vaše e-pošte, ki ga je LinkedIn kupil leta 2012;
- Go Test It, storitvi za avtomatsko preverjanje spletnih strani v različnih brskalnikih, ki jo je RedGate kupil leta 2009.
Na splošno je Martin, čeprav manj znan od naših glavnih govornikov, že uspel prispevati k razvoju porazdeljenih izračunov in industriji.
V tem poročilu bo Martin govoril o temi, ki je bližje njegovim akademskim raziskavam. V Google Docs in podobnem programski opremi za skupno urejanje dokumentov 'skupno urejanje' pomeni nalogo replikacije: vsak uporabnik ima svojo repliko skupnega dokumenta, ki jo nato spremeni, in vse spremembe se preko omrežja posredujejo drugim udeležencem. Spremembe dokumentov v offline načinu povzročajo začasno nekonsistentnost dokumenta v primerjavi z drugimi udeleženci, ponovna sinhronizacija pa zahteva reševanje konfliktov. Za to obstajajo (CRDT), ki je v bistvu dokaj nova zadeva, katere bistvo je bilo oblikovano šele leta 2011. V tem poročilu se razpravlja o tem, kaj se je zgodilo od takrat v svetu CRDT, kakšni so najnovejši dosežki ter se razpravlja o pristopu k ustvarjanju aplikacij 'local-first' in uporabi odprtokodne knjižnice v posebnosti.
Naslednji teden bomo na Habr objavili veliko intervju z Martinom, kar bo zanimivo.
Pedro Ramalhete —
Pedro dela v Cisco in razvija paralelne algoritme že zadnjih deset let, vključno z mehanizmi sinhronizacije, lock-free in wait-free strukturami podatkov ter vsemi, kar si lahko zamislite na to temo. Njegovi trenutni znanstveni in inženirski interesi so osredotočeni na Univerzalne konstrukcije, Programsko transakcijsko pomnilnik, Trajno pomnilnik in podobne tehnologije, ki omogočajo izvajanje pravilnih, razširljivih in odpornikovaplikacij. Poleg tega je avtor široko znanega v ozkem krogu bloga .
Na paralelnem podatkovnem strukturi deluje večina večnitičnih aplikacij, od uporabe sporočilnih vrstic med akterji do indeksiranih podatkovnih struktur v key-value skladiščih. V Java JDK so uspešno delovale več let, prav tako pa se počasi uvajajo tudi v C++.
Najenostavnejši način za implementacijo paralelne podatkovne strukture je zaporedna (enonitična) implementacija, pri kateri so metode zaščitene z mutexi. To je dostopno vsakemu novincu, vendar ima očitne težave s skalabilnostjo in učinkovitostjo. Hkrati pa lock-free in wait-free podatkovne strukture ne samo, da se bolje spopadajo z napakami, ampak imajo tudi boljši profil učinkovitosti – vendar zahteva njihova zasnova globoko strokovno znanje in prilagoditev konkretnim uporabi. Ena napačna vrstica kode lahko zruši vse.
Kako poskrbeti, da lahko celo neekspert oblikuje in implementira take podatkovne strukture? Znano je, da je mogoče vsak zaporedni algoritem narediti nitno varen s pomočjo bodisi , bodisi transakcijskega pomnilnika. Oba lahko znižata prag za dostop do rešitve tega problema. Vendar pa običajno vodita do neučinkovite implementacije. Pedro nam bo razkril, kako so uspeli te konstrukcije narediti bolj učinkovite in kako jih lahko uporabimo za svoje algoritme.
Heidi Howard —
Heidi Howard — tako kot Martin, raziskovalka distribuiranih sistemov na Univerzi v Cambridgeu. Njena specialization je doslednost, odpornost na napake, učinkovitost in distribuiran konsenz. Najbolj znana je po sploščitvi algoritma Paxos, imenovani .
Напоминаем, что — družina protokolov za reševanje problematike konsenza v mreži nezanesljivih računalnikov, ki temelji na delu Lesliea Lamporta. Tako nekateri naši govorniki delajo na težavah, ki so jih prvotno predlagali drugi naši govorniki — in to je čudovito.
Možnost doseganja soglasja med več gosti — za naslovitev, izbiro vodje, blokiranje ali usklajevanje — je temeljno vprašanje sodobnih porazdeljenih sistemov. Paxos je trenutno glavna metoda za reševanje problemov doseganja soglasja, okoli njega pa poteka številne raziskave z namenom razširitve in optimizacije algoritma za različne praktične potrebe.
V tem poročilu bomo pregledali teoretične osnove Paxosa, oslabili izvirne zahteve in posplošili algoritem. Videli bomo, da je Paxos v bistvu le ena izmed možnosti v ogromnem spektru pristopov k soglasju in da so tudi druge točke spektra zelo uporabne za gradnjo dobrih porazdeljenih sistemov.
Alex Petrov —
Alex je specialist za baze podatkov in sisteme shranjevanja, in kar je za nas najpomembnejše — komit v . Skupaj z O’Reilly trenutno dela na knjigi Database Internals.
Za sisteme z (v slovenščini — ‘soglasnost na koncu’), po padcu vozlišča ali delitvi omrežja, je treba rešiti naslednjo dilemo: ali nadaljevati izvrševanje poizvedb, žrtvovati konsistenco, ali zavrniti njihovo izvrševanje in žrtvovati dostopnost. V takem sistemu kvorum, prekrivajoča se podmnožja vozlišč in zagotavljanje, da ima vsaj eno vozlišče najnovejšo vrednost, lahko postanejo dobra mejna rešitev. Možno je preživeti okvare in izgubo povezave do nekaterih vozlišč ter še naprej odgovarjati s svežimi vrednostmi.
Kljub temu ima vse svojo ceno. Kvorumna shema replikacije pomeni povečane stroške shranjevanja: treba je shraniti odvečne podatke na več vozliščih hkrati, da se zagotovi ustrezno število dostopnih kopij ob težavi. Izkazalo se je, da ni treba shranjevati vseh podatkov na vseh replikah. Obremenitev shranjevanja lahko zmanjšamo, če podatke hranimo le na delu vozlišč in za scenarije obdelave napak uporabimo posebna vozlišča (Prehodne replike).
Med poročilom bomo obravnavali , shemo replikacije, ki se uporablja v in , in uresničitev te koncepcije v Apache Cassandri pod imeni .
Dmitrij Vjukov —
Dmitrij je razvijalec pri Googlu, ki dela na dinamičnem testiranju C/C++ in Go - Address/Memory/ThreadSanitizer ter na podobnih orodjih za jedro Linux. Prispeval je k Go skalabilnemu razporejevalniku gorutin, omrežnemu polnilcu in paralelnemu zbiralniku smeti. Je strokovnjak za večnitno programiranje, avtor ducat novih nebloxirnih algoritmov in je lastnik Intel.
Sedaj malo o sami predstavitvi. V jeziku Go obstaja nativna podpora za večnitnost v obliki gorutin (lahkih threadov) in kanalov (FIFO seznamov). Zaradi teh mehanizmov je uporabnikom zelo enostavno in prijetno pisati sodobne večnitne aplikacije, in to izgleda kot magija. Kot razumemo, tu ni nobene magije. V tej predstavitvi se bo Dmitrij poglobil v podrobnosti delovanja Go razporejevalnika in pokazal skrivnosti implementacije te "magije". Na začetku bo dal pregled glavnih komponent razporejevalnika, povedal bo, kako deluje. Nato se bomo bolj bliže spoznali z posameznimi vidiki, kot so strategija parkiranja/odparkiranja in obravnava blokirajočih sistemskih klicev. Nazadnje bo Dmitrij malo govoril o možnih izboljšavah v razporejevalniku.
Dmitrij Bugajčenko -
Dmitrij je skoraj 9 let delal v zunanjih storitvah, ne da bi izgubil stik z univerzo in raziskovalnim okoljem. Analiza velikih podatkov v Odnoklassnikih mu je predstavljala edinstveno priložnost, da poveže teoretično usposobljenost in znanstven temelj z razvojem resničnih, iskano produktov.
Porazdeljena analiza grafov je bila in ostaja zapletena naloga: ko pride do potrebe po pridobitvi informacij o povezavah sosednjega vozlišča, je pogosto treba podatke prenesti med napravami, kar privede do povečanja časa izvedbe in obremenitve omrežne infrastrukture. V tej predstavitvi bomo videli, kako lahko pridobimo znatno pospešitev obdelave, s pomočjo verjetnostnih struktur podatkov ali dejstev, kot je simetričnost grafov prijateljstva v socialnem omrežju. Vse to je ilustrirano s primeri kode v Apache Spark.
Denis Ryscov -
Denis je razvijalec , strokovnjak na področju preverjanja modelov konsistencije, o konsenznih algoritmih in v razdeljenih transakcijah. Trenutno dela v Microsoftu, prej pa je bil zaposlen v Amazonu in Yandexu.
V tem poročilu se bomo seznanili s protokoli razdeljenih transakcij, razvitimi v zadnjih nekaj letih, ki jih je mogoče implementirati na klientski strani nad katerimkoli podatkovnim shrambam, ki podpira primerjavo in nastavitev (compare and set). Ključno je, da življenje ni omejeno na dvostopenjsko potrditev, transakcije je možno dodati nad kakršnokoli bazo podatkov — na ravni aplikacije, vendar različni protokoli (2PC, Percolator, RAMP) prinašajo različne kompromisne rešitve in niso brezplačne.
Aleksiej Zinovjev —
Aleksiej () — naš dolgoletni govornik in član programskih odborov na drugih konferencah. Aktiven trener v podjetju EPAM Systems, s Hadoop/Spark in ostalo obsežno podatkovno tehnologijo sodeluje od leta 2012.
V tem poročilu bo Aleksiej spregovoril o problemih prilagajanja klasičnih algoritmov strojnega učenja za izvajanje v razdeljenem načinu, temelječ na njegovih izkušnjah z Apache Spark ML, Apache Mahout, Apache Flink ML ter izkušnjah pri ustvarjanju Apache Ignite ML. Aleksiej bo prav tako obravnaval izvajanje razdeljenih algoritmov strojnega učenja v teh okvirih.
In za konec — dva poročila podjetja Yandex o Yandex Database.
Vladislav Kuznec pravda —
Vladislav je razvijalec v Yandexu v skupini razdeljene platforme. Yandex Database je horizontalno razširljiv georazporejen odpornosti proti napakam in brez motenj v konsistenci. Za zagotavljanje odpornosti proti napakam se uporablja lastni algoritem za dosego razdeljenega konsenzusa, pa tudi vrsta tehničnih rešitev, ki so podrobno obravnavane v poročilu. Poročilo bi lahko bilo zanimivo tako razvijalcem SDB kot tudi razvijalcem aplikacijskih rešitev na osnovi SDB.
Semen Čečirinda —
Semen je razvijalec v skupini razdeljene platforme v Yandexu, dela na možnosti večnajstnega najema namestitve YDB.
Yandex Database is designed for OLTP queries and meets ACID requirements for transaction systems. This report will explore the transaction scheduling algorithm at the core of the YDB transaction system. We will examine the entities involved in transactions, who assigns the global order to transactions, and how atomicity, reliability, and strict isolation levels are achieved. Using a common task as an example, we will discuss implementations of transactions employing two-phase commit and deterministic transactions, highlighting their differences.
Kaj zdaj?
The conference program continues to fill with new reports. In particular, we expect a presentation from Nikita Koval () from JetBrains and Oleg Anastasyev () from the Odnoklassniki company. Nikita works on coroutine algorithms in the Kotlin team, while Oleg develops architecture and solutions for high-load systems on the Odnoklassniki platform. Additionally, there is one more conditional empty slot that the program committee is currently working on candidates for.
The Hydra conference will take place on July 11-12 in St. Petersburg. Tickets can be . Note the availability of online tickets — if, for any reason, you cannot get to St. Petersburg in person on these days.
Vidimo se na Hydri!
Izvor: habr.com
