Konverents toimub 11.-12.juulil Peterburis , mis on pühendatud paralleelsete ja hajutatud süsteemide arendamisele. Hydra nipp seisneb selles, et see ühendab lahedad teadlased (keda võib tavaliselt kohata vaid välismaistelt teaduskonverentsidelt) ja kuulsad praktiseerivad insenerid üheks suureks programmiks teaduse ja praktika ristumiskohas.
Hydra on meie viimaste aastate üks olulisemaid konverentse. Sellele eelnes väga tõsine ettevalmistus, esinejate ja ettekannete valik. Eelmisel nädalal sellest koos JUG.ru Grupi direktori Aleksei Fedoroviga ().
Me kolme olulise osaleja kohta, hajussüsteemide teooria rajajatest – Leslie Lamportist, Maurice Herlihyst ja Michael Scottist. On aeg kogu programmist lähemalt rääkida!
Motivatsioon
Kui tegelete programmeerimisega, siis nii või teisiti on teil tegemist mitmelõimelise ja hajutatud andmetöötlusega. Vastavate valdkondade eksperdid töötavad nendega otse, kuid vaikimisi vaatab levitamine meid kõikjalt: igas mitmetuumalises arvutis või hajutatud teenuses on midagi, mis teeb arvutusi paralleelselt.
On palju konverentse, mis hõlmavad rakenduste programmeerimise erinevaid aspekte. Teisel pool spektrit on meil spetsialiseerunud teaduskoolid, mis paljastavad loenguvormingus tohutul hulgal keerulist teooriat. Näiteks paralleelselt Peterburi Hydraga on olemas . Hydra konverentsil püüdsime kokku viia karmid praktikad, teadused ja kõik nende ristumiskohas.
Mõelge sellele: elame hämmastaval ajal, mil saate isiklikult kohtuda meie uuritava teaduse ja tehnikavaldkonna asutajatega. Füüsikud ei kohtu ei Newtoni ega Einsteiniga – rong on läinud. Kuid meie kõrval elavad endiselt need, kes lõid hajutatud süsteemide teooria alused, leiutasid populaarsed programmeerimiskeeled ja kehastasid seda kõike esimest korda töötavates prototüüpides. Need inimesed ei jätnud oma tööd poolel teel, nad tegelevad praegu pakiliste küsimustega maailmakuulsates ülikoolides ja ettevõtetes ning on tänapäeval suurimad teadmiste ja kogemuste allikad.
Teisalt jääb võimalus nendega kohtuda enamasti puhtalt teoreetiliseks: vähesed meist suudavad pidevalt jälgida mõnes Rochesteri ülikoolis toimuvaid avalikke üritusi ja siis tormata USA-sse ja tagasi koos Michael Scottiga loengule. Kõigi Hydra liikmete külastamine maksaks väikese varanduse, arvestamata raisatud aja kuristikku (kuigi see kõlab huvitava otsinguna).
Teisest küljest on meil palju tippinsenere, kes tegelevad praegu hajussüsteemide pakiliste probleemidega ja neil on kindlasti palju rääkida. Aga siin on probleem – nemad töötavadja nende aeg on väärtuslik. Jah, kui olete Microsofti, Google'i või JetBrainsi töötaja, suureneb tõenäosus siseüritusel mõne kuulsa esinejaga kohtuda järsult, kuid üldiselt ei, seda ei juhtu iga päev.
Nii täidab Hydra konverents tähtsat ülesannet, mida enamik meist üksi ei suuda – ühte kohta ja korraga koondab see inimesi, kelle ideed või suhtlemine kellega võib sinu elu muuta. Tunnistan, et kõik ei vaja hajutatud süsteeme ega mingeid keerulisi fundamentaalseid asju. Saate programmeerida PHP-s CRUD-e kogu oma ülejäänud elu ja jääda täiesti õnnelikuks. Aga kes seda vajab, see on teie võimalus.
Habré teemalise Hydra konverentsi esimesest väljakuulutamisest on möödunud päris palju aega. Selle aja jooksul on tehtud palju tööd – ja nüüd on meil peaaegu kõigi aruannete nimekiri. Ei mingeid loid ühe lõimega algoritme, vaid puhas hajutatud hardcore! Lõpetame üldiste sõnadega ja vaatame, mis meil praegu käes on.
Põhiettekanded
Põhiettekanded algavad ja lõpetavad konverentsi päevad. Tavaliselt on avakõne mõte seada paika konverentsi üldine vaim ja suund. Lõpukõne tõmbab joone alla ja selgitab, kuidas saame konverentsil omandatud teadmistele ja oskustele kaasa elada. Algus ja lõpp: see, mis kõige paremini meelde jääb ja üldiselt, on muutunud olulisemaks.
Cliff Click
Cliff on Java maailmas legend. 90ndate lõpus kirjutas ta oma doktoritöö jaoks artikli pealkirjaga , millest mõni aeg hiljem sai HotSpot JVM Server Compileri alus. Kaks aastat hiljem töötas ta juba Sun Microsystemsis JVM-i kallal ja näitas kogu maailmale, et JIT-l on õigus eksisteerida. Kogu see lugu sellest, kuidas Java on üks kiiremaid kaasaegseid käitusaegu kõige nutikamate ja kiireimate optimeerimistega, pärineb Cliff Clickilt. Alguses arvati, et kui miski on staatilisele kompilaatorile ligipääsetav, ei pea te isegi proovima seda segada. Tänu Cliffi ja meeskonna tööle hakati kõiki uusi keeli looma vaikimisi JIT-i koostamise ideega. Loomulikult ei olnud see ühe mehe töö, kuid Cliff mängis selles väga olulist rolli.
Avasõnas räägib Cliff oma teisest ettevõtmisest - , mälusisene platvorm hajutatud ja skaleeritava masinõppe jaoks tööstuslike rakenduste jaoks. Või täpsemalt võtme-väärtuste paaride hajutatud talletamise kohta selle sees. See on väga kiire salvestusruum, millel on palju huvitavaid omadusi (täpne nimekiri on siin ), mis võimaldavad kasutada sarnaseid lahendusi suurandmete voogesituse matemaatikas.
Teine aruanne, mille Cliff esitab, on . Teine osa tema eluloost - kümme aastat , kus ta värskendas ja täiustas paljusid Azuli riistvara- ja tehnoloogiavirnas: JIT-kompilaatorid, käitusaeg, lõimemudel, vigade käsitlemine, virna käsitlemine, riistvara katkestused, klassi laadimine jne ja nii edasi – noh, saate idee.
Kõige huvitavam osa algas siis, kui nad valmistasid riistvara suurettevõttele – superarvuti Java käitamiseks. See oli üsna uuenduslik, spetsiaalselt Java jaoks kohandatud asi, millel on erinõuded - lugemismälu tõkked madala pausiga prügikorjamiseks, piiride kontrollimisega massiivid, virtuaalsed kõned... Üks lahedamaid tehnoloogiaid on riistvaraline tehingumälu. Mis tahes 1 tuumast kogu L864 võiks osaleda tehingute kirjutamises, mis on eriti oluline Java lukkudega töötamiseks (sünkroniseeritud plokid võivad töötada paralleelselt seni, kuni puudub tõeline mälukonflikt). Kuid ilusa idee purustas karm reaalsus – ja selles kõnes räägib Cliff teile, miks HTM ja STM ei sobi kuigi hästi mitme lõimega andmetöötluse praktilisteks vajadusteks.
Michael Scott -
- Rochesteri ülikooli arvutiteaduse professor, kellega saatus ta sidus , ja oma koduses Wisconsini-Madisoni ülikoolis oli ta viis aastat dekaan. Ta uurib ja õpetab õpilastele paralleel- ja hajutatud programmeerimist ning keeledisaini.
Terve maailm tunneb Michaelit tänu õpikule , mille viimane väljaanne ilmus suhteliselt hiljuti - 2015. aastal. Tema töö saadud kui üks tuntumaid hajutatud andmetöötluse valdkonnas ja Rochesteri ülikooli veebiraamatukogus. Võite teda tunda ka kui Michael-Scotti algoritmi autorit .
Mis puutub Java maailma, siis see on erijuhtum: koos Doug Leaga töötas ta välja mitteblokeerivad algoritmid ja sünkroonsed järjekorrad, millel Java teegid töötavad. Täpselt sellest räägibki „Kahekordsete andmestruktuuride” peakõne – nende struktuuride kasutuselevõtt Java SE 6-s on parandanud jõudlust 10 korda java.util.concurrent.ThreadPoolExecutor. Kui kahtlete juba ette, mis need "kahekordsed andmestruktuurid" on, siis selle kohta on teavet .
Maurice Herlihy -
- kahe Dijkstra auhinna võitja. Esimene on töötamiseks (Browni ülikool) ja teine, uuem - (Virginia Tehnikaülikool). Dijkstra auhinnaga tunnustatakse töid, mille olulisust ja mõju on näha olnud vähemalt kümme aastat ning Maurice on selgelt üks tunnustatumaid oma ala eksperte. Praegu töötab ta Browni ülikoolis professorina ja tal on lõigupikkune saavutuste nimekiri.
Lõpukõnes räägib Maurice plokiahela hajutatud süsteemide teooriast ja praktikast hajutatud andmetöötluse klassika vaatenurgast ning sellest, kuidas see paljusid sellega seotud probleeme lihtsustab. See on ettekanne eranditult konverentsi teemal – üldsegi mitte kaevandushüpe, vaid pigem selle kohta, kuidas meie teadmisi saab hämmastavalt tõhusalt ja sobivalt kasutada seoses erinevate ülesannetega.
2017. aasta juulis tuli Maurice juba Venemaale SPTDC kooli, osales JUG.ru meetupil ja salvestust saab vaadata YouTube'is:
Põhiprogramm
Järgmisena tuleb lühiülevaade programmis sisalduvatest aruannetest. Mõnda aruannet kirjeldatakse siin üksikasjalikult, mõnda lühidalt. Pikad kirjeldused läksid peamiselt ingliskeelsetele aruannetele, mis nõudsid linke teadustöödele, Vikipeedia termineid jne. Täielik nimekiri on saadaval . Kodulehel olevat nimekirja uuendatakse ja täiendatakse.
Leslie Lamport -
Leslie Lamport on hajutatud andmetöötluse põhjalike tööde autor. tähistab "Lamport TeX". Tema oli see, kes 1979. aastal esmakordselt selle kontseptsiooni kasutusele võttis ja tema artikkel sai Dijkstra auhinna.
See on formaadi poolest saate kõige ebatavalisem osa, sest see pole isegi mitte reportaaž, vaid küsimuste ja vastuste seanss. Kui märkimisväärne osa publikust on juba tuttav (või saab tuttavaks) kõikvõimalike “Lamporti teoorial” põhinevate teostega, tema enda artiklite ja ettekannetega, on olulisem kulutada kogu vaba aeg vahetule suhtlusele.
Idee on lihtne – vaatate YouTube'is kahte aruannet: и ja valmistage ette vähemalt üks küsimus ja Leslie vastab.
Esimene neist kahest videost on meil juba olemas . Kui teil pole video vaatamiseks tundi aega, saate selle kõik kiiresti teksti kujul läbi lugeda.
Märkus: YouTube'is on palju rohkem Leslie Lamporti videoid. Näiteks on suurepärane . Kogu selle kursuse võrguühenduseta versioon on saadaval aadressil ja ta laadis selle üles YouTube'i, et seda mobiilseadmetes hõlpsamini vaadata.
Martin Kleppmann -
Martin Kleppmann on Cambridge'i ülikooli teadlane, kes tegeleb CRDT ja algoritmide formaalse verifitseerimisega. Martini raamat 2017. aastal ilmunud osutus väga edukaks ja jõudis andmete salvestamise ja töötlemise valdkonna bestsellerite nimekirjadesse. Kevin Scott, Microsofti tehnikajuht, : „See raamat peaks olema tarkvarainseneride jaoks kohustuslik. See on haruldane ressurss, mis ühendab teooria ja praktika, et aidata arendajatel taristut ja andmesüsteeme kavandada ja juurutada. Kafka looja ja Confluenti tehnoloogiadirektor Jay Kreps ütles midagi sarnast.
Enne akadeemilise uurimistööga tegelemist töötas Martin tööstuses ja oli kahe eduka idufirma kaasasutaja:
- Rapportive, mis on pühendatud teie e-posti kontaktide sotsiaalse profiili kuvamisele, mille LinkedIn ostis 2012. aastal;
- Go Test It, teenus veebisaitide automaatseks testimiseks erinevates brauserites, mille RedGate ostis 2009. aastal.
Üldiselt on Martin, ehkki vähem tuntud kui meie peaesinejad, juba anda teatud panuse hajutatud andmetöötluse arendamisse ja tööstusesse.
Selles kõnes räägib Martin tema akadeemilisele uurimistööle lähemal olevast teemast. Google'i dokumentides ja sarnastes dokumentide koostoimetamise diivanites viitab "koostöö redigeerimine" replikatsiooniülesandele: igal kasutajal on jagatud dokumendi koopia, mida ta seejärel muudab ja kõik muudatused saadetakse võrgu kaudu ülejäänud osalejad. Võrguühenduseta dokumentide muudatused põhjustavad dokumendi ajutist ebakõla teiste osalejate suhtes ja uuesti sünkroonimine nõuab konfliktide käsitlemist. Täpselt selleks nad eksisteerivad (CRDT) on tegelikult üsna uus asi, mille olemus sõnastati alles 2011. aastal. Selles kõnes räägitakse sellest, mis on sellest ajast saadik CRDT maailmas juhtunud, millised on viimased edusammud, lähenemine kohalike esmaste rakenduste loomisele üldiselt ja avatud lähtekoodiga teegi kasutamine. eriti.
Järgmisel nädalal avaldame Habres pika intervjuu Martiniga, see saab olema huvitav.
Pedro Ramalhete -
Pedro töötab Ciscos ja on umbes viimased kümme aastat arendanud paralleelseid algoritme, sealhulgas sünkroonimismehhanisme, lukustus- ja ootevabasid andmestruktuure ning kõike, mida saate selle teema kohta ette kujutada. Tema praegused uurimis- ja insenerihuvid keskenduvad universaalsetele konstruktsioonidele, tarkvara tehingumälule, püsimälule ja sarnastele tehnoloogiatele, mis võimaldavad korrektseid, skaleeritavaid ja tõrketaluvusega rakendusi. Ta on ka kitsastes ringkondades laialt tuntud ajaveebi autor .
Enamik mitme lõimega rakendusi töötab nüüd paralleelsetes andmestruktuurides, alustades osalejate vaheliste sõnumijärjekordade kasutamisest kuni võtmeväärtuste poodide indekseeritud andmestruktuurideni. Nad on Java JDK-s edukalt töötanud aastaid ja neid lisatakse aeglaselt C++-i.
Lihtsaim viis paralleelse andmestruktuuri rakendamiseks on järjestikune (ühe lõimega) teostus, mille puhul meetodid on kaitstud mutexidega. See on saadaval iga juunikuu jooksul, kuid sellel on ilmseid probleeme skaleerimise ja jõudlusega. Samas ei tule luku- ja ootevabad andmestruktuurid paremini toime vigadega, vaid on ka parema jõudlusprofiiliga – nende arendamine nõuab aga sügavat asjatundlikkust ja kohandamist konkreetse rakendusega. Ühest valest koodireast piisab, et kõik purustada.
Kuidas teha nii, et isegi mitteekspert saaks selliseid andmestruktuure kavandada ja rakendada? On teada, et ükskõik millist järjestikust algoritmi saab lõime turvaliseks muuta, kasutades kumbagi või tehingumälu. Esiteks võivad nad alandada takistust selle probleemi lahendamiseks. Kuid mõlemad lahendused viivad tavaliselt ebatõhusa rakendamiseni. Pedro räägib, kuidas neil õnnestus need kujundused tõhusamaks muuta ja kuidas saate neid oma algoritmide jaoks kasutada.
Heidi Howard -
Heidi Howard on sarnaselt Martiniga Cambridge'i ülikooli hajussüsteemide uurija. Tema erialadeks on järjepidevus, veataluvus, jõudlus ja hajutatud konsensus. Ta on kõige paremini tuntud Paxose algoritmi üldistamise poolest .
Tuletage see meelde on Leslie Lamporti tööl põhinev protokollide perekond ebausaldusväärsete arvutite võrgus konsensuse probleemi lahendamiseks. Seega töötavad mõned meie kõnelejad probleemide kallal, mille pakkusid algselt välja meie teised kõnelejad – ja see on suurepärane.
Võimalus leida konsensust mitme hosti vahel – adresseerimiseks, juhi valimiseks, blokeerimiseks või koordineerimiseks – on tänapäevaste hajutatud süsteemide põhiprobleem. Paxos on praegu peamine viis konsensusprobleemide lahendamiseks ja selle ümber on käimas palju uuringuid, et laiendada ja optimeerida algoritmi erinevate praktiliste vajaduste jaoks.
Selles kõnes käsitleme uuesti Paxose teoreetilist alust, leevendades esialgseid nõudeid ja üldistades algoritmi. Näeme, et Paxos on sisuliselt vaid üks võimalus paljude konsensuslike lähenemisviiside hulgast ja et ka teised spektri punktid on heade hajutatud süsteemide ehitamiseks väga kasulikud.
Aleks Petrov -
Alex on andmebaaside ja salvestussüsteemide spetsialist ning, mis meie jaoks veelgi olulisem, sisseostja . Praegu töötab ta koos O'Reillyga raamatu Database Internals kallal.
Süsteemidele, millel on (vene terminoloogias - "ülim järjepidevus"), peate pärast sõlme kokkujooksmist või võrgu jagamist lahendama järgmise dilemma: kas jätkake taotluste täitmist, ohverdades järjepidevuse või keelduge nende täitmisest ja ohverdama saadavuse. Sellises süsteemis võivad kvoorumid, kattuvad sõlmede alamhulgad ja tagada, et vähemalt üks sõlm sisaldab kõige värskemat väärtust, olla hea servalahendus. Saate tõrked ja mõne sõlmega ühenduse katkemise üle elada, vastates siiski uusimate väärtustega.
Igal asjal on aga oma hind. Kvoorumi replikatsiooniskeem tähendab suuremaid salvestuskulusid: üleliigseid andmeid tuleb salvestada mitmele sõlmele korraga, et tagada probleemi ilmnemisel piisavalt koopiaid. Selgub, et kõigi koopiate kohta ei pea kõiki andmeid salvestama. Saate vähendada salvestusruumi koormust, kui salvestate andmeid ainult osade sõlmede kohta ja kasutate rikete käsitlemise stsenaariumide jaoks spetsiaalseid sõlmi (transient Replica).
Aruande koostamise käigus kaalume , kasutatav replikatsiooniskeem и , ja selle kontseptsiooni rakendamine Apache Cassandras kutsus .
Dmitri Vyukov -
Dmitri on Google'i arendaja, kes töötab C/C++ ja Go - Address/Memory/ThreadSanitizeri dünaamilise testimise ja sarnaste Linuxi tuuma tööriistade kallal. Aidanud kaasa Go skaleeritavale gorutiini ajakavale, võrgu pollerile ja paralleelsele prügikogujale. Ta on mitmelõimenduse ekspert, tosina uue mitteblokeeriva algoritmi autor ja Intel.
Nüüd natuke raportist endast. Go-keelel on mitmelõimega natiivne tugi gorutiinide (kerged lõimed) ja kanalite (FIFO-järjekorrad) kujul. Need mehhanismid muudavad kaasaegsete mitme lõimega rakenduste kirjutamise kasutajatele väga lihtsaks ja nauditavaks ning see näeb välja nagu võlu. Nagu me mõistame, pole siin maagiat. Selles kõnes süveneb Dmitri Go planeerija keerukustesse ja näitab selle “maagia” rakendamise saladusi. Esiteks annab ta ülevaate planeerija põhikomponentidest ja räägib, kuidas see töötab. Järgmisena vaatleme lähemalt üksikuid aspekte, nagu parkimis-/parkimisstrateegia ja blokeerimissüsteemi kõnede käsitlemine. Lõpuks räägib Dmitri veidi ajakava võimalikest täiustustest.
Dmitri Bugaichenko -
Dmitri töötas allhanke alal peaaegu 9 aastat, kaotamata sidet ülikooli ja teadusringkondadega. Suurandmete analüüs Odnoklassnikis sai tema jaoks ainulaadseks võimaluseks ühendada teoreetiline koolitus ja teaduslikud alused reaalsete ja nõutavate toodete väljatöötamisega.
Hajutatud graafikute analüüs on olnud ja jääb keeruliseks ülesandeks: kui tekib vajadus hankida infot naabertipu ühenduste kohta, tuleb andmeid sageli masinate vahel üle kanda, mis toob kaasa täitmise aja pikenemise ja koormuse võrgutaristule. Selles kõnes näeme, kuidas saate saavutada märkimisväärset töötlemiskiirust, kasutades tõenäosuslikke andmestruktuure või selliseid fakte nagu sõprusgraafiku sümmeetria suhtlusvõrgustikus. Kõike seda illustreeritakse Apache Sparki koodinäidetega.
Deniss Rystsov -
Denis - arendaja , järjepidevuse mudelite, konsensusalgoritmide ja hajutatud tehingute kontrollimise ekspert. Praegu töötab ta Microsoftis ning enne seda töötas ta hajutatud süsteemide kallal Amazonis ja Yandexis.
Selles kõnes vaatleme viimastel aastatel leiutatud hajutatud tehinguprotokolle, mida saab rakendada kliendi poolel iga tingimuslikku värskendamist toetava andmesalve peale (võrdle ja määra). Põhimõte on see, et elu ei lõpe kahefaasilise kohustusega, tehinguid saab lisada suvaliste andmebaaside peale - rakenduste tasemel, kuid erinevatel protokollidel (2PC, Percolator, RAMP) on erinevad kompromissid ja neid meile ei anta. tasuta.
Aleksei Zinovjev -
Aleksei () on teiste konverentside kauaaegne esineja ja programmikomiteede liige. Praktiseerin EPAM Systemsi koolitajana ning on Hadoopi/Sparki ja muude suurandmetega sõber olnud alates 2012. aastast.
Selles kõnes räägib Aleksei klassikaliste masinõppe algoritmide kohandamise probleemidest hajutatud režiimis täitmiseks, tuginedes Apache Spark ML-i, Apache Mahouti, Apache Flink ML-i ja Apache Ignite ML-i loomise kogemusele. Aleksei räägib ka hajutatud ML-algoritmide rakendamisest nendes raamistikes.
Ja lõpuks kaks Yandexi aruannet Yandexi andmebaasi kohta.
Vladislav Kuznetsov -
Vladislav on Yandexi arendaja hajutatud platvormide rühmas. Yandexi andmebaas on horisontaalselt skaleeritav, geograafiliselt hajutatud, tõrketaluv DBMS, mis talub ketaste, serverite, riiulite ja andmekeskuste tõrkeid järjepidevust kaotamata. Veataluvuse tagamiseks kasutatakse hajutatud konsensuse saavutamiseks patenteeritud algoritmi ning mitmeid tehnilisi lahendusi, mida aruandes üksikasjalikult käsitletakse. Aruanne võib huvi pakkuda nii DBMS-i arendajatele kui ka DBMS-il põhinevate rakenduslahenduste arendajatele.
Semyon Checherinda -
Semyon on Yandexi hajutatud platvormide rühma arendaja, kes töötab YDB installi mitme rentniku kasutamise võimaluse kallal.
Yandexi andmebaas on mõeldud OLTP-päringute jaoks ja vastab tehingusüsteemi ACID-nõuetele. Selles aruandes käsitleme YDB tehingusüsteemi aluseks olevat tehingute ajastamise algoritmi. Vaatame, millised olemid osalevad tehingutes, kes määrab tehingutele globaalse järjekorra, kuidas saavutatakse tehingute aatomilisus, usaldusväärsus ja range isoleerituse tase. Kasutades näitena levinud probleemi, vaatleme tehingute rakendamist, mis kasutavad kahefaasilisi tagatisi ja deterministlikke tehinguid. Arutleme nende erinevuste üle.
Mis edasi?
Konverentsi programm on jätkuvalt täidetud uute ettekannetega. Eelkõige ootame aruannet Nikita Koval () JetBrainsist ja Oleg Anastasjev () Odnoklassniki ettevõttelt. Nikita töötab Kotlini meeskonnas korutiinide algoritmide kallal ning Oleg arendab Odnoklassniki platvormil suure koormusega süsteemide arhitektuuri ja lahendusi. Lisaks on veel 1 tinglikult tühi koht, mille kandidaatidega töötab programmikomisjon praegu.
Hydra konverents toimub 11.-12.juulil Peterburis. Piletid on saadaval . Pöörake tähelepanu Online-piletite saadavusele – kui te mingil põhjusel nendel päevadel Peterburi ei pääse.
Kohtumiseni Hydras!
Allikas: www.habr.com