19 hýdrahausar. Frábært yfirlit yfir dagskrána

Dagana 11. – 12. júlí verður haldin ráðstefna í Pétursborg Hydratileinkað þróun samhliða og dreifðra kerfa. Málið með Hydra er að það sameinar fremstu vísindamenn (sem venjulega finnast bara á erlendum vísindaráðstefnum) og þekktum starfandi verkfræðingum í eitt stórt nám á mótum vísinda og starfs.

Hydra er ein mikilvægasta ráðstefna okkar undanfarin ár. Undanfari hennar var mjög alvarlegur undirbúningur, val á fyrirlesurum og skýrslur. um það í síðustu viku habrointerview kom út með forstjóra JUG.ru Group, Alexey Fedorov (23derevo).

Við þegar sagt um þrjá mikilvæga þátttakendur, stofnendur kenningarinnar um dreifð kerfi - Leslie Lamport, Maurice Herlihy og Michael Scott. Það er kominn tími til að tala meira um alla dagskrána!

19 hýdrahausar. Frábært yfirlit yfir dagskrána

Hvatning

Ef þú ert að forrita, þá ertu á einn eða annan hátt að fást við fjölþráða og dreifða tölvu. Sérfræðingar á viðkomandi sviðum vinna beint með þeim, en óbeint horfir dreifing til okkar alls staðar: í hvaða fjölkjarna tölvu eða dreifðri þjónustu er eitthvað sem framkvæmir útreikninga samhliða.

Það eru margar ráðstefnur sem fjalla um ákveðna þætti umsóknarforritunar. Hinum megin á litrófinu erum við með sérstaka vísindaskóla, í fyrirlestraformi, sem sýna mikið magn af flóknum kenningum. Til dæmis, samhliða Hydra í Sankti Pétursborg, SPTDC skóli. Á Hydra ráðstefnunni reyndum við að leiða saman hina hörðu iðkun og vísindi og allt sem er á gatnamótum þeirra.

Hugsaðu um þetta: við lifum á ótrúlegum tíma þar sem þú getur hitt stofnendur vísinda- og verkfræðisviðsins sem við tökum þátt í í beinni. Eðlisfræðingar munu hvorki hitta Newton né Einstein - lestin er farin. En þeir sem sköpuðu grunninn að kenningunni um dreifð kerfi, fundu upp vinsæl forritunarmál og í fyrsta sinn innleiddu þetta allt í starfandi frumgerðir búa enn við hliðina á okkur. Þetta fólk hefur ekki hætt vinnunni á miðri leið, er um þessar mundir að sinna raunverulegum verkefnum hjá heimsþekktum háskólum og fyrirtækjum og er mesta uppspretta þekkingar og reynslu samtímans.

Á hinn bóginn er tækifærið til að hitta þá yfirleitt eingöngu fræðilegt: fæst okkar geta stöðugt fylgst með opinberum viðburðum í einhverjum háskóla í Rochester til að flýta okkur svo til Bandaríkjanna og aftur á fyrirlestur eftir Michael Scott. Að heimsækja alla meðlimi Hydra almennt væri lítill auður, fyrir utan hyldýpi tíma sem varið er (þó það hljómi eins og áhugaverð leit).

Á hinn bóginn erum við með fullt af toppverkfræðingum sem eru að vinna að raunverulegum vandamálum dreifðra kerfa núna og þeir hafa örugglega eitthvað að segja. En hér er vandamálið - þeir работаютog tími þeirra er dýrmætur. Já, ef þú ert starfsmaður Microsoft, Google eða JetBrains aukast líkurnar á að hitta einn af þekktu fyrirlesurunum á innri viðburði verulega, en almennt séð - nei, það gerist ekki á hverjum degi.

Þannig leysir Hydra ráðstefnan mikilvægu verkefni sem við getum flest ekki gert á eigin spýtur - á einum stað og í einu, sameinar fólk sem hefur hugmyndir eða samskipti við hvern getur breytt lífi þínu. Ég viðurkenni að það þurfa ekki allir dreifð kerfi, suma flókna grundvallarþætti. Þú getur forritað CRUD í PHP alla ævi og verið fullkomlega ánægður. En hver þarf þess - þetta er tækifærið þitt.

Nokkuð langur tími er liðinn frá fyrstu tilkynningu um Hydra ráðstefnuna á Habré. Á þessum tíma hefur mikið starf verið unnið - og nú höfum við lista yfir næstum allar skýrslur. Engin sljó einþráða reiknirit, bara hreinn dreifður harðkjarna! Ljúkum á almennum orðum og sjáum hvað við höfum á hendi núna.

Aðalatriði

Aðalatriði hefjast og lýkur dögum ráðstefnunnar. Venjulega er tilgangur upphafsfundarins að setja almennan anda og stefnu ráðstefnunnar. Lokatónnin dregur línu og útskýrir hvernig við getum lifað með þeirri þekkingu og færni sem aflað er á ráðstefnudögum. Upphaf og endir: það sem er minnst best, og almennt, hefur aukið gildi.

Cliff Click- H2O dreifður K/V reiknirit

19 hýdrahausar. Frábært yfirlit yfir dagskrána Cliff er goðsögn í Java heiminum. Seint á tíunda áratugnum skrifaði hann fyrir doktorsritgerð ritgerð sem heitir „Samana greiningar, sameina hagræðingu“, sem eftir nokkurn tíma varð grunnurinn að HotSpot JVM Server Compiler. Tveimur árum síðar var hann þegar að vinna hjá Sun Microsystems á JVM og sýndi öllum heiminum að JIT á tilverurétt. Öll þessi saga um að Java sé einn af hröðustu nútíma keyrslutímanum með snjöllustu og hröðustu hagræðingunum kom frá Cliff Click. Strax í upphafi var talið að ef eitthvað er í boði fyrir kyrrstæða þýðanda geturðu ekki einu sinni reynt að kippa því í lag. Þökk sé vinnu Cliff og teymisins fóru öll ný tungumál að verða til með hugmyndinni um JIT samantekt sjálfgefið. Auðvitað var þetta ekki verk eins manns, en Cliff gegndi mjög mikilvægu hlutverki í því.

Í upphafsinnlegginu mun Cliff tala um annað verkefni sitt - H20, vettvangur í minni fyrir dreift og stigstærð vélanám fyrir iðnaðarforrit. Nánar tiltekið um dreifða geymslu lykilgilda para inni í henni. Þetta er mjög hröð geymsla með fullt af áhugaverðum eiginleikum (nákvæm listi er í lýsingu) sem leyfa notkun svipaðra lausna í stærðfræði stórgagnastraums.

Annað erindi sem Cliff mun halda er Upplifunin af Azul Hardware Transactional Memory. Annar hluti af ævisögu hans - tíu ár vinnur í Azul, þar sem hann uppfærði og bætti margt í Azul vélbúnaðar- og tæknistaflanum: JIT þýðendur, keyrslutíma, þráðalíkan, villumeðferð, staflameðferð, truflanir á vélbúnaði, hleðslu í flokki, og svo framvegis og svo framvegis - jæja, þú færð hugmynd.

Það áhugaverðasta byrjaði þegar þeir bjuggu til vélbúnað fyrir stórfyrirtæki - ofurtölvu til að keyra Java. Þetta var nokkuð nýstárlegt atriði, sérsniðið fyrir Java, sem hefur sérstakar kröfur - minnishindranir fyrir lestur fyrir sorphirðu í litlu hléi, fylki með markaskoðun, sýndarsímtöl ... Ein flottasta tæknin er viðskiptaminni vélbúnaðar. Allur L1 af hvaða 864 kjarna sem er gæti tekið þátt í viðskiptaskrifum, sem er sérstaklega mikilvægt fyrir að vinna með læsingar í Java (samstilltar blokkir geta virkað samhliða, svo framarlega sem engin raunveruleg minnisátök eru). En fallega hugmyndin stangaðist á við hinn harða veruleika - og í þessari skýrslu mun Cliff segja þér hvers vegna HTM og STM henta ekki vel fyrir hagnýtar þarfir margþráða tölvunar.

Michael Scott- Tvöfalt gagnaskipulag

19 hýdrahausar. Frábært yfirlit yfir dagskrána Michael Scott - Prófessor í tölvunarfræði við háskólann í Rochester, sem örlögin tengdu hann við í 34 ár þegar, og við heimaland sitt, University of Wisconsin–Madison, var deildarforseti í fimm ár. Hann stundar rannsóknir á sviði samhliða og dreifðrar forritunar og málhönnunar og kennir nemendum þetta.

Allur heimurinn þekkir Michael þökk sé kennslubókinni "Pagmatísk forritunarmál", nýjasta útgáfa sem kom út tiltölulega nýlega - árið 2015. Vinnan hans „Reiknirit fyrir stigstærða samstillingu á fjölgjörvum með sameiginlegu minni“ fékk Dijkstra verðlaunin sem einn af frægustu á sviði dreifðrar tölvunar og lýgur opinskátt við netbókasafn háskólans í Rochester. Þú gætir líka þekkt hann sem höfund sama Michael-Scott reiknirit frá "Einfalt, fljótlegt og hagnýtt reiknirit fyrir samhliða biðraðir sem ekki hindrar og hindrar samhliða biðröð".

Hvað Java heiminn varðar, þá er þetta sérstakt tilfelli: ásamt Doug Lea þróaði hann þessi ólokandi reiknirit og samstilltar biðraðir sem Java bókasöfn keyra á. Þetta er það sem grunntónn „Dual data structures“ mun snúast um - kynning þessara mannvirkja í Java SE 6 gerði okkur kleift að bæta árangur um 10 sinnum java.util.concurrent.ThreadPoolExecutor. Ef þú hefur fyrirfram áhuga á því hvað þessi „Tvöfalt gagnaskipulag“ eru, þá er það til tengd verk.

Maurice Herlihy- Blockchains og framtíð dreifðrar tölvunar

19 hýdrahausar. Frábært yfirlit yfir dagskrána Maurice Herlihy - Sigurvegari tveggja Dijkstra verðlauna. Sú fyrsta er fyrir vinnu "Biðlaus samstilling" (Brown University), og sá seinni, nýrri - „Transactional Memory: Byggingarfræðilegur stuðningur við læsingarlausar gagnabyggingar“ (Virginia Tech University). Dijkstra-verðlaunin eru veitt fyrir verk þar sem þýðing og áhrif hafa verið áberandi í að minnsta kosti tíu ár og ljóst er að Maurice er einn frægasti sérfræðingur á þessu sviði. Hann er nú prófessor við Brown háskólann og hefur afrek sem tekur langan tíma.

Í þessari lokaþætti mun Maurice tala um kenningu og framkvæmd blockchain dreifðra kerfa frá sjónarhóli sígildrar dreifðrar tölvunar og hvernig það einfaldar mörg tengd vandamál. Þessi skýrsla fjallar eingöngu um efni ráðstefnunnar - alls ekki um námuvinnsluna, heldur frekar um hvernig þekkingu okkar getur nýst á ótrúlega áhrifaríkan og viðeigandi hátt í tengslum við margvísleg verkefni.

Í júlí 2017 kom Maurice þegar til Rússlands í SPTDC skólann, tók þátt í JUG.ru fundinum og upptökuna er hægt að skoða á YouTube:

Aðaldagskrá

Síðan verður farið yfir þær skýrslur sem eru í dagskránni. Sumum skýrslnanna er lýst ítarlega hér, öðrum í stuttu máli. Langar lýsingar fóru aðallega í skýrslur á ensku sem krefjast tengla á vísindagreinar, hugtök á Wikipedia og svo framvegis. Heill listi getur verið sjá á heimasíðu ráðstefnunnar. Listinn á síðunni verður uppfærður og bætt við.

Leslie Lamport- Spurningar og svör

19 hýdrahausar. Frábært yfirlit yfir dagskrána Leslie Lamport er brautryðjandi höfundur dreifðrar tölvunar. LaTeX stendur fyrir "Lamport TeX". Það var hann sem í fyrsta skipti, aftur árið 1979, kynnti hugmyndina stöðugt samræmi, og grein hans „Hvernig á að búa til fjölgjörva tölvu sem keyrir fjölvinnsluforrit rétt“ hlaut Dijkstra-verðlaunin.

Þetta er óvenjulegasti hluti forritsins hvað varðar snið, því þetta er ekki einu sinni skýrsla, heldur spurninga- og svaralota. Þegar verulegur hluti áhorfenda þekkir (eða getur kynnst) alls kyns verkum sem byggja á kenningum Lamports, hans eigin greinum og skýrslum er mikilvægara að eyða öllum tiltækum tíma í bein samskipti.

Hugmyndin er einföld - þú horfir á tvær skýrslur á YouTube: „Forritun ætti að vera meira en kóðun“ и "Ef þú ert ekki að skrifa forrit, ekki nota forritunarmál" og undirbúa að minnsta kosti eina spurningu og Leslie svarar.

Fyrsta af þessum tveimur myndböndum höfum við nú þegar breyttist í kjaftæði. Ef þú hefur ekki klukkutíma til að horfa á myndbandið geturðu fljótt lesið það allt í textaformi.

Athugið: Það eru mörg fleiri myndbönd á YouTube með Leslie Lamport. Til dæmis er frábært TLA+ námskeið. Ónettengd útgáfa af öllu þessu námskeiði er fáanleg á heimasíðu höfundar, og á YouTube hellti hann því fyrir þægilegra áhorf í farsímum.

Martin Kleppman - Samstilling gagna á milli notendatækja fyrir dreifða samvinnu

19 hýdrahausar. Frábært yfirlit yfir dagskrána Martin Kleppmann er vísindamaður við háskólann í Cambridge sem vinnur að CRDT og formlegri sannprófun reiknirit. Bók Martins „Hönnun gagnafrekra forrita“, sem kom út árið 2017, reyndist mjög vel og komst á metsölulista á sviði gagnageymslu og vinnslu. Kevin Scott, tæknistjóri hjá Microsoft sagði einu sinni: „Þessi bók ætti að vera nauðsynleg fyrir hönnunarverkfræðinga. Þetta er sjaldgæft úrræði sem brúar fræði og framkvæmd til að hjálpa forriturum að hanna og innleiða gagnainnviði og kerfi snjallari. Eitthvað svipað sagði skapari Kafka og CTO Confluent, Jay Kreps.

Áður en hann fór út í fræðilegar rannsóknir starfaði Martin í greininni og stofnaði tvö farsæl sprotafyrirtæki:

  • Rapportive, tileinkað því að sýna félagslegan prófíl tölvupósttengiliða þinna, sem LinkedIn keypti árið 2012;
  • Go Test It, sjálfvirkur afgreiðslumaður fyrir marga vafra sem RedGate keypti árið 2009.

Almennt séð, þó að Martin sé minna þekktur en frummælendur okkar, hefur hann þegar getað lagt eitthvað af mörkum bæði til þróunar dreifðrar tölvunar og til iðnaðarins.

Í þessu erindi mun Martin tala um efni sem er nær fræðilegum rannsóknum sínum. Í Google Docs og svipuðum sófa til að skrifa skjöl með, þýðir "samhöfundur" afritunarverkefni: hver notandi hefur sína eigin eftirlíkingu af samnýttu skjali, sem hann síðan breytir, og allar breytingar eru sendar yfir netið til hinna. þátttakenda. Ónettengdar breytingar á skjölum leiða til tímabundins ósamræmis skjala með tilliti til annarra þátttakenda og endursamstilling krefst meðhöndlunar á átökum. Bara fyrir þetta eru til Átakalausar endurteknar gagnagerðir (CRDT), í raun, er nokkuð nýr hlutur, kjarni þess var mótaður aðeins árið 2011. Þetta erindi fjallar um hvað hefur gerst síðan þá í CRDT heiminum, hverjar eru nýjustu þróunin, fjallað um nálgunina við að byggja upp staðbundin fyrstu forrit almennt og notkun opins uppspretta bókasafns Automerge sérstaklega.

Í næstu viku munum við birta stórt viðtal við Martin á Habré, það verður áhugavert.

Pedro Ramalhete - Biðlaus gagnauppbygging og biðlaus viðskipti

19 hýdrahausar. Frábært yfirlit yfir dagskrána Pedro vinnur hjá Cisco og hefur verið að þróa samhliða reiknirit undanfarin tíu ár, þar á meðal samstillingarkerfi, læsingarlausar og biðlausar gagnabyggingar og allt sem þér dettur í hug um þetta efni. Núverandi rannsóknir og verkfræðiáhugamál hans beinast að alhliða byggingu, hugbúnaðarviðskiptaminni, viðvarandi minni og svipaðri tækni til að gera rétt, stigstærð og bilanaþolin forrit kleift. Og hann er líka höfundur bloggs sem er víða þekktur í þröngum hringum Samhliða viðundur.

Flest fjölþráða forrit keyra nú á samhliða gagnaskipulagi, allt frá því að nota skilaboðabiðraðir á milli leikara til verðtryggðra gagnauppbygginga í lykilgildageymslum. Þeir hafa unnið með góðum árangri í Java JDK í mörg ár og þeim er hægt að bæta við C ++.

Einfaldasta leiðin til að innleiða samhliða gagnauppbyggingu er raðútfærsla (einþráða) útfærsla þar sem aðferðirnar eru verndaðar með mutexes. Þetta er í boði fyrir hvaða júní sem er, en hefur augljós stigstærð og frammistöðuvandamál. Á sama tíma höndla læsingarlaus og biðlaus gagnauppbygging ekki aðeins villur betur, heldur hafa þær einnig betri frammistöðusnið - hins vegar krefst þróun þeirra djúprar sérfræðiþekkingar og aðlögunar að tilteknu notkunartilviki. Ein röng lína af kóða er nóg til að brjóta allt.

Hvernig á að ganga úr skugga um að jafnvel ekki sérfræðingur geti hannað og innleitt slíkt gagnaskipulag? Það er vitað að hægt er að gera hvaða röð reiknirit sem er þráðöruggt með hvoru tveggja alhliða hönnun, eða viðskiptaminni. Fyrir það fyrsta geta þeir lækkað inngönguþröskuldinn til að leysa þetta vandamál. Hins vegar hafa báðar lausnirnar tilhneigingu til að leiða til óhagkvæmrar útfærslu. Pedro mun segja frá því hvernig þeim tókst að gera þessar framkvæmdir skilvirkari og hvernig hægt er að nota þær fyrir reiknirit þeirra.

Heidi Howard- Frelsa dreifða samstöðu

19 hýdrahausar. Frábært yfirlit yfir dagskrána Heidi Howard er, eins og Martin, dreifkerfafræðingur við háskólann í Cambridge. Sérsvið hennar er samkvæmni, bilanaþol, frammistaða og dreifð samstaða. Hún er þekktust fyrir alhæfingu sína á Paxos reikniritinu sem kallast Sveigjanlegur Paxos.

Manstu eftir því Paxos - Fjölskylda samskiptareglur til að leysa vandamálið um samstöðu í neti óáreiðanlegra tölva, sem voru byggðar á verkum Leslie Lamport. Þannig eru sumir fyrirlesaranna okkar að vinna að verkefnum sem voru upphaflega lögð til af öðrum fyrirlesurum okkar - og þetta er dásamlegt.

Hæfni til að finna samstöðu meðal margra gestgjafa - til að takast á við, velja leiðtoga, loka eða samhæfa - er grundvallaratriði í dreifðum kerfum nútímans. Paxos er nú helsta leiðin til að leysa samstöðuvandamál og það er mikið af rannsóknum í kringum það til að útvíkka og fínstilla reikniritið fyrir ýmsar hagnýtar þarfir.

Í þessari skýrslu munum við endurskoða fræðilegan grunn Paxos, slaka á upphafskröfunum og algríma reikniritið. Við munum sjá að Paxos er í raun aðeins einn af valkostunum meðal gríðarstórra aðferða til samstöðu og að aðrir punktar á litrófinu eru líka mjög gagnlegir til að byggja upp góð dreifð kerfi.

Alex Petrov - Dragðu úr geymslukostnaði þínum með tímabundinni afritun og ódýrum sveitum

19 hýdrahausar. Frábært yfirlit yfir dagskrána Alex er sérfræðingur í gagnagrunni og geymslu og, það sem meira er, skuldbindi hjá Cassandra. Hann er núna að vinna með O'Reilly að bókinni Database Internals.

Fyrir kerfi með endanlegt samræmi (í rússneskum hugtökum - "samkvæmni á endanum"), eftir fall hnúts eða netskiptingar, þarf að leysa eftirfarandi vandamál: annað hvort halda áfram að uppfylla beiðnir, fórna samræmi eða neita að framkvæma þær og fórna framboði. Í slíku kerfi geta liðir, skarast undirmengi hnúta og að tryggja að að minnsta kosti einn hnút innihaldi nýjasta gildið, verið góð brún lausn. Það er hægt að lifa af bilanir og tap á tengingu við suma hnúta á meðan þú heldur áfram að svara með nýjustu gildunum.

Hins vegar hefur allt sitt verð. Afritunarkerfi sveitarinnar þýðir aukinn geymslukostnað: þú verður að geyma óþarfa gögn á mörgum hnútum í einu til að tryggja að næg eintök séu tiltæk þegar vandamál koma upp. Það kemur í ljós að þú getur ekki geymt öll gögnin á öllum eftirmyndum. Þú getur dregið úr álagi á geymsluna ef þú heldur aðeins gögnum á hluta hnútanna og notar sérstaka hnúta (Transient Replica) til að meðhöndla bilunaratburðarás.

Í tengslum við skýrsluna munum við íhuga Eftirlíkingar vitna, afritunarkerfið sem notað er í Spanner и mega verslun, og útfærslu þessa hugtaks í Apache Cassandra undir nöfnunum Tímabundin afritun og ódýrar sveitir.

Dmitry Vyukov - Goroutines afhjúpaðar

19 hýdrahausar. Frábært yfirlit yfir dagskrána Dmitry er verktaki hjá Google sem vinnur að C/C++ og Go dynamic testing - Address/Minni/ThreadSanitizer og svipuð verkfæri fyrir Linux kjarnann. Hann hefur lagt til stigstærðan goroutine tímaáætlun, netkönnun og samhliða sorphirðu til Go. Hann er sérfræðingur í fjölþráðum, höfundur tugi nýrra reiknirita sem ekki hindrar og er eigandi Svart belti Intel.

Nú aðeins um skýrsluna sjálfa. Go tungumálið hefur innfæddan stuðning fyrir multithreading í formi goroutines (léttra þráða) og rása (FIFO biðraðir). Þökk sé þessum aðferðum er mjög auðvelt og notalegt fyrir notendur að skrifa nútíma fjölþráða forrit og það lítur út eins og galdur. Eins og við skiljum er enginn galdur hér. Í þessari skýrslu mun Dmitry kafa ofan í ranghala Go tímaáætlunarinnar og sýna leyndarmál þess að innleiða þennan „töfra“. Í fyrsta lagi mun hann gefa yfirlit yfir helstu þætti tímasetningarkerfisins, hvernig það virkar. Næst munum við skoða nánar ákveðna þætti, svo sem stefnuna um bílastæði / aflagningu og meðhöndlun útilokunarkerfiskalla. Að lokum mun Dmitry tala aðeins um mögulegar endurbætur á tímaáætluninni.

Dmitry Bugaichenko - Hraða dreifðri grafgreiningu með líkindaskissum og fleira

19 hýdrahausar. Frábært yfirlit yfir dagskrána Dmitry hefur starfað við útvistun í næstum 9 ár, án þess að missa sambandið við háskólann og vísindasamfélagið. Stór gagnagreining í Odnoklassniki var einstakt tækifæri fyrir hann til að sameina fræðilega þjálfun og vísindalegan grunn við þróun á raunverulegum eftirspurnum vörum.

Dreifð línuritagreining hefur verið og er erfitt verkefni: þegar nauðsynlegt er að afla upplýsinga um tengingar nálægs hornpunkts þarf oft að flytja gögnin á milli véla, sem leiðir til lengri framkvæmdartíma og álags á netið. innviði. Í þessu erindi munum við sjá hvernig þú getur hraðað verulega úrvinnslu með því að nota líkindauppbygging gagna eða staðreyndir eins og samhverfu vinátturitsins á samfélagsneti. Allt þetta er sýnt með Apache Spark kóðadæmum.

Denis Rystsov - Dragðu úr geymslukostnaði þínum með tímabundinni afritun og ódýrum sveitum

19 hýdrahausar. Frábært yfirlit yfir dagskrána Denis - verktaki Cosmos DB, sérfræðingur í staðfestingu á samræmislíkönum, samstöðu reikniritum og dreifðum viðskiptum. Nú starfar hann hjá Microsoft, og áður var hann þátttakandi í dreifðum kerfum hjá Amazon og Yandex.

Í þessari skýrslu munum við kynnast dreifðu viðskiptasamskiptareglunum sem hafa verið fundin upp á undanförnum árum, sem hægt er að útfæra á viðskiptavinamegin ofan á hvaða gagnageymslu sem er sem styður skilyrta uppfærslu (bera saman og setja). Niðurstaðan er sú að lífið endar ekki með tveggja fasa skuldbindingu, viðskiptum er hægt að bæta ofan á hvaða gagnagrunna sem er - á umsóknarstigi, en mismunandi samskiptareglur (2PC, Percolator, RAMP) hafa mismunandi málamiðlanir og eru ekki gefnar okkur frítt.

Alexey Zinoviev - Ekki allir ML reiknirit enda í dreifðri paradís

19 hýdrahausar. Frábært yfirlit yfir dagskrána Alexei (zaleslaw) er lengi fyrirlesari okkar og meðlimur í dagskrárnefndum á öðrum ráðstefnum. Þjálfari hjá EPAM Systems og hefur verið vinur Hadoop/Spark og annarra stórgagna síðan 2012.

Í þessu erindi mun Alexey tala um vandamálin við að aðlaga klassísk vélnámsreiknirit fyrir dreifða framkvæmd út frá reynslu sinni af Apache Spark ML, Apache Mahout, Apache Flink ML og reynslunni af því að búa til Apache Ignite ML. Alexey mun einnig tala um innleiðingu dreifðra ML reiknirita í þessum ramma.

Og að lokum, tvær skýrslur frá Yandex um Yandex gagnagrunn.

Vladislav Kuznetsov — Yandex gagnagrunnur - hvernig við veitum bilanaþol

19 hýdrahausar. Frábært yfirlit yfir dagskrána Vladislav er verktaki hjá Yandex í dreifða vettvangshópnum. Yandex Database er lárétt stigstærð, landfræðileg dreifð, bilunarþolin DBMS sem þolir bilanir á diskum, netþjónum, rekki og gagnaverum án þess að skerða samræmi. Til að tryggja bilanaþol er sérstakt dreift samþykki reiknirit notað, auk fjölda tæknilegra lausna, sem fjallað er ítarlega um í skýrslunni. Skýrslan gæti verið áhugaverð fyrir bæði DBMS forritara og þróunaraðila beittra lausna byggðar á DBMS.

Semyon Checherinda - Dreifð viðskipti í YDB

19 hýdrahausar. Frábært yfirlit yfir dagskrána Semyon er þróunaraðili í dreifða vettvangshópnum hjá Yandex og vinnur að möguleikanum á notkun margra leigjenda á YDB uppsetningunni.

Yandex gagnagrunnurinn er hannaður fyrir OLTP fyrirspurnir og uppfyllir ACID kröfurnar fyrir viðskiptakerfi. Í skýrslunni munum við íhuga reiknirit viðskiptaáætlunar sem liggur að baki YDB viðskiptakerfisins. Við skulum greina hvaða aðilar taka þátt í viðskiptum, hver úthlutar alþjóðlegri pöntun á viðskiptum, hvernig atómvirkni viðskipta, áreiðanleika og ströngu einangrunarstigi er náð. Með því að nota dæmi um sameiginlegt verkefni, skulum við íhuga framkvæmd viðskipta með því að nota tveggja fasa skuldbindingu og ákveðin viðskipti. Við skulum ræða ágreining þeirra.

Hvað er næst?

Dagskrá ráðstefnunnar heldur áfram að vera full af nýjum skýrslum. Sérstaklega væntum við skýrslu frá Nikita Koval (ndkoval) frá JetBrains og Oleg Anastasiev (m0nstermind) frá Odnoklassniki. Nikita vinnur að reikniritum fyrir coroutines í Kotlin teyminu og Oleg þróar arkitektúr og lausnir fyrir háhlaðna kerfi í Odnoklassniki pallinum. Að auki er 1 skilyrt tóm til viðbótar, með umsækjendum sem dagskrárnefnd starfar fyrir núna.

Hydra ráðstefnan fer fram dagana 11. – 12. júlí í St. Miðar geta verið kaupa á opinberu vefsíðunni. Gefðu gaum að framboði miða á netinu - ef þú getur af einhverjum ástæðum ekki komist til Sankti Pétursborgar í beinni þessa dagana.

Sjáumst á Hydra!

Heimild: www.habr.com

Bæta við athugasemd