19 hydra koppen. Geweldich oersjoch fan it programma

In konferinsje sil plakfine op 11-12 july yn Sint Petersburg Hydra, wijd oan de ûntwikkeling fan parallelle en ferspraat systemen. De trúk fan Hydra is dat it koele wittenskippers (dy't gewoanlik allinich te finen binne op bûtenlânske wittenskiplike konferinsjes) en ferneamde praktisearjende yngenieurs ferieniget yn ien grut programma op 'e krusing fan wittenskip en praktyk.

Hydra is ien fan ús wichtichste konferinsjes yn 'e lêste jierren. It waard foarôfgien troch tige serieuze tarieding, seleksje fan sprekkers en ferslaggen. Ferline wike oer dit Khabro ynterview kaam út mei de direkteur fan JUG.ru Group, Alexey Fedorov (23 derevo).

Мы al ferteld oer trije wichtige dielnimmers, de grûnlizzers fan 'e teory fan ferspraat systemen - Leslie Lamport, Maurice Herlihy en Michael Scott. It is tiid om yn mear detail te praten oer it hiele programma!

19 hydra koppen. Geweldich oersjoch fan it programma

Motivaasje

As jo ​​belutsen binne by programmearring, dan hawwe jo op ien of oare manier te krijen mei multithreading en ferspraat komputer. Eksperts yn 'e oanbelangjende fjilden wurkje direkt mei har, mar ymplisyt sjocht de distribúsje fan oeral nei ús: yn elke multi-core kompjûter of ferdielde tsjinst is d'r wat dat berekkeningen parallel útfiert.

D'r binne in protte konferinsjes dy't ferskate aspekten fan tapassingsprogrammearring dekke. Oan 'e oare kant fan it spektrum hawwe wy spesjalisearre wittenskiplike skoallen dy't grutte hoemannichten komplekse teory iepenbierje yn lêzingsformaat. Bygelyks, parallel mei Hydra yn Sint Petersburch is der SPTDC skoalle. Op de Hydra-konferinsje besochten wy hurde praktyk, wittenskip en alles by har krusing byinoar te bringen.

Tink hjir oer: wy libje yn in geweldige tiid wêryn jo persoanlik kinne moetsje mei de oprjochters fan it fjild fan wittenskip en technyk dat wy studearje. Natuerkundigen sille Newton noch Einstein net moetsje - de trein is fuortgien. Mar neist ús noch libje dejingen dy't makke de fûneminten fan 'e teory fan ferspraat systemen, útfûn populêre programmearring talen, en foar it earst ferbylde dit alles yn wurkjende prototypes. Dizze minsken hawwe har baan net heal opsein, se wurkje op dit stuit oan driuwende problemen yn wrâldferneamde universiteiten en bedriuwen, en binne hjoed de grutste boarnen fan kennis en ûnderfining.

Oan 'e oare kant bliuwt de kâns om se te moetsjen meastentiids suver teoretysk: in pear fan ús kinne konstante iepenbiere eveneminten by guon Universiteit fan Rochester folgje, en dan nei de FS en werom haasten foar in lêzing mei Michael Scott. It besykjen fan alle Hydra-leden soe in lyts fortún kostje, sûnder de ôfgrûn fan fergriemde tiid te rekkenjen (hoewol't it klinkt as in nijsgjirrige syktocht).

Oan 'e oare kant hawwe wy in protte top-yngenieurs dy't op it stuit wurkje oan drukke problemen yn ferdielde systemen, en se hawwe perfoarst in protte te fertellen. Mar hjir is it probleem - se работают, en harren tiid is weardefol. Ja, as jo in meiwurker binne fan Microsoft, Google of JetBrains, nimt de kâns om ien fan 'e ferneamde sprekkers te moetsjen op in ynterne evenemint hurd ta, mar yn 't algemien, nee, dit bart net alle dagen.

Op dizze manier foltôget de Hydra-konferinsje in wichtige taak dy't de measten fan ús net op har eigen kinne dwaan - op ien plak en tagelyk bringt it minsken byinoar waans ideeën of ynteraksjes mei wa't jo libben kinne feroarje. Ik jou ta dat net elkenien ferdielde systemen of wat komplekse fûnemintele dingen nedich hat. Jo kinne CRUD's yn PHP programmearje foar de rest fan jo libben en folslein lokkich bliuwe. Mar wa't it nedich hat, dit is dyn kâns.

Hiel lang is ferrûn sûnt de earste oankundiging fan de Hydra-konferinsje op Habré. Yn dizze tiid is in soad wurk dien - en no hawwe wy in list fan hast alle rapporten. Gjin trage single-threaded algoritmen, gewoan suver ferspraat hardcore! Lit ús einigje mei algemiene wurden en sjen wat wy no yn hannen hawwe.

Keynotes

Keynotes begjinne en einigje de dagen fan 'e konferinsje. Gewoanlik is it punt fan in iepeningskeynote om de algemiene geast en rjochting fan 'e konferinsje yn te stellen. De slutende keynote tekent in line en leit út hoe't wy kinne libje mei de kennis en feardichheden dy't opdien tidens de konferinsje. It begjin en it ein: wat it bêste ûnthâlden wurdt, en yn it algemien, hat tanommen betsjutting.

Cliff klik It H2O ferdielde K/V-algoritme

19 hydra koppen. Geweldich oersjoch fan it programma Cliff is in leginde yn 'e Java-wrâld. Yn 'e lette jierren '90 skreau hy foar syn proefskrift in proefskrift mei de titel "Analyses kombinearje, optimisaasjes kombinearje", dy't in skoft letter de basis waard foar HotSpot JVM Server Compiler. Twa jier letter wurke er al by Sun Microsystems oan de JVM en liet de hiele wrâld sjen dat JIT besteansrjocht hat. Dit hiele ferhaal oer hoe't Java ien fan 'e rapste moderne runtimes is mei de tûkste en rapste optimalisaasjes kaam fan Cliff Click. Oan it begjin waard leaud dat as wat tagonklik is foar in statyske kompilator, jo net iens hoege te besykjen it te jit. Mei tank oan it wurk fan Cliff en team begon alle nije talen te meitsjen mei it idee fan JIT-kompilaasje standert. Fansels wie dit gjin ienmanswurk, mar Cliff spile dêr in tige wichtige rol yn.

Yn 'e iepening keynote sil Cliff prate oer syn oare besykjen - H20, in platfoarm yn it ûnthâld foar ferspraat en skalberber masine-learen foar yndustriële applikaasjes. Of krekter, oer de ferdielde opslach fan kaai-wearde-pearen deryn. Dit is in heul rappe opslach mei in protte nijsgjirrige eigenskippen (de krekte list is yn beskriuwing), dy't it brûken fan ferlykbere oplossingen tastean yn 'e wiskunde fan streaming fan grutte gegevens.

In oar rapport dat Cliff sil jaan is - De Azul Hardware Transactional Memory ûnderfining. In oar part fan syn biografy - tsien jier wurkje by Azul. idee.

It meast nijsgjirrige diel begon doe't se hardware makken foar in grut bedriuw - in superkomputer om Java út te fieren. It wie in nochal ynnovatyf ding, spesifyk oanpast foar Java, dat spesjale easken hat - lêsûnthâldbarriêres foar leech-pauze garbage collection, arrays mei grinzenkontrôle, firtuele oproppen ... Ien fan 'e coolste technologyen is hardware transaksjoneel ûnthâld. De hiele L1 fan ien fan 'e 864 kearnen koe meidwaan oan transaksjoneel skriuwen, dat is benammen wichtich foar it wurkjen mei slûzen yn Java (syngronisearre blokken kinne wurkje parallel sa lang as der gjin echte ûnthâld konflikt). Mar it prachtige idee waard ferpletterd troch hurde realiteit - en yn dit petear sil Cliff jo fertelle wêrom HTM en STM net heul geskikt binne foar de praktyske behoeften fan multi-threaded computing.

Michael Scott - Dual data struktueren

19 hydra koppen. Geweldich oersjoch fan it programma Michael Scott - Heechlearaar Computer Science oan 'e Universiteit fan Rochester, mei wa't it lot him ferbûn al 34 jier âld, en by syn hûs University of Wisconsin–Madison wie hy fiif jier dekaan. Hy ûndersiket en leart studinten oer parallele en ferspraat programmearring en taalûntwerp.

De hiele wrâld ken Michael troch it learboek "Programming Language Pragmatics", wêrfan de lêste edysje relatyf resint ferskynde - yn 2015. Syn baan "Algorithmen foar scalable syngronisaasje op dield-ûnthâld multiprocessors" ûntfangen Dijkstrapriis as ien fan de meast ferneamde op it mêd fan ferspraat Computing en iepenlik lizze oan 'e Universiteit fan Rochester Online Library. Jo kinne him ek kenne as de skriuwer fan it heul Michael-Scott-algoritme fan "Ienfâldige, rappe en praktyske algoritmen foar net-blokkearjen en blokkearjen fan tagelyk wachtrige".

Wat de Java-wrâld oangiet, is dit in spesjaal gefal: tegearre mei Doug Lea ûntwikkele hy de net-blokkearjende algoritmen en syngroane wachtrijen wêrop Java-biblioteken wurkje. Dit is krekt wêr't de keynote "Dual data structures" oer sil gean - de ynfiering fan dizze struktueren yn Java SE 6 hat de prestaasjes mei 10 kear ferbettere java.util.concurrent.ThreadPoolExecutor. As jo ​​jo fan tefoaren ôffreegje wat dizze "Dual data structures" binne, dan is der ynformaasje oer relatearre wurk.

Maurice Herlihy - Blockchains en de takomst fan ferdield komputer

19 hydra koppen. Geweldich oersjoch fan it programma Maurice Herlihy - winner fan twa Dijkstraprizen. De earste is foar wurk oan "Wachtfrije syngronisaasje" (Brown University), en de twadde, mear resinte - "Transaksjeûnthâld: arsjitektoanyske stipe foar slûsfrije gegevensstruktueren" (Virginia Tech University). De Dijkstrapriis erkent wurk wêrfan de betsjutting en ynfloed al op syn minst tsien jier sichtber binne, en Maurice is dúdlik ien fan de meast ferneamde saakkundigen op it mêd. Hy wurket op it stuit as heechlearaar oan 'e Brown University en hat in alinea-lange list fan prestaasjes.

Yn dizze slutende keynote sil Maurice prate oer de teory en praktyk fan blockchain-ferdielde systemen út it eachpunt fan 'e klassiken fan ferdielde komputer en hoe't it in protte relatearre problemen ferienfâldiget. Dit is in rapport allinich oer it ûnderwerp fan 'e konferinsje - hielendal net oer mynbouhype, mar oer hoe't ús kennis verbazingwekkend effektyf en passend brûkt wurde kin yn relaasje ta in ferskaat oan taken.

Yn july 2017 kaam Maurice al nei Ruslân om de SPTDC-skoalle by te wenjen, die mei oan 'e JUG.ru meetup, en de opname kin besjoen wurde op YouTube:

Haadprogramma

Dêrnei komt der in koart oersjoch fan de rapporten dy't yn it programma opnommen binne. Guon fan 'e rapporten wurde hjir yn detail beskreaun, oaren mear koart. Lange beskriuwingen gongen benammen nei Ingelsktalige rapporten dy't keppelings nei wittenskiplike papers, termen op Wikipedia, ensfh. De folsleine list is beskikber sjoch op de konferinsje webside. De list op de webside wurdt bywurke en oanfolle.

Leslie Lamport - Q & A

19 hydra koppen. Geweldich oersjoch fan it programma Leslie Lamport is de skriuwer fan seminale wurken yn ferspraat komputer. "LaTeX" stiet foar "Lamport TeX". It wie hy dy't earst, werom yn 1979, it konsept yntrodusearre konsekwint gearhing, en syn artikel "Hoe kinne jo in multiprocessor-komputer meitsje dy't multyprosesprogramma's korrekt útfiert" krige de Dijkstrapriis.

Dit is it meast ûngewoane diel fan it programma yn termen fan opmaak, om't it net iens in ferslach is, mar in fraachpetear. As in grut part fan it publyk al bekend is (of bekend wurde kin) mei allerhanne wurken basearre op "Lamport's teory", syn eigen artikels en rapporten, is it wichtiger om alle beskikbere tiid te besteegjen oan direkte kommunikaasje.

It idee is ienfâldich - jo sjogge twa rapporten op YouTube: "Programmering moat mear wêze dan kodearring" и "As jo ​​​​gjin programma skriuwe, brûk dan gjin programmeartaal" en tariede op syn minst ien fraach, en Leslie antwurden.

De earste fan dizze twa fideo's hawwe wy al feroare yn in habro-artikel. As jo ​​​​gjin oere tiid hawwe om de fideo te besjen, kinne jo it allegear fluch lêze yn tekstfoarm.

Opmerking: D'r binne folle mear Leslie Lamport-fideo's op YouTube. Bygelyks, der is in grutte TLA+ kursus. In offline ferzje fan dizze hiele kursus is beskikber op skriuwer syn thússide, en hy uploade it nei YouTube foar makliker besjen op mobile apparaten.

Martin Kleppmann - Syngronisearje gegevens oer brûkersapparaten foar ferspraat gearwurking

19 hydra koppen. Geweldich oersjoch fan it programma Martin Kleppmann is in ûndersiker oan 'e Universiteit fan Cambridge dy't wurket oan CRDT en formele ferifikaasje fan algoritmen. Martin syn boek "It ûntwerpen fan data-yntinsive applikaasjes", publisearre yn 2017, blykte tige suksesfol te wêzen en makke it op bestsellerlisten op it mêd fan gegevensopslach en ferwurking. Kevin Scott, CTO by Microsoft, ienris sein: “Dit boek moat in must-have wêze foar software-yngenieurs. Dit is in seldsume boarne dy't teory en praktyk kombineart om ûntwikkelders slimmer te helpen by it ûntwerpen en ymplemintearjen fan ynfrastruktuer en datasystemen. De skepper fan Kafka en CTO fan Confluent, Jay Kreps, sei wat ferlykber.

Foardat hy nei akademysk ûndersyk ferhuze, wurke Martin yn 'e yndustry en stifte mei-oprjochter twa suksesfolle start-ups:

  • Rapportyf, wijd oan it werjaan fan it sosjale profyl fan kontakten fan jo e-post, dy't LinkedIn yn 2012 kocht;
  • Go Test It, in tsjinst foar it automatysk testen fan websiden yn ferskate browsers, dy't RedGate yn 2009 kocht.

Yn 't algemien hat Martin, hoewol minder ferneamd as ús keynotes, al wat bydrage kinnen leverje oan' e ûntwikkeling fan ferdielde kompjûters en oan 'e yndustry.

Yn dit petear sil Martin prate oer in ûnderwerp tichter by syn akademysk ûndersyk. Yn Google Docs en ferlykbere sofa's foar mei-bewurkjen fan dokuminten ferwiist "gearwurking bewurkjen" nei in replikaasjetaak: elke brûker hat in eigen replika fan it dielde dokumint, dat se dan wizigje, en alle wizigingen wurde oer it netwurk stjoerd nei de rest fan 'e dielnimmers. Feroarings oan dokuminten offline liede ta tydlike ynkonsistinsje fan it dokumint yn relaasje ta oare dielnimmers, en re-syngronisaasje fereasket konflikt ôfhanneling. Dêr besteane se krekt foar Konfliktfrije replikearre gegevenstypen (CRDT), yn feite, is in frij nij ding, de essinsje fan dat waard formulearre allinnich yn 2011. Dit petear besprekt wat sûnt doe bard is yn 'e wrâld fan CRDT, wat de meast resinte foarútgongen binne, de oanpak foar it meitsjen fan lokale-earste applikaasjes yn it algemien en it brûken fan in iepen boarne bibleteek Automerge yn't bysonder.

Takom wike publisearje wy in lang ynterview mei Martin op Habré, it wurdt nijsgjirrich.

Pedro Ramalhete - Wachtfrije gegevensstruktueren en wachtfrije transaksjes

19 hydra koppen. Geweldich oersjoch fan it programma Pedro wurket by Cisco en hat ûntwikkele parallelle algoritmen foar de lêste tsien jier of sa, ynklusyf syngronisaasje meganismen, lock-frij en wachtfrije gegevens struktueren en alles wat jo kinne yntinke op dit ûnderwerp. Syn hjoeddeistige ûndersyks- en yngenieurbelangen rjochtsje har op Universele Konstruksjes, Software Transactional Memory, Persistent Memory en ferlykbere technologyen dy't korrekte, skalberbere en fouttolerante applikaasjes ynskeakelje. Hy is ek de skriuwer fan in blog dat yn nauwe rûnten wiid bekend is Concurrency Freaks.

De measte multithreaded applikaasjes rinne no op parallelle gegevensstruktueren, fan it brûken fan berjochtwachtrige tusken akteurs oant yndekseare gegevensstruktueren yn kaaiweardewinkels. Se hawwe in protte jierren mei súkses wurke yn 'e Java JDK, en se wurde stadichoan tafoege oan C ++.

De ienfâldichste manier om in parallelle gegevensstruktuer út te fieren is in sekwinsjele (single-threaded) ymplemintaasje wêryn metoaden wurde beskerme troch mutexes. Dit is tagonklik foar elke juny, mar hat dúdlike problemen mei skaalfergrutting en prestaasjes. Tagelyk, slûsfrije en wachtfrije gegevensstruktueren omgean net allinich better mei flaters, mar hawwe ek in better prestaasjesprofyl - lykwols, har ûntwikkeling fereasket djippe saakkundigens en oanpassing oan in spesifike applikaasje. Ien ferkearde rigel fan koade is genôch om alles te brekken.

Hoe kinne wy ​​it sa meitsje dat sels in net-ekspert sokke gegevensstruktueren ûntwerpe en útfiere kin? It is bekend dat elk sekwinsjele algoritme thread feilich kin wurde makke mei beide universele ûntwerp, of transaksjoneel ûnthâld. Foar ien ding kinne se de barriêre ferleegje om dit probleem op te lossen. Beide oplossingen liede lykwols typysk ta ineffektive ymplemintaasje. Pedro sil prate oer hoe't se it slagge om dizze ûntwerpen effisjinter te meitsjen en hoe't jo se kinne brûke foar jo algoritmen.

Heidi Howard - Befrijende ferdielde konsensus

19 hydra koppen. Geweldich oersjoch fan it programma Heidi Howard is, lykas Martin, in distribúsjesysteemûndersiker oan 'e Universiteit fan Cambridge. Har spesjaliteiten binne konsistinsje, skuldtolerânsje, prestaasjes en ferdielde konsensus. Se is fral bekend om har generalisaasje fan it Paxos-algoritme neamd Fleksibele Paxos.

Tink derom Paxos is in famylje fan protokollen foar it oplossen fan it probleem fan konsensus yn in netwurk fan ûnbetroubere kompjûters, basearre op it wurk fan Leslie Lamport. Sa wurkje guon fan ús sprekkers oan problemen dy't oarspronklik waarden foarsteld troch ús oare sprekkers - en dit is prachtich.

De mooglikheid om konsensus te finen ûnder meardere hosts - foar adressearjen, liederferkiezing, blokkearjen of koördinaasje - is in fûnemintele probleem yn moderne ferspraat systemen. Paxos is no de wichtichste manier om konsensusproblemen op te lossen, en d'r is in soad ûndersyk om it algoritme út te wreidzjen en te optimalisearjen foar ferskate praktyske behoeften.

Yn dit petear sille wy de teoretyske basis fan Paxos opnij besykje, de orizjinele easken ûntspanne en it algoritme generalisearje. Wy sille sjen dat Paxos yn wêzen mar ien opsje is ûnder in enoarm oanbod fan konsensusbenaderingen, en dat oare punten op it spektrum ek heul nuttich binne foar it bouwen fan goede ferdielde systemen.

Alex Petrov - Ferminderje jo opslachkosten mei Transient Replication en Cheap Quorums

19 hydra koppen. Geweldich oersjoch fan it programma Alex is in spesjalist foar databases en opslachsystemen, en noch wichtiger foar ús, in committer yn Cassandra. Hy wurket op it stuit oan in boek, Database Internals, mei O'Reilly.

Foar systemen mei úteinlike gearhing (yn Russyske terminology - "ultime konsistinsje"), neidat in knooppunt crasht as in netwurksplit, moatte jo it folgjende dilemma oplosse: of trochgean mei it útfieren fan fersiken, offerje konsistinsje, of wegerje se út te fieren en beskikberens op te offerjen. Yn sa'n systeem kin quorums, oerlappende subsets fan knopen en soargje dat op syn minst ien node de meast resinte wearde befettet, in goede râneoplossing wêze. Jo kinne mislearrings en ferlies fan ferbining mei guon knopen oerlibje, wylst jo noch reagearje mei de lêste wearden.

Alles hat lykwols syn priis. In kworumreplikaasjeskema betsjut ferhege opslachkosten: oerstallige gegevens moatte tagelyk op meardere knopen wurde opslein om te soargjen dat der genôch kopyen beskikber binne as in probleem optreedt. It docht bliken dat jo net alle gegevens op alle replika's hoege te bewarjen. Jo kinne ferminderjen de lading op de opslach as jo bewarje gegevens allinnich op in part fan 'e knopen, en brûk spesjale knopen (Transient Replica) foar falen ôfhanneljen senario.

Yn 'e rin fan it rapport sille wy beskôgje Tsjûge Replicas, it replikaasjeskema brûkt yn Stretcher и mega winkel, en de ymplemintaasje fan dit konsept yn Apache Cassandra neamd Transiente replikaasje en goedkeape kworums.

Dmitry Vyukov - Goroutines bleatsteld

19 hydra koppen. Geweldich oersjoch fan it programma Dmitry is in ûntwikkelder by Google dy't wurket oan dynamyske testen foar C/C++ en Go - Address/Memory/ThreadSanitizer, en ferlykbere ark foar de Linux kernel. Bydroegen oan Go in skalberbere goroutineplanner, in netwurkpoller, en in parallelle jiskefetsamler. Hy is in ekspert yn multithreading, de skriuwer fan in tsiental nije net-blokkearjende algoritmen en is de eigner fan Swarte bân Intel.

No in bytsje oer it rapport sels. De Go-taal hat native stipe foar multithreading yn 'e foarm fan goroutines (ljochte triedden) en kanalen (FIFO-wachtrijen). Dizze meganismen meitsje it heul maklik en noflik foar brûkers om moderne multi-threaded applikaasjes te skriuwen, en it liket magy. As wy begripe, d'r is hjir gjin magy. Yn dit petear sil Dmitry dûke yn 'e yngewikkeldheden fan' e Go-planner en de geheimen sjen litte fan it útfieren fan dizze "magy". Earst sil hy in oersjoch jaan fan 'e haadkomponinten fan' e planner en jo fertelle hoe't it wurket. Folgjende sille wy in tichterby besjen op yndividuele aspekten lykas de parkeare / unparking strategy en it behanneljen fan blokkearjende systeemoproppen. Uteinlik sil Dmitry in bytsje prate oer mooglike ferbetteringen oan 'e planner.

Dmitry Bugaichenko - Fersnelle ferdielde grafykanalyse mei probabilistyske sketsen en mear

19 hydra koppen. Geweldich oersjoch fan it programma Dmitry wurke yn útbesteging foar hast 9 jier sûnder kontakt te ferliezen mei de universiteit en de wittenskiplike mienskip. Analyse fan grutte gegevens yn Odnoklassniki waard foar him in unike kâns om teoretyske training en wittenskiplike basis te kombinearjen mei de ûntwikkeling fan echte, yn-fraach produkten.

Ferspraat grafyske analyze hat west en bliuwt in drege taak: as it nedich wurdt om ynformaasje te krijen oer de ferbiningen fan in oanbuorjende toppunt, moatte de gegevens faaks oerbrocht wurde tusken masines, wat liedt ta ferhege útfieringstiid en lêst op 'e netwurkynfrastruktuer. Yn dit petear sille wy sjen hoe't jo signifikante ferwurkingssnelheden kinne krije troch probabilistyske gegevensstruktueren of feiten te brûken lykas de symmetry fan 'e freonskipsgrafyk yn in sosjaal netwurk. Dit alles wurdt yllustrearre mei koadefoarbylden yn Apache Spark.

Denis Rystsov - Ferminderje jo opslachkosten mei Transient Replication en Cheap Quorums

19 hydra koppen. Geweldich oersjoch fan it programma Denis - ûntwikkelder Kosmos DB, in ekspert yn it kontrolearjen fan konsistinsjemodellen, konsensusalgoritmen en ferdielde transaksjes. Hy wurket op it stuit by Microsoft, en dêrfoar wurke hy oan ferdielde systemen by Amazon en Yandex.

Yn dit petear sille wy sjen nei de ferdielde transaksjeprotokollen dy't yn 'e ôfrûne jierren binne útfûn, dy't kinne wurde ymplementearre oan' e kliïntkant boppe op elke gegevenswinkel dy't betingsten bywurkje (fergelykje en ynstelle). De ûnderste rigel is dat it libben net einiget mei in twa-faze commit, transaksjes kinne wurde tafoege boppe op alle databases - op it tapassingsnivo, mar ferskate protokollen (2PC, Percolator, RAMP) hawwe ferskillende tradeoffs en wurde net oan ús jûn fergees.

Alexey Zinoviev - Net alle ML-algoritmen meitsje it nei ferdielde himel

19 hydra koppen. Geweldich oersjoch fan it programma Alexei (zaleslaw) is in lange tiid sprekker en lid fan programmakommisjes op oare konferinsjes. Praktiserende trainer by EPAM Systems, en is sûnt 2012 freonen mei Hadoop/Spark en oare grutte data.

Yn dit petear sil Alexey prate oer de problemen fan it oanpassen fan klassike masine-learalgoritmen foar útfiering yn ferdielde modus basearre op syn ûnderfining mei it wurkjen mei Apache Spark ML, Apache Mahout, Apache Flink ML en de ûnderfining fan it meitsjen fan Apache Ignite ML. Alexey sil ek prate oer de ymplemintaasje fan ferdielde ML-algoritmen yn dizze kaders.

En as lêste, twa rapporten fan Yandex oer Yandex Database.

Vladislav Kuznetsov - Yandex Database - hoe't wy soargje foar fouttolerânsje

19 hydra koppen. Geweldich oersjoch fan it programma Vladislav is in ûntwikkelder by Yandex yn 'e ferdielde platfoarmgroep. Yandex Database is in horizontaal skalberber, geo-ferdield, fouttolerante DBMS dy't it mislearjen fan skiven, servers, racks en datasintra kin ferneare sûnder konsistinsje te ferliezen. Om fouttolerânsje te garandearjen, wurdt in proprietêr algoritme brûkt foar it realisearjen fan ferdielde konsensus, en ek in oantal technyske oplossingen, dy't yn detail yn it rapport besprutsen wurde. It rapport kin fan belang wêze foar sawol DBMS-ûntwikkelders as ûntwikkelders fan applikaasje-oplossingen basearre op DBMS.

Semyon Checherinda - Ferspraat transaksjes yn YDB

19 hydra koppen. Geweldich oersjoch fan it programma Semyon is in ûntwikkelder yn 'e ferdielde platfoarmgroep by Yandex, dy't wurket oan' e mooglikheid fan multi-tenant-gebrûk fan 'e YDB-ynstallaasje.

Yandex Database is ûntworpen foar OLTP-fragen en foldocht oan ACID-easken foar in transaksjesysteem. Yn dit rapport sille wy it algoritme foar transaksjeplanning beskôgje dat it YDB-transaksjesysteem leit. Litte wy sjen nei hokker entiteiten dielnimme oan transaksjes, wa't wrâldwide oarder tawize oan transaksjes, hoe't transaksje-atomiteit, betrouberens en in strikt nivo fan isolemint wurde berikt. Mei help fan in mienskiplik probleem as foarbyld, litte wy sjen nei transaksje-ymplemintaasjes mei twa-fase-commits en deterministyske transaksjes. Litte wy har ferskillen beprate.

Wat is folgjende?

It konferinsjeprogramma bliuwt fol mei nije rapporten. Benammen ferwachtsje wy in rapport fan Nikita Koval (ndkoval) fan JetBrains en Oleg Anastasyev (m0nstermind) fan it bedriuw Odnoklassniki. Nikita wurket oan algoritmen foar koroutines yn it Kotlin-team, en Oleg ûntwikkelt arsjitektuer en oplossingen foar systemen mei hege lading yn it Odnoklassniki-platfoarm. Dêrneist is der noch 1 betingst leech slot, de programmakommisje wurket dêr no mei kandidaten foar.

De Hydra-konferinsje sil plakfine op 11-12 july yn Sint-Petersburch. Kaarten binne beskikber keapje op 'e offisjele webside. Soarch omtinken foar de beskikberens fan Online tickets - as jo om ien of oare reden dizze dagen net nei Sint Petersburg komme kinne.

Oant sjen by Hydra!

Boarne: www.habr.com

Add a comment