19 hoder av hydra. Stor oversikt over programmet

11-12 juli i Sankt Petersburg vil det bli en konferanse Hydra, dedikert til utvikling av parallell- og distribuerte systemer. Hydra er unik fordi den samler dyktige forskere (som man vanligvis bare finner pÄ utenlandske vitenskapelige konferanser) og kjente praktiserende ingeniÞrer, i ett stort program i skjÊringspunktet mellom vitenskap og praksis.

Hydra er en av de viktigste konferansene vÄre de siste Ärene. Den har vÊrt forberedt grundig, med nÞye utvelgelse av talere og foredrag. Forrige uke ble det publisert et Habra-intervju med direktÞren for JUG.ru Group, Alexey Fedorov (23derevo).

Vi allerede har diskutert om tre viktige deltakere, grunnleggerne av teorien om distribuerte systemer — Leslie Lamport, Maurice Herlihy og Michael Scott. NĂ„ er det pĂ„ tide Ă„ snakke mer detaljert om hele programmet!

19 hoder av hydra. Stor oversikt over programmet

Motivasjon

Hvis du programmerer, har du pÄ en eller annen mÄte Ä gjÞre med trÄding og distribuerte beregninger. Spesialister innen relevante felt jobber direkte med det, men distribusjonen ser vi overalt: i enhver flerkjernecomputer eller distribuerte tjeneste finnes det noe som utfÞrer beregninger parallelt.

Det finnes mange konferanser som utforsker ulike aspekter av anvendt programmering. PÄ den andre siden har vi spesialiserte vitenskapelige skoler, i form av forelesninger som avdekker enorme mengder komplisert teori. For eksempel, parallelt med Hydra i Petersburg skjer det en SPTDC-skole. PÄ konferansen Hydra har vi forsÞkt Ä samle bÄde den harde praksisen og vitenskapen, samt alt som ligger i skjÊringspunktet mellom dem.

Tenk over dette: vi lever i en fantastisk tid der man kan mĂžte grunnleggerne av det vitenskaps- og ingeniĂžrfeltet vi jobber med. Fysikere vil ikke mĂžte verken Newton eller Einstein — det toget har gĂ„tt. Men de som la grunnlaget for teorien om distribuerte systemer, oppfant populĂŠre programmeringssprĂ„k, og fĂžrste gang realiserte alt dette i fungerende prototyper, lever fortsatt blant oss. Disse menneskene har ikke forlatt arbeidet sitt halvveis; de jobber faktisk med aktuelle oppgaver ved verdenskjente universiteter og selskaper, og er i dag de stĂžrste kildene til kunnskap og erfaring.

PĂ„ den annen side er muligheten for Ă„ mĂžte dem vanligvis kun teoretisk: fĂ„ av oss kan kontinuerlig overvĂ„ke offentlige arrangementer ved et hvilket som helst universitet i Rochester for sĂ„ Ă„ dra til USA og tilbake for et foredrag med Michael Scott. Å besĂžke alle deltakerne i Hydra ville koste en betydelig sum, i tillegg til all den tapte tiden (selv om det hĂžres ut som et interessant oppdrag).

PĂ„ den annen side har vi mange toppingeniĂžrer som jobber med aktuelle problemer innen distribuerte systemer, og de har definitivt noe Ă„ dele. Men problemet er at de og med Amazon. Deres tjeneste Alexa for Business – en smart assistent for selskaper – gir ansatte muligheten til Ă„ planlegge personlige mĂžter og bruke bedriftsapplikasjoner med stemmestyring. Blant disse applikasjonene er det ogsĂ„ lĂžsninger fra ServiceNow for hĂ„ndtering av IT-prosesser., og tiden deres er kostbar. Ja, hvis du er ansatt i Microsoft, Google eller JetBrains, Ăžker sannsynligheten for Ă„ mĂžte en av de kjente talerne pĂ„ et internt arrangement kraftig, men generelt — nei, det skjer ikke hver dag.

Dermed fyller Hydra-konferansen en viktig oppgave som de fleste av oss ikke klarer Ă„ gjĂžre selv — den samler mennesker pĂ„ ett sted og pĂ„ ett tidspunkt, hvis ideer eller kommunikasjon kan endre livet ditt. Jeg innser at ikke alle trenger distribuerte systemer eller komplekse fundamentale emner. Du kan programmere CRUD-er i PHP hele livet og vĂŠre helt lykkelig. Men for dem som trenger det — dette er din sjanse.

Det har gĂ„tt ganske mye tid siden konfirmasjonen av Hydra-konferansen pĂ„ HabrĂ© ble annonsert. I lĂžpet av denne tiden har det blitt utfĂžrt en enorm innsats — og nĂ„ har vi en liste over nesten alle innlegg. Ingen slappe en-trĂ„ds algoritmer, bare ren distribuert hardcore! La oss avslutte med generelle ord og se hva vi nĂ„ har pĂ„ hĂ„nden.

Keynotes

Keynotes starter og avslutter konferansedagene. Vanligvis er meningen med den Äpne keynoten Ä sette tonen og retningen for konferansen. Den avsluttende keynoten oppsummerer og forklarer hvordan vi skal leve med kunnskapen og ferdighetene vi har tilegnet oss i lÞpet av konferansedagene. Begynnelse og slutt: det er det som vil bli husket best og som generelt har hÞyere betydning.

Cliff Click — The H2O distributed K/V algorithm

19 hoder av hydra. Stor oversikt over programmet Cliff er en legende i Java-verdenen. PÄ slutten av 90-tallet skrev han for PhD-avhandlingen sin et arbeid med tittelen «Combining Analyses, Combining Optimizations», som etter en tid ble grunnlaget for HotSpot JVM Server Compiler. To Är senere jobbet han allerede i Sun Microsystems med JVM og viste verden at JIT hadde sin rett til Ä eksistere. Hele denne historien om at Java er en av de raskeste moderne runtimeene med de smarteste og raskeste optimaliseringene startet nettopp med Cliff Click. I begynnelsen ble det ansett at hvis noe var tilgjengelig for en statisk kompilator, var det ikke noe poeng i Ä prÞve Ä JIT'e det. Takket vÊre arbeidet til Cliff og teamet hans, begynte alle nye sprÄk Ä bli utviklet med ideen om JIT-kompilering som standard. Utvilsomt var dette arbeidet ikke for én person alene, men Cliff spilte en veldig viktig rolle i det.

I den Ă„pne keynote vil Cliff snakke om et annet av sine prosjekter — H20, en in-memory plattform for distribuert og skalerbar maskinlĂŠring for industriell bruk. NĂŠrmere bestemt — om det distribuerte «nĂžkkel-verdi» lagringssystemet inne i den. Dette er et veldig raskt lagringssystem med mange interessante egenskaper (den eksakte listen finnes i beskrivelsen), som gjĂžr det mulig Ă„ bruke slike lĂžsninger i matematikken for strĂžmming av store data.

En annen presentasjon som Cliff vil holde er — The Azul Hardware Transactional Memory experience. En annen del av hans biografi er ti Ă„r med arbeid i Azul, hvor han oppdaterte og forbedret mye i maskinvaren og teknologistakken til Azul: JIT-kompilatorer, runtime, trĂ„dmodellen, feilhĂ„ndtering, arbeid med stakk, maskinvare-interrupts, klasseinnlasting og sĂ„ videre — vel, dere forstĂ„r.

Den mest interessante delen begynte da de lagde maskinvare for stor virksomhet — en superdatamaskin for Ă„ kjĂžre Java. Dette var en ganske innovativ lĂžsning, spesialtilpasset Java, som har spesielle krav — minnebarrierer for lesing for lav-latens sĂžppelinnsamling, arrayer med grensekontroll, virtuelle kall
 En av de mest imponerende teknologiene var maskinvare-transaksjonsminne. Hele L1 av hvilken som helst av de 864 kjernene kunne delta i en transaksjonsopptak, noe som er spesielt viktig for arbeid med lĂ„ser i Java (synchronized-blokker kan kjĂžre parallelt, sĂ„ lenge det ikke er en reell konflikt ved minnet). Men den vakre ideen krasjet mot en hard virkelighet — og i denne presentasjonen vil Cliff fortelle hvorfor HTM og STM ikke passer sĂ„ godt for de praktiske behovene innen flertrĂ„dede beregninger.

Michael Scott — Duo databasonstrukturer

19 hoder av hydra. Stor oversikt over programmet Michael Scott — professor i datavitenskap ved University of Rochester, med hvilken skjebnen har knyttet ham i allerede 34 Ă„r, og ved sitt hjemuniversitet Wisconsin–Madison var han dekan i fem Ă„r. Han driver forskning innen parallell og distribuert programmering og designsprĂ„k, og underviser i dette til studenter.

Hele verden kjenner Michael gjennom lĂŠreboken «Programming Language Pragmatics», den siste utgaven av which ble utgitt relativt nylig — i 2015. Hans arbeid «Algorithms for scalable synchronization on shared-memory multiprocessors» fikk Dijkstra-prisen som et av de mest kjente innen distribuerte beregninger og ligger fritt tilgjengelig i online-biblioteket ved Rochester University. Du kan ogsĂ„ kjenne ham som forfatteren av den velkjente Michael-Scott-algoritmen fra «Simple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms».

NĂ„r det gjelder Java-verdenen, er dette et spesielt tilfelle: sammen med Doug Lea utviklet han de ikke-blokkerende algoritmene og synkrone kĂžene som Java-biblioteker bygger pĂ„. Det er nettopp dette som vil vĂŠre nĂžkkeltalen «Duo databasonstrukturer» — implementeringen av disse strukturene i Java SE 6 gjorde det mulig Ă„ forbedre ytelsen ti ganger java.util.concurrent.ThreadPoolExecutor. Hvis du allerede er interessert i hva disse «Duo databasonstrukturene» er, finnes det tilsvarende arbeid.

Maurice Herlihy — Blockchains og fremtiden for distribuert databehandling

19 hoder av hydra. Stor oversikt over programmet Maurice Herlihy — innehaver av hele to Dijkstra-priser. Den fĂžrste — for arbeid om «Wait-Free Synchronization» (Brown University), og den andre, nyere — «Transactional Memory: Architectural Support for Lock-Free Data Structures» (Virginia Tech University). Dijkstra-prisen tildeles for arbeid hvis betydning og innflytelse har vĂŠrt merkbar i minst ti Ă„r, og det er Ă„penbart at Maurice er en av de mest kjente ekspertene innen feltet. For Ăžyeblikket jobber han som professor ved Brown University og har mange prestasjoner som tar opp en hel avsnitt.

I denne avsluttende nĂžkkeltalen vil Maurice diskutere teorien og praksisen til blokkjede distribuerte systemer fra perspektivet til klassisk distribuert databehandling, og hvordan dette forenkler mange relaterte problemer. Dette er en tale som er helt i trĂ„d med konferansens tema — ikke om minedrift hype, men snarere om hvordan vĂ„r kunnskap kan brukes pĂ„ en bemerkelsesverdig effektiv og relevant mĂ„te til et bredt spekter av oppgaver.

I juli 2017 besÞkte Maurice allerede Russland for SPTDC-skolen, deltok i et mÞte med JUG.ru, og opptaket kan ses pÄ YouTube:

Spill video

Hovedprogram

Videre vil det vÊre en kort oversikt over foredragene som inngÄr i programmet. Noen av foredragene er beskrevet i detalj, mens andre er mer kortfattet. Lange beskrivelser er hovedsakelig gitt til de engelsksprÄklige foredragene som krever referanser til vitenskapelige arbeider, termer pÄ Wikipedia, og sÄ videre. Den komplette listen kan ses pÄ konferansens nettside. Listen pÄ siden vil bli oppdatert og supplert.

Leslie Lamport — Q & A

19 hoder av hydra. Stor oversikt over programmet Leslie Lamport er forfatter av grunnleggende arbeider innen distribuerte beregninger. «LaTeX» stÄr for «Lamport TeX». Det var han som fÞrst, allerede i 1979, introduserte begrepet sekvensiell konsistens, og artikkelen hans «How to Make a Multiprocessor Computer That Correctly Executes Multiprocess Programs» ble tildelt Dijkstra-prisen.

Dette er den mest uvanlige delen av programmet, fordi det ikke engang er et foredrag, men en spÞrsmÄls- og svarsesjon. NÄr en betydelig del av publikum allerede er kjent med (eller kan bli kjent med) en rekke arbeider basert pÄ «Lamports teori», hans egne artikler og foredrag, er det viktig Ä bruke all tilgjengelig tid pÄ direkte kommunikasjon.

Ideen er enkel — du ser to foredrag pĂ„ YouTube: «Programming Should Be More Than Coding» og «If You’re Not Writing a Program, Don’t Use a Programming Language» og forbereder minst ett spĂžrsmĂ„l, og Leslie svarer.

Det fĂžrste av disse to videoene har vi allerede omgjort til en hublartikkel. Hvis du ikke har en time til Ă„ se videoene, kan du raskt lese alt dette i tekstformat.

Til notat: det finnes mange flere videoer med Leslie Lamport pÄ YouTube. For eksempel er det en flott kurs om TLA+. Den offline versjonen av hele dette kurset finnes pÄ forfatterens hjemmeside, og pÄ YouTube lastet han det opp for enklere visning pÄ mobile enheter.

Martin Kleppmann — Syncing data across user devices for distributed collaboration

19 hoder av hydra. Stor oversikt over programmet Martin Kleppmann er forsker ved Cambridge University, som jobber med CRDT og formell verifikasjon av algoritmer. Martins bok «Designing Data-Intensive Applications», utgitt i 2017, har vist seg Ä vÊre svÊrt vellykket og nÄdd bestselgerlister innen lagring og behandling av data. Kevin Scott, CTO i Microsoft, sa en gang: «Denne boken bÞr vÊre obligatorisk for utviklingsingeniÞrer. Dette er en sjelden ressurs som kombinerer teori og praksis, og hjelper utviklere med Ä designe og implementere infrastruktur og databehandlingssystemer mer smart.» Noe lignende sa ogsÄ opphavsmannen til Kafka og CTO for Confluent, Jay Kreps.

FĂžr han begynte med akademiske studier, jobbet Martin i industrien og co-grĂŒndet to vellykkede oppstartsselskaper:

  • Rapportive, som var dedikert til Ă„ vise sosiale profiler for kontakter fra e-posten din, ble kjĂžpt av LinkedIn i 2012;
  • Go Test It, en tjeneste for automatisk testing av nettsteder i forskjellige nettlesere, ble kjĂžpt av RedGate i 2009.

Generelt er Martin, selv om han er mindre kjent enn vÄre hovedtalere, i stand til Ä ha bidratt til bÄde utviklingen av distribuert databehandling og til industrien.

I dette foredraget vil Martin snakke om et emne som ligger nÊrmere hans akademiske forskning. I Google Docs og lignende programvare for felles redigering av dokumenter, betyr 'felles redigering' oppgaven med replikering: hver bruker har sin egen kopi av et delt dokument, som de deretter endrer, og alle endringer sendes over nettverket til de andre deltakerne. Endringer av dokumenter i offline-modus fÞrer til midlertidig inkonsistens i dokumentet i forhold til de andre deltakerne, og re-synkronisering krever konfliktbehandling. Det er nettopp til dette at Conflict-free Replicated Data Types (CRDT), i prinsippet en ganske ny ting, hvis essens ble formulert bare i 2011. Dette foredraget diskuterer hva som har skjedd siden den gang i CRDT-verdenen, hva som er de nyeste fremskrittene, og diskuterer tilnÊrmingen til Ä lage local-first applikasjoner generelt og bruken av det Äpne kildebiblioteket Automerge spesielt.

Neste uke vil vi publisere et stort intervju med Martin pÄ Habré, det vil vÊre interessant.

Pedro Ramalhete — Wait-free data structures and wait-free transactions

19 hoder av hydra. Stor oversikt over programmet Pedro jobber i Cisco og har utviklet parallelle algoritmer de siste ti Ärene, inkludert synkroniseringsmekanismer, lock-free og wait-free datakonstruksjoner og alt annet du kan forestille deg om emnet. Hans nÄvÊrende forsknings- og ingeniÞrinteresser er fokusert pÄ Universal Constructions, Software Transactional Memory, Persistent Memory og lignende teknologier som muliggjÞr implementering av korrekte, skalerbare og feilfrie applikasjoner. I tillegg er han forfatter av en velkjent blogg i spesialiserte kretser, Concurrency Freaks.

De fleste flertrÄdede applikasjoner i dag jobber med parallelle datastrukturer, fra bruk av meldingskÞer mellom aktÞrer til indekserte datastrukturer i key-value lagringssystemer. I Java JDK har de vÊrt i bruk i mange Är, og i C++ blir de sakte men sikkert lagt til.

Den enkleste mĂ„ten Ă„ implementere en parallel datastruktur pĂ„, er en sekvensiell (Ă©n-trĂ„det) implementering der metodene er beskyttet av mutexer. Dette er tilgjengelig for enhver nybegynner, men har Ă„penbare problemer med skalerbarhet og ytelse. Samtidig klarer lock-free og wait-free datastrukturer ikke bare Ă„ hĂ„ndtere feil bedre, men ogsĂ„ ha en mer gunstig ytelsesprofil – men utviklingen av dem krever dyp ekspertise og tilpasning til spesifikke bruksomrĂ„der. En enkelt feil kodelinje kan vĂŠre nok til Ă„ Ăždelegge alt.

Hvordan kan vi sÞrge for at selv ikke-eksperter kan designe og implementere slike datastrukturer? Det er kjent at enhver sekvensiell algoritme kan gjÞres trÄdsikker ved hjelp av enten en universell konstruksjon, eller transaksjonell minne. Begge kan senke inngangsbarrieren for Ä lÞse dette problemet. Imidlertid fÞrer begge lÞsninger vanligvis til ineffektiv implementering. Pedro vil fortelle om hvordan de klarte Ä gjÞre disse konstruksjonene mer effektive og hvordan de kan brukes for deres algoritmer.

Heidi Howard — Liberating distributed consensus

19 hoder av hydra. Stor oversikt over programmet Heidi Howard, som Martin, er forsker innen distribuerte systemer ved University of Cambridge. Hennes spesialfelt er konsistens, feilmotstand, ytelse og distribuert konsensus. Hun er mest kjent for generaliseringen av Paxos-algoritmen kalt Flexible Paxos.

La oss huske at Paxos — en familie av protokoller for Ă„ lĂžse konsensusproblemet i nettverk av upĂ„litelige beregnere, basert pĂ„ arbeidet til Leslie Lamport. Dermed jobber noen av vĂ„re foredragsholdere med oppgaver opprinnelig foreslĂ„tt av andre av vĂ„re foredragsholdere — og det er fantastisk.

Muligheten til Ă„ finne en enighet mellom flere verter — for adressering, valg av leder, blokkering eller koordinering — er et grunnleggende spĂžrsmĂ„l i moderne distribuerte systemer. Paxos er nĂ„ den primĂŠre metoden for Ă„ lĂžse konsensusproblemer, og det foregĂ„r mange studier rundt det med mĂ„l om Ă„ utvide og optimalisere algoritmen for ulike praktiske behov.

I denne rapporten vil vi revidere den teoretiske grunnlaget for Paxos, og svekke de opprinnelige kravene og generalisere algoritmen. Vi vil se at Paxos i bunn og grunn bare er ett alternativ blant et enormt spekter av tilnÊrminger til konsensus, og at andre punkter pÄ spekteret ogsÄ er svÊrt nyttige for bygging av gode distribuerte systemer.

Alex Petrov — Reduser lagringskostnadene dine med Transient Replication og Billige Quorum

19 hoder av hydra. Stor oversikt over programmet Alex er spesialist pĂ„ databaser og lagringssystemer, og enda viktigere for oss — kommitter i Cassandra. Sammen med O’Reilly jobber han nĂ„ med boken Database Internals.

For systemer med eventuell konsistens (i den russisktalende terminologien — «konsistens i siste instans»), etter et nodesvikt eller nettverksdeling, mĂ„ man lĂžse fĂžlgende dilemma: Enten fortsette Ă„ utfĂžre forespĂžrslene, pĂ„ bekostning av konsistens, eller avslĂ„ forespĂžrselen og ofre tilgjengelighet. I et slikt system kan quorum, overlappende delsett av noder som garanterer at minst Ă©n node vil inneholde den nyeste verdien, bli en god grense-lĂžsning. Man kan overleve feil og tap av tilkobling til noen noder, mens man fortsetter Ă„ svare med de nyeste verdiene.

Men alt har sin pris. Quorum-replikasjonsordningen medfÞrer hÞyere lagringskostnad: man mÄ lagre overflÞdig data pÄ flere noder samtidig for Ä garantere tilstrekkelig antall tilgjengelige kopier nÄr problemet oppstÄr. Det viser seg at man ikke trenger Ä lagre alle data pÄ alle replikene. Man kan redusere belastningen pÄ lagringen ved kun Ä holde data pÄ en del noder, og for scenarios med feilbehandling bruke spesielle noder (Transient Replica).

I lÞpet av rapporten vil vi se pÄ Witness Replicas, replikasjonsordningen som brukes i Spanner og Megastore, og implementeringen av dette konseptet i Apache Cassandra under navnene Transient Replication & Billige Quorum.

Dmitry V'yukov — Goroutines exposed

19 hoder av hydra. Stor oversikt over programmet Dmitri er utvikler hos Google, og jobber med dynamisk testing av C/C++ og Go — Address/Memory/ThreadSanitizer, samt lignende verktĂžy for Linux-kjernen. Han har bidratt til Go med en skalerbar goroutine-planlegger, nettverks- poller og parallell sĂžppelsamler. Han er ekspert pĂ„ multitrĂ„ding, forfatter av dusinvis av nye ikke-blokkerende algoritmer, og innehaver av Svart Belte Intel.

NÄ litt om selve foredraget. I Go-programmeringssprÄket er det innebygd stÞtte for multitrÄding i form av goroutines (lette trÄder) og kanaler (FIFO-kÞer). Takket vÊre disse mekanismene er det svÊrt enkelt og hyggelig for brukerne Ä skrive moderne multitrÄdede applikasjoner, og det ser ut som magi. Som vi forstÄr, er det ingen magi her. I dette foredraget vil Dmitri dykke dypt inn i detaljene i Go-planleggeren og vise hemmelighetene bak denne "magien". FÞrst vil han gi en oversikt over hovedkomponentene i planleggeren, forklare hvordan det fungerer. Deretter blir vi bedre kjent med spesifikke aspekter som parkerings/oppkallingsstrategier og hÄndtering av blokkering av systemanrop. Til slutt vil Dmitri fortelle litt om mulige forbedringer i planleggeren.

Dmitri Bugaychenko — Akselerere distribuerte grafanalyser med probabilistiske skisser og mer

19 hoder av hydra. Stor oversikt over programmet Dmitri har jobbet i outsourcing i nesten 9 Är, uten Ä miste kontakten med universitetet og den vitenskapelige sfÊren. Analyse av store data i Odnoklassniki ga ham en unik mulighet til Ä kombinere teoretisk forberedelse og vitenskapelig grunnlag med utvikling av reelle, etterspurte produkter.

Distribuert grafanalyse har vÊrt og forblir en vanskelig oppgave: nÄr det er behov for Ä hente informasjon om forbindelsene til en tilstÞtende node, mÄ data ofte overfÞres mellom maskinene, noe som fÞrer til Þkt kjÞretid og belastning pÄ nettverksinfrastrukturen. I dette foredraget vil vi se hvordan vi kan oppnÄ betydelig hurtigere behandling ved Ä bruke probabilistiske datastrukturer eller fakta som symmetri i vennskapsgrafen i sosiale nettverk. Alt dette blir illustrert med kodeeksempler pÄ Apache Spark.

Denis Ryscov — Reduser lagringskostnadene dine med Transient Replication og Billige Quorum

19 hoder av hydra. Stor oversikt over programmet Denis er utvikler Cosmos DB, ekspert innen modellkonsistens, konsensusalgoritmer og distribuerte transaksjoner. Han jobber nÄ i Microsoft, og har tidligere jobbet med distribuerte systemer i Amazon og Yandex.

I dette foredraget skal vi bli kjent med protokollene for distribuerte transaksjoner som er utviklet de siste Ă„rene, som kan implementeres pĂ„ klientsiden over ethvert datalager som stĂžtter betinget oppdatering (compare and set). Poenget er at livet ikke slutter med to-fase kommittering; transaksjoner kan legges til over enhver database — pĂ„ applikasjonsnivĂ„, men forskjellige protokoller (2PC, Percolator, RAMP) har forskjellige trade-offs og kommer ikke gratis.

Aleksej Zinovjev — Ikke alle ML-algoritmer havner i det distribuerte paradis

19 hoder av hydra. Stor oversikt over programmet Aleksej (zaleslaw) — vĂ„r langvarige taler og medlem av programkomiteene ved andre konferanser. Praktiserende trener i EPAM Systems, og har hatt et nĂŠrt forhold til Hadoop/Spark og annen big data siden 2012.

I dette foredraget vil Aleksej snakke om problemene med tilpasningen av klassiske maskinlÊringsalgoritmer for Ä kjÞre i et distribuert miljÞ basert pÄ sin erfaring med Apache Spark ML, Apache Mahout, Apache Flink ML, samt erfaringen med Ä utvikle Apache Ignite ML. Aleksej vil ogsÄ snakke om implementeringen av distribuerte ML-algoritmer i disse rammeverkene.

Og til slutt — to foredrag fra Yandex om Yandex Database.

Vladislav Kuznetsov — Yandex Database — hvordan vi sikrer hþy tilgjengelighet

19 hoder av hydra. Stor oversikt over programmet Vladislav er utvikler i Yandex i gruppen for den distribuerte plattformen. Yandex Database er en horisontalt skalerbar, geo-distribuert, feil-tolerant DBMS, som tÄler svikt i disker, servere, stativ og datasentre uten Ä miste konsistens. For Ä sikre feil-toleranse brukes en egen algoritme for Ä oppnÄ distribuert konsensus, samt en rekke tekniske lÞsninger som blir detaljert belyst i foredraget. Foredraget kan vÊre av interesse bÄde for utviklere av DBMS og utviklere av applikasjonslÞsninger basert pÄ DBMS.

Semen Checherinda — Distribuerte transaksjoner i YDB

19 hoder av hydra. Stor oversikt over programmet Semen er utvikler i gruppen for den distribuerte plattformen i Yandex, og jobber med muligheten for flerbrukerbruk av instansene i YDB.

Yandex Database er designet for OLTP-spÞrsmÄl og oppfyller ACID-kravene for transaksjonelle systemer. I presentasjonen vil vi se pÄ algoritmen for transaksjonsplanlegging, som ligger til grunn for YDBs transaksjonssystem. Vi vil analysere hvilke enheter som deltar i transaksjonene, hvem som tildeler transaksjoner en global rekkefÞlge, hvordan atomisitet i transaksjoner oppnÄs, pÄlitelighet og et strengt nivÄ av isolasjon. Ved hjelp av et vanlig problem vil vi se pÄ implementeringer av transaksjoner med to-fase-commit og deterministiske transaksjoner. Vi vil diskutere forskjellene mellom dem.

Hva skjer videre?

Konferanseprogrammet fortsetter Ä fylles med nye presentasjoner. Spesielt ser vi frem til en presentasjon fra Nikita Kovalyov (ndkoval) fra JetBrains og Oleg Anastasyev (m0nstermind) fra selskapet Odnoklassniki. Nikita arbeider med algoritmer for korutiner i Kotlin-teamet, mens Oleg utvikler arkitektur og lÞsninger for hÞybelastede systemer pÄ Odnoklassniki-plattformen. I tillegg er det en betinget ledig slot, som programkomiteen jobber med kandidater til akkurat nÄ.

Hydra-konferansen vil finne sted 11.-12. juli i St. Petersburg. Billetter kan tilgjengelige for kjÞp pÄ den offisielle nettsiden. Vi gjÞr oppmerksom pÄ tilgjengeligheten av Online-billetter - hvis du av en eller annen grunn ikke kan komme til St. Petersburg pÄ disse dagene.

Vi sees pÄ Hydra!

Kilde: habr.com

KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere đŸ”„ KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster