19 Hydra Kapp. Flotten Iwwerbléck vum Programm

Eng Konferenz fënnt den 11-12 Juli zu St Hydra, gewidmet fir d'Entwécklung vu parallelen a verdeelte Systemer. Den Trick vun Hydra ass datt et cool Wëssenschaftler verbënnt (déi normalerweis nëmmen op auslännesche wëssenschaftleche Konferenzen fonnt kënne ginn) a berühmt praktizéierend Ingenieuren an ee grousse Programm op der Kräizung vu Wëssenschaft a Praxis.

Hydra ass eng vun eise wichtegste Konferenzen an de leschte Joren. Et war virun ganz seriöse Virbereedung, Auswiel u Spriecher a Rapporten. Lescht Woch iwwer dëst habro Interview koum eraus mam Direkter vun der JUG.ru Group, Alexey Fedorov (23 vun).

Mir sinn scho gesot iwwer dräi wichteg Participanten, de Grënner vun der Theorie vun verdeelt Systemer - Leslie Lamport, Maurice Herlihy a Michael Scott. Et ass Zäit fir méi am Detail iwwer de ganze Programm ze schwätzen!

Motivatioun

Wann Dir un der Programméierung involvéiert sidd, da sidd Dir op eng oder aner Manéier mat Multithreading a verdeelt Informatik ze dinn. D'Experten an den zoustännege Beräicher schaffen direkt mat hinnen, awer implizit kuckt d'Verdeelung vun iwwerall op eis: an all Multi-Core Computer oder verdeelt Service gëtt et eppes wat parallel Berechnungen ausféiert.

Et gi vill Konferenzen déi verschidden Aspekter vun der Applikatiounsprogramméierung ofdecken. Op der anerer Säit vum Spektrum hu mir spezialiséiert wëssenschaftlech Schoulen déi grouss Quantitéiten u komplexer Theorie am Virtragsformat opdecken. Zum Beispill, parallel mat Hydra zu St SPTDC Schoul. Op der Hydra Konferenz hu mir probéiert haart Praxis, Wëssenschaft an alles op hirer Kräizung zesummenzebréngen.

Denkt drun: mir liewen an enger erstaunlecher Zäit, wou Dir perséinlech d'Grënner vum Feld vun der Wëssenschaft an der Ingenieur treffen, déi mir studéieren. Physiker treffen weder Newton nach Einstein - den Zuch ass fortgaang. Awer nieft eis liewen nach ëmmer déi, déi d'Fundamenter vun der Theorie vun de verdeelte Systemer erstallt hunn, déi populär Programméierungssproochen erfonnt hunn, a fir d'éischte Kéier dat alles an Aarbechtsprototypen verkierpert hunn. Dës Leit hunn hir Aarbecht net hallef opgehalen, si schaffen elo un dréngenden Themen an weltbekannten Universitéiten a Firmen, a sinn haut déi gréisste Quelle vu Wëssen an Erfahrung.

Op der anerer Säit bleift d'Méiglechkeet hinnen ze treffen normalerweis reng theoretesch: wéineg vun eis kënne permanent ëffentlech Eventer op enger University of Rochester iwwerwaachen, an dann an d'USA an zréck fir e Virtrag mam Michael Scott rennen. Besicht all Hydra Memberen géif e klenge Verméigen kaschten, net den Ofgrond vun verschwenden Zäit zielen (och wann et wéi eng interessant Quest kléngt).

Op der anerer Säit hu mir vill Top-Ingenieuren, déi elo un dréngend Problemer a verdeelt Systemer schaffen, a si hunn definitiv vill ze soen. Awer hei ass de Problem - si работают, an hir Zäit ass wäertvoll. Jo, wann Dir en Employé vu Microsoft, Google oder JetBrains sidd, ass d'Wahrscheinlechkeet datt Dir ee vun de berühmte Spriecher bei engem internen Event begéint, staark eropgeet, awer am Allgemengen, nee, dat geschitt net all Dag.

Op dës Manéier erfëllt d'Hydra Konferenz eng wichteg Aufgab, déi déi meescht vun eis net eleng maache kënnen - op enger Plaz an op enger Zäit bréngt se Leit zesummen, deenen hir Iddien oder Interaktioune mat deenen Äert Liewen änneren kënnen. Ech ginn zou datt net jidderee verdeelt Systemer oder e puer komplex fundamental Saachen brauch. Dir kënnt CRUDs an PHP fir de Rescht vun Ärem Liewen programméieren a ganz glécklech bleiwen. Awer wien et brauch, dat ass Är Chance.

Zënter der éischter Ukënnegung vun der Hydra Konferenz op Habré ass zimlech laang vergaangen. Während dëser Zäit ass vill geschafft ginn - an elo hu mir eng Lëscht vun bal all Rapporten. Keng schlueleg Single-threaded Algorithmen, just reng verdeelt Hardcore! Loosst eis mat allgemenge Wierder ofschléissen a kucken wat mir elo op der Hand hunn.

Keynotes

Keynotes fänken un d'Deeg vun der Konferenz op. Normalerweis ass de Punkt vun enger Ouverture Keynote den allgemenge Geescht an d'Richtung vun der Konferenz ze setzen. Den Ofschloss Keynote zitt eng Linn an erkläert wéi mir mat de Wëssen a Fäegkeete kënne liewen, déi während der Konferenz erfaasst ginn. Den Ufank an d'Enn: wat am beschten erënnert ass, an allgemeng, huet eng grouss Bedeitung.

Cliff Klick Den H2O verdeelt K/V Algorithmus

Cliff ass eng Legend an der Java Welt. Am spéiden 90er, fir seng Dokteraarbecht, huet hien e Pabeier mam Titel geschriwwen "Analysen kombinéieren, Optimisatiounen kombinéieren", déi eng Zäit méi spéit d'Basis fir HotSpot JVM Server Compiler gouf. Zwee Joer méi spéit huet hie scho bei Sun Microsystems um JVM geschafft an der ganzer Welt gewisen, datt JIT e Recht huet ze existéieren. Dës ganz Geschicht iwwer wéi Java ee vun de schnellsten modernen Runtime ass mat de schlausten a schnellsten Optimisatiounen koum vum Cliff Click. Ganz am Ufank gouf gegleeft datt wann eppes fir e statesche Compiler zougänglech ass, Dir musst net emol probéieren et ze jitten. Dank der Aarbecht vum Cliff an dem Team hunn all nei Sprooche ugefaang mat der Iddi vun der JIT Compilatioun als Standard erstallt ze ginn. Natierlech war dat net eng eenzeg Persoun, mee de Cliff huet eng ganz wichteg Roll doranner gespillt.

An der Ouverture Keynote wäert de Cliff iwwer säin anere Beméihung schwätzen - H20, eng In-Memory Plattform fir verdeelt a skalierbar Maschinnléiere fir industriell Uwendungen. Oder méi präzis iwwer d'verdeelt Lagerung vu Schlësselwäertpaaren dobannen. Dëst ass eng ganz séier Späichere mat vill interessanten Eegeschaften (déi genau Lëscht ass an Beschreiwung), déi d'Benotzung vun ähnlechen Léisungen an der Mathematik vu Big Data Streaming erlaben.

En anere Bericht deen de Cliff wäert ginn ass - D'Azul Hardware Transactional Memory Erfahrung. En aneren Deel vu senger Biographie - zéng Joer Aarbecht op Azul, wou hien vill Saachen am Azul Hardware an Technologie Stack aktualiséiert a verbessert huet: JIT Compilers, Runtime, thread Modell, Fehlerhandhabung, Stack Handhabung, Hardware Ënnerbriechungen, Klass Luede, a sou weider a sou weider - gutt, Dir kritt de Iddi.

Deen interessantsten Deel huet ugefaang wéi se Hardware fir e grousst Geschäft gemaach hunn - e Supercomputer fir Java ze lafen. Et war eng zimlech innovativ Saach, speziell fir Java ugepasst, déi speziell Ufuerderungen huet - Liest Gedächtnisbarrièren fir Low-Pause Drecksammlung, Arrays mat Grenzkontrolle, virtuell Uriff ... Eng vun de coolsten Technologien ass Hardware Transaktiounsspeicher. De ganze L1 vun iergendenger vun den 864 Käre kéinten un der Transaktiounsschrëft deelhuelen, wat besonnesch wichteg ass fir mat Spären am Java ze schaffen (synchroniséiert Blöcke kënnen parallel funktionnéieren soulaang et kee richtege Gedächtniskonflikt ass). Awer déi schéi Iddi gouf duerch haart Realitéit zerstéiert - an an dësem Gespréich wäert de Cliff Iech soen firwat HTM a STM net ganz gutt passen fir déi praktesch Bedierfnesser vu Multi-threaded Computing.

Michael Scott - Dual Datestrukturen

Michael Scott - Professer fir Informatik op der Universitéit vu Rochester, mat deem Schicksal him verbonnen huet schonn 34 Joer aal, a bei senger Heemecht Universitéit vu Wisconsin-Madison war hie fir fënnef Joer Dekan. Hie fuerscht a léiert Studenten iwwer parallel a verdeelt Programméierung a Sproochdesign.

D'ganz Welt kennt de Michael dank dem Léierbuch "Programméiere Sprooch Pragmatik", vun där déi lescht Editioun relativ kierzlech publizéiert gouf - am Joer 2015. Seng Aarbecht "Algorithmen fir skalierbar Synchroniséierung op Multiprocessoren mat gemeinsame Memory" krut Dijkstra Präis als ee vun de bekanntste am Beräich vun verdeelt Informatik an offen leien an der University of Rochester Online Library. Dir kennt hien och als Auteur vum ganz Michael-Scott Algorithmus aus "Einfach, séier a praktesch Net-Blockéierend a Blockéierend Concurrent Queue Algorithms".

Wat d'Java Welt ugeet, ass dëst e spezielle Fall: zesumme mam Doug Lea huet hien déi net-blockéierend Algorithmen a Synchronschlaangen entwéckelt, op deenen d'Java-Bibliothéike schaffen. Dëst ass genau wat d'Keynote "Dual Data Strukturen" wäert sinn - d'Aféierung vun dëse Strukturen am Java SE 6 huet d'Performance ëm 10 Mol verbessert java.util.concurrent.ThreadPoolExecutor. Wann Dir Iech am Viraus frot wat dës "Dual Date Strukturen" sinn, da gëtt et Informatioun doriwwer Zesummenhang Aarbecht.

Maurice Herlihy - Blockchains an d'Zukunft vum verdeelte Informatik

Maurice Herlihy - Gewënner vun zwee Dijkstra Präisser. Déi éischt ass fir Aarbecht op "Waartfräi Synchroniséierung" (Brown University), an déi zweet, méi rezent - "Transaktiounsspeicher: architektonesch Ënnerstëtzung fir Sperrfräi Datestrukturen" (Virginia Tech University). Den Dijkstra Präis erkennt Aarbecht, deenen hir Bedeitung an Impakt op d'mannst zéng Joer sichtbar sinn, an de Maurice ass kloer ee vun de renomméiertsten Experten am Beräich. Hien schafft de Moment als Professer op der Brown University an huet eng Paragraf-laang Lëscht vun Erreechen.

An dësem Ofschloss Keynote wäert Maurice iwwer d'Theorie an d'Praxis vun blockchain verdeelt Systemer schwätzen aus der Siicht vun de Klassiker vun verdeelt Informatik a wéi et vill verbonne Problemer vereinfacht. Dëst ass e Bericht exklusiv iwwer d'Thema vun der Konferenz - guer net iwwer den Mining-Hype, mee éischter iwwer wéi eist Wëssen erstaunlech effektiv a passend a Relatioun mat verschiddenen Aufgaben benotzt ka ginn.

Am Juli 2017 ass de Maurice schonn a Russland komm fir an der SPTDC Schoul ze goen, huet un der JUG.ru Meetup deelgeholl, an d'Opnahm kann op YouTube gekuckt ginn:

Haaptprogramm

Als nächst gëtt et e kuerzen Iwwerbléck iwwer d'Rapporten am Programm. E puer vun de Berichter ginn hei am Detail beschriwwen, anerer méi kuerz. Laang Beschreiwunge goungen haaptsächlech op engleschsproocheg Berichter, déi Linken op wëssenschaftlech Aarbechten, Begrëffer op Wikipedia, asw. Déi komplett Lëscht ass verfügbar gesinn op der Konferenz Websäit. D'Lëscht op der Websäit gëtt aktualiséiert an ergänzt.

Leslie Lamport - Q & A

D'Leslie Lamport ass den Autor vu seminale Wierker am verdeeltem Informatik. "LaTeX" steet fir "Lamport TeX". Et war hien, deen als éischt, am Joer 1979, d'Konzept agefouert huet konsequent Konsequenz, a säin Artikel "Wéi e Multiprocessor Computer ze maachen deen Multiprocess Programmer richteg ausféiert" krut den Dijkstra Präis.

Dëst ass den ongewéinlechsten Deel vum Programm am Format, well et net emol e Bericht ass, awer eng Fro an Äntwert Sessioun. Wann e groussen Deel vum Publikum scho vertraut ass (oder kann sech kennen) mat all Zorte vu Wierker baséiert op "Lamport's Theorie", sengen eegenen Artikelen a Berichter, ass et méi wichteg all verfügbar Zäit fir direkt Kommunikatioun ze verbréngen.

D'Iddi ass einfach - Dir kuckt zwee Berichter op YouTube: "Programméiere soll méi wéi Kodéierung sinn" и "Wann Dir kee Programm schreift, benotzt keng Programméierungssprooch" a preparéieren op d'mannst eng Fro, an Leslie Äntwerten.

Déi éischt vun dësen zwee Videoen hu mir schonn an en habro Artikel ëmgewandelt. Wann Dir keng Stonn Zäit hutt fir de Video ze kucken, kënnt Dir dat ganz séier an Textform liesen.

Notiz: Et gi vill méi Leslie Lamport Videoen op YouTube. Zum Beispill gëtt et eng excellent TLA+ Course. Eng offline Versioun vun dësem ganze Cours ass verfügbar op Auteur senger Homepage, an hien huet et op YouTube eropgelueden fir méi einfach op mobilen Apparater ze gesinn.

Martin Kleppmann - Synchroniséiert Daten iwwer Benotzergeräter fir verdeelt Zesummenaarbecht

De Martin Kleppmann ass e Fuerscher op der University of Cambridge déi un CRDT a formeller Verifizéierung vun Algorithmen schafft. Martin säi Buch "Datenintensiv Uwendungen designen", publizéiert am 2017, huet sech als ganz erfollegräich bewisen an huet et op Bestsellerlëschten am Beräich vun der Datelagerung an der Veraarbechtung gemaach. Kevin Scott, CTO bei Microsoft, eemol gesot: "Dëst Buch soll e Must-Have fir Software Ingenieuren sinn. Dëst ass eng selten Ressource déi Theorie a Praxis kombinéiert fir Entwéckler méi schlau ze hëllefen beim Design an Ëmsetzung vun Infrastrukturen an Datesystemer. Den Ersteller vu Kafka an den CTO vu Confluent, Jay Kreps, sot eppes ähnlech.

Ier hien an d'akademesch Fuerschung geplënnert ass, huet de Martin an der Industrie geschafft an zwee erfollegräich Start-ups matgegrënnt:

• Rapportiv, gewidmet fir de soziale Profil vu Kontakter aus Ärer E-Mail ze weisen, déi LinkedIn am 2012 kaaft huet;
• Go Test It, e Service fir automatesch Websäiten a verschiddene Browser ze testen, deen RedGate am Joer 2009 kaaft huet.

Am Allgemengen, huet de Martin, obwuel manner berühmt wéi eis Keynotes, schonn e puer Bäitrag zu der Entwécklung vum verdeeltem Informatik an der Industrie leeschten.

An dësem Gespréich schwätzt de Martin iwwer en Thema méi no bei senger akademescher Fuerschung. A Google Docs an ähnlechen Dokument Co-Editing Canapéë bezitt "Kollaborativ Redaktioun" op eng Replikatiouns Aufgab: all Benotzer huet seng eege Replika vum gedeelt Dokument, deen se dann änneren, an all Ännerunge ginn iwwer d'Netz an de Rescht vum Dokument geschéckt. Participanten. Ännerungen un Dokumenter offline féieren zu enger temporärer Inkonsistenz vum Dokument par rapport zu anere Participanten, a Re-Synchroniséierung erfuerdert Konflikthandhabung. Dat ass genee fir wat se existéieren Konfliktfräi Replizéiert Datentypen (CRDT), tatsächlech, ass eng zimlech nei Saach, d'Essenz vun deem war eréischt 2011 formuléiert. Dëst Gespréich diskutéiert wat zënterhier an der Welt vum CRDT geschitt ass, wat déi lescht Fortschrëtter sinn, d'Approche fir lokal éischt Uwendungen am Allgemengen ze kreéieren an d'Benotzung vun enger Open Source Bibliothéik Automerge besonnesch.

Nächst Woch publizéieren mir e laangen Interview mam Martin op Habré, et gëtt interessant.

Pedro Ramalhete - Waart-gratis Daten Strukturen an wait-gratis Transaktiounen

Pedro schafft bei Cisco an entwéckelt parallel algorithms fir de leschten zéng Joer oder gesot, dorënner Synchroniséierung Mechanismen, Spär-gratis an wait-gratis Daten Strukturen an alles Dir op dësem Thema virstellen kann. Seng aktuell Fuerschung an Ingenieursinteresse konzentréiere sech op Universal Konstruktiounen, Software Transactional Memory, Persistent Memory an ähnlech Technologien déi korrekt, skalierbar a Feelertolerant Uwendungen erméiglechen. Hien ass och den Auteur vun engem Blog wäit bekannt a schmuele Kreesser Concurrency Freaks.

Déi meescht multithreaded Uwendungen lafen elo op parallele Datestrukturen, vun der Notzung vu Messageschlaangen tëscht Akteuren bis indexéiert Datestrukturen a Schlësselwäertgeschäfter. Si hu fir vill Joren erfollegräich am Java JDK geschafft, a si gi lues a lues op C ++ bäigefüügt.

Deen einfachste Wee fir eng parallel Datestruktur ëmzesetzen ass eng sequentiell (een-threaded) Implementatioun an där Methode vu Mutexe geschützt sinn. Dëst ass fir all Juni zougänglech, awer huet offensichtlech Probleemer mat Skaléieren an Leeschtung. Gläichzäiteg, Spär-gratis an wait-gratis Daten Strukturen net nëmme besser mat Feeler eens, mä hunn och eng besser Leeschtung Profil - awer, hir Entwécklung verlaangt déif Expertise an Adaptatioun un eng spezifesch Applikatioun. Eng falsch Zeil vum Code ass genuch fir alles ze briechen.

Wéi kënne mir et esou maachen, datt och en Net-Expert esou Datestrukture kann designen an ëmsetzen? Et ass bekannt datt all sequentiellen Algorithmus thread sécher ka gemaach ginn mat entweder universell Design, oder Transaktiounsspeicher. Fir eng Saach kënne se d'Barrière fir d'Entrée reduzéieren fir dëse Problem ze léisen. Wéi och ëmmer, béid Léisunge féieren typesch zu ineffektiver Ëmsetzung. De Pedro wäert schwätzen iwwer wéi se et fäerdeg bruecht hunn dës Designen méi effizient ze maachen a wéi Dir se fir Är Algorithmen benotze kënnt.

Heidi Howard - Befreiende verdeelt Konsens

Heidi Howard ass, wéi de Martin, e verdeelt Systemfuerscher op der University of Cambridge. Hir Spezialitéiten sinn Konsequenz, Feeler Toleranz, Leeschtung a verdeelt Konsens. Si ass am Beschten bekannt fir hir Generaliséierung vum Paxos Algorithmus genannt Flexibel Paxos.

Réckruff datt Paxos ass eng Famill vu Protokoller fir de Problem vum Konsens an engem Netz vun onzouverlässeg Computeren ze léisen, baséiert op der Aarbecht vum Leslie Lamport. Sou schaffen e puer vun eise Spriecher u Problemer, déi ursprénglech vun eisen anere Spriecher proposéiert goufen - an dat ass wonnerbar.

D'Kapazitéit fir Konsens tëscht verschidde Hosten ze fannen - fir Adressen, Leaderwahlen, Blockéieren oder Koordinatioun - ass e fundamentalt Thema a modernen verdeelt Systemer. Paxos ass elo den Haapt Wee fir Konsensproblemer ze léisen, an et gëtt vill Fuerschung ronderëm et lass fir den Algorithmus fir verschidde praktesch Bedierfnesser auszebauen an ze optimiséieren.

An dësem Gespréich wäerte mir d'theoretesch Basis vu Paxos iwwerpréiwen, déi ursprénglech Ufuerderungen entspanen an den Algorithmus generaliséieren. Mir wäerte gesinn datt Paxos am Wesentlechen nëmmen eng Optioun ënner enger riseger Palette vu Konsens Approche ass, an datt aner Punkten um Spektrum och ganz nëtzlech sinn fir gutt verdeelt Systemer ze bauen.

Alex Petrov - Reduzéiert Är Späicherkäschte mat Transient Replikatioun a Cheap Quorums

Den Alex ass en Datebank- a Späichersystemer Spezialist, a méi wichteg fir eis, en Engagement an Cassandra. Hien schafft de Moment un engem Buch, Database Internals, mam O'Reilly.

Fir Systemer mat eventuell Konsequenz (an der russescher Terminologie - "ultimate Konsistenz"), no engem Node Crash oder engem Netz Spaltung, musst Dir de folgenden Dilemma léisen: entweder weider Ufroen ausféieren, Konsistenz opferen, oder refuséieren se auszeféieren an d'Disponibilitéit opzeginn. An esou engem System, Quorumen, iwwerlappend Ënnersätz vu Wirbelen a suergen datt op d'mannst ee Node de rezente Wäert enthält, kënnen eng gutt Randléisung sinn. Dir kënnt Feeler a Verloscht vu Konnektivitéit op e puer Wirbelen iwwerliewe wärend Dir ëmmer nach mat de leschte Wäerter reagéiert.

Allerdéngs huet alles säi Präis. E Quorum Replikatiounsschema bedeit erhéicht Späicherkäschte: redundante Donnéeën mussen op e puer Wirbelen gläichzäiteg gespäichert ginn fir sécherzestellen datt et genuch Exemplare verfügbar ass wann e Problem optrieden. Et stellt sech eraus datt Dir net all d'Donnéeën op all de Repliken späichere musst. Dir kënnt d'Laascht op d'Späichere reduzéieren wann Dir Daten nëmmen op en Deel vun den Wirbelen späichert, a speziell Wirbelen benotzen (Transient Replica) fir Szenarie fir Versoen.

Am Laf vum Rapport wäerte mir iwwerleeën Zeien Replicas, de Replikatiounsschema benotzt an Spanner и mega store, an der Ëmsetzung vun dësem Konzept an Apache Cassandra genannt Transient Replikatioun & Bëlleg Quorumen.

Dmitry Vyukov - Goroutines ausgesat

Den Dmitry ass en Entwéckler bei Google, deen un dynameschen Tester fir C/C++ a Go — Address/Memory/ThreadSanitizer, a vergläichbar Kernel-Tools schafft. LinuxHie huet e skalierbare Goroutine Scheduler, e Netzwierk Poller an e parallele Garbage Collector zu Go bäigedroen. Hie ass en Expert am Multithreading, den Auteur vun enger Dose neien net-blockéierenden Algorithmen, an hält den ... Schwaarze Rimm Intel.

Elo e bëssen iwwert de Rapport selwer. D'Go Sprooch huet gebierteg Ënnerstëtzung fir Multithreading a Form vu Goroutinen (liicht thread) a Kanäl (FIFO Schlaangen). Dës Mechanismen maachen et ganz einfach an agreabel fir Benotzer modern Multi-threaded Uwendungen ze schreiwen, an et gesäit aus wéi Magie. Wéi mir verstoen, gëtt et keng Magie hei. An dësem Gespréich wäert den Dmitry an d'Intricacies vum Go Scheduler verdéiwen an d'Geheimnisser vun der Ëmsetzung vun dëser "Magie" weisen. Als éischt wäert hien en Iwwerbléck iwwer d'Haaptkomponente vum Scheduler ginn an Iech soen wéi et funktionnéiert. Als nächst wäerte mir eenzel Aspekter méi no kucken wéi d'Parkéieren / Unparking Strategie an d'Handhabung vu Blockéierungssystemer. Schlussendlech wäert den Dmitry e bëssen iwwer méiglech Verbesserunge vum Scheduler schwätzen.

Dmitry Bugaichenko - Beschleunegt verdeelt Grafikanalyse mat probabilistesche Skizzen a méi

Den Dmitry huet bal 9 Joer am Outsourcing geschafft ouni de Kontakt mat der Uni an der wëssenschaftlecher Gemeinschaft ze verléieren. Big Data Analyse an Odnoklassniki gouf fir hien eng eenzegaarteg Chance fir theoretesch Ausbildung a wëssenschaftlech Fundament ze kombinéieren mat der Entwécklung vun realen, gefrote Produkter.

Verdeelt Grafikanalyse war a bleift eng schwiereg Aufgab: wann et néideg ass Informatiounen iwwer d'Verbindunge vun engem Nopeschvertex ze kréien, mussen d'Donnéeën dacks tëscht Maschinnen transferéiert ginn, wat zu enger erhéiter Ausféierungszäit a Laascht op d'Netzinfrastruktur féiert. An dësem Gespréich wäerte mir gesinn wéi Dir bedeitend Veraarbechtungsgeschwindegkeete kritt andeems Dir probabilistesch Datestrukturen oder Fakten benotzt wéi d'Symmetrie vun der Frëndschaftsgrafik an engem sozialen Netzwierk. All dëst ass mat Code Beispiller am Apache Spark illustréiert.

Denis Rystsov - Reduzéiert Är Späicherkäschte mat Transient Replikatioun a Cheap Quorums

Denis - Entwéckler Kosmos DB, en Expert fir Konsistenzmodeller, Konsens Algorithmen a verdeelt Transaktiounen ze kontrolléieren. Hien schafft de Moment bei Microsoft, a virdru huet hien u verdeelt Systemer bei Amazon an Yandex geschafft.

An dësem Gespréich wäerte mir d'verdeelt Transaktiounsprotokoller kucken, déi an de leschte Joren erfonnt goufen, déi op der Clientssäit uewen op all Dategeschäft implementéiert kënne ginn, deen bedingt Update ënnerstëtzt (vergläicht a setzt). Déi ënnescht Linn ass datt d'Liewen net mat engem Zwee-Phase Verpflichtung op en Enn geet, Transaktioune kënnen uewen op all Datenbanken bäigefüügt ginn - um Applikatiounsniveau, awer verschidde Protokoller (2PC, Percolator, RAMP) hunn verschidden Ofwiesselungen a ginn eis net ginn. fir näischt.

Alexey Zinoviev - Net all ML Algorithmen maachen et zum verdeeltem Himmel

Alexei (zaleslaw) ass e laangjärege Spriecher a Member vun de Programmkomiteen op anere Konferenzen. Ausüben Trainer bei EPAM Systems, an ass Frënn mat Hadoop / Spark an aner Big Data zënter 2012.

An dësem Gespréich schwätzt den Alexey iwwer d'Problemer vun der Adaptatioun vun klassesche Maschinnléieralgorithmen fir d'Ausféierung am verdeelte Modus baséiert op senger Erfahrung mat Apache Spark ML, Apache Mahout, Apache Flink ML an d'Erfahrung fir Apache Ignite ML ze kreéieren. Alexey wäert och iwwer d'Ëmsetzung vun verdeelt ML Algorithmen an dëse Kaderen schwätzen.

A schliisslech zwee Berichter vu Yandex iwwer Yandex Datebank.

Vladislav Kuznetsov - Yandex Datebank - wéi mir Feeler Toleranz garantéieren

Vladislav ass en Entwéckler bei Yandex an der verdeelt Plattform Grupp. Yandex Datebank ass eng horizontal skalierbar, geo-verdeelt, Feeler-tolerant DBMS déi den Ausfall vun Disken, Serveren, Racken an Datenzenteren widderstoen kann ouni Konsistenz ze verléieren. Fir Feeler Toleranz ze garantéieren, gëtt e propriétaire Algorithmus benotzt fir verdeelt Konsens z'erreechen, souwéi eng Rei technesch Léisungen, déi am Detail am Bericht diskutéiert ginn. De Bericht kann interessant sinn fir béid DBMS Entwéckler an Entwéckler vun Applikatiounsléisungen baséiert op DBMS.

Semyon Checherinda - Verdeelt Transaktiounen an YDB

Semyon ass en Entwéckler an der verdeeler Plattform Grupp bei Yandex, schafft un der Méiglechkeet vu Multi-Tenant Notzung vun der YDB Installatioun.

Yandex Datebank ass fir OLTP Ufroen entwéckelt a entsprécht ACID Ufuerderunge fir en Transaktiounssystem. An dësem Bericht wäerte mir den Transaktiounsplangalgorithmus betruechten deen dem YDB Transaktiounssystem ënnerläit. Loosst eis kucken wéi eng Entitéiten un Transaktiounen deelhuelen, wien d'global Uerdnung un d'Transaktiounen zouginn, wéi d'Transaktiounsatomitéit, d'Zouverlässegkeet an e strikte Niveau vun der Isolatioun erreecht ginn. Benotzt e gemeinsame Problem als Beispill, loosst eis Transaktiounsimplementatiounen kucken mat zwee-Phase Verpflichtungen an deterministesche Transaktiounen. Loosst eis hir Differenzen diskutéieren.

Wat d'nächst?

De Konferenzprogramm gëtt weider mat neie Berichter gefëllt. Besonnesch erwaarden mir e Bericht vun Nikita Koval (ndkoval) vun JetBrains an Oleg Anastasyev (m0 mierkt) vun der Odnoklassniki Firma. Nikita schafft un Algorithmen fir Coroutinen am Kotlin Team, an Oleg entwéckelt Architektur a Léisunge fir High-load Systemer an der Odnoklassniki Plattform. Ausserdeem gëtt et nach 1 bedingt eidel Plaz, de Programmkomitee schafft elo mat Kandidaten dofir.

D'Hydra Konferenz fënnt den 11-12 Juli zu St. Tickete si verfügbar kafen op der offizieller Websäit. Weg oppassen op d'Disponibilitéit vun Online Ticketen - wann aus irgend engem Grond kënnt Dir dës Deeg net zu St.

Bis zu Hydra!

Source: will.com