19 teste d'idra. Grande panoramica di u prugramma

Una cunferenza si ferà l'11-12 di lugliu in San Petruburgu Hydra, dedicatu à u sviluppu di sistemi paralleli è distribuiti. U truccu di l'Hydra hè chì unisce i scientisti cool (chì sò generalmente truvati solu in cunferenze scientifiche straniere) è famosi ingegneri praticanti in un grande prugramma à l'intersezzione di a scienza è a pratica.

Hydra hè una di e nostre cunferenze più impurtanti in l'ultimi anni. Hè stata preceduta da una preparazione assai seria, selezzione di parlanti è rapporti. A settimana passata nantu à questu L'intervista di habro hè ghjunta cù u direttore di JUG.ru Group, Alexey Fedorov (23derevo).

Мы digià dettu circa trè participanti impurtanti, i fundatori di a tiuria di sistemi distribuiti - Leslie Lamport, Maurice Herlihy è Michael Scott. Hè ora di parlà più in dettagliu di tuttu u prugramma !

19 teste d'idra. Grande panoramica di u prugramma

Motivazione

Sè vo site implicatu in a prugrammazione, allora in un modu o in l'altru avete trattatu di multithreading è l'informatica distribuita. I sperti in i campi pertinenti travaglianu cun elli direttamente, ma implicitamente, a distribuzione ci guarda da ogni locu: in ogni computer multi-core o serviziu distribuitu ci hè qualcosa chì esegue calculi in parallelu.

Ci sò parechje cunferenze chì copre parechji aspetti di a prugrammazione di l'applicazione. Da l'altra parte di u spettru, avemu scole scientifiche specializate chì revelanu una grande quantità di teoria cumplessa in forma di lezione. Per esempiu, in parallelu cù Hydra in San Petruburgu ci hè A scola SPTDC. À a cunferenza di l'Hydra, avemu pruvatu à riunisce a pratica dura, a scienza, è tuttu ciò chì hè in a so intersezzione.

Pensate à questu: campemu in un tempu maravigghiusu quandu pudete scuntrà in persona i fundatori di u campu di a scienza è l'ingegneria chì studiemu. I fisici ùn scuntrà nè Newton nè Einstein - u trenu hè partutu. Ma vicinu à noi campanu sempre quelli chì anu creatu i fundamenti di a teoria di i sistemi distribuiti, inventavanu linguaggi di prugrammazione populari, è per a prima volta incarnavanu tuttu questu in prototipi di travagliu. Queste persone ùn anu micca lasciatu u so travagliu à mità di strada, sò avà travagliatu nantu à prublemi pressanti in università è cumpagnie famose in u mondu, è sò i più grandi fonti di cunniscenza è di sperienza oghje.

Per d 'altra banda, l'uppurtunità di scuntrà elli di solitu resta puramente teorica: pochi di noi ponu monitorà constantemente l'avvenimenti publichi in una certa Università di Rochester, è poi curriri à l'USA è torna per una conferenza cù Michael Scott. A visita di tutti i membri di l'Hydra costaria una piccula furtuna, senza cuntà l'abissu di u tempu perdu (ancu si sona cum'è una ricerca interessante).

Per d 'altra banda, avemu parechji ingegneri superiori chì travaglianu nantu à prublemi pressanti in sistemi distribuiti avà, è anu definitu assai da dì. Ma quì hè u prublema - elli sò travagliani, è u so tempu hè preziosu. Iè, sè vo site un impiigatu di Microsoft, Google o JetBrains, a probabilità di scuntrà unu di i famosi parlanti in un avvenimentu internu aumenta assai, ma in generale, no, questu ùn succede micca ogni ghjornu.

In questu modu, a Conferenza Hydra rializeghja un compitu impurtante chì a maiò parte di noi ùn pudemu micca fà per sè stessu - in un locu è à un tempu, riunisce e persone chì l'idee o l'interazzione cù quale ponu cambià a vostra vita. Admettu chì micca tutti ùn anu bisognu di sistemi distribuiti o di qualchi cose fundamentali cumplessi. Pudete programà CRUDs in PHP per u restu di a vostra vita è stà cumplettamente felice. Ma quellu chì hà bisognu, questa hè a vostra chance.

Hè passatu assai tempu da u primu annunziu di a cunferenza Hydra nantu à Habré. Duranti stu tempu, assai travagliu hè statu fattu - è avà avemu una lista di quasi tutti i rapporti. Nisun algoritmi uni-threaded lenti, solu puramente hardcore distribuitu! Finitemu cù e parolle generale è vede ciò chì avemu in manu avà.

Keynotes

I keynotes cumincianu è finiscinu i ghjorni di a cunferenza. Di solitu u puntu di una keynote di apertura hè di stabilisce u spiritu generale è a direzzione di a cunferenza. A keynote di chiusura traccia una linea è spiega cumu pudemu campà cù e cunniscenze è e cumpetenze acquistate durante a cunferenza. U principiu è a fine: ciò chì hè ricurdatu megliu, è in generale, hà aumentatu u significatu.

Cliff Cliccà L'algoritmu K/V distribuitu H2O

19 teste d'idra. Grande panoramica di u prugramma Cliff hè una legenda in u mondu Java. À a fine di l'anni 90, per a so tesi di PhD, hà scrittu un articulu intitulatu "Analisi cumminendu, cumminendu ottimisazioni", chì qualchì tempu dopu diventò a basa per HotSpot JVM Server Compiler. Dui anni dopu, hà digià travagliatu in Sun Microsystems nantu à a JVM è hà dimustratu à u mondu sanu chì JIT hà u dirittu di esiste. Sta storia sana nantu à cumu Java hè unu di i runtimes muderni più veloci cù l'ottimisazioni più intelligenti è veloci hè vinutu da Cliff Click. À u principiu, era cridutu chì, se qualcosa hè accessibile à un compilatore staticu, ùn avete mancu à pruvà à jit. Grazie à u travagliu di Cliff è squadra, tutte e lingue novi cuminciaru à esse creatu cù l'idea di compilazione JIT per difettu. Di sicuru, questu ùn era micca un travagliu unicu, ma Cliff hà ghjucatu un rolu assai impurtante in questu.

In u discorsu di apertura, Cliff parlerà di u so altru sforzu - H20, una piattaforma in memoria per l'apprendimentu automaticu distribuitu è ​​scalabile per l'applicazioni industriali. O più precisamente, circa l'almacenamiento distribuitu di coppie chjave-valore in ellu. Questu hè un almacenamentu assai veloce cù assai pruprietà interessanti (a lista esatta hè in descrizzione), chì permettenu l'usu di suluzioni simili in a matematica di u big data streaming.

Un altru rapportu chì Cliff darà hè - L'esperienza di Memoria Transazionale di Hardware Azul. Una altra parte di a so biografia - deci anni travaglià in Azul, induve hà aghjurnatu è migliuratu assai cose in u hardware è a pila di tecnulugia Azul: compilatori JIT, runtime, mudellu di filu, gestione d'errore, manipulazione di pila, interruzioni hardware, carica di classi, è cetara è cetara - bè, avete u idea.

A parte più interessante principia quandu anu fattu hardware per una grande impresa - un supercomputer per eseguisce Java. Era una cosa piuttostu innovativa, adattata specificamente per Java, chì hà esigenze speciali - leghjite barriere di memoria per a cullizzioni di basura in bassa pausa, arrays with bounds checking, virtual calls... Una di e tecnulugia più cool hè a memoria transazionale hardware. Tuttu u L1 di qualsiasi di i nuclei 864 puderia participà à a scrittura transazzione, chì hè particularmente impurtante per travaglià cù chjusi in Java (i blocchi sincronizzati ponu travaglià in parallelu, sempre chì ùn ci hè micca un veru cunflittu di memoria). Ma a bella idea hè stata schiacciata da a dura realità - è in questa discussione Cliff vi dicerà perchè HTM è STM ùn sò micca assai adattati per i bisogni pratichi di l'informatica multi-threaded.

Michael Scott - Strutture di dati duali

19 teste d'idra. Grande panoramica di u prugramma Michael Scott - Prufessore di Informatica à l'Università di Rochester, cù quale u destinu l'hà cunnessu digià 34 anni, è in a so casa Università di Wisconsin-Madison, era decanu per cinque anni. Studia è insegna à i studienti nantu à a prugrammazione parallela è distribuita è u disignu di lingua.

U mondu sanu sapi Michael grazia à u libru di testu "Pragmatica di lingua di prugrammazione", l'ultima edizione di quale hè stata publicata pocu pocu pocu - in 2015. U so travagliu "Algoritmi per a sincronizazione scalabile nantu à i multiprocessori di memoria spartuta" ricevutu Premiu Dijkstra cum'è unu di i più famosi in u campu di l'informatica distribuita è stendu apertamente à a Biblioteca Online di l'Università di Rochester. Pudete ancu cunnosce ellu cum'è l'autore di l'algoritmu assai Michael-Scott da "Semplici, Veloci è Pratichi Non-Blocking and Blocking Queue Algoritmi Concurrenti".

In quantu à u mondu Java, questu hè un casu particulari: inseme cù Doug Lea, hà sviluppatu l'algoritmi non-bloccanti è e file sincrone nantu à quale travaglianu e librerie Java. Questu hè esattamente ciò chì trattarà a keynote "Dual data structures" - l'intruduzione di queste strutture in Java SE 6 hà migliuratu u rendiment di 10 volte. java.util.concurrent.ThreadPoolExecutor. Sè vo vi dumandate in anticipu ciò chì sti "strutture di dati Dual" sò, allura ci hè infurmazione circa lu travagliu cunnessu.

Maurice Herlihy - Blockchains è u futuru di l'informatica distribuita

19 teste d'idra. Grande panoramica di u prugramma Maurice Herlihy - vincitore di dui premi Dijkstra. U primu hè per travaglià "Sincronizazione senza attesa" (Università Brown), è a seconda, più recente - "Memoria Transazionale: Supportu Architetturale per Strutture di Dati Senza Lock" (Università Tecnica di Virginia). U Premiu Dijkstra ricunnosce u travagliu chì l'impurtanza è l'impattu sò visibili da almenu deci anni, è Maurice hè chjaramente unu di i sperti più rinumati in u campu. Attualmente travaglia cum'è prufessore in l'Università Brown è hà una lista di cumpitenzi longu.

In questu keynote di chjusi, Maurice parlerà di a teoria è a pratica di i sistemi distribuiti blockchain da u puntu di vista di i classici di l'informatica distribuita è cumu simplificà parechji prublemi rilativi. Questu hè un rapportu solu nantu à u tema di a cunferenza - micca in tuttu nantu à l'hype minerariu, ma piuttostu nantu à cumu a nostra cunniscenza pò esse usata in modu sorprendentemente efficace è apprupriatu in relazione à una varietà di attività.

In u lugliu di u 2017, Maurice hè digià ghjuntu in Russia per assistisce à a scola SPTDC, hà participatu à l'incontru JUG.ru, è a registrazione pò esse vista in YouTube:

Prugramma principale

Dopu ci serà una breve panoramica di i rapporti inclusi in u prugramma. Arcuni di i rapporti sò descritti quì in dettagliu, altri più brevi. Descrizioni longhi sò andati principarmenti à i rapporti in lingua inglese chì necessitavanu ligami à documenti scientifichi, termini in Wikipedia, etc. A lista completa hè dispunibule vede nantu à u situ web di a cunferenza. A lista nantu à u situ web serà aghjurnata è supplementata.

Leslie Lampport - Q & A

19 teste d'idra. Grande panoramica di u prugramma Leslie Lamport hè l'autore di opere seminali in l'informatica distribuita. "LaTeX" sta per "Lamport TeX". Hè ellu chì prima, in u 1979, hà introduttu u cuncettu coerenza sequenziale, è u so articulu "Cumu fà un computer multiprocessore chì eseguisce currettamente i prugrammi multiprocess" hà ricevutu u Premiu Dijkstra.

Questa hè a parte più inusual di u prugramma in quantu à u furmatu, perchè ùn hè ancu un rapportu, ma una sessione di dumande è risposte. Quandu una parte significativa di l'audienza hè digià familiarizata (o pò esse familiarizata) cù ogni tipu d'opere basatu nantu à "a teoria di Lampport", i so articuli è i rapporti, hè più impurtante per passà tuttu u tempu dispunibule nantu à a cumunicazione diretta.

L'idea hè simplice - guardate dui rapporti in YouTube: "A prugrammazione deve esse più cà codificazione" и "Se ùn site micca scrivite un prugramma, ùn aduprate micca una lingua di prugrammazione" è preparanu almenu una dumanda, è Leslie risponde.

U primu di sti dui video avemu digià turnatu in un articulu habro. Se ùn avete micca una ora di tempu per vede u video, pudete leghje rapidamente tuttu in forma di testu.

Nota: Ci sò assai più video Leslie Lampport in YouTube. Per esempiu, ci hè una grande Corso TLA+. Una versione offline di stu cursu tutale hè dispunibule à home page di l'autore, è l'hà caricatu in YouTube per una visualizazione più faciule in i dispositi mobili.

Martin Kleppmann - Sincronizza dati in i dispositi di l'utilizatori per a cullaburazione distribuita

19 teste d'idra. Grande panoramica di u prugramma Martin Kleppmann hè un ricercatore à l'Università di Cambridge chì travaglia in CRDT è verificazione formale di algoritmi. U libru di Martinu "Progettazione di applicazioni intensive di dati", publicatu in 2017, hà dimustratu assai successu è hà fattu nantu à e liste di bestseller in u campu di l'almacenamiento di dati è u processu. Kevin Scott, CTO in Microsoft, una volta hà dettu: "Stu libru deve esse un must-have per l'ingegneri di software. Questa hè una risorsa rara chì combina teoria è pratica per aiutà i sviluppatori più intelligenti in u disignu è l'implementazione di l'infrastruttura è di sistemi di dati ". U creatore di Kafka è CTO di Confluent, Jay Kreps, hà dettu qualcosa simili.

Prima di passà in a ricerca accademica, Martin hà travagliatu in l'industria è hà cofundatu duie start-up di successu:

  • Rapportive, dedicatu à vede u prufilu suciale di cuntatti da u vostru email, chì LinkedIn hà compru in 2012;
  • Go Test It, un serviziu per testà automaticamente siti web in diversi navigatori, chì RedGate hà compru in 2009.

In generale, Martin, ancu s'ellu hè menu famosu di i nostri keynotes, hà digià pussutu fà qualchì cuntribuzione à u sviluppu di l'informatica distribuita è à l'industria.

In questa discussione, Martin parlerà di un tema più vicinu à a so ricerca accademica. In Google Docs è divani di co-edizione di documenti simili, "editura cullaburazione" si riferisce à un compitu di replicazione: ogni utilizatore hà a so propria replica di u documentu spartutu, chì poi mudificanu, è tutti i cambiamenti sò mandati à traversu a reta à u restu di u documentu. participanti. I cambiamenti à i ducumenti offline portanu à l'incoerenza temporale di u documentu in relazione à l'altri participanti, è a resincronizazione richiede a gestione di u cunflittu. Hè esattamente ciò chì esistenu Tipi di dati replicati senza cunflittu (CRDT), in fattu, hè una cosa abbastanza nova, l'essenza di quale hè stata formulata solu in u 2011. Questa discussione discute ciò chì hè accadutu da tandu in u mondu di CRDT, quali sò i più recenti avanzati, l'approcciu di creà applicazioni di primu locu in generale è l'usu di una biblioteca open source. Automerge in particulare.

A settimana prossima publicheremu una longa entrevista cù Martin nant'à Habré, serà interessante.

Petru Ramalhete - Strutture di dati senza attesa è transazzione senza aspittà

19 teste d'idra. Grande panoramica di u prugramma Petru travaglia in Cisco è hà sviluppatu algoritmi paralleli per l'ultimi deci anni o più, cumprese i miccanismi di sincronizazione, strutture di dati senza serratura è senza attesa è tuttu ciò chì pudete imaginà nantu à questu tema. I so attuali interessi di ricerca è ingegneria si cuncentranu nantu à e Custruzzioni Universali, a Memoria Transazionale di Software, a Memoria Persistente è tecnulugia simili chì permettenu l'applicazioni currette, scalabili è toleranti à i difetti. Hè ancu l'autore di un blog assai cunnisciutu in circles stretti Freaks di cuncurrenza.

A maiò parte di l'applicazioni multithreaded ora funzionanu nantu à strutture di dati paralleli, da l'usu di fila di messagi trà l'attori à strutture di dati indexate in i magazzini di valore chjave. Hanu travagliatu cù successu in u Java JDK per parechji anni, è sò lentamente aghjuntu à C++.

A manera più simplice di implementà una struttura di dati parallela hè una implementazione sequenziale (single-threaded) in quale i metudi sò prutetti da mutex. Questu hè accessibile à ogni ghjugnu, ma hà prublemi evidenti cù scaling and performance. À u listessu tempu, e strutture di dati senza serratura è senza attesa ùn sò micca solu affruntà megliu cù l'errori, ma anu ancu un prufilu di prestazione megliu - in ogni modu, u so sviluppu necessita una sperienza prufonda è adattazione à una applicazione specifica. Una linea di codice sbagliata hè abbastanza per rompe tuttu.

Cumu pudemu fà cusì chì ancu un micca espertu pò cuncepisce è implementà tali strutture di dati? Hè cunnisciutu chì ogni algoritmu sequenziale pò esse fattu di filu sicuru usendu sia disignu universale, o memoria transazionale. Per una cosa, ponu abbassà a barrera per l'ingressu à risolve stu prublema. Tuttavia, e duie soluzioni generalmente portanu à una implementazione inefficace. Petru vi parlerà di cumu anu sappiutu per fà questi disinni più efficaci è cumu pudete aduprà per i vostri algoritmi.

Heidi Howard - Liberazione di cunsensu distribuitu

19 teste d'idra. Grande panoramica di u prugramma Heidi Howard hè, cum'è Martin, un ricercatore di sistemi distribuiti in l'Università di Cambridge. E so specialità sò a coerenza, a toleranza à i difetti, u rendiment è u cunsensu distribuitu. Hè più cunnisciuta per a so generalizazione di l'algoritmu Paxos chjamatu Paxos flexible.

Ramintemu què Paxos hè una famiglia di protokolli per risolve u prublema di cunsensu in una reta di computer inaffidabili, basatu annantu à u travagliu di Leslie Lamport. Cusì, alcuni di i nostri parlanti travaglianu nantu à prublemi chì sò stati pruposti inizialmente da i nostri altri parlanti - è questu hè maravigliu.

A capacità di truvà un cunsensu trà parechji ospiti - per l'indirizzu, l'elezzione di u capu, u bloccu, o a coordinazione - hè un prublema fundamentale in i sistemi distribuiti muderni. Paxos hè avà u modu principalu per risolve i prublemi di cunsensu, è ci sò assai ricerche in u circondu per espansione è ottimisà l'algoritmu per diversi bisogni pratichi.

In questa discussione, rivisiteremu a basa teorica di Paxos, rilassendu i bisogni originali è generalizendu l'algoritmu. Videremu chì Paxos hè essenzialmente solu una opzione trà una vasta gamma di approcci di cunsensu, è chì altri punti nantu à u spettru sò ancu assai utili per a custruzzione di boni sistemi distribuiti.

Alex Petrov - Reduce i vostri costi di almacenamentu cù a replicazione transitoria è i quorum economici

19 teste d'idra. Grande panoramica di u prugramma Alex hè un specialistu di basa di dati è sistemi di almacenamentu, è più impurtante per noi, un committer in Cassandra. Attualmente travaglia in un libru, Database Internals, cù O'Reilly.

Per i sistemi cù eventuale coerenza (in a terminologia russa - "coerenza finale"), dopu à un crash di un node o una split network, avete bisognu di risolve u seguente dilemma: o cuntinuà à cumpiendu e dumande, sacrificà a coerenza, o ricusate di eseguisce è sacrificà a dispunibilità. In un tali sistema, i quorums, i subsets overlapping of nodes è assicurendu chì almenu un node cuntene u valore più recente, pò esse una bona suluzione di punta. Pudete sopravvive à i fallimenti è a perdita di cunnessione à certi nodi mentre risponde ancu cù l'ultimi valori.

Tuttavia, tuttu hà u so prezzu. Un schema di replicazione di quorum significa l'aumentu di i costi di almacenamento: i dati redundanti devenu esse almacenati in parechji nodi à una volta per assicurà chì ci sò abbastanza copie dispunibuli quandu si verifica un prublema. Ci hè chì ùn avete micca bisognu di almacenà tutte e dati nantu à tutte e rèpliche. Pudete riduce a carica nantu à l'almacenamiento si guardate dati solu in parte di i nodi, è utilizate nodi speciali (Replica Transient) per scenarii di gestione di fallimentu.

Durante u corsu di u rapportu, avemu da cunsiderà Repliche di testimone, u schema di replicazione utilizatu in Spanner и Megastores, è l'implementazione di stu cuncettu in Apache Cassandra chjamatu Replicazione transitoria è Quorum economici.

Dmitri Vjukov - Goroutines esposti

19 teste d'idra. Grande panoramica di u prugramma Dmitry hè un sviluppatore in Google chì travaglia in teste dinamiche per C/C++ è Go - Address/Memory/ThreadSanitizer, è strumenti simili per u kernel Linux. Cuntribuitu à Go un pianificatore di goroutine scalabile, un poller di rete, è un cullettore di basura parallelu. Hè un espertu in multithreading, l'autore di una decina di novi algoritmi senza bloccu è hè u pruprietariu di Cintura Nera Intel.

Avà un pocu di u rapportu stessu. A lingua Go hà un supportu nativu per u multithreading in forma di goroutines (fili ligeri) è canali (file FIFO). Questi miccanismi facenu assai faciule è piacevule per l'utilizatori di scrive applicazioni muderne multi-threaded, è pare magicu. Comu avemu capitu, ùn ci hè micca magia quì. In questa discussione, Dmitry sfonderà in l'intricacies di u Scheduler Go è mostrarà i sicreti di implementà sta "magia". Prima, vi darà una panoramica di i cumpunenti principali di u scheduler è vi dicu cumu si travaglia. In seguitu, avemu da piglià un ochju più vicinu à aspetti individuali cum'è a strategia di parcheghju / unparking è a gestione di e chjama di u sistema di bloccu. Infine, Dmitry parlerà un pocu di pussibuli megliurenze à u scheduler.

Dmitri Bugaichenko - Accelerazione di l'analisi grafica distribuita cù schizzi probabilistici è più

19 teste d'idra. Grande panoramica di u prugramma Dmitry hà travagliatu in outsourcing per quasi 9 anni senza perde u cuntattu cù l'università è a cumunità scientifica. L'analisi di big data in Odnoklassniki hè diventata per ellu una chance unica di cumminà a furmazione teorica è a fundazione scientifica cù u sviluppu di prudutti veri, in dumanda.

L'analisi di gràficu distribuitu hè stata è ferma un compitu difficiule: quandu hè necessariu di ottene infurmazioni nantu à e cunnessione di un vertice vicinu, i dati spessu anu da esse trasferitu trà e machini, chì porta à u tempu d'esekzione aumentatu è a carica nantu à l'infrastruttura di a rete. In questa discussione, videremu cumu pudete ottene velocità di trasfurmazioni significativu utilizendu strutture probabilistiche di dati o fatti cum'è a simmetria di u graficu di l'amicizia in una reta suciale. Tuttu chistu hè illustratu cù esempi di codice in Apache Spark.

Denis Rystsov - Reduce i vostri costi di almacenamentu cù a replicazione transitoria è i quorum economici

19 teste d'idra. Grande panoramica di u prugramma Denis - sviluppatore Cosmos DB, un espertu in a verificazione di mudelli di cunsistenza, algoritmi di cunsensu è transazzioni distribuiti. Attualmente travaglia in Microsoft, è prima ch'ellu hà travagliatu in sistemi distribuiti in Amazon è Yandex.

In questa discussione, avemu da piglià un ochju à i protokolli di transazzione distribuiti chì sò stati inventati in l'ultimi anni, chì ponu esse implementati da u cliente nantu à ogni magazzinu di dati chì sustene l'aghjurnamentu cundizionale (paragunate è stabilisce). U fondu hè chì a vita ùn finisci micca cù un impegnu in dui fasi, e transazzione ponu esse aghjuntu nantu à qualsiasi basa di dati - à u livellu di l'applicazione, ma i diversi protokolli (2PC, Percolator, RAMP) anu cummerci diversi è ùn sò micca datu à noi. for free.

Alexey Zinoviev - Micca tutti l'algoritmi ML facenu à u celu distribuitu

19 teste d'idra. Grande panoramica di u prugramma Alexei (zaleslaw) hè un oratore di longu tempu è membru di i cumitati di prugramma in altre cunferenze. Trainer in pratica in EPAM Systems, è hè stata amica cù Hadoop / Spark è altri big data da 2012.

In questa conversazione, Alexey parlerà di i prublemi di adattazione di l'algoritmi di apprendimentu di machine classicu per l'esekzione in modu distribuitu basatu annantu à a so sperienza di travaglià cù Apache Spark ML, Apache Mahout, Apache Flink ML è l'esperienza di creà Apache Ignite ML. Alexey parlerà ancu di l'implementazione di l'algoritmi ML distribuiti in questi frameworks.

È infine, dui rapporti da Yandex nantu à a basa di dati Yandex.

Vladislav Kuznetsov - Yandex Database - cumu assicurà a tolleranza di difetti

19 teste d'idra. Grande panoramica di u prugramma Vladislav hè un sviluppatore di Yandex in u gruppu di piattaforma distribuita. Yandex Database hè un DBMS scalable horizontalmente, geo-distribuitu, tolerante à i difetti chì pò sustene u fallimentu di dischi, servitori, rack è centri di dati senza perde a coerenza. Per assicurà a tolleranza di difetti, un algoritmu propiu per ottene u cunsensu distribuitu hè utilizatu, è ancu una quantità di suluzioni tecniche, chì sò discututi in dettagliu in u rapportu. U rapportu pò esse d'interessu sia per i sviluppatori di DBMS sia per i sviluppatori di soluzioni d'applicazione basate in DBMS.

Semyon Checherinda - Transazzioni distribuite in YDB

19 teste d'idra. Grande panoramica di u prugramma Semyon hè un sviluppatore in u gruppu di piattaforma distribuitu in Yandex, chì travaglia nantu à a pussibilità di usu multi-tenant di a stallazione YDB.

A basa di dati Yandex hè pensata per e dumande OLTP è cumpleta cù i requisiti ACID per un sistema transazionale. In questu rapportu, cunsideremu l'algoritmu di scheduling di transazzione chì sottumette u sistema di transazzione YDB. Fighjemu quale entità participanu à e transazzione, quale assigna l'ordine glubale à e transazzione, cumu l'atomicità di a transazzione, l'affidabilità è un strettu livellu di isolamentu sò ottenuti. Aduprà un prublema cumuni cum'è un esempiu, fighjemu l'implementazioni di transazzione chì utilizanu commits in dui fasi è transazzioni deterministiche. Discutemu di e so differenzi.

Chi c'è vicinu?

U prugramma di a cunferenza cuntinueghja à esse pienu di novi rapporti. In particulare, aspittemu un rapportu da Nikita Koval (ndkoval) da JetBrains è Oleg Anastasyev (m0nsmind) da a cumpagnia Odnoklassniki. Nikita travaglia in algoritmi per coroutines in a squadra di Kotlin, è Oleg sviluppa architettura è suluzioni per sistemi di alta carica in a piattaforma Odnoklassniki. Inoltre, ci hè 1 slot più cundizionalmente viotu, u cumitatu di u prugramma travaglia cù i candidati per questu avà.

A cunferenza di l'Hydra si ferà l'11-12 di lugliu in San Petruburgu. I biglietti sò dispunibuli cumprà nant'à u situ ufficiali. Per piacè fate attenzione à a dispunibilità di i biglietti in linea - se per una certa ragione ùn pudete micca ghjunghje à San Petruburgu in questi ghjorni.

Ci si vede à Hydra!

Source: www.habr.com

Add a comment