Recentemente ci sò stati dui avvenimenti à tempu nantu à u sviluppu di sistemi multi-threaded è distribuiti: una cunferenza (11-12 di lugliu) è a scola (8-12 di lugliu). E persone chì sò vicinu à questu tema capiscenu chì vene in Russia Leslie Lampport, Maurice Herlihy и Michael Scott - l'avvenimentu più impurtante. Ma ci sò state altre dumande:
- Cosa aspetta da a cunferenza: "accademicu" o "produzzione"?
- Cumu sò in relazione a scola è a cunferenza? À quale hè questu è quellu destinatu?
- Perchè si sovrapponenu in date?
- Seranu utili à quelli chì ùn anu micca dedicatu a so vita sana à i sistemi distribuiti ?
Tuttu chistu hè ben cunnisciutu da a persona chì hà purtatu Hydra à a vita: u nostru direttore Alexey Fedorov (). Hà rispostu à tutte e dumande.
Formatu
— Una quistione introduttiva per quelli chì sò luntanu da i sistemi distribuiti: di chì sò i dui avvenimenti?
— A sfida glubale hè chì intornu à noi ci sò servizii cù grandi volumi di operazioni è compiti di computing cumplessi chì ùn ponu micca esse fattu nantu à un computer. Questu significa chì deve esse parechje vitture. E poi si ponenu dumande in quantu à sincronizà bè u so travagliu è ciò chì deve fà in cundizioni di micca a più alta affidabilità (perchè l'equipaggiu si rompe è a reta casca).
Più macchine ci sò, più punti di fallimentu ci sò. Chì fà se diverse macchine producenu risultati diffirenti per i stessi calculi? Cosa da fà se a reta sparisce per qualchì tempu è una parte di i calculi diventa isolata, cumu pudete allora cumminà tuttu? In generale, ci sò un milione di prublemi assuciati cù questu. Soluzioni novi - prublemi novi.
In questa zona ci sò spazii cumpletamente applicati, è ci sò più scientifichi - qualcosa chì ùn hè micca diventatu mainstream. Vogliu parlà di ciò chì succede in a pratica è in a scienza, è più impurtante, à a so junction. Hè ciò chì sarà a prima cunferenza Hydra.
— Vogliu capisce u fattu chì ci hè una cunferenza, è ci hè una scola d'estate. Cumu si relazionanu? Se un scontu hè fattu per i participanti di a scola per assistisce à a cunferenza, allora perchè si sovrapponenu in e date, perchè hè impussibile di assistisce à tuttu in una volta senza perdita?
- A scola hè un avvenimentu di a camera per 100-150 persone, induve i principali esperti di u mondu venenu è dà cunferenze per cinque ghjorni. È una situazione nasce quandu i luminari di u mondu sanu si riuniscenu in San Petruburgu per cinque ghjorni, pronti à dì qualcosa. È in questu casu, a decisione hè di urganizà micca solu una scola di camera, ma ancu una cunferenza di più grande scala.
Hè pussibule di tene una tale scola solu in l'estiu, in u lugliu, perchè trà questi specialisti ci sò prufessori universitarii attuali, è ùn sò micca pronti in ogni altru tempu: anu studienti, diplomi, lezioni, etc. U furmatu di a scola hè di cinque ghjorni. Hè cunnisciutu chì in l'estiu in u weekend a ghjente piace à andà in un locu. Questu significa chì ùn pudemu micca fà una cunferenza nè u weekend prima di a scola o u weekend dopu a scola.
È se l'allungate un paru di ghjorni prima o dopu à u weekend, allora magicamente i cinque ghjorni di sughjornu di i specialisti in San Petruburgu si trasformanu in nove. È ùn sò micca pronti per questu.
Per quessa, l'unica suluzione chì avemu trovu era solu di fà a cunferenza in parallelu cù a scola. Iè, questu crea alcuni prublemi. Ci sò persone chì volenu andà à a scola è à una cunferenza, è anu da mancà qualchì lettura quì o quì. A bona nutizia hè chì tuttu questu avarà postu in i saloni vicini, pudete curriri avanti è avanti. È un'altra cosa bona hè a dispunibilità di video recordings, in quale pudete più tardi fighjà tranquillamente ciò chì avete mancatu.
- Quandu dui avvenimenti sò in parallelu, a ghjente hà a quistione "quale aghju bisognu di più?" Chì esattamente duvete aspittà da ognunu, è chì sò e sferenze?
— A scola hè un avvenimentu puramente accademicu, una scola scientifica classica per parechji ghjorni. Qualchissia chì hè stata implicata in a scienza è hà avutu qualcosa à fà cù a scola graduata hà una idea di ciò chì hè una scola accademica.
Di solitu tali avvenimenti accademichi ùn sò micca bè organizzati per via di a mancanza di sapè fà di l'avvenimenti trà e persone chì facenu. Ma simu sempre ragazzi assai sperimentati, cusì pudemu fà tuttu in modu abbastanza cumpetente. Pensu chì da un puntu di vista di l'urganizazione, SPTDC serà capu è spalle sopra ogni scola accademica o basata in ricerca chì avete mai vistu.
Scola SPTDC - questu hè un furmatu induve ogni grande lezione hè lettu in duie coppie: "una ora è mezza - una pausa - una ora è mezza". Avete da capisce chì ùn pò esse faciule per un participante per a prima volta: quandu sta scola hè stata tenuta per a prima volta dui anni fà, eiu stessu era inusual, aghju spentu parechje volte à pocu pressu à mezu à una doppia lezione, è tandu era difficiule di capisce ciò chì succede. Ma questu dipende assai di u prufessore: un bonu lettore parla assai interessante per tutte e trè ore.
Conferenza Hydra - un avvenimentu più praticu. Ci saranu parechji luminari di a scienza chì sò ghjunti à lezioni à a Scola : da , chì u travagliu sottu à a teoria assai di sistemi multi-threaded è distribuitu, à , unu di l'autori di u famosu libru di testu nantu à a cuncurrenza "L'Arte di Programmazione Multiprocessore". Ma à a cunferenza avemu da pruvà à parlà cumu certi algoritmi sò implementati in a realità, chì prublemi ingegneri facenu in a pratica, quale riesce è falla, perchè certi algoritmi sò usati in pratica è altri ùn sò micca. E di sicuru, parlemu di u futuru di u sviluppu di sistemi multi-threaded è distribuitu. Vale à dì, daremu un tali tagliente: ciò chì a scienza mundiale parla ora, ciò chì i pinsamenti di i principali ingegneri giranu intornu, è cumu si mette in tuttu.
- Siccomu a cunferenza hè più appiicata, ùn ci saranu micca solu luminari accademichi, ma ancu parlanti da "pruduzzione"?
- Di sicuru. Avemu pruvatu à vede tutti i "grandi": Google, Netflix, Yandex, Odnoklassniki, Facebook. Ci sò prublemi divertenti specifichi. Per esempiu, tutti dicenu: "Netflix hè un sistema distribuitu, quasi a mità di u trafficu di i Stati Uniti, assai cool", è quandu avete principiatu à guardà i so rapporti, articuli è publicazioni attuali, una ligera delusione si mette. Perchè, ancu s'ellu hè certamente di classe mundiale è ci hè un tagliu di egde, ci hè menu di ciò chì pare à prima vista.
Ci hè un dilema interessante: pudete chjamà rapprisentanti di grande cumpagnie eminenti, o pudete chjamà qualcunu digià cunnisciutu da noi. In realtà, l'expertise esiste sia quì è quì. È simu piuttostu à pruvà à caccià micca "persone di marche assai grande", ma spezialisti assai grande, persone specifiche.
Per esempiu, ci sarà Martin Kleppmann, chì in un tempu hà fattu un splash in LinkedIn è ancu liberatu - forsi unu di i libri basi in u campu di sistemi distribuiti.
- Se una persona ùn travaglia micca in Netflix, ma in una cumpagnia più simplice, si pò dumandassi: "Deve andà à una tale cunferenza, o ci sò ogni tipu di Netflix chì parlanu, ma ùn aghju nunda à fà?"
- Diciaraghju questu: quandu aghju travagliatu in Oracle per un pocu più di trè anni, aghju intesu e cose più maravigghiusu è interessanti in a cucina è in i fumatori, quandu i culleghi si sò riuniti per fà certe parti di a piattaforma Java. Questi puderianu esse persone da a macchina virtuale, o da u dipartimentu di teste, o da a cuncurrenza di rendiment - per esempiu, Lyosha Shipilev è Seryozha Kuksenko.
Quandu anu cuminciatu à discutiri qualcosa trà elli, di solitu ascoltava solu cù a bocca aperta. Per mè queste eranu cose maravigghiusu è inaspettate chì ùn avia mancu pensatu. Naturalmente, prima ùn aghju micca capitu 90% di ciò chì parlavanu. Allora 80% hè diventatu incomprensibile. E dopu avè fattu i mo travaglii è leghje uni pochi di libri, stu numeru hè cascatu à 70%. Ùn aghju micca capitu assai di ciò chì parlanu trà elli. Ma cum'è mi pusò in u cantonu cù una tazza di cafè è ascoltava, aghju cuminciatu à capisce un pocu ciò chì passava.
Dunque, quandu Google, Netflix, LinkedIn, Odnoklassniki è Yandex parlanu l'un l'altru, questu ùn significa micca chì hè qualcosa incomprensibile è senza interessu. À u cuntrariu, ci vole à sente bè, perchè questu hè u nostru avvene.
Di sicuru, ci sò persone chì ùn anu micca bisognu di tuttu questu. Se ùn vulete micca sviluppà in questu tema, ùn avete micca bisognu di andà à sta cunferenza, vi basta à perde u tempu. Ma s'è u tema hè interessante, ma ùn avete micca capitu nunda di questu o sò solu fighjendu, allura duvete vene, perchè ùn truverete micca nunda cum'è in ogni locu. Inoltre, pensu chì micca solu in Russia, ma ancu in u mondu. Pruvamu di fà una cunferenza chì ùn serà micca solu u capu in questu tema in Russia, ma in generale u numeru unu in u mondu.
Questu ùn hè micca u compitu più faciule, ma quandu avemu una chance cusì maravigghiusa di riunite parlanti forti di tuttu u mondu, sò dispostu à dà assai per fà accade. Di sicuru, alcuni di quelli chì avemu invitatu à a prima Hydra ùn puderanu micca vene. Ma diceraghju questu: ùn avemu mai principiatu una nova cunferenza cù una furmazione cusì putente. Eccettu, forse, u primu JPoint sei anni fà.
— Vogliu allargà nantu à e parolle "questu hè u nostru avvene" : u tema affetterà dopu à quelli chì ùn ci pensanu micca oghje ?
- Iè, ne sò sicuru. Dunque, mi pare assai ghjustu di cumincià à discutiri u più prestu pussibule. Per esempiu, a teoria di u multithreading hè apparsu assai tempu fà (in l'anni 70, u travagliu era digià publicatu in pienu swing), ma per un bellu pezzu eranu u lottu di specialisti stretti, finu à chì u primu utilizatori dual-core cumparisce. à u principiu di l'anni 10. È avà tutti avemu servitori multi-core, laptops è ancu telefoni, è questu hè u mainstream. Ci hè vulsutu circa XNUMX anni per chì questu si sparghje, per a ghjente capisce chì stu discorsu ùn hè micca a pruvincia di un cerculu strettu di specialisti.
È avà vedemu circa a listessa cosa cù i sistemi distribuiti. Perchè e suluzioni basi cum'è a distribuzione di carica, a tolleranza di difetti è simili sò state fatte per un bellu pezzu, ma assai pochi persone sanu ciò chì, per esempiu, cunsensu distribuitu o Paxos hè.
Unu di i scopi più impurtanti chì aghju stabilitu per questu avvenimentu hè di immerse ingegneri sempre più in questa discussione. Avete bisognu di capiscenu chì in cunferenzi certi temi è suluzioni ùn sò micca solu discututi, ma ancu emerge un tesaurus - un apparatu cuncettuale unificatu.
Mi vede cum'è u mo compitu di creà una piattaforma induve tutti ponu discutiri tuttu questu, sparte sperienze è opinioni. Cusì chì tù è eiu avemu una cunniscenza cumuna di ciò chì un algoritmu faci, ciò chì un altru faci, quale hè megliu in quale cundizioni, cumu si sò ligati l'un à l'altru, è cusì.
Una cosa assai interessante hè ligata à u listessu multithreading. Quandu i nostri amichi da Oracle (principalmente Lesha Shipilev è Sergey Kuksenko) cuminciaru à parlà attivamente di u performance è, in particulare, di multithreading, literalmente dui o trè anni dopu, sti dumande cuminciaru à esse dumandatu à l'entrevista in l'imprese, a ghjente hà cuminciatu à discutiri. camere per fumatori. Vale à dì, una cosa chì era u lottu di specialisti stretti di colpu diventò mainstream.
È questu hè assai currettu. Mi pare chì avemu aiutatu à sti picciotti à popularizà tutta sta questione, chì hè veramente impurtante, utile è interessante. Se prima nimu hà pensatu à cumu un servitore Java processa e dumande in parallelu, avà a ghjente hà almenu à un certu livellu una cunniscenza di cumu tuttu funziona. È questu hè grande.
U compitu chì vecu avà hè di fà apprussimatamente u listessu cù i sistemi distribuiti. Cusì chì tutti capiscenu à pocu pressu ciò chì hè, da induve vene, ciò chì i travaglii è i prublemi ci sò, per chì questu ancu diventa mainstream.
L'imprese anu una grande dumanda per e persone chì capiscenu qualcosa di questu, è ci sò pochi tali persone. Quantu più creamu intornu à stu cuntenutu è l'uppurtunità di amparà da ellu, più damu à e persone l'uppurtunità di dumandà dumande chì sò in l'aria, più prubabilmente avemu da passà in questa direzzione.
Pristoria
— A cunferenza hè fatta per a prima volta, ma ùn hè micca a prima volta per a scola. Cumu hè tuttu ciò chì nasce è si sviluppa?
- Questa hè una storia interessante. Dui anni fà, in maghju 2017, avemu assittatu in Kiev cù Nikita Koval (), un espertu in u campu di multithreading. È m'hà dettu ch'ellu si ferà in San Petruburgu .
U tema di a prugrammazione multithreaded hè stata fantasticamente interessante in l'ultimi trè anni di a mo carriera di ingegneria. E poi si hè risultatu chì in l'estiu persone assai, assai famose venenu à San Petruburgu, u listessu Maurice Herlihy è Nir Shavit, secondu à chì aghju studiatu. È parechji di i mo amichi anu avutu qualcosa à fà cù questu - per esempiu, Roma Elizarov (). Aghju capitu chì solu ùn pudia missu un tali avvenimentu.
Quandu hè diventatu chjaru chì u prugramma 2017 di a scola seria grande, hè ghjunta l'idea chì e lezioni anu da esse definitemente arregistrate in video. Avemu in JUG.ru Group hà avutu una cunniscenza cumpleta di cumu si deve esse registrate tali lezioni. È ci mettemu in SPTCC cum'è i picciotti chì anu fattu un video per a scola. In u risultatu, tutte e lezioni di a scola nant'à u nostru canale YouTube.
Aghju cuminciatu à cumunicà cù Pyotr Kuznetsov, chì era u principale ideologistu è urganizatore di sta scola, è cù Vitaly Aksenov, chì hà aiutatu à urganizà tuttu questu in San Petruburgu. Aghju realizatu chì questu hè fantasticamente cool è interessante è, prubabilmente, hè assai male chì solu i participanti 100 ponu toccu a bellezza.
Quandu Petru hà pensatu chì avia bisognu di ripiglià a scola di novu (in 2018 ùn ci era micca energia è tempu, cusì hà decisu di fà in 2019), hè diventatu chjaru chì pudemu aiutà solu per sguassà tutte e cose urganisazione da ellu. Questu hè ciò chì succede avà, Petru tratta di u cuntenutu, è facemu tuttu u restu. È questu pare u schema ghjustu: Petru hè probabilmente più interessatu à u prugramma chè "induve è quandu tutti pranzianu". È simu bè à travaglià cù sale, locu, etc.
Questa volta, invece di SPTCC, a scola hè chjamata SPTDC, micca "computing concurrent", ma "computazione distribuita". Per quessa, questu hè quasi a diffarenza: l'ultima volta in a scola ùn anu micca parlatu di sistemi distribuiti, ma sta volta parlemu attivamente di elli.
— Siccomu a scola ùn hè micca tenuta per a prima volta, pudemu dighjà tirà qualchi cunclusioni di u passatu. Chì hè accadutu l'ultima volta?
— Quandu a prima scola hè stata creata dui anni fà, era previstu chì ci sia un avvenimentu accademicu, primuramente di interessu à i studienti. Inoltre, i studienti di tuttu u mondu, perchè a scola hè solu in inglese, è si pensava chì un numeru significativu di studienti stranieri venenu.
In fatti, si girò fora chì assai ingegneri sò vinuti da grande cumpagnii Russian cum'è Yandex. C'era Andrey Pangin () da Odnoklassniki, ci sò stati ragazzi di JetBrains chì travaglianu attivamente nantu à questu tema. In generale, ci era parechje facce familiari da i nostri cumpagnie partenarii quì. Ùn sò micca sorpresu, capiscu perfettamente perchè sò ghjunti quì.
In attu, l'urganizatori avianu aspittà chì ci saranu persone accademiche in a Scola, ma di colpu sò ghjunti e persone di l'industria, è tandu hè diventatu chjaru per mè chì ci era una dumanda in l'industria.
Se un avvenimentu chì era pocu prumuvutu in ogni locu, à u primu clicu di un dettu, hà riunitu un publicu di adulti, significa chì ci hè veramente interessu. Mi pari chì una dumanda nantu à stu tema hè ritardata.
Maurice Herlihy à a riunione JUG.ru
- In più di a scola, Maurice Herlihy hà parlatu in San Petruburgu à a riunione JUG.ru in 2017, nantu à a memoria transazionale, è questu hè un pocu più vicinu à u furmatu di cunferenza. Quale hè ghjuntu allora - i stessi persone chì venenu di solitu à incontri JUG.ru, o un publicu diversu?
- Era interessante perchè avemu capitu chì Maurice averebbe un rapportu generale, micca un specificu di Java, è avemu fattu un annunziu un pocu più largu di ciò chì facemu di solitu per i nostri abbonati di nutizie JUG.
Parechje persone chì cunnoscu venenu da e cumunità chì ùn sò micca nantu à Java in tuttu: da a folla .NET, da a folla JavaScript. Perchè u tema di a memoria transazionale ùn hè micca in relazione cù una tecnulugia di sviluppu specifica. Quandu un specialista di u mondu vene à parlà di memoria transazionale, perde l'uppurtunità di sente à una tale persona è di dumandà dumande hè solu un crimine. Face solu una impressione putente quandu a persona chì u so libru vi studia vene à voi è vi dice qualcosa. Simply fantastic.
- E quale hè statu u risultatu in u risultatu? Era l'approcciu troppu accademicu è incomprensibile per e persone di l'industria?
- I recensioni di u rapportu di Herlihy eranu boni. A ghjente hà scrittu chì hà dichjaratu assai simplice è chjaramente ciò chì ùn era micca aspittatu da un prufissore accademicu. Ma duvemu capisce chì l'avemu invitatu per una ragione, hè un specialista famosu in u mondu cun una larga sperienza in parlà è un fondu di una mansa di libri è articuli. E, prubabilmente, hè diventatu famosu in parechje manere grazia à a so capacità di trasmette materiale à e persone. Dunque, questu ùn hè micca surprisante.
Parla l'inglese normale, comprensibile, è, sicuru, hà una grande comprensione di ciò chì parla. Questu hè, pudete dumandà à ellu tutte e dumande. In fondo, a ghjente si lagnava chì avemu datu à Maurice troppu pocu tempu per u so rapportu : duie ore ùn sò micca abbastanza per una cosa cusì, almenu duie più sò bisognu. Ebbè, avemu riesciutu à fà ciò chì avemu fattu in duie ore.
Motivazione
- Di solitu JUG.ru Group si tratta di avvenimenti à grande scala, ma questu tema pare più altamente specializatu. Perchè avete decisu di piglià? Ci hè una vuluntà di tene un avvenimentu più chjucu, o ponu parechji spettatori riunite nantu à un tali tema?
- In verità, quandu tene un avvenimentu è stabilisce un certu livellu di discussione, sempre si pone a quistione di quantu hè diffusa sta discussione. Quante persone - dece, centu o mille - sò interessate in questu ? Ci hè un scambiu trà massa è prufundità. Questa hè una quistione cumplettamente normale, è ognunu a risolve in modu diversu.
In questu casu, vogliu fà l'avvenimentu "per mè stessu". Aghju sempre capitu qualcosa nantu à u multithreading (aghju datu lezioni nantu à questu tema in cunferenze, è hà dettu à i studienti qualcosa parechje volte), ma sò un principiante quandu si tratta di sistemi distribuiti: aghju lettu qualchi articuli è vistu parechje lezioni, ma micca. ancu un unicu libru à pienu leghjite.
Avemu un cumitatu di prugramma custituitu da esperti in u campu chì ponu valutà l'accuratezza di i rapporti. È per a me parte, cercu di fà di questu avvenimentu quellu chì, cù a mo mancanza di sapè fà, vogliu andà. S'ellu serà pussibule interessà u publicu di massa, ùn sò micca. Questu hè probabilmente micca u compitu più impurtante di questu avvenimentu in questa fase. Avà hè più impurtante di creà u prugramma più forte in pocu tempu.
Probabilmente, avà aghju stabilitu a squadra micca u compitu di "riunisce mille persone a prima volta", ma "di fà chì a cunferenza appare". Questu pò micca sona assai cummerciale è un pocu ingenu, ancu s'ellu ùn sò micca altruista à tuttu. Ma qualchì volta mi possu permette di qualchì libertà.
Ci sò cose più impurtanti cà i soldi è oltre i soldi. Avemu digià fattu un gran numaru di avvenimenti freschi à grande scala per mille persone o più. E nostre cunferenze Java sò longu più di più di mille persone, è avà altri avvenimenti saltanu sopra sta barra. Vale à dì, a quistione chì avemu diventatu espertu è urganizatori famosi ùn vale più a pena. E, prubabilmente, ciò chì guadagnemu da questi avvenimenti ci dà l'uppurtunità di reinvestisce in ciò chì hè interessante per noi, è in questu casu, per mè personalmente.
Fendu questu avvenimentu, andaraghju contru à alcuni di i principii di a nostra urganizazione. Per esempiu, di solitu pruvemu di preparà e cunferenze assai in anticipu, ma avà avemu termini assai stretti, è finalizemu u prugramma solu un mesi prima di l'avvenimentu stessu.
È questu avvenimentu serà 70-80% in lingua inglese. Quì dinò sempre nasce una discussione nantu à s'ellu ci vole à esse più vicinu à a ghjente (chì capisce megliu quandu a maiò parte di i rapporti sò in russo) o à u mondu sanu (perchè u mondu tecnicu hè anglofonu). Di solitu pruvemu di fà assai rapporti in russo. Ma micca in questu tempu.
Inoltre, dumanderemu ancu à alcuni di i nostri parlanti russo di parlà in inglese. Questu hè, in un sensu, un approcciu assolutamente anti-utilizatori è inumani. Ma duvemu capisce chì ùn ci hè attualmente una letteratura in lingua russa nantu à questu tema, è ogni persona chì hè interessatu in questu hè obligatu à leghje in inglese. Questu significa chì ellu hè in qualchì manera capace di capisce l'inglese. Se in u casu di JavaScript, Java o .NET, ci sò assai persone chì ùn cunnosci micca l'inglese assai bè, ma à u stessu tempu ponu programà bè, allura, prubabilmente, i sistemi distribuiti sò un spaziu in quale ùn ci hè simplicemente micca altru. manera di amparà avà.
Vogliu veramente cunduce stu esperimentu: cumu un avvenimentu in lingua inglese 70-80% serà percepitu da u publicu in Russia. Entrerà o micca ? Ùn sapemu micca questu in anticipu perchè ùn avemu mai fattu questu. Ma perchè micca fà? Pudemu cusì: questu hè un grande esperimentu chì ùn possu micca aiutà ma pruvà.
U prugramma di a scola SPTDC hè digià interamente, è in u casu di Hydra digià una parte notevuli, è prestu publicà un analisi di tuttu u prugramma di a cunferenza.
Source: www.habr.com