«Küsimus on päevakorras»: Aleksei Fedorov uue konverentsi kohta jaotatud süsteemide kohta

Hiljuti toimusid kahe ürituse teadaanded, mis käsitlevad mitme lõime ja jaotatud süsteemide arendamist: konverents (11.-12. juuli) ja kool Hydra (8.-12. juuli). Inimesed, kellele see teema läheb südamesse, mõistavad, et Venemaale tulek SPTDC Leslie Lamporti Maurice Herlihy, Michael Scotti ja — on oluline sündmus. Kuid tekkisid ka teised küsimused: Mida oodata konverentsilt: „akadeemilisust” või „tootmist”?

• Kuidas seostuvad kool ja konverents? Kellele mõlemad on suunatud?
• Miks nad kattuvad kuupäevadega?
• Kas need on kasulikud neile, kes ei ole oma elu pühendanud jaotatud süsteemidele?
• Kõik see on hästi teada inimesele, kelle tõttu Hydra sündis: meie direktorile

Aleksei Fedorovile ). Just tema vastas kõigile küsimustele. (23derevo— Sissejuhatav küsimus neile, kes ei tunne jaotatud süsteeme: millest räägivad mõlemad üritused?

Formaat

— Sissejuhatav küsimus neile, kes ei tunne jagatud süsteeme: millest räägivad mõlemad üritused?

— Globaalses mastaabis on probleem selles, et meie ümber tegutsevad teenused, millel on suured operatsioonimahtud ja keerulised arvutustegevused, mida pole võimalik ühe arvutiga teostada. Seetõttu peab masinavaid olema mitu. Edasi tekivad küsimused, mis on seotud nende töö tõhusa sünkroniseerimise ja sellega, mida teha mitte kõige usaldusväärsemates tingimustes (sest seadmed võivad rikkis olla ja võrk katkeleda).

Mida rohkem masinaid, seda rohkem tekib rikkepunkte. Mida teha, kui sama arvutuste jaoks erinevad masinad annavad erinevaid tulemusi? Mida teha, kui võrk katkeb ja osa arvutusi muutub isoleeritud, kuidas hiljem kõik kokku viia? Ühesõnaga, miljon seotud probleemi. Uued lahendused – uued mured.

Selles valdkonnas on täiesti rakendusuuringud ja on ka teaduslikumad suunad – see, mis pole veel peavoolu jõudnud. Sooviksin rääkida sellest, mis toimub nii praktikas kui teaduses, ja eelkõige nende ristumiskohal. Just sellest räägib ka esimene Hydra konverents.

— Tahaksin aru saada, et on olemas konverents ja suvekool. Kuidas need omavahel seonduvad? Kui suvekooli osalejatele on konverentsile pääsme allahindlus, siis miks need kuupäevad kattuvad, nii et ei saa kõike korraga ilma kaotusteta külastada?

— Kool on intiimne üritus 100–150 inimesele, kuhu tulevad juhtivad spetsialistid üle kogu maailma ning viie päeva jooksul peavad nad loenguid. Ja tekib olukord, kus Peterburis kogunevad viis päeva maailmakuulsad teadlased, kes on valmis midagi rääkima. Seega on ilmselge, et tuleb korraldada mitte ainult intiimne kool, vaid ka laiem konverents.

Tüüpi kooli saab korraldada ainult suvel, juulis, sest nende spetsialistide seas on ka aktiivsed ülikooliprprofessorid, ja nad muul ajal lihtsalt ei ole valmis: neil on tudengid, lõputööd, loengud ja nii edasi. Kooliformaadiks on viis tööpäeva. On teada, et suvel meeldib inimestele nädalavahetustel kuhugi sõita. Seega ei saa me konverentsi korraldada ei kooli eelõhtul ega kooli järgsetel nädalavahetustel.

Ja kui pikendate veel paar päeva enne või pärast nädalavahetust, siis maagiliselt muutuvad spetsialistide viibimise päevad Peterburis viiest üheks. Ja nad ei ole selleks valmis.

Seetõttu on ainus lahendus, mille me leidnud oleme, lihtsalt korraldada konverents paralleelselt kooliga. Jah, see tekitab teatud probleeme. On inimesi, kes tahavad osaleda nii koolis kui ka konverentsil ning nad peavad osa loengutest seal või seal vahele jätma. Hea uudis on see, et kõik need üritused toimuvad naaberhallides, seega on võimalik ringi joosta. Ja veel üks hea külg on videode olemasolu, mida hiljem rahulikult vaadata, et näha, mida on vahele jäetud.

— Kui kaks üritust toimuvad paralleelselt, tekib inimestel küsimus: "milline neist on mulle vajalik?" Mida täpselt igaühelt oodata ja milles on erinevused?

— Kool on puhtalt akadeemiline üritus, klassikaline teaduslik kool mitmeks päevaks. Need, kes on ise teadusega tegelenud ja omavad mingit seost aspirantuuriga, mõistavad, mis asi on akadeemiline kool.

Akadeemilised üritused ei ole tavaliselt hästi korraldatud, kuna inimeste korraldamise oskused ei pruugi olla piisavad. Meie oleme aga kogenud tegijad, seega suudame korraldada kõike hästi. Usun, et organisatsiooni seisukohalt on SPTDC igatahes igasugustest teaduslikest või teaduspraktikast koolidest parem.

SPTDC Kool — see on formaat, kus iga suur loeng kestab kaks õppeperioodi: „poolteist tundi — paus — poolteist tundi“. Tuleb mõista, et esmakordselt osalejal võib olla raske: kui see kool kaks aastat tagasi esmakordselt toimus, oli mul endal keeruline ja korduvalt, pärast poolel teel suurt loengut, lülitusin välja ning hiljem oli raske aru saada, mis toimub. Kuid see sõltub väga loengupidajast: hea loengupidaja räägib kõik kolm tundi väga huvitavalt.

Konverents Hydra (Hüda) — praktilisem üritus. Seal on mitu teaduskuulsust, kes on tulnud loenguid pidama koolis: alates Maurice Herlihy, kelle teosed on aluseks mitme ülesande loogika ja jaotatud süsteemide teooriale, kuni Michael Scotti, üks autoritest tuntud õpikust „The Art of Multiprocessor Programming“. Konverentsil püüdleme siiski rääkida, kuidas erinevaid algoritme reaalses elus rakendatakse, milliste probleemidega insenerid praktikas silmitsi seisavad, kellel õnnestub ja kellel mitte, miks mõned algoritmid on praktikas kasutusel, teised aga mitte. Räägime ka tulevikust, mis puudutab multiteemaliste ja jagatud süsteemide arendamist. Ehkki anname sellise cutting edge'i: millest räägib praegu maailmas teadus, mille ümber mõtlevad tipinsenerid ning kuidas kõik see omavahel kokku sobitub.

— Kuna konverents on rohkem praktiline, kas seal on kohal mitte ainult akadeemilised tähtsad, vaid ka „tootmisest“ tulnud esinejad?

— Ilmselt. Püüame vaadata kõiki "suuri": Google, Netflix, Yandex, Odnoklassniki, Facebook. On spetsiifilisi huvitavaid probleeme. Näiteks ütlevad kõik: „Netflix on jagatud süsteemid, pea pool USA liiklusest, tõeliselt lahe”, aga kui hakkad vaatama nende tegelikke ettekandeid, artikleid ja publikatsioone, tuleb kerge pettumus. Sest kuigi see on kindlasti maailma tasemel ja seal on tipptaset, on seda vähem, kui esialgu paistab.

Tekkib huvitav dilemma: kas kutsuda esindajaid suurtest tuntud ettevõtetest või kutsuda kedagi, keda me juba tunneme. Tegelikult on ekspertiis olemas seal ja seal. Ja püüame pigem välja tuua mitte "suuri kaubamärke" esindavaid inimesi, vaid väga koolitatud spetsialiste, konkreetseid inimesi.

Näiteks tuleb Martin Kleppmann, kes kunagi tekitas samuti elevust LinkedInis, ja avaldas hea raamatu — ilmselt ühe põhiraamatest jaotatud süsteemide valdkonnas.

— Kui inimene ei tööta Netflixis, vaid mõnes lihtsamas firmas, võib ta mõelda: „Kas mulle tasub sellisele konverentsile minna, või räägivad seal ainult mingid Netflixid omavahel, ja mul pole seal midagi teha?”

— Ütlen nii: kui ma töötasin Oracle'is kolm ja natuke aastat, kuulsin kõige hämmastavamat ja huvitavamat juttu köögis ja suitsetamiskohtades, kus kogunesid kolleegid, kes töötasid erinevate Java platvormi osade kallal. Need võisid olla inimesed virtuaalsest masinast, testimise osakonnast või sooritusvõime üheaegsusest — näiteks Ljóša Šipiljov ja Serjõža Kukšenko.

Kuid kui nad hakkasid omavahel midagi arutama, kuulasin ma tavaliselt lihtsalt suu ammuli. Minu jaoks olid need hämmastavad ja ootamatud asjad, mille üle ma isegi ei mõelnud. Loomulikult ei mõistnud ma alguses 90% sellest, millest nad rääkisid. Hiljem jäi arusaamatu ainult 80%. Pärast seda, kui ma tegin oma kodutööd ja lugesin paar raamatut, vähenes see arv 70%ni. Ma ei mõista siiani väga paljusid asju, millest nad omavahel räägivad. Kuid istudes nurgas kohvitass käes ja pealt kuulates, hakkasin ma veidi aru saama, mis toimub.

Seega, kui Google, Netflix, LinkedIn, Odnoklassniki ja Yandex omavahel räägivad, ei tähenda see, et see oleks midagi arusaamatut ja igavat. Vastupidi, tuleb hoolikalt kuulata, sest see on meie tulevik.

Muidugi on ka inimesi, kellele see kõik ei meeldi. Kui te ei soovi selles valdkonnas areneda, siis ei tasu sellele konverentsile tulla, muidu raiskate lihtsalt aega. Kui teema aga huvitab, kuid te ei saa sellest veel aru või olete alles tutvumisetapis — siis peaksite kindlasti kohal olema, sest midagi sarnast ei leia te kuskilt mujalt. Ma arvan, et mitte ainult Venemaalt, vaid ka maailmast. Me püüame korraldada konverentsi, mis ei oleks lihtsalt selle teema liider Venemaal, vaid number üks maailmas.

See ei ole kõige lihtsam ülesanne, kuid kui meil on selline erakordne võimalus koguda tugevad esinejad kogu maailmast, olen ma valmis tegema palju, et see õnnestuks. Loomulikult ei saa mõned neist, keda me esimesele Hydra konverentsile kutsusime, osaleda. Kuid ma ütlen nii: me ei ole kunagi alustanud uut konverentsi nii tugeva koosseisuga. V.a võib-olla esimene JPoint kuus aastat tagasi.

— Tahaksin arendada sõnu «see on meie tulevik»: teema puudutab hiljem ka neid, kes tänapäeval sellest ei mõtle?

— Jah, ma olen selles kindel. Seetõttu tundub mulle väga õige alustada selle arutelu võimalikult kiiresti. Ütleme, et mitme lõime teooria ilmus üsna ammu (70. aastatel ilmusid juba mitmed tööd), kuid pikka aega olid need kitsaste spetsialistide pärusmaal, kuni 2000ndate alguses ilmus esimene kodukasutaja kahe tuumaga arvuti. Ja nüüd on meil kõigil mitme tuumaga serverid, sülearvutid ja isegi telefonid — see on peavool. Kulus umbes 10 aastat, et see massiliseks muutuda, et inimesed mõistsid, et see diskursus ei ole ainult kitsas ring spetsialistide teema.

Ja umbes sama näeme praegu jaotatud süsteemidega. Sest põhilahendused, nagu koormuse jaotamine, häiresüsteemide tagamine ja nii edasi, on loodud juba üsna ammu, kuid mis on näiteks jaotatud konsensus või Paxos, teab väga vähe inimesi.

Üks peamisi eesmärke, mille seadsin selle ürituse jaoks, on kaevata järjest sügavamale inseneride arutelusse. Tuleb mõista, et konverentsidel ei arutata lihtsalt teemasid ja lahendusi, vaid luuakse ka tezaurus — ühine mõistete komplekt.

Näen enda ülesandena luua platvorm, kus kõik huvilised saavad seda arutada, jagada kogemusi ja arvamusi. Et meil tekiks ühine arusaam, mis teeb ühe algoritmi, mis teeb teise, milline neist on paremad erinevates tingimustes, kuidas nad üksteisega seotud on ja nii edasi.

Äärmiselt huvitav asi on seotud sama mitme lõimega. Kui meie sõbrad Oracle'ist (eelkõige Aleksei Shipiljov ja Sergei Kuksenko) hakkasid aktiivselt rääkima jõudlusest ja eriti mitme lõime töötlusest, siis juba kahe-kolme aasta pärast hakkasid need küsimused tööintervjuudel esinema, inimesed hakkasid seda arutama suvekohvikutes. Seega asi, mis oli kitsaste spetsialistide pärusmaa, muutus äkki peavooluks.

Ja see on täiesti õige. Minu arvates oleme aidanud neil meestel populariseerida kogu seda teemat, mis on tõeliselt oluline, kasulik ja huvitav. Kui varem ei mõeldud keegi sellele, kuidas Java-serverid töötlevad päringuid paralleelselt, siis nüüd on inimestel vähemalt mingil tasemel arusaam, kuidas see kõik töötab. Ja see on suurepärane.

Minu jaoks on praegu ülesanne teha umbes sama asi hajutatud süsteemidega. Et kõik saaks umbes aru, mis see on, kust see alguse saab, millised seal on ülesanded ja probleemid, et see saaks samuti peavooluks.

Ettevõtetel on tohutu nõudlus inimeste järele, kes sellest midagi teavad, aga neid inimesi on vähe. Mida rohkem loome selle ümber sisu ja võimalusi selle õppimiseks, seda rohkem anname inimestele võimalusi esitada küsimusi, mis õhus rippuvad, seda suuremad on meie võimalused selles suunas liikuda.

Eelalugu

— Konverents toimub esmakordselt, aga kool ei ole esmakordne. Kuidas see kõik algas ja arenes?

— See on huvitav lugu. Kaks aastat tagasi, 2017. aasta mai, istusime Kiievis Nikita Kovaliga (ndkoval), spetsialistina paljude õpingute alal. Ja ta rääkis mulle, et Peterburis toimub «Suvekool, kus käsitletakse kaasajastatud arvutamist».

Kaasajastatud programmeerimise teema on olnud viimased kolm aastat mu insenerikarjääri jooksul fantastiliselt huvitav. Ja siis selgus, et suvel tulevad Peterburi väga tuntud inimesed, näiteks Maurice Herlihy ja Nir Shavit, kelle õpikuga ma õppisin. Ning paljusid mu tuttavaid seondub nende tegevusse — näiteks Roma Elizarov (elizarov). Ma mõistsin, et ma ei saa niisugust üritust vahele jätta.

Kui sai selgeks, et 2017. aasta kooli programm tuleb suurepärane, tekkis mõte, et loengud tuleb kindlasti salvestada videole. Meie JUG.ru Groupis oli täielik arusaam, kuidas selliseid loengud salvestada. Nii et me liitusime SPTCC-ga kui meeskond, kes tegi kooli jaoks videorepertuaari. Tulemusena on kõik kooli loengud edasi vaadatavad meie YouTube'i kanalil.

Hakkasin suhtlema Peeter Kutsenko'ga, kes oli selle kooli peamine ideoloog ja korraldaja, ning Vitali Aksejonoviga, kes aitas organisatsiooniliselt seda Peterburis ellu viia. Mõistsin, et see on fantastiliselt lahe ja huvitav ning ilmselt on väga halb, et ainult 100 osalejat saavad sellisest imelisest asjast osa võtta.

Kui Peeter mõtles, et peaks taas kooli tegema (2018. aastal ei olnud energiat ja aega, seetõttu otsustas 2019. aastal), siis sai selgeks, et me saame teda aidata, võttes temalt kõik korralduslikud toimetused ära. Nii toimubki praegu, Peeter tegeleb sisuga ja meie kõigega muuga. See tundub olevat õige lahendus: ilmselt on Peetrile põnevam programm kui 'kus ja millal kõik lõunat võtavad.' Me aga oskame hästi töötada saalide, paikade jms. korraldamisega.

Seekord, erinevalt SPTCC-st, kannab kool nime SPTDC, mitte 'concurrent computing', vaid 'distributed computing'. Vastavalt on ka umbes see erinevus: eelmisel korral ei räägitud koolis jaotatud süsteemidest, aga seekord räägime neist aktiivselt.

— Kuna kool toimub mitte esmakordselt, on juba mõningaid järeldusi eelmisest tegemiseks. Mida eelmisel korral saavutati?

— Kui kaks aastat tagasi esimene kool loodi, loodeti, et see on akadeemiline üritus, mis on huvitav eelkõige tudengitele. Ja tudengitele üle kogu maailma, sest kool on ainult ingliskeelne, ja arvati, et tuleb märkimisväärne hulk välismaiseid tudengeid.

Kuid tegelikult tuli väga palju insenere suurtest Venemaa ettevõtetest nagu Yandex. Kohal oli Andrei Panygin (apangin) Odkodlassniki'st, ja seal olid ka poisid JetBrains'ist, kes aktiivselt selle teemaga tegelevad. Ühesõnaga, seal oli palju tuttavaid nägusid meie partnerettevõtetest. Ma ei olnud sellega sugugi üllatunud, saan hästi aru, miks nad sinna tulid.

Asjaolu on see, et korraldajatel oli ootusi, et koolis on akadeemilised inimesed, kuid üllatuslikult tulid inimesed tööstusest, ja siis sain aru, et tööstuses on nõudlus.

Kui üritus, mida peaaegu ei reklaamitud, esmakordselt sõrmenipsuga kogus täiskasvanud inimeste publiku, tähendab see, et tegelikult on huvi olemas. Minu arvates on turg sellele teemale valminud.

Maurice Hurley JUG.ru kohtumisel

— Lisaks koolile esines Maurice Herlihy 2017. aastal Peterburis JUG.ru kohtumisel, rääkides transaktsioonilisest mälust, mis on natuke lähemal konverentsi formaadile. Kes siis kohal oli — samad inimesed, kes tavaliselt tulevad JUG.ru meetapidele, või oli publik teistsugune?

— See oli huvitav, sest me mõistsime, et Maurice'il on üldine ettekande, mitte spetsiifiline Java jaoks, ja tegime oma tavapärasest laiemat kuulutust oma JUG-uudiste tellijatele.

Kohale tuli palju tuttavaid inimesi kogukondadest, kellel ei ole Java'ga midagi pistmist: .NET-kliendist, JavaScript-kliendist. Sellepärast, et transaktsioonilise mäluteema ei käsitle mingit konkreetset arendustehnoloogiat. Kui maailmatasemel spetsialist tuleb rääkima transaktsioonilisest mälust, on lihtsalt kuritegu jätta võimalus kuulata ja küsimusi esitada sellisele inimesele. See jätab tõeliselt tugeva mulje, kui inimene, kelle raamatu järgi sa õpid, tuleb sinu juurde ja räägib sulle midagi. Lihtsalt fantastika.

— Ja mis tagasiside oli kokkuvõttes? Kas tööstuse inimesed ei leidnud lähenemist liiga akadeemiliseks ja arusaamatuks?

— Ülevaated Herlihi ettekandest olid head. Inimesed kirjutasid, et ta selgitab väga lihtsalt ja arusaadavalt, mis ei olnud oodatud akadeemiliselt professorilt. Aga tuleb mõista, et me ei kutsunud teda lihtsalt niisama, ta on maailmakuulus spetsialist, kellel on suur esinemiskogemus ja kes on kirjutanud hulgaliselt raamatuid ja artikleid. Ja ilmselt on ta osaliselt tuntuks saanud tänu oma oskusele edastada teavet inimestele. Seega pole selles midagi üllatavat.

Tal on normaalne, arusaadav inglise keel ja ta tunneb väga hästi teemat, millest räägib. See tähendab, et talle saab esitada täiesti erinevaid küsimusi. Peamiselt kaebasid inimesed, et me andsime Morisele ettekandeks liiga vähe aega: kaks tundi on selle jaoks liiga vähe, tuleks veel vähemalt kaks. No, mida me kahe tunni jooksul jõudsime, see jõudsime.

Motivatsioon

— Tavaliselt tegeleb JUG.ru Group ulatuslike üritustega, aga see teema tundub olevat kitsam. Miks otsustati selle ette võtta? Kas on valmidust korraldada vähem ulatuslikku üritust või võib ka sellise teema kohta palju publikut tulla?

— Tõepoolest, kui korraldad mingit sündmust ja seadsid diskussiooni taseme, tekib alati küsimus, kui ulatuslik see diskussioon on. Kui paljusid inimesi — kümme, sada või tuhat — see huvitab. Tekib kaubanduse ja sügavuse vahel kompromiss. See on täiesti normaalne küsimus, millele igaüks vastab erinevalt.

Minu puhul tahan korraldada sündmust «enda järgi». Mitme lõimega ma natuke saan aru (olen konverentsidel selle teemaga esinenud, rääkinud üliõpilastele), aga hajutatud süsteemides olen ma algaja: olen lugenud mõningaid artikleid ja näinud mitmeid loenguid, kuid isegi ühte korralikku raamatut ei ole lugenud.

Meil on programmikomisjon, mis koosneb selle ala ekspertidest, kes suudavad hinnata ettekannete täpsust. Mina omalt poolt püüan korraldada selle sündmuse nii, et see oleks selline, kuhu ma, olles ilma eksortsioonita, ise sooviksin minna. Kas suudan huvitada massilist publikut, ei tea. Ilmselt ei ole see selles etapis selle sündmuse peamine ülesanne. Praegu on tähtsam luua kõige tugevam programm lühikese ajaga.

Tõenäoliselt ei sea ma nüüd oma meeskonnale ülesannet "koguda esmakordselt tuhat inimest", vaid "teha nii, et konverents toimiks". See võib kõlada mitteülearu äriliselt ja kohati naiivselt, kuigi ma pole sugugi altruist. Kuid ma saan endale vahel lubada mõningaid vabadusi.

On asju, mis on olulisemad kui raha ja raha piiridest väljaspool. Me korraldame juba niigi palju lahedaid suuremas mahus üritusi, kus osaleb tuhat inimest ja rohkem. Meie Java-konverentsid on ammu ületanud tuhande piiri, ning nüüd ületavad ka teised üritused seda taset. Seega küsimus, et oleme saanud kogenud ja tuntud korraldajateks, ei ole enam aktuaalne. Ja tõenäoliselt see, et me nendel üritustel teenime, annab meile võimaluse investeerida tagasi sellesse, mis huvitab meid endid, ja konkreetselt mind.

Seda üritust korraldades, olen ma mõnes mõttes vastuolus meie organisatsiooni teatud põhimõtetega. Näiteks püüame tavaliselt konverentse väga vara ette valmistada, aga praegu on meil väga lühikesed tähtajad ja me viimistleme programmi vaid kuu enne ürituse toimumist.

Ja see üritus on 70-80% ingliskeelne. Tekib küsimus, kas peaksime olema lähemal kohalikule publikule (kellele on arusaadavam, kui enamiku ettekanded on vene keeles) või maailmale laiemalt (kuna tehniline maailm on ingliskeelne). Kõige sagedamini püüame korraldada palju ettekandeid vene keeles. Kuid mitte seekord.

Lisaks pöördume paljude vene keelt rääkivate esinejate poole, et paluda neil rääkida inglise keeles. See on mõnes mõttes täiesti kasutaja vastane ja ebainimlik lähenemine. Kuid on oluline mõista, et sellel teemal ei ole vene keeles mitte mingit teaduslikku kirjandust ja iga inimene, kes sellest huvitub, peab lugema inglise keeles. Seega peab ta kuidagi inglise keeles hakkama saama. Kui JavaScripti, Java või .NETi osas on palju inimesi, kes ei oska tõeliselt hästi inglise keelt, kuid saavad siiski suurepäraselt programmeerida, siis ilmselt jaotatud süsteemid on see valdkond, kus praegu ei õpita kuidagi teisiti.

Ma tahan tõeliselt katsetada, kuidas Venemaal tajutakse 70–80% ingliskeelseid üritusi. Kas see läheb läbi või mitte? Me ei tea seda ette, sest me pole midagi sellist kunagi korraldanud. Aga miks mitte proovida? Ütleme nii: see on üks suur katse, mida ma lihtsalt ei saa mitte läbi viia.

SPTDC kooli programm on juba on avaldatud täielikult, ja Hydra puhul juba teada märkimisväärne osa, ja peagi avaldame kogu konverentsi programmi analüüsi.

Allikas: habr.com