Nemrég voltak egyszerre két esemény a többszálú és elosztott rendszerek fejlesztéséről: egy konferencia (július 11-12.) és az iskola (július 8-12.). Azok, akik közel állnak ehhez a témához, megértik, hogy Oroszországba jönnek Leslie Lamport, Maurice Herlihy и Michael Scott - a legfontosabb esemény. De más kérdések is felmerültek:
- Mi várható a konferenciától: „akadémikus” vagy „produkciós”?
- Hogyan kapcsolódik az iskola és a konferencia? Kinek szól ez és ez?
- Miért fedik egymást a dátumokban?
- Hasznosak lesznek azok számára, akik nem szentelték egész életüket az elosztott rendszereknek?
Mindezt jól tudja az a személy, aki Hydrát életre keltette: a rendezőnk Alekszej Fedorov (). Minden kérdésre válaszolt.
formátum
— Bevezető kérdés az elosztott rendszerektől távol állóknak: miről szól mindkét esemény?
— A globális kihívást az jelenti, hogy körülöttünk vannak olyan szolgáltatások, amelyek nagy mennyiségű műveletet és összetett számítási feladatokat végeznek, amelyeket nem lehet egy számítógépen elvégezni. Ez azt jelenti, hogy több autónak kell lennie. És akkor kérdések merülnek fel azzal kapcsolatban, hogyan kell megfelelően szinkronizálni a munkájukat, és mit kell tenni nem a legmagasabb megbízhatóságú körülmények között (mivel a berendezés elromlik és a hálózat leesik).
Minél több gép van, annál több a hibapont. Mi a teendő, ha a különböző gépek eltérő eredményeket adnak ugyanarra a számításra? Mi a teendő, ha a hálózat egy időre eltűnik, és a számítások egy része elszigetelődik, hogyan lehet ezután mindezt kombinálni? Általában millió probléma kapcsolódik ehhez. Új megoldások – új problémák.
Ezen a területen vannak teljesen alkalmazott területek, és vannak tudományosabbak – ami még nem vált általánossá. Arról szeretnék beszélni, hogy mi történik mind a gyakorlatban, mind a tudományban, és ami a legfontosabb, ezek találkozásánál. Erről fog szólni az első Hydra konferencia.
— Szeretném megérteni, hogy van konferencia, és van nyári iskola. hogyan kapcsolódnak egymáshoz? Ha kedvezményt adnak az iskolai résztvevőknek a konferencián való részvételből, akkor miért fedik egymást az időpontok, így nem lehet mindenen egyszerre veszteség nélkül részt venni?
— Az iskola egy 100–150 fős kamarai rendezvény, ahová a világ minden tájáról érkeznek vezető szakemberek és tartanak előadást öt napon keresztül. És előáll az a helyzet, amikor világszínvonalú fényesek gyűlnek össze Szentpéterváron öt napra, készen arra, hogy elmondjanak valamit. És ebben az esetben felmerül az a döntés, hogy ne csak egy kamarai iskolát, hanem egy nagyobb szabású konferenciát is szervezzünk.
Ilyen iskolát csak nyáron, júliusban lehet tartani, mert ezek között a szakemberek között vannak jelenlegi egyetemi tanárok, máskor pedig egyszerűen nincsenek készen: vannak diákjaik, diplomáik, előadásaik stb. Az iskola rendszere öt hétköznap. Köztudott, hogy nyáron hétvégén az emberek szeretnek elmenni valahova. Ez azt jelenti, hogy sem iskola előtti hétvégén, sem tanítás utáni hétvégén nem tudunk konferenciát tartani.
És ha még pár nappal meghosszabbítja a hétvége előtt vagy után, akkor varázsütésre a szakemberek öt napos szentpétervári tartózkodásából kilenc lesz. És nem állnak készen erre.
Ezért az egyetlen megoldást úgy találtuk, hogy egyszerűen az iskolával párhuzamosan tartjuk a konferenciát. Igen, ez problémákat okoz. Vannak, akik iskolába, konferenciára akarnak menni, és ki kell hagyniuk néhány előadást ide vagy oda. A jó hír az, hogy mindez a szomszédos csarnokokban zajlik majd, lehet rohangálni össze-vissza. És még egy jó dolog, hogy elérhetőek a videófelvételek, amelyeken később nyugodtan nézhetitek, hogy miről maradtatok le.
- Amikor két esemény zajlik párhuzamosan, az emberekben felmerül a kérdés, hogy melyikre van szükségem több? Pontosan mit kell várni mindegyiktől, és mi a különbség?
— Az iskola tisztán tudományos rendezvény, több napos klasszikus tudományos iskola. Mindenkinek, aki foglalkozott a tudományokkal és volt valami köze a posztgraduális iskolához, van fogalma arról, hogy mi az akadémiai iskola.
Az ilyen akadémiai rendezvények rendszerint nem túl jól megszerveztek, mert a szervezők nem rendelkeznek megfelelő rendezvényekkel. De még mindig elég tapasztalt srácok vagyunk, így mindent elég hozzáértően tudunk csinálni. Úgy gondolom, hogy szervezési szempontból az SPTDC minden eddigi tudományos vagy kutatási alapú iskola felett áll majd.
SPTDC iskola - ez egy olyan formátum, ahol minden nagy előadást két párban olvasnak: „másfél óra – szünet – másfél óra.” Meg kell értenie, hogy egy résztvevőnek nem biztos, hogy könnyű dolga először: amikor két éve először tartották ezt az iskolát, én magam is szokatlan voltam, többször is kikapcsoltam körülbelül egy dupla előadás közepén, és akkor nehéz volt megérteni, mi történik. De ez nagymértékben az előadón múlik: egy jó előadó mindhárom órán keresztül nagyon érdekesen beszél.
Hidra konferencia - gyakorlatiasabb rendezvény. A tudomány több fényese is eljött az Iskolába előadást tartani: órától , amelynek munkája a többszálú és elosztott rendszerek elméletének alapja , a párhuzamosságról szóló híres tankönyv egyik szerzője, „A többprocesszoros programozás művészete”. De a konferencián megpróbálunk beszélni arról, hogy bizonyos algoritmusok hogyan valósulnak meg a valóságban, milyen problémákkal kell szembenézniük a mérnököknek a gyakorlatban, kinek sikerül és kinek a kudarca, miért használnak egyes algoritmusokat a gyakorlatban, és miért nem. És persze beszéljünk a többszálú és elosztott rendszerek fejlesztésének jövőjéről. Vagyis egy ilyen élvonalat adunk: miről beszél most a világtudomány, mi körül forognak a vezető mérnökök gondolatai, és mindez hogyan fér össze.
— Mivel a konferencia inkább alkalmazott, nem csak akadémiai fényesek lesznek, hanem a „produkcióból” is előadók?
- Egyértelműen. Igyekszünk az összes „nagyot” megnézni: Google, Netflix, Yandex, Odnoklassniki, Facebook. Vannak konkrét vicces problémák. Például mindenki azt mondja: „A Netflix egy elosztott rendszer, az Egyesült Államok forgalmának majdnem a fele, nagyon klassz”, és amikor elkezdi nézegetni a tényleges jelentéseiket, cikkeiket és kiadványaikat, enyhe csalódás támad. Mert bár ez minden bizonnyal világszínvonalú, és van vágó egde, de kevesebb van belőle, mint amilyennek első pillantásra tűnik.
Felmerül egy érdekes dilemma: felhívhatja a nagy eminens cégek képviselőit, vagy felhívhat valakit, akit már ismerünk. A valóságban a szakértelem itt is, ott is létezik. Mi pedig inkább nem „nagyon nagy márkák embereit”, hanem nagyon nagy szakembereket, konkrét embereket próbálunk kihúzni.
Például ott lesz Martin Kleppmann, aki egy időben feltűnt a LinkedIn-en, és ki is adott — talán az egyik alapkönyv az elosztott rendszerek területén.
– Ha az ember nem a Netflixnél dolgozik, hanem egy egyszerűbb cégnél, elgondolkozhat: „Elmenjek egy ilyen konferenciára, vagy mindenféle Netflix-es beszélget egymással, de nincs mit csinálnom?”
– Elmondom: amikor valamivel több mint három évig az Oracle-nél dolgoztam, a konyhában és a dohányzószobákban hallottam a legcsodálatosabb és legérdekesebb dolgokat, amikor a kollégák ott gyűltek össze, hogy elkészítsék a Java platform egyes részeit. Ezek lehetnek emberek a virtuális gépről, a tesztelési részlegről vagy a teljesítmény párhuzamosságáról – például Lyosha Shipilev és Seryozha Kuksenko.
Amikor elkezdtek valamit megbeszélni maguk között, általában csak tátott szájjal hallgattam. Számomra ezek csodálatos és váratlan dolgok voltak, amelyekre nem is gondoltam. Természetesen először 90%-ban nem értettem, miről beszélnek. Aztán 80% érthetetlenné vált. És miután elvégeztem a házi feladatomat és elolvastam néhány könyvet, ez a szám 70%-ra csökkent. Sok mindent még mindig nem értem, miről beszélnek egymás között. De ahogy a sarokban ültem egy csésze kávé mellett, és lehallgattam, egy kicsit kezdtem megérteni, mi történik.
Ezért amikor a Google, a Netflix, a LinkedIn, az Odnoklassniki és a Yandex beszélnek egymással, ez nem jelenti azt, hogy ez valami érthetetlen és érdektelen. Éppen ellenkezőleg, figyelmesen kell hallgatnunk, mert ez a jövőnk.
Persze vannak, akiknek mindezekre nincs szükségük. Ha nem akarsz fejlődni ebben a témában, akkor nem kell elmenned erre a konferenciára, csak időt veszítesz ott. De ha érdekes a téma, de nem értesz hozzá semmit, vagy csak nézed, akkor gyere el, mert sehol nem találsz hasonlót. Sőt, szerintem nem csak Oroszországban, hanem a világban is. Igyekszünk egy olyan konferenciát létrehozni, amely nemcsak Oroszországban lesz vezető ebben a témában, hanem általában az első helyen áll a világon.
Ez nem a legegyszerűbb feladat, de amikor ilyen csodálatos esélyünk van arra, hogy erős előadókat gyűjtsünk a világ minden tájáról, hajlandó vagyok sokat adni ennek érdekében. Természetesen néhányan azok közül, akiket meghívtunk az első Hydrára, nem tudnak eljönni. De mondom: ilyen erős felállással még soha nem kezdtünk új konferenciát. Kivéve talán a legelső JPoint hat évvel ezelőtt.
— Az „ez a mi jövőnk” szavakkal bővíteném: a téma később azokat is érinti, akik ma nem gondolnak rá?
- Igen, biztos vagyok benne. Ezért számomra nagyon helyesnek tűnik, hogy a lehető leggyorsabban elkezdjük a vitát. Például a multithreading elmélete elég régen megjelent (a 70-es években már javában jelentek meg a munkák), de sokáig ők voltak a szűk szakemberek sora, mígnem megjelent az első felhasználó, kétmagos számítógép. a 10-es évek elején. És most már mindannyiunknak többmagos szervere, laptopja, sőt telefonja is van, és ez a fősodor. Körülbelül XNUMX évnek kellett eltelnie ahhoz, hogy ez széles körben elterjedjen, hogy az emberek megértsék, ez a diskurzus nem a szakemberek szűk körének a tartománya.
És most nagyjából ugyanezt látjuk az elosztott rendszereknél. Ugyanis az olyan alapmegoldásokat, mint a terheléselosztás, hibatűrés és hasonlók már elég régóta csinálják, de nagyon kevesen tudják, mi az például az elosztott konszenzus vagy a Paxos.
Az egyik legfontosabb cél, amit ezzel az eseménysel kapcsolatban kitűztem, az, hogy a mérnököket egyre jobban elmerítsem ebbe a vitába. Meg kell értenie, hogy a konferenciákon egyes témák és megoldások nemcsak szóba kerülnek, hanem egy tezaurusz is megjelenik - egy egységes fogalmi apparátus.
Feladatomnak tekintem egy olyan platform létrehozását, ahol mindenki megbeszélheti mindezt, megoszthatja tapasztalatait, véleményét. Hogy Ön és én közösen értsük, mit csinál az egyik algoritmus, mit csinál a másik, melyik milyen feltételek mellett jobb, hogyan kapcsolódnak egymáshoz stb.
Egy nagyon érdekes dolog kapcsolódik ugyanahhoz a többszálúhoz. Amikor az Oracle-es barátaink (elsősorban Lesha Shipilev és Sergey Kuksenko) elkezdtek aktívan beszélni a teljesítményről, és különösen a többszálú feldolgozásról, szó szerint két-három évvel később ezeket a kérdéseket elkezdték feltenni a vállalatoknál készített interjúkon, az emberek elkezdtek erről beszélni. dohányzó szobák. Vagyis egy olyan dolog, amiről a szűk szakértők nagy része volt, hirtelen mainstream lett.
És ez nagyon helyes. Úgy tűnik számomra, hogy segítettünk ezeknek a srácoknak népszerűsíteni ezt az egész kérdést, ami igazán fontos, hasznos és érdekes. Ha korábban senki sem gondolt arra, hogy egy Java szerver hogyan dolgozza fel párhuzamosan a kéréseket, most az emberek legalább valamilyen szinten megértik, hogyan működik mindez. És ez nagyszerű.
A feladat, amit most látok, az, hogy megközelítőleg ugyanezt csináljam az elosztott rendszerekkel. Hogy nagyjából mindenki értse, mi ez, honnan jön, milyen feladatok, problémák vannak, hogy ez is mainstream legyen.
A cégeknek óriási keresletük van azokra, akik értenek ehhez valamit, és kevés ilyen ember van. Minél többet alkotunk e tartalom körül, és lehetőség nyílik arra, hogy tanuljunk belőle, minél több lehetőséget adunk az embereknek arra, hogy kérdéseket tegyenek fel a levegőben, annál valószínűbb, hogy valahogy ebbe az irányba haladunk.
őstörténet
— A konferenciát először rendezik meg, de az iskola számára nem először. Hogyan keletkezett és fejlődött mindez?
- Ez egy érdekes történet. Két éve, 2017 májusában Nikita Kovallal ültünk Kijevben (), a többszálú feldolgozás szakértője. És azt mondta, hogy Szentpéterváron tartják .
A többszálú programozás témája fantasztikusan érdekes volt mérnöki pályafutásom elmúlt három évében. És akkor kiderült, hogy nyáron nagyon-nagyon híres emberek jönnek Szentpétervárra, ugyanaz a Maurice Herlihy és Nir Shavit, a szerint. amelyet tanulmányoztam. És sok barátomnak volt köze ehhez - például Roma Elizarovnak (). Rájöttem, hogy egy ilyen eseményt egyszerűen nem hagyhatok ki.
Amikor kiderült, hogy az iskola 2017-es programja remek lesz, felmerült az ötlet, hogy az előadásokat mindenképpen videóra kell venni. Nekünk, a JUG.ru Csoportnál teljes mértékben megértettük, hogyan kell rögzíteni az ilyen előadásokat. És beilleszkedtünk az SPTCC-be, mint azok a srácok, akik videót készítettek az iskolának. Ennek eredményeként minden iskolai előadás a YouTube csatornánkon.
Elkezdtem kommunikálni Pjotr Kuznyecovval, aki ennek az iskolának a fő ideológusa és szervezője volt, valamint Vitalij Aksenovval, aki segített megszervezni mindezt Szentpéterváron. Rájöttem, hogy ez fantasztikusan klassz és érdekes, és valószínűleg nagyon rossz, hogy csak 100 résztvevő érintheti meg a szépséget.
Amikor Péter úgy gondolta, hogy újra el kell kezdenie az iskolát (2018-ban nem volt energiája és ideje, ezért úgy döntött, hogy 2019-ben megteszi), világossá vált, hogy segíthetünk neki azzal, hogy egyszerűen eltávolítunk tőle minden szervezési dolgot. Ez történik most, Péter foglalkozik a tartalommal, mi pedig minden mással. És ez a helyes séma tűnik: Pétert valószínűleg jobban érdekli a program, mint a „hol és mikor ebédel mindenki”. És jól tudunk dolgozni termekkel, helyszínekkel stb.
Ezúttal az SPTCC helyett az iskola neve SPTDC, nem „concurrent computing”, hanem „distributed computing”. Ennek megfelelően nagyjából ez a különbség: legutóbb az iskolában nem beszéltek elosztott rendszerekről, ezúttal viszont aktívan fogunk beszélni róluk.
— Mivel nem először rendezik meg az iskolát, már levonhatunk néhány következtetést a múltból. Mi történt legutóbb?
— Amikor két éve megalakult az első iskola, arra számítottak, hogy lesz egy tanulmányi esemény, elsősorban a diákok érdeklődésére. Sőt, diákok a világ minden tájáról, mert az iskola csak angol nyelvű, és úgy gondolták, hogy jelentős számú külföldi diák érkezik majd.
Valójában kiderült, hogy sok mérnök olyan nagy orosz cégektől érkezett, mint a Yandex. Ott volt Andrey Pangin () az Odnoklassnikiből, voltak olyan srácok a JetBrainstől, akik aktívan dolgoznak ezen a témán. Általában sok ismerős arc volt ott a partnercégeinktől. Egyáltalán nem vagyok meglepve, tökéletesen értem, miért jöttek oda.
Igazából a szervezők azt várták, hogy akadémikusok lesznek az Iskolában, de hirtelen jöttek az iparból, és akkor világossá vált számomra, hogy van kereslet az iparban.
Ha egy esemény, amelyet alig népszerűsítettek sehol, az első ujjkattintásra felnőtt közönséget gyűjtött össze, az azt jelenti, hogy valóban van érdeklődés. Számomra úgy tűnik, hogy egy kérés ebben a témában lejárt.
Maurice Herlihy a JUG.ru találkozón
— Az iskola mellett Maurice Herlihy felszólalt Szentpéterváron a JUG.ru találkozón 2017-ben, a tranzakciós memóriáról, és ez egy kicsit közelebb áll a konferencia formátumához. Kik jöttek akkor – ugyanazok, akik általában a JUG.ru találkozóira jönnek, vagy más közönség?
— Érdekes volt, mert megértettük, hogy Maurice-nak általános jelentése lesz, nem pedig Java-specifikus, és egy kicsit szélesebb körű bejelentést tettünk, mint általában JUG hír-előfizetőink számára.
Sok ember, akit ismerek, olyan közösségekből jött, amelyek egyáltalán nem foglalkoznak a Java-val: a .NET tömegéből, a JavaScript tömegéből. Mivel a tranzakciós memória témája nem egy konkrét fejlesztési technológiához kapcsolódik. Amikor egy világszínvonalú szakember jön, hogy a tranzakciós memóriáról beszéljen, egyszerűen bűnnek számít, ha elmulasztja a lehetőséget, hogy meghallgasson egy ilyen személyt, és kérdéseket tegyen fel neki. Hatalmas benyomást kelt, amikor az ember, akinek a könyvét tanulod, odajön hozzád, és elmond valamit. Egyszerűen fantasztikus.
– És mi volt a visszajelzés ennek eredményeként? Túl akadémikus és érthetetlen volt a megközelítés az iparban dolgozók számára?
— A Herlihy-jelentésről szóló vélemények jók voltak. Az emberek azt írták, hogy nagyon egyszerűen és világosan megfogalmazta azt, amit egy akadémikus professzortól nem vártak el. De meg kell értenünk, hogy okkal hívtuk meg, világhírű szakember, nagy tapasztalattal a beszédben, és egy csomó könyvből és cikkből származik. És valószínűleg sok szempontból vált híressé annak köszönhetően, hogy képes volt anyagot közvetíteni az emberekhez. Ezért ez nem meglepő.
Normálisan, érthetően beszél angolul, és természetesen nagyon érti, hogy miről beszél. Vagyis abszolút bármilyen kérdést feltehetsz neki. Alapvetően arra panaszkodtak az emberek, hogy túl kevés időt adtunk Maurice-nak a jelentésére: két óra nem elég ilyesmire, még legalább kettő kell. Nos, két óra alatt sikerült megcsinálni, amit sikerült.
motiváció
— Általában a JUG.ru Group nagyszabású rendezvényekkel foglalkozik, de ez a téma sokkal speciálisabbnak tűnik. Miért döntöttél úgy, hogy felvállalod? Van-e hajlandóság egy kisebb rendezvény megtartására, vagy sok néző gyűlhet össze egy ilyen témában?
— Valóban, amikor egy rendezvényt tartunk, és meghatározunk egy bizonyos szintű megbeszélést, mindig felmerül a kérdés, hogy mennyire elterjedt ez a vita. Hány embert – tíz, száz vagy ezer – érdekel ez? A tömeg és a mélység között kompromisszum van. Ez egy teljesen normális kérdés, és mindenki másképp oldja meg.
Ebben az esetben az eseményt „magamnak” szeretném megvalósítani. Még mindig értek valamit a többszálú használathoz (előadásokat tartottam erről a témáról konferenciákon, és többször elmondtam valamit a hallgatóknak), de kezdő vagyok az elosztott rendszerek terén: olvastam néhány cikket és láttam néhány előadást, de nem akár egyetlen teljes értékű könyv is elolvasta.
Van egy programbizottságunk, amely a terület szakértőiből áll, akik értékelni tudják a jelentések pontosságát. A magam részéről pedig igyekszem olyanná tenni ezt a rendezvényt, ahová szakértelem hiányában szívesen elmennék. Hogy sikerül-e felkelteni a tömegközönséget, nem tudom. Ebben a szakaszban valószínűleg nem ez a legfontosabb feladata ennek az eseménynek. Most sokkal fontosabb, hogy rövid időn belül a legerősebb programot hozzuk létre.
Valószínűleg most nem azt a feladatot tűztem ki a csapatnak, hogy „első alkalommal gyűjtsünk össze ezer embert”, hanem „hogy megjelenjen a konferencia”. Ez talán nem hangzik túl üzletszerűen és kissé naivnak, bár egyáltalán nem vagyok altruista. De néha megengedhetek magamnak bizonyos szabadságjogokat.
Vannak fontosabb dolgok a pénznél és a pénzen túl is. Már most is számos klassz, nagyszabású rendezvényt szervezünk ezer fős vagy annál nagyobb létszámmal. Java-konferenciáink már régóta meghaladták az ezer főt, és most más rendezvények is átugranak ezen a lécen. Vagyis az a kérdés, hogy tapasztalt és neves szervezők lettünk, már nem éri meg. És valószínűleg az, amit ezeken az eseményeken keresünk, lehetőséget ad arra, hogy újra befektessünk abba, ami számunkra érdekes, és ebben az esetben személyesen is.
Ezzel az eseménnyel szembemegyek szervezetünk egyes alapelveivel. Például általában igyekszünk nagyon előre elkészíteni a konferenciákat, de most nagyon szorosak a határidők, és csak egy hónappal maga a rendezvény előtt véglegesítjük a programot.
És ez a rendezvény 70-80%-ban angol nyelvű lesz. Itt is mindig felmerül a vita, hogy közelebb kell lennünk az emberekhez (akik jobban értik, ha a legtöbb jelentés oroszul van), vagy az egész világhoz (mert a technikai világ angol nyelvű). Általában sok riportot igyekszünk oroszul készíteni. De most nem.
Sőt, néhány oroszul beszélő kollégánkat is megkérünk arra, hogy angolul beszéljenek. Ez bizonyos értelemben abszolút felhasználóellenes és embertelen megközelítés. De meg kell értenünk, hogy jelenleg nincs orosz nyelvű irodalom ebben a témában, és akit ez egyáltalán érdekel, kénytelen angolul olvasni. Ez azt jelenti, hogy valahogy meg tud érteni angolul. Ha a JavaScript, a Java vagy a .NET esetében sok olyan ember van, aki nem nagyon tud angolul, ugyanakkor jól tud programozni, akkor valószínűleg az elosztott rendszerek olyan terület, ahol egyszerűen nincs más a tanulás módja most.
Nagyon szeretném elvégezni ezt a kísérletet: hogyan fog egy 70–80%-ban angol nyelvű rendezvényt érzékelni az oroszországi közvélemény. Bejön vagy nem? Ezt nem tudjuk előre, mert még soha nem csináltuk. De miért ne tenné meg? Tegyük fel, hogy ez egy nagy kísérlet, amit egyszerűen nem tudok nem kipróbálni.
SPTDC iskolai program már teljesen, és a Hydra esetében már észrevehető része, és hamarosan a konferencia teljes programjának elemzését is közöljük.
Forrás: will.com