Nedavno je bilo dva događaja odjednom o razvoju višenitnih i distribuiranih sistema: konferencija (11-12. jul) i škola (8-12. jul). Ljudi kojima je bliska ova tema razumeju da dolazak u Rusiju Leslie Lamport, Maurice Herlihy и Michael Scott - najvažniji događaj. Ali pojavila su se druga pitanja:
- Šta očekivati od konferencije: “akademsko” ili “produkcijsko”?
- Kako su škola i konferencija povezani? Kome je to i to namijenjeno?
- Zašto se datumi preklapaju?
- Hoće li biti korisni onima koji nisu cijeli svoj život posvetili distribuiranim sistemima?
Sve je to dobro poznato osobi koja je oživjela Hidru: našem direktoru Alexey Fedorov (). Odgovorio je na sva pitanja.
Format
— Uvodno pitanje za one koji su daleko od distribuiranih sistema: o čemu su oba događaja?
— Globalni izazov je što oko nas postoje servisi sa velikim obimom operacija i složenim računarskim zadacima koji se ne mogu obaviti na jednom računaru. To znači da mora biti nekoliko automobila. A onda se postavljaju pitanja vezana za to kako pravilno sinkronizirati njihov rad i što učiniti u uvjetima ne najveće pouzdanosti (jer se oprema pokvari i mreža otpada).
Što više mašina ima, to je više tačaka kvara. Šta učiniti ako različite mašine daju različite rezultate za iste proračune? Šta učiniti ako mreža nestane na neko vrijeme i dio proračuna postane izoliran, kako onda sve to kombinirati? Općenito, postoji milion problema povezanih s ovim. Nova rješenja - novi problemi.
U ovoj oblasti postoje potpuno primijenjene oblasti, a ima i više naučnih - nešto što još nije postalo mainstream. Želeo bih da pričam o tome šta se dešava i u praksi i u nauci, i što je najvažnije, na njihovom spoju. O tome će biti posvećena prva Hydra konferencija.
— Voleo bih da razumem činjenicu da postoji konferencija, a postoji i letnja škola. Kako su oni povezani? Ako se za učesnike škole pravi popust da prisustvuju konferenciji, zašto se onda preklapaju u datumima, tako da je nemoguće prisustvovati svemu odjednom bez gubitka?
— Škola je kamerna manifestacija za 100–150 ljudi, na koju dolaze vodeći stručnjaci iz cijelog svijeta i drže predavanja pet dana. I nastaje situacija kada se svetski svetski svetski svetski svetski svetski svetski svetski svetski svetski ljudi okupe u Sankt Peterburgu na pet dana, spremni da nešto ispričaju. I u ovom slučaju dolazi do odluke da se organizuje ne samo komorna škola, već i konferencija većeg obima.
Takvu školu moguće je održati samo ljeti, u julu, jer među tim specijalistima ima sadašnjih univerzitetskih profesora, a oni jednostavno nisu spremni u bilo koje drugo vrijeme: imaju studente, diplome, predavanja itd. Format škole je pet radnih dana. Poznato je da ljeti vikendom ljudi vole negdje otići. To znači da ne možemo održati konferenciju ni vikendom prije škole ni vikendom poslije škole.
A ako ga produžite još par dana prije ili poslije vikenda, onda se na magičan način pet dana boravka specijalista u Sankt Peterburgu pretvara u devet. I nisu spremni za ovo.
Stoga je jedino rješenje koje smo pronašli bilo jednostavno održavanje konferencije paralelno sa školom. Da, ovo stvara neke probleme. Ima ljudi koji žele da idu u školu i na konferenciju, pa će morati da izostave neko predavanje tu ili tamo. Dobra vijest je da će se sve ovo odvijati u susjednim halama, možete trčati tamo-amo. Još jedna dobra stvar je dostupnost video snimaka, u kojima kasnije možete mirno pogledati šta ste propustili.
— Kada se dva događaja odvijaju paralelno, ljudi imaju pitanje „koji mi treba više?“ Šta tačno treba očekivati od svakog od njih i koje su razlike?
— Škola je čisto akademski događaj, višednevna klasična naučna škola. Svako ko se bavio naukom i imao veze sa postdiplomskim studijama ima ideju o tome šta je akademska škola.
Obično takvi akademski događaji nisu dobro organizovani zbog nedostatka stručnosti ljudi koji to rade. Ali mi smo još uvijek prilično iskusni momci, tako da sve možemo odraditi prilično kompetentno. Mislim da će sa organizacione tačke gledišta, SPTDC biti iznad svih akademskih ili istraživačkih škola koje ste ikada vidjeli.
SPTDC škola - ovo je format u kojem se svako veliko predavanje čita u dva para: "sat i po - pauza - sat i po." Morate shvatiti da polazniku možda neće biti lako prvi put: kada je ova škola održana prvi put prije dvije godine, i ja sam bio neobičan, nekoliko puta sam se isključio otprilike usred duplog predavanja i tada je bilo teško shvatiti šta se dešava. Ali to uvelike zavisi od predavača: dobar predavač sva tri sata priča veoma zanimljivo.
Hydra Conference - praktičniji događaj. Biće nekoliko svetila nauke koji će doći da predaju u Školi: od , čiji rad leži u osnovi same teorije višenitnih i distribuiranih sistema, to , jedan od autora čuvenog udžbenika o konkurentnosti „Umetnost višeprocesorskog programiranja“. Ali na konferenciji ćemo pokušati razgovarati o tome kako se određeni algoritmi implementiraju u stvarnosti, s kojim se problemima inženjeri susreću u praksi, ko uspijeva, a tko ne uspijeva, zašto se neki algoritmi koriste u praksi, a drugi ne. I naravno, hajde da pričamo o budućnosti razvoja višenitnih i distribuiranih sistema. Odnosno, daćemo takvu oštricu: o čemu svetska nauka sada govori, oko čega se vrte misli vodećih inženjera i kako se sve to uklapa.
— Pošto je konferencija više primenjena, hoće li biti ne samo akademskih svetila, već i govornika iz „produkcije“?
- Definitivno. Pokušavamo da sagledamo sve „velike“: Google, Netflix, Yandex, Odnoklassniki, Facebook. Postoje specifični smiješni problemi. Na primjer, svi kažu: „Netflix je distribuiran sistem, skoro polovina američkog saobraćaja, vrlo kul“, a kada počnete da gledate njihove stvarne izvještaje, članke i publikacije, nastaje lagano razočarenje. Jer, iako je ovo zasigurno svjetska klasa i postoji vrhunac, toga je manje nego što se čini na prvi pogled.
Pojavljuje se zanimljiva dilema: možete pozvati predstavnike velikih eminentnih kompanija, a možete pozvati nekog nama poznatog. U stvarnosti, stručnost postoji i tu i tamo. A mi radije pokušavamo da izvučemo ne “ljude iz vrlo velikih brendova”, već vrlo velike stručnjake, konkretne ljude.
Na primjer, tu će biti Martin Kleppmann, koji je svojedobno napravio buku na LinkedIn-u i također objavio — možda jedna od osnovnih knjiga iz oblasti distribuiranih sistema.
— Ako osoba ne radi u Netflixu, već u jednostavnijoj kompaniji, može se zapitati: „Da li da idem na takvu konferenciju ili postoje razni Netflixovi koji razgovaraju jedni s drugima, a ja nemam šta da radim?“
— Reći ću ovo: kada sam radio u Oracle-u nešto više od tri godine, čuo sam najneverovatnije i najzanimljivije stvari u kuhinji i u pušionicama, kada su se tamo okupljale kolege praveći određene delove Java platforme. To mogu biti ljudi iz virtuelne mašine, ili iz odeljenja za testiranje, ili iz konkurentnosti performansi - na primer, Ljoša Šipilev i Serjoža Kuksenko.
Kada su počeli da raspravljaju o nečemu među sobom, obično sam samo slušao otvorenih usta. Za mene su to bile nevjerovatne i neočekivane stvari o kojima nisam ni razmišljao. Naravno, u početku nisam razumio 90% o čemu pričaju. Tada je 80% postalo nerazumljivo. A nakon što sam uradio domaći i pročitao nekoliko knjiga, ovaj broj je pao na 70%. Još uvek ne razumem mnogo toga o čemu pričaju među sobom. Ali dok sam sedeo u uglu sa šoljicom kafe i prisluškivao, počeo sam pomalo da shvatam šta se dešava.
Dakle, kada Google, Netflix, LinkedIn, Odnoklassniki i Yandex međusobno razgovaraju, to ne znači da je to nešto nerazumljivo i nezanimljivo. Naprotiv, moramo pažljivo slušati, jer to je naša budućnost.
Naravno, postoje ljudi kojima sve ovo nije potrebno. Ako ne želite da se razvijate u ovoj temi, ne morate ići na ovu konferenciju, samo ćete tamo gubiti vrijeme. Ali ako je tema interesantna, a ne razumete ništa o njoj ili je samo gledate, onda treba da dođete, jer ništa slično nećete naći nigde. Štaviše, mislim da ne samo u Rusiji, već iu svetu. Pokušavamo da napravimo konferenciju koja neće biti samo vodeća na ovu temu u Rusiji, već generalno broj jedan u svijetu.
Ovo nije najlakši zadatak, ali kada imamo tako nevjerovatnu priliku da okupimo jake govornike iz cijelog svijeta, spreman sam dati mnogo da se to i ostvari. Naravno, neki od onih koje smo pozvali na prvu Hidru neće moći doći. Ali reći ću ovo: nikada nismo započeli novu konferenciju sa tako moćnom postavom. Osim, možda, prvog JPointa prije šest godina.
— Želeo bih da proširim reči „ovo je naša budućnost“: da li će ta tema kasnije uticati na one koji o njoj danas ne razmišljaju?
- Da, siguran sam u to. Stoga mi se čini vrlo ispravnim da se o tome počne što je prije moguće. Na primjer, teorija višenitnog rada pojavila se dosta davno (70-ih godina rad je već bio objavljivan u punom zamahu), ali dugo su bili dio uskih stručnjaka, sve dok se nije pojavio prvi korisnički dual-core kompjuter početkom 10-ih. A sada svi imamo višejezgarne servere, laptope, pa čak i telefone, a ovo je mainstream. Trebalo je oko XNUMX godina da se ovo proširi, da ljudi shvate da ovaj diskurs nije oblast uskog kruga stručnjaka.
I mi sada vidimo približno istu stvar sa distribuiranim sistemima. Jer osnovna rješenja poput raspodjele opterećenja, tolerancije grešaka i slično rade se dosta dugo, ali malo ljudi zna što je, na primjer, distribuirani konsenzus ili Paxos.
Jedan od najvažnijih ciljeva koje sam postavio za ovaj događaj je da sve više uronim inženjere u ovu diskusiju. Morate shvatiti da se na konferencijama o nekim temama i rješenjima ne samo raspravlja, već nastaje i tezaurus – jedinstven konceptualni aparat.
Svoj zadatak vidim da napravim platformu na kojoj će svi o svemu tome razgovarati, razmjenjivati iskustva i mišljenja. Tako da vi i ja imamo zajedničko razumijevanje o tome šta jedan algoritam radi, šta drugi radi, koji je bolji pod kojim uslovima, kako su međusobno povezani, itd.
Vrlo zanimljiva stvar je vezana za istu višenitnu obradu. Kada su naši prijatelji iz Oraclea (prvenstveno Lesha Shipilev i Sergey Kuksenko) počeli aktivno da pričaju o performansama, a posebno o multithreadingu, bukvalno dve ili tri godine kasnije ova pitanja su se počela postavljati na intervjuima u kompanijama, ljudi su počeli da razgovaraju o tome u sobe za pušače. Odnosno, stvar koja je bila sudbina uskih stručnjaka odjednom je postala mainstream.
I ovo je veoma tačno. Čini mi se da smo ovim momcima pomogli da populariziraju cijelu ovu temu, koja je zaista važna, korisna i zanimljiva. Ako ranije niko nije razmišljao o tome kako Java server paralelno obrađuje zahtjeve, sada ljudi barem na određenom nivou razumiju kako sve to funkcionira. I to je sjajno.
Zadatak koji sada vidim je da se približno isto uradi sa distribuiranim sistemima. Da svi otprilike shvate šta je to, odakle dolazi, kakvi su zadaci i problemi, da i ovo postane mejnstrim.
Kompanije imaju ogromnu potražnju za ljudima koji nešto razumiju u ovo, a takvih je malo. Što više stvaramo oko ovog sadržaja i prilike da učimo iz njega, što više dajemo ljudima mogućnosti da postavljaju pitanja koja su u zraku, veća je vjerovatnoća da ćemo nekako krenuti u tom smjeru.
prapovijest
— Konferencija se održava prvi put, ali ovo nije prvi put za školu. Kako je sve ovo nastalo i razvijalo se?
- Ovo je zanimljiva priča. Prije dvije godine, u maju 2017, sjedili smo u Kijevu sa Nikitom Kovalom (), stručnjak u oblasti višenitnog rada. I rekao mi je da će se održati u Sankt Peterburgu .
Tema višenitnog programiranja bila je fantastično zanimljiva u posljednje tri godine moje inženjerske karijere. A onda se ispostavilo da ljeti u Sankt Peterburg dolaze vrlo, vrlo poznati ljudi, isti Maurice Herlihy i Nir Shavit, prema koju sam studirao. I mnogi moji prijatelji su imali neke veze s tim - na primjer, Roma Elizarov (). Shvatio sam da jednostavno ne mogu propustiti takav događaj.
Kada je postalo jasno da će školski program za 2017. godinu biti odličan, pojavila se ideja da se predavanja svakako snime na video. Mi u JUG.ru Grupi smo potpuno razumeli kako takva predavanja treba da se snimaju. I mi se uklapamo u SPTCC kao momci koji su napravili video za školu. Kao rezultat, sva školska predavanja na našem YouTube kanalu.
Počeo sam da komuniciram sa Petrom Kuznjecovim, koji je bio glavni ideolog i organizator ove škole, i sa Vitalijem Aksenovim, koji je pomogao u organizaciji svega ovoga u Sankt Peterburgu. Shvatio sam da je ovo fantastično cool i zanimljivo i vjerovatno je jako loše što samo 100 učesnika može dotaknuti ljepotu.
Kada je Petar pomislio da treba ponovo da krene u školu (2018. nije bilo energije i vremena, pa je odlučio da to uradi 2019. godine), postalo je jasno da mu možemo pomoći tako što ćemo mu jednostavno ukloniti sve organizacione stvari. Ovo se sada dešava, Petar se bavi sadržajem, a mi radimo sve ostalo. I ovo se čini kao prava šema: Petera vjerovatno više zanima program nego “gdje i kada će svi ručati”. I dobri smo u radu sa halama, prostorima i tako dalje.
Ovaj put, umjesto SPTCC, škola se zove SPTDC, ne “concurrent computing”, već “distributed computing”. Shodno tome, ovo je otprilike razlika: prošli put u školi nisu govorili o distribuiranim sistemima, ali ovaj put ćemo aktivno pričati o njima.
— Kako se škola ne održava prvi put, već možemo izvući neke zaključke iz prošlosti. Šta se desilo prošli put?
— Kada je prije dvije godine nastala prva škola, očekivalo se da će se održati akademski događaj, prvenstveno od interesa za učenike. Štaviše, studenti iz cijelog svijeta, jer škola je samo na engleskom jeziku, a mislilo se da će doći značajan broj stranih studenata.
U stvari, pokazalo se da mnogo inženjera dolazi iz velikih ruskih kompanija poput Yandexa. Bio je tu Andrej Pangin () iz Odnoklassnika, bilo je momaka iz JetBrainsa koji aktivno rade na ovoj temi. Generalno, tamo je bilo mnogo poznatih lica iz naših partnerskih kompanija. Uopšte nisam iznenađen, savršeno razumem zašto su tamo došli.
Zapravo, organizatori su očekivali da će u Školi biti akademika, ali odjednom su došli ljudi iz industrije i tada mi je postalo jasno da postoji potražnja u industriji.
Ako je događaj koji je jedva igdje promoviran, na prvi klik prstom okupio punoljetnu publiku, znači da zaista postoji interesovanje. Čini mi se da je zahtjev na ovu temu zakasnio.
Maurice Herlihy na sastanku JUG.ru
— Pored škole, Maurice Herlihy je govorio u Sankt Peterburgu na skupu JUG.ru 2017. godine, o transakcijskoj memoriji, a ovo je malo bliže formatu konferencije. Ko je tada došao - isti ljudi koji obično dolaze na sastanke JUG.ru ili druga publika?
— Bilo je zanimljivo jer smo shvatili da će Maurice imati generalni izvještaj, a ne specifičan za Javu, i dali smo malo širu najavu nego što obično radimo za naše pretplatnike na JUG vijesti.
Mnogi ljudi koje poznajem su došli iz zajednica koje uopšte nisu o Javi: iz .NET gomile, iz gomile JavaScript. Zato što se tema transakcijske memorije ne odnosi na određenu razvojnu tehnologiju. Kada stručnjak svjetske klase dođe da govori o transakcijskom pamćenju, propustiti priliku da sasluša takvu osobu i postavi mu pitanja je jednostavno zločin. Jednostavno ostavlja snažan utisak kada vam osoba iz čije knjige učite dođe i kaže vam nešto. Jednostavno fantastično.
— I kakve su bile povratne informacije kao rezultat? Da li je pristup bio previše akademski i nerazumljiv za ljude iz industrije?
— Recenzije Herlihyjevog izvještaja su bile dobre. Ljudi su pisali da je vrlo jednostavno i jasno rekao ono što se od akademskog profesora ne očekuje. Ali moramo shvatiti da smo ga pozvali s razlogom, on je svjetski poznati specijalista sa velikim iskustvom u govoru i iskustvom iz gomile knjiga i članaka. I, vjerovatno, postao je poznat na mnogo načina zahvaljujući svojoj sposobnosti da ljudima prenese materijal. Stoga, ovo nije iznenađujuće.
Govori normalan, razumljiv engleski i, naravno, odlično razumije ono o čemu priča. Odnosno, možete mu postaviti apsolutno sva pitanja. Uglavnom, ljudi su se žalili da smo Mauriceu dali premalo vremena za njegov izvještaj: dva sata nisu dovoljna za tako nešto, potrebna su još najmanje dva. Pa, uspjeli smo da uradimo ono što smo uspjeli za dva sata.
Motivacija
— Grupa JUG.ru se obično bavi velikim događajima, ali ova tema izgleda više specijalizovana. Zašto ste se odlučili za to? Postoji li spremnost da se održi manji događaj ili se može okupiti dosta gledalaca na takvu temu?
— Zaista, kada održavate događaj i postavite određeni nivo diskusije, uvijek se postavlja pitanje koliko je rasprostranjena ta diskusija. Koliko je ljudi - deset, sto ili hiljadu - zainteresovano za ovo? Postoji kompromis između mase i dubine. Ovo je sasvim normalno pitanje i svako ga rješava drugačije.
U ovom slučaju želim da napravim događaj „za sebe“. Još uvijek razumijem nešto o višenitnosti (držao sam predavanja o ovoj temi na konferencijama, i nekoliko puta nešto rekao studentima), ali sam početnik kada su u pitanju distribuirani sistemi: pročitao sam neke članke i vidio nekoliko predavanja, ali ne čak i jedna puna knjiga je pročitala.
Imamo programski komitet sastavljen od stručnjaka iz oblasti koji mogu da procene tačnost izveštaja. I sa svoje strane, pokušavam da ovaj događaj učinim jednim na koji bih, s obzirom na nedostatak stručnosti, volio otići. Da li će biti moguće zainteresovati masovnu javnost, ne znam. Ovo vjerovatno nije najvažniji zadatak ovog događaja u ovoj fazi. Sada je važnije napraviti najjači program za kratko vrijeme.
Vjerovatno sada nisam postavio timu zadatak da „prvi put okupi hiljadu ljudi“, već „da se konferencija pojavi“. Ovo možda ne zvuči baš poslovno i pomalo naivno, iako uopće nisam altruista. Ali ponekad mogu sebi dozvoliti neke slobode.
Postoje stvari važnije od novca i izvan novca. Već radimo veliki broj cool događaja velikih razmjera za hiljadu ljudi ili više. Naše Java konferencije odavno su premašile hiljadu ljudi, a sada i drugi događaji preskaču ovu traku. Odnosno, pitanje da smo postali iskusni i poznati organizatori više ne vrijedi. I, vjerovatno, ono što zaradimo na ovim događajima nam daje priliku da reinvestiramo u ono što je nama, a u ovom slučaju i meni lično, zanimljivo.
Radeći ovaj događaj, idem protiv nekih principa naše organizacije. Na primjer, obično se trudimo da konferencije pripremimo mnogo unaprijed, ali sada imamo vrlo kratke rokove, a program finaliziramo samo mjesec dana prije samog događaja.
I ovaj događaj će biti 70-80% na engleskom jeziku. I ovdje se uvijek vodi rasprava o tome da li treba da budemo bliže ljudima (koji bolje razumiju kada je većina izvještaja na ruskom) ili cijelom svijetu (jer je tehnički svijet engleski). Obično pokušavamo da uradimo mnogo izveštaja na ruskom jeziku. Ali ne u ovom trenutku.
Štaviše, zamolićemo neke od naših govornika koji govore ruski da govore na engleskom. Ovo je, u određenom smislu, apsolutno antikorisnički i nehuman pristup. Ali moramo shvatiti da trenutno ne postoji literatura na ruskom jeziku o ovoj temi, a svaka osoba koju to uopće zanima mora čitati na engleskom. To znači da je nekako u stanju da razumije engleski. Ako u slučaju JavaScripta, Jave ili .NET-a ima dosta ljudi koji ne znaju dobro engleski, ali u isto vrijeme znaju dobro programirati, onda su, vjerovatno, distribuirani sistemi oblast u kojoj jednostavno nema druge način da naučite sada.
Zaista želim da izvedem ovaj eksperiment: kako će javnost u Rusiji percipirati događaj na engleskom jeziku od 70 do 80%. Hoće li doći ili ne? To ne znamo unaprijed jer to nikada nismo radili. Ali zašto to ne učiniti? Recimo samo da je ovo jedan veliki eksperiment koji jednostavno ne mogu a da ne pokušam.
SPTDC školski program već postoji u potpunosti, au slučaju Hidre već zapažen dio, a uskoro ćemo objaviti analizu cjelokupnog programa konferencije.
izvor: www.habr.com