Onlangs was daar twee gebeurtenisse gelyktydig oor die ontwikkeling van multi-draad en verspreide stelsels: 'n konferensie (11-12 Julie) en skool (8-12 Julie). Mense wat na aan hierdie onderwerp is, verstaan dit om na Rusland te kom Leslie Lamport, Maurice Herlihy и Michael Scott - die belangrikste gebeurtenis. Maar ander vrae het ontstaan:
- Wat om van die konferensie te verwag: "akademies" of "produksie"?
- Hoe hou die skool en die konferensie verband? Op wie is dit en dat gemik?
- Hoekom oorvleuel hulle in datums?
- Sal dit nuttig wees vir diegene wat nie hul hele lewe aan verspreide stelsels gewy het nie?
Dit alles is welbekend aan die persoon wat Hydra tot lewe gebring het: ons regisseur Alexey Fedorov (). Hy het al die vrae beantwoord.
formaat
— 'n Inleidende vraag vir diegene wat ver van verspreide stelsels is: waaroor gaan beide gebeurtenisse?
— Die wêreldwye uitdaging is dat daar rondom ons dienste is met groot volumes bedrywighede en komplekse rekenaartake wat nie op een rekenaar gedoen kan word nie. Dit beteken daar moet verskeie motors wees. En dan ontstaan vrae oor hoe om hul werk behoorlik te sinchroniseer en wat om te doen in toestande van nie die hoogste betroubaarheid nie (omdat die toerusting breek en die netwerk val).
Hoe meer masjiene daar is, hoe meer punte van mislukking is daar. Wat om te doen as verskillende masjiene verskillende resultate vir dieselfde berekeninge lewer? Wat om te doen as die netwerk vir 'n geruime tyd verdwyn en 'n deel van die berekeninge word geïsoleer, hoe kan jy dit dan alles kombineer? Oor die algemeen is daar 'n miljoen probleme wat hiermee verband hou. Nuwe oplossings - nuwe probleme.
In hierdie gebied is daar heeltemal toegepaste gebiede, en daar is meer wetenskaplike - iets wat nog nie hoofstroom geword het nie. Ek wil graag praat oor wat beide in die praktyk en in die wetenskap gebeur, en die belangrikste, by hul aansluiting. Dit is waaroor die eerste Hydra-konferensie gaan handel.
— Ek wil graag die feit verstaan dat daar 'n konferensie is, en daar is 'n somerskool. Hoe hou hulle verband? As daar 'n afslag gemaak word vir skooldeelnemers om die konferensie by te woon, hoekom oorvleuel hulle dan in datums, sodat dit onmoontlik is om alles op een slag sonder verlies by te woon?
— Die skool is 'n kamergeleentheid vir 100–150 mense, waar vooraanstaande kundiges van regoor die wêreld vir vyf dae lank kom lesings gee. En 'n situasie ontstaan wanneer wêreldklas-helde vir vyf dae in St. Petersburg bymekaarkom, gereed om iets te vertel. En in hierdie geval ontstaan die besluit om nie net 'n kamerskool te organiseer nie, maar ook 'n groterskaalse konferensie.
Dit is moontlik om so 'n skool slegs in die somer, in Julie, te hou, want onder hierdie spesialiste is daar huidige universiteitsprofessore, en hulle is eenvoudig nie gereed op enige ander tyd nie: hulle het studente, diplomas, lesings, ensovoorts. Die skoolformaat is vyf weeksdae. Dit is bekend dat mense in die somer oor naweke daarvan hou om iewers heen te gaan. Dit beteken dat ons nie die naweek voor skool of die naweek na skool 'n konferensie kan hou nie.
En as jy dit nog ’n paar dae voor of ná die naweek verleng, dan word die vyf dae van spesialiste se verblyf in St. Petersburg op ’n magiese wyse nege. En hulle is nie gereed hiervoor nie.
Daarom was die enigste oplossing wat ons gevind het om bloot die konferensie parallel met die skool te hou. Ja, dit skep 'n paar probleme. Daar is mense wat skool toe en na 'n konferensie wil gaan, en hulle sal hier of daar 'n paar lesings moet mis. Die goeie nuus is dat dit alles in naburige sale sal plaasvind, jy kan heen en weer hardloop. En nog 'n goeie ding is die beskikbaarheid van video-opnames, waarin jy later rustig kan kyk wat jy gemis het.
- Wanneer twee gebeurtenisse parallel plaasvind, het mense die vraag "watter een het ek meer nodig?" Wat presies moet jy van elkeen verwag, en wat is die verskille?
— Skool is 'n suiwer akademiese geleentheid, 'n klassieke wetenskaplike skool vir etlike dae. Enigeen wat by wetenskap betrokke was en iets met nagraadse skool te doen gehad het, het 'n idee van wat 'n akademiese skool is.
Gewoonlik is sulke akademiese geleenthede nie baie goed georganiseer nie as gevolg van die gebrek aan geleentheidskundigheid van die mense wat dit doen. Maar ons is nogal ervare ouens, so ons kan alles redelik bekwaam doen. Ek dink dat SPTDC uit 'n organisatoriese oogpunt kop en skouers bo enige akademiese of navorsingsgebaseerde skool sal wees wat jy nog ooit gesien het.
SPTDC Skool - dit is 'n formaat waar elke groot lesing in twee pare gelees word: "'n uur en 'n half - 'n pouse - 'n uur en 'n half." Jy moet verstaan dat dit dalk nie vir 'n deelnemer vir die eerste keer maklik is nie: toe hierdie skool twee jaar gelede vir die eerste keer gehou is, was ek self ongewoon, ek het 'n paar keer ongeveer in die middel van 'n dubbellesing afgeskakel, en toe was dit moeilik om te verstaan wat aan die gebeur was. Maar dit hang baie van die dosent af: 'n goeie dosent praat al drie ure baie interessant.
Hidra Konferensie - 'n meer praktiese geleentheid. Daar sal verskeie uitblinkers van die wetenskap wees wat by die Skool kom doseer het: van , wie se werk ten grondslag lê aan die teorie van multi-draad en verspreide stelsels, om , een van die skrywers van die bekende handboek oor sameloop "The Art of Multiprocessor Programming". Maar by die konferensie sal ons probeer praat oor hoe sekere algoritmes in werklikheid geïmplementeer word, watter probleme ingenieurs in die praktyk in die gesig staar, wie slaag en misluk, hoekom sommige algoritmes in die praktyk gebruik word en ander nie. En natuurlik, kom ons praat oor die toekoms van ontwikkeling van multi-threaded en verspreide stelsels. Dit wil sê, ons sal so 'n voorpunt gee: oor watter wêreld praat die wetenskap nou, waaroor die gedagtes van vooraanstaande ingenieurs draai, en hoe dit alles inmekaar pas.
— Aangesien die konferensie meer toegepas is, sal daar nie net akademiese grootmense wees nie, maar ook sprekers van “produksie”?
- Beslis. Ons probeer om na al die "grotes" te kyk: Google, Netflix, Yandex, Odnoklassniki, Facebook. Daar is spesifieke snaakse probleme. Almal sê byvoorbeeld: "Netflix is 'n verspreide stelsel, amper die helfte van die Amerikaanse verkeer, baie cool," en wanneer jy na hul werklike verslae, artikels en publikasies begin kyk, kom 'n effense teleurstelling in. Want, hoewel dit beslis wêreldklas is en daar skerpsinnigheid is, is daar minder daarvan as wat dit met die eerste oogopslag lyk.
'N Interessante dilemma ontstaan: jy kan verteenwoordigers van groot vooraanstaande maatskappye bel, of jy kan iemand bel wat reeds aan ons bekend is. In werklikheid bestaan kundigheid beide hier en daar. En ons probeer eerder om nie “mense van baie groot handelsmerke” uit te trek nie, maar baie groot spesialiste, spesifieke mense.
Daar sal byvoorbeeld Martin Kleppmann wees, wat op 'n tyd 'n plons op LinkedIn gemaak het en ook vrygestel het — miskien een van die basiese boeke op die gebied van verspreide stelsels.
- As 'n persoon nie by Netflix werk nie, maar by 'n eenvoudiger maatskappy, kan hy wonder: "Moet ek na so 'n konferensie gaan, of is daar allerhande Netflixes wat met mekaar praat, maar ek het niks om te doen nie?"
— Ek sal dit sê: toe ek vir 'n bietjie meer as drie jaar by Oracle gewerk het, het ek die wonderlikste en interessantste dinge in die kombuis en in die rookkamers gehoor, toe kollegas daar bymekaargekom het om sekere dele van die Java-platform te maak. Dit kan mense van die virtuele masjien wees, of van die toetsafdeling, of van gelyktydige prestasie - byvoorbeeld Lyosha Shipilev en Seryozha Kuksenko.
Wanneer hulle iets onder mekaar begin bespreek het, het ek gewoonlik net oopmond geluister. Vir my was dit wonderlike en onverwagte dinge waaraan ek nie eers gedink het nie. Natuurlik het ek eers 90% nie verstaan waarvan hulle praat nie. Toe word 80% onverstaanbaar. En nadat ek my huiswerk gedoen en 'n paar boeke gelees het, het hierdie getal tot 70% gedaal. Ek verstaan steeds nie baie waaroor hulle onder mekaar praat nie. Maar toe ek in die hoek met 'n koppie koffie sit en afluister, het ek 'n bietjie begin verstaan wat aangaan.
Daarom, wanneer Google, Netflix, LinkedIn, Odnoklassniki en Yandex met mekaar praat, beteken dit nie dat dit iets onverstaanbaar en oninteressant is nie. Inteendeel, ons moet mooi luister, want dit is ons toekoms.
Natuurlik is daar mense wat dit alles nie nodig het nie. As jy nie in hierdie onderwerp wil ontwikkel nie, hoef jy nie na hierdie konferensie te gaan nie, jy sal net tyd daar mors. Maar as die onderwerp interessant is, maar jy verstaan niks daarvan of kyk net daarna nie, dan moet jy kom, want jy sal nêrens so iets kry nie. Verder, ek dink dat nie net in Rusland, maar ook in die wêreld. Ons probeer om 'n konferensie te maak wat nie net die leier oor hierdie onderwerp in Rusland sal wees nie, maar oor die algemeen nommer een in die wêreld.
Dit is nie die maklikste taak nie, maar wanneer ons so 'n wonderlike kans het om sterk sprekers van regoor die wêreld bymekaar te maak, is ek bereid om baie te gee om dit te laat gebeur. Van diegene wat ons na die eerste Hydra genooi het, sal natuurlik nie kan kom nie. Maar ek sal dit sê: ons het nog nooit 'n nuwe konferensie met so 'n kragtige reeks begin nie. Behalwe miskien die heel eerste JPoint ses jaar gelede.
— Ek wil graag uitbrei oor die woorde “dit is ons toekoms”: gaan die onderwerp later diegene raak wat nie vandag daaroor dink nie?
- Ja, ek is seker daarvan. Daarom lyk dit vir my baie reg om dit so gou moontlik te begin bespreek. Byvoorbeeld, die teorie van multithreading het lank gelede verskyn (in die 70's is werk reeds in volle swang gepubliseer), maar vir 'n lang tyd was hulle die lot van eng spesialiste, totdat die eerste gebruiker-dubbelkern-rekenaar verskyn het aan die begin van die 10's. En nou het ons almal multi-kern bedieners, skootrekenaars en selfs fone, en dit is die hoofstroom. Dit het ongeveer XNUMX jaar geneem voordat dit wydverspreid geraak het, vir mense om te verstaan dat hierdie diskoers nie die provinsie van 'n nou kring van spesialiste is nie.
En ons sien nou ongeveer dieselfde ding met verspreide stelsels. Want basiese oplossings soos vragverspreiding, fouttoleransie en dies meer word al lankal gedoen, maar baie min mense weet wat byvoorbeeld verspreide konsensus of Paxos is.
Een van die belangrikste doelwitte wat ek vir hierdie geleentheid gestel het, is om ingenieurs meer en meer in hierdie bespreking te dompel. Jy moet verstaan dat by konferensies sommige onderwerpe en oplossings nie net bespreek word nie, maar ook 'n tesourus na vore kom - 'n verenigde konseptuele apparaat.
Ek sien dit as my taak om 'n platform te skep waar almal dit alles kan bespreek, ervarings en opinies kan deel. Sodat ek en jy 'n gemeenskaplike begrip het van wat een algoritme doen, wat 'n ander doen, watter een is beter onder watter omstandighede, hoe hulle met mekaar verband hou, ensovoorts.
'n Baie interessante ding hou verband met dieselfde multithreading. Toe ons vriende van Oracle (hoofsaaklik Lesha Shipilev en Sergey Kuksenko) aktief oor prestasie en veral oor multithreading begin praat het, het hierdie vrae letterlik twee of drie jaar later tydens onderhoude by maatskappye gevra word, het mense dit begin bespreek in rook kamers. Dit wil sê, 'n ding wat die lot van eng spesialiste was, het skielik hoofstroom geword.
En dit is baie korrek. Dit lyk vir my of ons hierdie ouens gehelp het om hierdie hele uitgawe, wat regtig belangrik, nuttig en interessant is, gewild te maak. As niemand voorheen gedink het oor hoe 'n Java-bediener versoeke parallel verwerk nie, het mense nou ten minste op 'n sekere vlak 'n begrip van hoe dit alles werk. En dit is wonderlik.
Die taak wat ek nou sien is om ongeveer dieselfde te doen met verspreide stelsels. Sodat almal rofweg verstaan wat dit is, waar dit vandaan kom, watter take en probleme daar is, sodat dit ook hoofstroom word.
Maatskappye het 'n groot aanvraag na mense wat iets hiervan verstaan, en daar is min sulke mense. Hoe meer ons rondom hierdie inhoud skep en die geleentheid om daaruit te leer, hoe meer ons mense geleenthede gee om vrae te vra wat in die lug is, hoe groter is die kans dat ons op een of ander manier in hierdie rigting sal beweeg.
voorgeskiedenis
— Die konferensie word vir die eerste keer gehou, maar dit is nie die eerste keer vir die skool nie. Hoe het dit alles ontstaan en ontwikkel?
- Dit is 'n interessante storie. Twee jaar gelede, in Mei 2017, het ons saam met Nikita Koval in Kiev gesit (), 'n kenner op die gebied van multithreading. En hy het vir my gesê dat dit in St. Petersburg gehou sal word .
Die onderwerp van multithreaded-programmering was 'n fantasties interessante een in die laaste drie jaar van my ingenieursloopbaan. En toe blyk dit dat daar in die somer baie, baie bekende mense na St. Petersburg kom, dieselfde Maurice Herlihy en Nir Shavit, volgens wat ek bestudeer het. En baie van my vriende het iets hiermee te doen gehad - byvoorbeeld Roma Elizarov (). Ek het besef dat ek eenvoudig nie so 'n geleentheid kan mis nie.
Toe dit duidelik word dat die skool se 2017-program wonderlik gaan wees, het die idee ontstaan dat die lesings beslis op video opgeneem moet word. Ons by JUG.ru Group het 'n volledige begrip gehad van hoe sulke lesings opgeneem moet word. En ons pas in by SPTCC as die ouens wat 'n video vir die skool gemaak het. As gevolg hiervan, alle skool lesings op ons YouTube-kanaal.
Ek het begin kommunikeer met Pyotr Kuznetsov, wat die hoofideoloog en organiseerder van hierdie skool was, en met Vitaly Aksenov, wat dit alles in St. Petersburg help organiseer het. Ek het besef dat dit fantasties gaaf en interessant is en, waarskynlik, dit is baie erg dat net 100 deelnemers aan die skoonheid kan raak.
Toe Peter dink dat hy weer moet begin skoolgaan (in 2018 was daar nie energie en tyd nie, daarom het hy besluit om dit in 2019 te doen), het dit duidelik geword dat ons hom kan help deur net al die organisatoriese dinge van hom te verwyder. Dit is wat nou gebeur, Petrus hanteer die inhoud, en ons doen alles anders. En dit lyk na die regte skema: Peter stel waarskynlik meer belang in die program as "waar en wanneer sal almal middagete eet." En ons werk goed met sale, lokale, ensovoorts.
Hierdie keer, in plaas van SPTCC, word die skool SPTDC genoem, nie "konkurrente rekenaars" nie, maar "verspreide rekenaars". Gevolglik is dit ongeveer die verskil: laas op skool het hulle nie oor verspreide stelsels gepraat nie, maar hierdie keer sal ons aktief daaroor praat.
— Aangesien die skool nie vir die eerste keer gehou word nie, kan ons reeds 'n paar gevolgtrekkings uit die verlede maak. Wat het laas gebeur?
— Toe die eerste skool twee jaar gelede geskep is, is daar verwag dat daar 'n akademiese geleentheid sou wees, hoofsaaklik van belang vir studente. Verder, studente van oor die hele wêreld, want die skool is net in Engels, en daar is gedink dat 'n aansienlike aantal buitelandse studente sou kom.
Trouens, dit het geblyk dat baie ingenieurs van groot Russiese maatskappye soos Yandex gekom het. Daar was Andrey Pangin () van Odnoklassniki was daar ouens van JetBrains wat aktief aan hierdie onderwerp werk. Oor die algemeen was daar baie bekende gesigte van ons vennootmaatskappye daar. Ek is glad nie verbaas nie, ek verstaan perfek hoekom hulle daar gekom het.
Eintlik het die organiseerders verwagtinge gehad dat daar akademiese mense by die Skool sou wees, maar skielik het mense uit die industrie gekom, en toe word dit vir my duidelik dat daar 'n aanvraag in die bedryf is.
As 'n geleentheid wat skaars nêrens bevorder is, met die eerste klik van 'n vinger 'n gehoor van volwassenes bymekaargemaak het, beteken dit dat daar eintlik belangstelling is. Dit lyk vir my of 'n versoek oor hierdie onderwerp agterstallig is.
Maurice Herlihy by die JUG.ru-vergadering
— Benewens skool het Maurice Herlihy in St. Petersburg by die JUG.ru-vergadering in 2017 gepraat, oor transaksionele geheue, en dit is 'n bietjie nader aan die konferensieformaat. Wie het toe gekom - dieselfde mense wat gewoonlik na JUG.ru-byeenkomste kom, of 'n ander gehoor?
— Dit was interessant omdat ons verstaan het dat Maurice 'n algemene verslag sou hê, nie 'n Java-spesifieke een nie, en ons het 'n effens breër aankondiging gemaak as wat ons gewoonlik vir ons JUG-nuusintekenare doen.
Baie mense wat ek ken, het uit gemeenskappe gekom wat glad nie oor Java handel nie: van die .NET-skare, van die JavaScript-skare. Omdat die onderwerp van transaksionele geheue nie verband hou met 'n spesifieke ontwikkelingstegnologie nie. Wanneer 'n wêreldklas-spesialis oor transaksionele geheue kom praat, is dit bloot 'n misdaad om die geleentheid te mis om na so 'n persoon te luister en vrae aan hom te vra. Dit maak net 'n kragtige indruk wanneer die persoon van wie se boek jy studeer na jou toe kom en jou iets vertel. Eenvoudig fantasties.
— En wat was die terugvoer as gevolg daarvan? Was die benadering te akademies en onverstaanbaar vir mense uit die bedryf?
- Resensies van Herlihy se verslag was goed. Mense het geskryf dat hy baie eenvoudig en duidelik gestel het wat nie van 'n akademiese professor verwag word nie. Maar ons moet verstaan dat ons hom vir 'n rede genooi het, hy is 'n wêreldbekende spesialis met uitgebreide ervaring in praat en 'n agtergrond uit 'n klomp boeke en artikels. En hy het waarskynlik op baie maniere beroemd geword danksy sy vermoë om materiaal aan mense oor te dra. Daarom is dit nie verbasend nie.
Hy praat normale, verstaanbare Engels, en hy het natuurlik 'n groot begrip van waaroor hy praat. Dit wil sê, jy kan hom absoluut enige vrae vra. Basies het mense gekla dat ons Maurice te min tyd gegee het vir sy verslag: twee uur is nie genoeg vir so iets nie, ten minste twee is nog nodig. Wel, ons het daarin geslaag om te doen wat ons reggekry het in twee uur.
Motivering
— Gewoonlik handel JUG.ru Group met grootskaalse geleenthede, maar hierdie onderwerp lyk meer hoogs gespesialiseerd. Hoekom het jy besluit om dit aan te neem? Is daar 'n gewilligheid om 'n kleiner geleentheid te hou, of kan baie toeskouers oor so 'n onderwerp bymekaarkom?
— Inderdaad, wanneer jy 'n geleentheid hou en 'n sekere vlak van bespreking stel, ontstaan die vraag altyd hoe wydverspreid hierdie bespreking is. Hoeveel mense - tien, honderd of duisend - stel hierin belang? Daar is 'n afweging tussen massa en diepte. Dit is 'n heeltemal normale vraag, en almal los dit anders op.
In hierdie geval wil ek die geleentheid "vir myself" maak. Ek verstaan nog steeds iets van multithreading (ek het lesings oor hierdie onderwerp by konferensies gehou en verskeie kere vir studente iets vertel), maar ek is 'n beginner wanneer dit by verspreide stelsels kom: ek het 'n paar artikels gelees en verskeie lesings gesien, maar nie selfs 'n enkele volwaardige boek het dit gelees.
Ons het 'n programkomitee wat bestaan uit kundiges op die gebied wat die akkuraatheid van die verslae kan evalueer. En van my kant probeer ek hierdie geleentheid een maak waarheen ek, met my gebrek aan kundigheid, graag wil gaan. Of dit moontlik sal wees om die massapubliek te interesseer, weet ek nie. Dit is waarskynlik nie die belangrikste taak van hierdie geleentheid op hierdie stadium nie. Nou is dit belangriker om die sterkste program in 'n kort tyd te skep.
Waarskynlik, nou het ek die span nie die taak gestel om "die eerste keer 'n duisend mense bymekaar te maak nie", maar "om die konferensie te laat verskyn." Dit klink dalk nie baie saaklik en ietwat naïef nie, hoewel ek glad nie 'n altruïs is nie. Maar ek kan myself soms 'n paar vryhede gun.
Daar is dinge wat belangriker is as geld en verder as geld. Ons doen reeds 'n groot aantal oulike grootskaalse geleenthede vir 'n duisend mense of meer. Ons Java-konferensies het lank reeds duisend mense oorskry, en nou spring ander geleenthede oor hierdie balk. Dit wil sê, die vraag dat ons ervare en bekende organiseerders geword het, is nie meer die moeite werd nie. En, waarskynlik, wat ons uit hierdie gebeure verdien, gee ons die geleentheid om te herbelê in wat vir ons interessant is, en in hierdie geval vir my persoonlik.
Deur hierdie geleentheid te doen, gaan ek teen sommige van die beginsels van ons organisasie. Ons probeer byvoorbeeld gewoonlik om konferensies baie vooruit voor te berei, maar nou het ons baie streng sperdatums, en ons finaliseer die program net 'n maand voor die geleentheid self.
En hierdie geleentheid sal 70-80% Engelstaal wees. Ook hier ontstaan altyd 'n bespreking of ons nader aan die mense moet wees (wat dit beter verstaan as die meeste berigte in Russies is) of aan die hele wêreld (want die tegniese wêreld is Engelssprekend). Ons probeer gewoonlik om baie verslae in Russies te doen. Maar nie in hierdie tyd nie.
Boonop sal ons ook van ons Russiessprekende sprekers vra om in Engels te praat. Dit is in 'n sekere sin 'n absoluut anti-gebruiker en onmenslike benadering. Maar ons moet verstaan dat daar tans geen Russiestalige literatuur oor hierdie onderwerp is nie, en enige persoon wat enigsins hierin belangstel, word gedwing om in Engels te lees. Dit beteken dat hy op een of ander manier Engels kan verstaan. As daar in die geval van JavaScript, Java of .NET baie mense is wat nie Engels baie goed ken nie, maar terselfdertyd goed kan programmeer, dan is verspreide stelsels waarskynlik 'n area waarin daar eenvoudig geen ander is nie. manier om nou te leer.
Ek wil regtig hierdie eksperiment uitvoer: hoe 'n 70–80% Engelstalige gebeurtenis deur die publiek in Rusland waargeneem sal word. Sal dit inkom of nie? Ons weet dit nie vooraf nie, want ons het dit nog nooit gedoen nie. Maar hoekom doen dit nie? Kom ons sê net dit is een groot eksperiment wat ek net nie anders kan as om te probeer nie.
SPTDC skoolprogram is reeds geheel en al, en reeds in die geval van Hydra 'n opvallende deel, en binnekort sal ons 'n ontleding van die hele konferensieprogram publiseer.
Bron: will.com