Onlangs waren er twee evenementen tegelijk over de ontwikkeling van multi-threaded en gedistribueerde systemen: een conferentie (11-12 juli) en school (8-12 juli). Mensen die dicht bij dit onderwerp staan, begrijpen dat ze naar Rusland komen Leslie Lamport, Maurice Herlihy и Michaël Scott - de belangrijkste gebeurtenis. Maar er kwamen ook andere vragen:
- Wat kunt u van de conferentie verwachten: ‘academisch’ of ‘productie’?
- Hoe verhouden de school en de conferentie zich tot elkaar? Voor wie is dit en dat bedoeld?
- Waarom overlappen ze elkaar qua datums?
- Zullen ze nuttig zijn voor degenen die niet hun hele leven aan gedistribueerde systemen hebben gewijd?
Dit alles is bekend bij de persoon die Hydra tot leven heeft gebracht: onze directeur Alexey Fedorov (). Hij beantwoordde alle vragen.
formaat
— Een inleidende vraag voor degenen die verre van gedistribueerde systemen zijn: waar gaan beide gebeurtenissen over?
— De mondiale uitdaging is dat er om ons heen diensten zijn met grote aantallen bewerkingen en complexe computertaken die niet op één computer kunnen worden uitgevoerd. Dit betekent dat er meerdere auto's moeten zijn. En dan rijzen er vragen over hoe ze hun werk goed kunnen synchroniseren en wat ze moeten doen in omstandigheden met niet de hoogste betrouwbaarheid (omdat de apparatuur kapot gaat en het netwerk uitvalt).
Hoe meer machines er zijn, hoe meer faalpunten er zijn. Wat te doen als verschillende machines verschillende resultaten opleveren voor dezelfde berekeningen? Wat te doen als het netwerk enige tijd wegvalt en een deel van de berekeningen geïsoleerd raakt, hoe kun je dat dan allemaal combineren? Over het algemeen zijn hier een miljoen problemen mee verbonden. Nieuwe oplossingen - nieuwe problemen.
Op dit gebied zijn er volledig toegepaste gebieden, en er zijn meer wetenschappelijke gebieden - iets dat nog niet mainstream is geworden. Ik zou graag willen praten over wat er zowel in de praktijk als in de wetenschap gebeurt, en vooral op het kruispunt daarvan. Daar gaat de eerste Hydra-conferentie over.
— Ik zou graag willen begrijpen dat er een conferentie is en dat er een zomerschool is. Hoe verhouden ze zich? Als er korting wordt gegeven aan schooldeelnemers om de conferentie bij te wonen, waarom overlappen ze dan qua data, zodat het onmogelijk is om alles in één keer bij te wonen zonder verlies?
— De school is een kamerevenement voor 100-150 personen, waar vooraanstaande experts van over de hele wereld vijf dagen lang lezingen komen geven. En er ontstaat een situatie waarin beroemdheden van wereldklasse vijf dagen lang in Sint-Petersburg samenkomen, klaar om iets te vertellen. En in dit geval ontstaat de beslissing om niet alleen een kamerschool te organiseren, maar ook een grootschalige conferentie.
Het is mogelijk om zo'n school alleen in de zomer, in juli, te houden, omdat er onder deze specialisten huidige universiteitsprofessoren zijn, en die zijn op geen enkel ander moment klaar: ze hebben studenten, diploma's, lezingen, enzovoort. Het schoolformaat is vijf weekdagen. Het is bekend dat mensen in de zomer in het weekend graag ergens heen gaan. Dit betekent dat we noch in het weekend vóór school, noch in het weekend na school een conferentie kunnen houden.
En als je het nog een paar dagen voor of na het weekend verlengt, worden de vijf dagen van het specialistenverblijf in Sint-Petersburg op magische wijze negen. En ze zijn hier niet klaar voor.
Daarom was de enige oplossing die we vonden het simpelweg parallel houden van de conferentie met de school. Ja, dit zorgt voor enkele problemen. Er zijn mensen die naar school willen en naar een conferentie, en die zullen hier en daar wat lezingen moeten missen. Het goede nieuws is dat dit allemaal zal plaatsvinden in aangrenzende zalen, je kunt heen en weer rennen. En wat ook fijn is, is de beschikbaarheid van video-opnames, waarin je later rustig kunt terugkijken naar wat je gemist hebt.
— Wanneer twee evenementen parallel plaatsvinden, hebben mensen de vraag “welke heb ik meer nodig?” Wat mag je precies van elk verwachten en wat zijn de verschillen?
— School is een puur academisch evenement, een klassieke wetenschappelijke school van meerdere dagen. Iedereen die zich met wetenschap bezig heeft gehouden en iets met de graduate school te maken heeft gehad, heeft een idee van wat een academische school is.
Meestal zijn dergelijke academische evenementen niet erg goed georganiseerd vanwege het gebrek aan evenementenexpertise bij de mensen die ze organiseren. Maar we zijn nog steeds behoorlijk ervaren jongens, dus we kunnen alles behoorlijk competent doen. Ik denk dat SPTDC vanuit organisatorisch oogpunt met kop en schouders boven elke academische of onderzoeksschool uit zal steken die je ooit hebt gezien.
SPTDC-school - dit is een format waarbij elke grote lezing in twee koppels wordt voorgelezen: “anderhalf uur – een pauze – anderhalf uur.” Je moet begrijpen dat het voor een deelnemer voor de eerste keer misschien niet gemakkelijk is: toen deze school twee jaar geleden voor het eerst werd gehouden, was ik zelf ongebruikelijk, ik schakelde verschillende keren uit, ongeveer midden in een dubbele lezing, en Toen was het moeilijk te begrijpen wat er gebeurde. Maar dit hangt heel erg af van de docent: een goede docent vertelt alle drie uur heel interessant.
Hydra-conferentie - een meer praktisch evenement. Er zullen verschillende beroemdheden uit de wetenschap zijn die op de school lezingen komen geven: van , wiens werk ten grondslag ligt aan de theorie van multi-threaded en gedistribueerde systemen , een van de auteurs van het beroemde leerboek over concurrency “The Art of Multiprocessor Programming”. Maar op de conferentie zullen we proberen te praten over hoe bepaalde algoritmen in werkelijkheid worden geïmplementeerd, met welke problemen ingenieurs in de praktijk worden geconfronteerd, wie slaagt en faalt, waarom sommige algoritmen in de praktijk worden gebruikt en andere niet. En laten we het natuurlijk hebben over de toekomst van de ontwikkeling van multi-threaded en gedistribueerde systemen. Dat wil zeggen, we zullen zo'n voorsprong geven: waar de wereldwetenschap het nu over heeft, waar de gedachten van toonaangevende ingenieurs om draaien, en hoe het allemaal in elkaar past.
— Zullen er, aangezien de conferentie meer toegepast wordt, niet alleen academische beroemdheden zijn, maar ook sprekers uit de “productie”?
- Zeker. We proberen naar alle ‘groten’ te kijken: Google, Netflix, Yandex, Odnoklassniki, Facebook. Er zijn specifieke grappige problemen. Iedereen zegt bijvoorbeeld: “Netflix is een gedistribueerd systeem, bijna de helft van het Amerikaanse verkeer, erg cool”, en als je naar hun daadwerkelijke rapporten, artikelen en publicaties gaat kijken, ontstaat er een lichte teleurstelling. Want hoewel dit zeker van wereldklasse is en er sprake is van scherpte, is er minder van dan het op het eerste gezicht lijkt.
Er doet zich een interessant dilemma voor: u kunt vertegenwoordigers van grote vooraanstaande bedrijven bellen, of u kunt iemand bellen die al bij ons bekend is. In werkelijkheid bestaat er hier en daar expertise. En we proberen liever niet 'mensen van zeer grote merken' eruit te halen, maar zeer grote specialisten, specifieke mensen.
Zo is er bijvoorbeeld Martin Kleppmann, die ooit furore maakte op LinkedIn en ook uitkwam – misschien wel een van de basisboeken op het gebied van gedistribueerde systemen.
— Als iemand niet bij Netflix werkt, maar bij een eenvoudiger bedrijf, kan hij zich afvragen: “Moet ik naar zo’n conferentie, of zijn er allerlei Netflixen die met elkaar praten, maar heb ik niets te doen?”
— Ik zal dit zeggen: toen ik iets meer dan drie jaar bij Oracle werkte, hoorde ik de meest verbazingwekkende en interessante dingen in de keuken en in de rookkamers, toen collega's daar samenkwamen om bepaalde onderdelen van het Java-platform te maken. Dit kunnen mensen zijn van de virtuele machine, of van de testafdeling, of van prestatieconcurrency, bijvoorbeeld Lyosha Shipilev en Seryozha Kuksenko.
Als ze onderling iets begonnen te bespreken, luisterde ik meestal alleen maar met open mond. Voor mij waren dit verbazingwekkende en onverwachte dingen waar ik nog niet eens aan had gedacht. Natuurlijk begreep ik aanvankelijk 90% niet van waar ze het over hadden. Toen werd 80% onbegrijpelijk. En nadat ik mijn huiswerk had gemaakt en een paar boeken had gelezen, daalde dit aantal tot 70%. Ik begrijp nog steeds niet veel van waar ze onderling over praten. Maar terwijl ik in de hoek zat met een kop koffie en luisterde, begon ik een beetje te begrijpen wat er aan de hand was.
Als Google, Netflix, LinkedIn, Odnoklassniki en Yandex met elkaar praten, betekent dit dus niet dat het iets onbegrijpelijks en oninteressant is. Integendeel, we moeten goed luisteren, want dit is onze toekomst.
Natuurlijk zijn er mensen die dit allemaal niet nodig hebben. Als je je niet wilt ontwikkelen in dit onderwerp, hoef je niet naar deze conferentie te gaan, je verspilt daar alleen maar tijd. Maar als het onderwerp interessant is, maar je begrijpt er niets van of kijkt er alleen maar naar, dan moet je komen, want zoiets zul je nergens vinden. Bovendien denk ik dat niet alleen in Rusland, maar ook in de wereld. We proberen een conferentie te creëren die niet alleen de leider op dit gebied in Rusland zal zijn, maar over het algemeen nummer één in de wereld.
Dit is niet de gemakkelijkste taak, maar als we zo’n geweldige kans hebben om sterke sprekers van over de hele wereld te verzamelen, ben ik bereid er veel voor te geven om dit mogelijk te maken. Natuurlijk zullen sommigen van degenen die we hebben uitgenodigd voor de eerste Hydra niet kunnen komen. Maar ik zal dit zeggen: we zijn nog nooit een nieuwe conferentie begonnen met zo'n krachtige line-up. Behalve misschien de allereerste JPoint zes jaar geleden.
– Ik zou graag willen ingaan op de woorden “dit is onze toekomst”: zal het onderwerp later gevolgen hebben voor degenen die er vandaag niet over nadenken?
- Ja, dat weet ik zeker. Daarom lijkt het mij zeer juist om er zo snel mogelijk over te beginnen praten. De theorie van multithreading verscheen bijvoorbeeld vrij lang geleden (in de jaren 70 werd er al in volle gang werk gepubliceerd), maar lange tijd waren het een stel beperkte specialisten, totdat de eerste dual-core computer voor gebruikers verscheen. aan het begin van de jaren 10. En nu hebben we allemaal multi-core servers, laptops en zelfs telefoons, en dit is de mainstream. Het duurde ongeveer tien jaar voordat dit wijdverspreid werd, voordat mensen begrepen dat dit discours niet het domein is van een kleine kring van specialisten.
En we zien nu ongeveer hetzelfde met gedistribueerde systemen. Omdat basisoplossingen als belastingverdeling, fouttolerantie en dergelijke al heel lang worden gedaan, maar heel weinig mensen weten wat bijvoorbeeld gedistribueerde consensus of Paxos is.
Een van de belangrijkste doelen die ik voor dit evenement heb gesteld, is om ingenieurs steeds meer onder te dompelen in deze discussie. Je moet begrijpen dat op conferenties sommige onderwerpen en oplossingen niet alleen worden besproken, maar dat er ook een thesaurus ontstaat - een verenigd conceptueel apparaat.
Ik zie het als mijn taak om een platform te creëren waar iedereen dit alles kan bespreken, ervaringen en meningen kan delen. Zodat jij en ik een gemeenschappelijk begrip hebben van wat het ene algoritme doet, wat het andere doet, welk algoritme beter is onder welke omstandigheden, hoe ze zich tot elkaar verhouden, enzovoort.
Een heel interessant ding heeft betrekking op dezelfde multithreading. Toen onze vrienden van Oracle (voornamelijk Lesha Shipilev en Sergey Kuksenko) actief begonnen te praten over prestaties en in het bijzonder over multithreading, werden deze vragen letterlijk twee of drie jaar later gesteld tijdens interviews bij bedrijven, mensen begonnen erover te praten in rookkamers. Dat wil zeggen, iets dat het lot was van beperkte specialisten, werd plotseling mainstream.
En dit is zeer juist. Het lijkt mij dat we deze jongens hebben geholpen deze hele kwestie populair te maken, wat erg belangrijk, nuttig en interessant is. Waar voorheen niemand nadacht over hoe een Java-server verzoeken parallel verwerkt, hebben mensen nu op zijn minst op een bepaald niveau inzicht in hoe het allemaal werkt. En dat is geweldig.
De taak die ik nu zie is om ongeveer hetzelfde te doen met gedistribueerde systemen. Zodat iedereen ongeveer begrijpt wat het is, waar het vandaan komt, welke taken en problemen er zijn, zodat ook dit mainstream wordt.
Bedrijven hebben een enorme vraag naar mensen die daar iets van begrijpen, en zulke mensen zijn er maar weinig. Hoe meer we rond deze inhoud creëren en de mogelijkheid krijgen om ervan te leren, hoe meer we mensen de kans geven om vragen te stellen die in de lucht hangen, hoe groter de kans dat we op de een of andere manier deze kant op gaan.
prehistorie
— De conferentie wordt voor de eerste keer gehouden, maar dit is niet de eerste keer voor de school. Hoe is dit allemaal ontstaan en ontwikkeld?
- Dit is een interessant verhaal. Twee jaar geleden, in mei 2017, zaten we in Kiev met Nikita Koval (), een expert op het gebied van multithreading. En hij vertelde me dat het in Sint-Petersburg zou worden gehouden .
Het onderwerp multithreaded programmeren is de afgelopen drie jaar van mijn technische carrière fantastisch interessant geweest. En toen bleek dat er in de zomer heel, heel beroemde mensen naar Sint-Petersburg komen, dezelfde Maurice Herlihy en Nir Shavit, volgens die ik heb gestudeerd. En veel van mijn vrienden hadden hier iets mee te maken, bijvoorbeeld Roma Elizarov (). Ik besefte dat ik zo’n evenement simpelweg niet kon missen.
Toen duidelijk werd dat het schoolprogramma voor 2017 geweldig zou zijn, ontstond het idee dat de colleges zeker op video moesten worden opgenomen. Wij bij JUG.ru Group hadden een volledig begrip van hoe dergelijke lezingen moesten worden opgenomen. En wij passen in SPTCC als de jongens die een video voor de school hebben gemaakt. Als gevolg hiervan krijgen alle scholen lezingen op ons YouTube-kanaal.
Ik begon te communiceren met Pyotr Kuznetsov, de belangrijkste ideoloog en organisator van deze school, en met Vitaly Aksenov, die hielp bij het organiseren van dit alles in Sint-Petersburg. Ik realiseerde me dat dit fantastisch cool en interessant is, en waarschijnlijk is het heel erg dat slechts 100 deelnemers de schoonheid kunnen aanraken.
Toen Peter vond dat hij weer naar school moest (in 2018 was er geen energie en tijd, dus besloot hij het in 2019 te doen), werd het duidelijk dat we hem konden helpen door simpelweg alle organisatorische zaken uit hem te halen. Dit is wat er nu gebeurt, Peter houdt zich bezig met de inhoud, en wij doen de rest. En dit lijkt het juiste plan: Peter is waarschijnlijk meer geïnteresseerd in het programma dan in ‘waar en wanneer gaat iedereen lunchen’. En we zijn goed in het werken met zalen, locaties, enzovoort.
Deze keer heet de school in plaats van SPTCC SPTDC, niet ‘concurrent computing’, maar ‘distributed computing’. Dit is dus ongeveer het verschil: de vorige keer op school spraken ze niet over gedistribueerde systemen, maar deze keer zullen we er actief over praten.
— Aangezien de school niet voor het eerst wordt gehouden, kunnen we al enkele conclusies trekken uit het verleden. Wat is er de vorige keer gebeurd?
— Toen de eerste school twee jaar geleden werd opgericht, werd verwacht dat er een academisch evenement zou plaatsvinden, dat vooral interessant zou zijn voor studenten. Bovendien komen studenten van over de hele wereld, omdat de school alleen in het Engels is en men dacht dat er een aanzienlijk aantal buitenlandse studenten zou komen.
Het bleek zelfs dat veel ingenieurs afkomstig waren van grote Russische bedrijven zoals Yandex. Er was Andrey Pangin () van Odnoklassniki, er waren jongens van JetBrains die actief aan dit onderwerp werken. Over het algemeen waren er daar veel bekende gezichten van onze partnerbedrijven. Ik ben helemaal niet verrast, ik begrijp perfect waarom ze daar kwamen.
Eigenlijk hadden de organisatoren verwacht dat er academici op de School zouden zijn, maar plotseling kwamen er mensen uit de industrie, en toen werd het mij duidelijk dat er vraag was vanuit de industrie.
Als een evenement dat nauwelijks ergens gepromoot werd, met de eerste klik van de vinger een publiek van volwassenen heeft verzameld, betekent dit dat er daadwerkelijk interesse is. Het lijkt mij dat een verzoek over dit onderwerp te laat is ingediend.
Maurice Herlihy op de JUG.ru-bijeenkomst
— Naast school sprak Maurice Herlihy in St. Petersburg tijdens de JUG.ru-bijeenkomst in 2017, over transactioneel geheugen, en dit ligt iets dichter bij het conferentieformaat. Wie kwamen er toen: dezelfde mensen die gewoonlijk naar JUG.ru-bijeenkomsten komen, of een ander publiek?
— Het was interessant omdat we begrepen dat Maurice een algemeen rapport zou hebben, niet een Java-specifiek rapport, en we een iets bredere aankondiging deden dan we gewoonlijk doen voor onze JUG-nieuwsabonnees.
Veel mensen die ik ken, kwamen uit gemeenschappen die helemaal niet over Java gaan: uit de .NET-menigte, uit de JavaScript-menigte. Omdat het onderwerp transactioneel geheugen geen betrekking heeft op een specifieke ontwikkelingstechnologie. Wanneer een specialist van wereldklasse over transactioneel geheugen komt praten, is het simpelweg een misdaad om de kans te missen om naar zo iemand te luisteren en hem vragen te stellen. Het maakt gewoon een krachtige indruk als de persoon uit wiens boek je studeert, naar je toe komt en je iets vertelt. Gewoon fantastisch.
— En wat was de feedback die daaruit voortkwam? Was de aanpak te academisch en onbegrijpelijk voor mensen uit de industrie?
— De recensies over het rapport van Herlihy waren goed. Mensen schreven dat hij heel eenvoudig en duidelijk zei wat er niet van een academische professor werd verwacht. Maar we moeten begrijpen dat we hem niet voor niets hebben uitgenodigd, hij is een wereldberoemde specialist met ruime ervaring in het spreken en een achtergrond uit een heleboel boeken en artikelen. En waarschijnlijk werd hij in veel opzichten beroemd dankzij zijn vermogen om materiaal aan mensen over te brengen. Daarom is dit niet verrassend.
Hij spreekt normaal, begrijpelijk Engels en begrijpt uiteraard uitstekend waar hij het over heeft. Dat wil zeggen, je kunt hem absoluut alle vragen stellen. Eigenlijk klaagden mensen dat we Maurice te weinig tijd gaven voor zijn verslag: twee uur is niet genoeg voor zoiets, er zijn er minstens twee meer nodig. Welnu, het is ons gelukt om binnen twee uur te doen wat we hebben gedaan.
Motivatie
— Normaal gesproken houdt JUG.ru Group zich bezig met grootschalige evenementen, maar dit onderwerp lijkt meer gespecialiseerd. Waarom besloot je het op je te nemen? Is er bereidheid om een kleiner evenement te organiseren, of kunnen er veel toeschouwers rond een dergelijk onderwerp samenkomen?
— Wanneer je een evenement organiseert en een bepaald niveau van discussie tot stand brengt, rijst altijd de vraag hoe wijdverspreid deze discussie is. Hoeveel mensen – tien, honderd of duizend – zijn hierin geïnteresseerd? Er is een wisselwerking tussen massa en diepte. Dit is een volkomen normale vraag, en iedereen lost deze anders op.
In dit geval wil ik het evenement ‘voor mezelf’ maken. Ik begrijp nog steeds iets van multithreading (ik gaf lezingen over dit onderwerp op conferenties en vertelde studenten meerdere keren iets), maar ik ben een beginneling als het gaat om gedistribueerde systemen: ik heb een aantal artikelen gelezen en verschillende lezingen gezien, maar niet zelfs een enkel volwaardig boek las het.
Wij hebben een programmacommissie bestaande uit deskundigen uit het veld die de juistheid van de rapportages kan beoordelen. En van mijn kant probeer ik van dit evenement een evenement te maken waar ik, met mijn gebrek aan expertise, graag naartoe zou willen gaan. Of het mogelijk zal zijn het grote publiek te interesseren, weet ik niet. Dit is in dit stadium waarschijnlijk niet de belangrijkste taak van dit evenement. Nu is het belangrijker om in korte tijd het sterkste programma te creëren.
Waarschijnlijk heb ik het team nu niet de taak gegeven om ‘de eerste keer duizend mensen bijeen te brengen’, maar ‘om de conferentie te laten verschijnen’. Dit klinkt misschien niet heel zakelijk en wat naïef, al ben ik helemaal geen altruïst. Maar ik kan mezelf soms wat vrijheden permitteren.
Er zijn dingen die belangrijker zijn dan geld en die verder gaan dan geld. Wij doen al een groot aantal toffe grootschalige evenementen voor duizend personen of meer. Onze Java-conferenties overschrijden al lang de duizend mensen, en nu springen andere evenementen over deze lat heen. Dat wil zeggen, de vraag dat we ervaren en beroemde organisatoren zijn geworden, is niet langer de moeite waard. En waarschijnlijk geeft wat we verdienen met deze evenementen ons de mogelijkheid om te herinvesteren in wat interessant is voor ons, en in dit geval voor mij persoonlijk.
Door dit evenement te organiseren, ga ik in tegen enkele principes van onze organisatie. Normaal gesproken proberen we conferenties bijvoorbeeld heel lang van tevoren voor te bereiden, maar nu hebben we zeer krappe deadlines en ronden we het programma slechts een maand vóór het evenement zelf af.
En dit evenement zal voor 70-80% Engelstalig zijn. Ook hier ontstaat altijd een discussie of we dichter bij de mensen moeten staan (die het beter begrijpen als de meeste rapporten in het Russisch zijn) of bij de hele wereld (omdat de technische wereld Engelstalig is). Meestal proberen we veel reportages in het Russisch te maken. Maar niet op dit moment.
Bovendien zullen we een aantal van onze Russischsprekende sprekers ook vragen om in het Engels te spreken. Dit is in zekere zin een absoluut gebruikersonvriendelijke en inhumane benadering. Maar we moeten begrijpen dat er momenteel geen Russischtalige literatuur over dit onderwerp bestaat, en iedereen die hierin geïnteresseerd is, wordt gedwongen in het Engels te lezen. Dit betekent dat hij op de een of andere manier Engels kan begrijpen. Als er in het geval van JavaScript, Java of .NET veel mensen zijn die het Engels niet zo goed kennen, maar tegelijkertijd goed kunnen programmeren, dan zijn gedistribueerde systemen waarschijnlijk een gebied waarop er eenvoudigweg geen ander is manier om nu te leren.
Ik wil heel graag dit experiment uitvoeren: hoe een 70-80% Engelstalig evenement door het publiek in Rusland zal worden waargenomen. Komt het binnen of niet? Dit weten wij niet van te voren omdat wij dit nog nooit hebben gedaan. Maar waarom zou je het niet doen? Laten we zeggen dat dit één groot experiment is dat ik niet anders kan dan proberen.
Het SPTDC-schoolprogramma bestaat al volledig, en in het geval van Hydra al een opvallend onderdeel, en binnenkort publiceren we een analyse van het hele conferentieprogramma.
Bron: www.habr.com