{"id":35091,"date":"2019-10-31T22:02:18","date_gmt":"2019-10-31T19:02:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/19-golov-gidry-bolshoj-obzor-programmy\/"},"modified":"2019-10-31T22:02:18","modified_gmt":"2019-10-31T19:02:18","slug":"19-golov-gidry-bolshoj-obzor-programmy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/19-golov-gidry-bolshoj-obzor-programmy","title":{"rendered":"19 koppen van de hydra. Een uitgebreide review van het programma","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Op 11-12 juli vindt er een conferentie plaats in Sint-Petersburg Hydra<\/a><\/noindex>, gewijd aan de ontwikkeling van parallelle en gedistribueerde systemen. De unieke aantrekkingskracht van Hydra is dat het geweldige wetenschappers (die je normaal gesproken alleen op buitenlandse wetenschappelijke conferenties tegenkomt) en bekende praktische ingenieurs samenbrengt in \u00e9\u00e9n groot programma op het snijvlak van wetenschap en praktijk.<\/p>\n

<\/p>\n

Hydra is een van de belangrijkste conferenties die we de afgelopen jaren hebben gehad. Aan deze conferentie ging een serieuze voorbereiding vooraf, inclusief de selectie van sprekers en presentaties. Vorige week verscheen hierover een interview op Habrahabr<\/a><\/noindex> met de directeur van JUG.ru Group, Alexey Fedorov (23derevo<\/a><\/noindex>). <\/p>\n

<\/p>\n

Wij al eerder over hebben gesproken<\/a><\/noindex> ) over drie belangrijke deelnemers, grondleggers van de theorie van gedistribueerde systemen \u2014 Leslie Lamport, Maurice Herlihy en Michael Scott. Het is tijd om meer in detail te praten over het hele programma!<\/p>\n

<\/p>\n

\"19<\/p>\n

<\/a><\/noindex><\/p>\n

Motivatie<\/h2>\n

<\/p>\n

Als je met programmeren bezig bent, heb je op de een of andere manier te maken met multithreading en gedistribueerde berekeningen. Professionals in de betreffende gebieden werken er direct mee, maar de impliciet gedistribueerde natuur is overal om ons heen: in elke multicore computer of gedistribueerde service is er altijd iets dat berekeningen parallel uitvoert.<\/p>\n

<\/p>\n

Er zijn talloze conferenties die verschillende aspecten van toegepast programmeren belichten. Aan de andere kant van het spectrum hebben we speciale wetenschappelijke scholen die in de vorm van lezingen enorme hoeveelheden complexe theorie\u00ebn onthullen. Bijvoorbeeld, gelijktijdig met Hydra vindt in Petersburg de SPTDC school<\/a><\/noindex>. plaats. Tijdens de Hydra-conferentie hebben we geprobeerd om zowel de harde praktijk als de wetenschap samen te brengen, en alles wat op het snijvlak daarvan ligt.<\/strong> <\/p>\n

<\/p>\n

Denk hier eens over na: we leven in een verbazingwekkende tijd, waarin je persoonlijk de oprichters kunt ontmoeten van het wetenschappelijk en technische gebied waarin we ons bevinden. Fysici zullen geen Newton of Einstein ontmoeten \u2014 die trein is vertrokken. Maar er leven nog steeds mensen naast ons die de basis hebben gelegd voor de theorie van gedistribueerde systemen, populaire programmeertalen hebben bedacht en dit voor het eerst in werkende prototypes hebben omgezet. Deze mensen hebben hun werk niet halverwege opgegeven; ze werken momenteel aan actuele vraagstukken aan wereldberoemde universiteiten en bedrijven, en zijn vandaag de dag de grootste bronnen van kennis en ervaring. <\/p>\n

<\/p>\n

Aan de andere kant blijft de mogelijkheid om hen te ontmoeten meestal louter theoretisch: weinigen van ons kunnen continu de publieke evenementen aan een Rochester-universiteit volgen om dan snel naar de VS te gaan en weer terug voor een lezing van Michael Scott. Het zou een flink bedrag kosten om alle deelnemers van Hydra te bezoeken, ongeacht de enorme hoeveelheid tijd die je zou verliezen (hoewel dat klinkt als een interessante quest).<\/p>\n

<\/p>\n

Aan de andere kant hebben we veel topingenieurs die momenteel werken aan actuele problemen van gedistribueerde systemen, en zij hebben zeker iets te vertellen. Maar het probleem is \u2014 zij, samen<\/em>, en hun tijd is duur. Ja, als je medewerker bent van Microsoft, Google of JetBrains, neemt de kans om een van de bekende sprekers te ontmoeten tijdens een intern evenement drastisch toe, maar \u00fcberhaupt \u2014 dat gebeurt niet elke dag.<\/p>\n

<\/p>\n

Zo vervult de Hydra-conferentie een belangrijke taak die de meesten van ons zelf niet kunnen doen \u2014 op een plek en op een tijd mensen samenbrengen wiens idee\u00ebn of communicatie je leven kunnen veranderen. Ik geef toe dat niet iedereen gedistribueerde systemen nodig heeft, bepaalde complexe fundamentele dingen. Je kunt je hele leven CRUD's in PHP programmeren en behoorlijk gelukkig zijn. Maar voor degenen die dat wel nodig hebben \u2014 dit is jouw kans.<\/p>\n

<\/p>\n

Het is al een tijdje geleden sinds de eerste aankondiging van de Hydra-conferentie op Habr\u00e9. In die tijd is er enorm veel werk verzet \u2014 en kijk, we hebben een lijst van bijna alle lezingen. Geen slappe, eendelige algoritmen, alleen pure gedistribueerde hardcore! Laten we eindigen met de algemene uitspraken en kijken wat we nu in handen hebben.<\/p>\n

<\/p>\n

Keynotes<\/h2>\n

<\/p>\n

Keynotes beginnen en eindigen de dagen van de conferentie. Gewoonlijk is de bedoeling van de openingskeynote om de algemene sfeer en richting van de conferentie vast te leggen. De afsluitende keynote trekt een conclusie en legt uit hoe we moeten leven met de kennis en vaardigheden die we tijdens de conferentiedagen hebben opgedaan. Begin en einde: datgene wat het best blijft hangen en over het algemeen van verhoogd belang is.<\/p>\n

<\/p>\n

Cliff Click \u2014 Het H2O gedistribueerde K\/V-algoritme<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Cliff is een legende in de Java-wereld. Eind jaren '90 schreef hij voor zijn PhD-thesis een paper met de titel \u00abCombining Analyses, Combining Optimizations\u00bb<\/noindex>, dat na verloop van tijd de basis werd voor de HotSpot JVM Server Compiler. Twee jaar later werkte hij al bij Sun Microsystems aan de JVM en toonde hij de wereld aan dat JIT bestaansrecht heeft. Het hele verhaal dat Java een van de snelste moderne runtimes met de slimste en snelste optimalisaties is, begint bij Cliff Click. In het begin werd aangenomen dat als iets beschikbaar was voor een statische compiler, het niet eens de moeite waard was om te JITten. Dankzij het werk van Cliff en zijn team zijn alle nieuwe talen begonnen te worden ontwikkeld met het idee van JIT-compilatie als standaard. Dit was ongetwijfeld niet het werk van \u00e9\u00e9n persoon, maar Cliff speelde een zeer belangrijke rol.<\/p>\n

<\/p>\n

In de openingskeynote zal Cliff vertellen over een ander van zijn initiatieven \u2014 H20<\/a><\/noindex>, een in-memory platform voor gedistribueerd en schaalbaar machine leren voor industri\u00eble toepassingen. En preciezer \u2014 over de gedistribueerde opslag van paren 'sleutel-waarde' binnenin. Dit is een zeer snelle opslag met een schat aan interessante eigenschappen (de exacte lijst staat in de beschrijving<\/a><\/noindex>), die dergelijke oplossingen mogelijk maken in de stroomwiskunde van big data.<\/p>\n

<\/p>\n

Een andere presentatie die Cliff zal geven is \u2014 De Azul Hardware Transactional Memory ervaring<\/a><\/noindex>. Een ander deel van zijn biografie \u2014 tien jaar werk bij Azul<\/noindex>, waar hij veel heeft bijgewerkt en verbeterd aan de hardware en technologie-stack van Azul: JIT-compilers, runtime, threadmodel, foutafhandeling, stackverwerking, hardware-interrupts, klasse-loading, enzovoorts \u2014 je snapt het.<\/p>\n

<\/p>\n

Het spannendste deel begon toen zij hardware maakten voor grote bedrijven \u2014 een supercomputer voor het draaien van Java. Dit was een behoorlijk innovatieve oplossing, specifiek gericht op Java, dat speciale eisen heeft \u2014 geheugensperren voor lage-pauze garbage collection, arrays met grenscontrole, virtuele aanroepen\u2026 Een van de coolste technologie\u00ebn is hardware transactionele geheugen. De hele L1 van een van de 864 kernen kon deelnemen aan transactionele schrijven, wat vooral belangrijk is voor het omgaan met locks in Java (synchronized-blocks kunnen parallel werken, zolang er geen echt geheugenconflict is). Maar het mooie idee botste op de harde realiteit \u2014 en in deze presentatie zal Cliff vertellen waarom HTM en STM niet zo goed passen bij de praktische behoeften van multithreaded berekeningen.<\/p>\n

<\/p>\n

Michael Scott \u2014 Dubbele datastructuren<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Michael Scott<\/a><\/noindex> \u2014 professor Computer Science aan de Universiteit van Rochester, met wie het lot hem heeft verbonden al 34 jaar<\/noindex>, en aan zijn alma mater Wisconsin\u2013Madison was hij vijf jaar decaan. Hij onderzoekt parallel en gedistribueerd programmeren en ontwerpt talen en leert dit aan studenten.<\/p>\n

<\/p>\n

De hele wereld kent Michael dankzij het handboek \u00abProgramming Language Pragmatics\u00bb<\/a><\/noindex>, waarvan de laatste editie relatief recent is uitgekomen \u2014 in 2015. Zijn werk \u00abAlgorithms for scalable synchronization on shared-memory multiprocessors\u00bb<\/a><\/noindex> een ontving de Dijkstra-prijs<\/a><\/noindex> als een van de bekendste bijdragen op het gebied van gedistribueerde berekeningen en ligt open<\/a><\/noindex> in de online bibliotheek van de Universiteit van Rochester. U kent hem misschien ook als de auteur van dat ene algoritme van Michael-Scott uit \u00abSimple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms\u00bb<\/a><\/noindex>.<\/p>\n

<\/p>\n

Wat betreft de wereld van Java, dat is een bijzonder geval: samen met Doug Lea ontwikkelde hij de niet-blokkerende algoritmen en synchronisatiequeues waarop Java-bibliotheken draaien. Dit zal het onderwerp zijn van de keynote \u00abDubbele datastructuren\u00bb \u2014 de implementatie van deze structuren in Java SE 6 heeft de prestaties met tien keer verbeterd java.util.concurrent.ThreadPoolExecutor<\/code>. Als u benieuwd bent wat deze zogenaamde \u00abDubbele datastructuren\u00bb zijn, dan is er een bijbehorende paper<\/a><\/noindex>. <\/p>\n

<\/p>\n

Maurice Herlihy \u2014 Blockchains en de toekomst van gedistribueerde computing<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Maurice Herlihy<\/a><\/noindex> \u2014 de houder van maar liefst twee Dijkstra-prijzen. De eerste \u2014 voor zijn werk aan \u00abWait-Free Synchronization\u00bb<\/a><\/noindex> (Brown University), en de tweede, meer recente \u2014 \u00abTransactional Memory: Architectural Support for Lock-Free Data Structures\u00bb<\/a><\/noindex> (Virginia Tech University). De Dijkstra-prijs wordt uitgereikt voor werken waarvan de betekenis en impact minimaal tien jaar zichtbaar zijn geweest, en het is duidelijk dat Maurice een van de meest vooraanstaande specialisten op dit gebied is. Momenteel werkt hij als professor aan de Brown University en heeft hij genoeg prestaties om een hele alinea te vullen.<\/p>\n

<\/p>\n

In deze afsluitende keynote zal Maurice spreken over de theorie en praktijk van blockchain-gedistribueerde systemen vanuit het perspectief van de klassiekers in gedistribueerd rekenen en hoe dit veel gerelateerde problemen vereenvoudigt. Dit is een presentatie die volledig aansluit bij het onderwerp van de conferentie \u2014 helemaal niet over mining hype, maar eerder over hoe onze kennis opmerkelijk effici\u00ebnt en relevant kan worden toegepast op een breed scala aan taken.<\/p>\n

<\/p>\n

In juli 2017 kwam Maurice al naar Rusland voor de SPTDC-school, nam hij deel aan de JUG.ru meetup, en de opname is te bekijken op YouTube:<\/p>\n

\n

\r\n \"Video\r\n
<\/div>\r\n <\/div><\/center><\/p>\n

Hoofdprogramma<\/h2>\n

<\/p>\n

Hier volgt een korte overzicht van de lezingen die in het programma zijn opgenomen. Sommige lezingen worden hier uitgebreid beschreven, terwijl andere beknopter zijn. De lange beschrijvingen zijn voornamelijk voor Engelstalige presentaties, die verwijzingen naar wetenschappelijke artikelen en termen op Wikipedia vereisen, enzovoort. De volledige lijst kan gezien worden op de website van de conferentie<\/a><\/noindex>. De lijst op de website wordt bijgewerkt en aangevuld. <\/p>\n

<\/p>\n

Leslie Lamport \u2014 Q & A<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Leslie Lamport is de auteur van fundamentele werken in verspreide berekeningen. \u00abLaTeX\u00bb<\/a><\/noindex> staat voor \u00abLamport TeX\u00bb. Hij introduceerde het concept voor het eerst in 1979, sequential consistency<\/a><\/noindex>, and his paper \u201cHow to Make a Multiprocessor Computer That Correctly Executes Multiprocess Programs\u201d<\/a><\/noindex> ontving de Dijkstra-prijs.<\/p>\n

<\/p>\n

Dit is het meest ongebruikelijke deel van het programma in termen van formaat, omdat het niet eens een lezing is, maar een vraag-en-antwoordsessie. Wanneer een aanzienlijk deel van het publiek al bekend is (of kan zijn) met allerlei werken gebaseerd op de \u00abtheorie van Lamport\u00bb, zijn zijn eigen artikelen en presentaties, is het belangrijk om alle beschikbare tijd te wijden aan directe communicatie.<\/p>\n

<\/p>\n

Het idee is simpel: je kijkt op YouTube naar twee lezingen: \u00abProgramming Should Be More Than Coding\u00bb<\/a><\/noindex> en \u00abAls Je Geen Programma Schrijft, Gebruik Geen Programmeertaal\u00bb<\/a><\/noindex> en bereid minstens \u00e9\u00e9n vraag voor, terwijl Leslie antwoordt.<\/p>\n

<\/p>\n

We hebben de eerste van deze twee video\u2019s al omgevormd tot een blogartikel<\/a><\/noindex>. Als je geen uur hebt om de video te bekijken, kun je dit snel lezen in tekstvorm.<\/p>\n

<\/p>\n

Ter informatie: er zijn veel meer video's met Leslie Lamport op YouTube. Bijvoorbeeld, er is een uitstekende (officieel gedupliceerd<\/a><\/noindex>. De offline versie van deze cursus is beschikbaar op de homepage van de auteur<\/a><\/noindex>, en op YouTube heeft hij het ge\u00fcpload voor een gemakkelijker bekijken op mobiele apparaten.<\/p>\n

<\/p>\n

Martin Kleppmann \u2014 Data synchroniseren tussen gebruikersapparaten voor samenwerking op afstand<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Martin Kleppmann is een onderzoeker aan de Universiteit van Cambridge, die werkt aan CRDT en formele verificatie van algoritmen. Martins boek \u00abDesigning Data-Intensive Applications\u00bb<\/noindex>, gepubliceerd in 2017, bleek zeer succesvol en belandde op de bestsellerlijsten voor gegevensopslag en -verwerking. Kevin Scott, CTO bij Microsoft, zei ooit<\/a><\/noindex>: \u00abDit boek moet verplicht leesmateriaal zijn voor software-engineers. Het is een zeldzame bron die theorie en praktijk verenigt, en helpt ontwikkelaars om slimmer te ontwerpen en datainfrastructuur en verwerkingssystemen te implementeren.\u00bb Iets soortgelijks zei ook de maker van Kafka en CTO van Confluent, Jay Kreps.<\/p>\n

<\/p>\n

Voordat Martin zich bezighield met academisch onderzoek, werkte hij in de industrie en was hij medeoprichter van twee succesvolle startups:<\/p>\n

<\/p>\n