{"id":35091,"date":"2019-10-31T22:02:18","date_gmt":"2019-10-31T19:02:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/19-golov-gidry-bolshoj-obzor-programmy\/"},"modified":"2019-10-31T22:02:18","modified_gmt":"2019-10-31T19:02:18","slug":"19-golov-gidry-bolshoj-obzor-programmy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/19-golov-gidry-bolshoj-obzor-programmy","title":{"rendered":"19 h\u00fcdra pead. Suur \u00fclevaade programmist","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

11-12 juuli toimub Peterburis konverents Hydra<\/a><\/noindex>, mis on p\u00fchendatud paralleelsete ja jaotatud s\u00fcsteemide arendamisele. Hydra erip\u00e4ra on see, et see toob kokku suurep\u00e4rased teadlased (keda tavaliselt leidub ainult v\u00e4lismaistel teaduskonverentsidel) ja tuntud praktikud insenerid, luues suure programmi teaduse ja praktika piiril.<\/p>\n

<\/p>\n

Hydra on \u00fcks meie k\u00f5ige olulisemaid konverentse viimase paarik\u00fcmne aasta jooksul. Sellele eelnes v\u00e4ga t\u00f5sine ettevalmistus, esinejate ja ettekannete valik. Eelmisel n\u00e4dalal ilmus hubro-intervjuu<\/a><\/noindex> ettev\u00f5tte JUG.ru Group direktoriga, Aleksei Fedoroviga (23derevo<\/a><\/noindex>). <\/p>\n

<\/p>\n

Meie oleme juba r\u00e4\u00e4kinud<\/a><\/noindex> kolme olulise osaleja, jaotatud s\u00fcsteemide teooria alusepanija \u2014 Leslie Lamporti, Maurice Herlihy ja Mike Scottiga. On aeg r\u00e4\u00e4kida kogu programmist l\u00e4hemalt!<\/p>\n

<\/p>\n

\"19<\/p>\n

<\/a><\/noindex><\/p>\n

Motivatsioon<\/h2>\n

<\/p>\n

Kui tegelete programmeerimisega, siis paratamatult puutute kokku mitme l\u00f5ime ja jaotatud arvutustega. Vastava ala spetsialistid t\u00f6\u00f6tavad nendega otse, ent jaotatus vaatab meile mitmel pool n\u00e4kku: igas mitme tuumalises arvutis v\u00f5i jaotatud teenuses leidub midagi, mis teostab arvutusi paralleelselt.<\/p>\n

<\/p>\n

On mitmeid konverentse, mis k\u00e4sitlevad erinevaid rakendusprogrammimise aspekte. Teiselt poolt on meil spetsiaalsed teaduskoolid, mis loengute formaadis k\u00e4sitlevad tohutul hulgal keerulist teooriat. N\u00e4iteks toimub koos Hydraga Peterburis SPTDC kool<\/a><\/noindex>. Konverentsil Hydra p\u00fc\u00fcdsime kokku tuua nii ranget praktikat, teadust kui ka k\u00f5ike, mis nende vahepeal asub.<\/strong> <\/p>\n

<\/p>\n

M\u00f5elge sellele: elame imeliselt ajal, mil on v\u00f5imalik isiklikult kohtuda teaduse ja inseneritehnika aluste loojatega, millega me tegeleme. F\u00fc\u00fcsikud ei kohtuks ei Newtoni ega Einsteini \u2014 rong on l\u00e4inud. Kuid meie k\u00f5rval elavad endiselt need, kes l\u00f5id jaotatud s\u00fcsteemide teooria alused, m\u00f5tlesid v\u00e4lja populaarsed programmeerimiskeeled ja viidi esmakordselt ellu t\u00f6\u00f6tavad protot\u00fc\u00fcbid. Need inimesed ei ole oma t\u00f6\u00f6d pooleli j\u00e4tnud, nad tegelevad praegu aktuaalsete \u00fclesannetega tuntud \u00fclikoolides ja ettev\u00f5tetes ning on t\u00e4nase p\u00e4eva k\u00f5ige suuremad teadmiste ja kogemuste allikad. <\/p>\n

<\/p>\n

Teiselt poolt j\u00e4\u00e4b nende kohtumine tavaliselt puhtalt teoreetiliseks: harva suudab keegi meist pidevalt j\u00e4lgida avalikke \u00fcritusi m\u00f5nes Rochesteri \u00fclikoolis, et seej\u00e4rel USAsse kiirustada ja tagasi loengule Michael Scottile. Kohtumine k\u00f5igi Hydra osalejatega oleks kulukas, r\u00e4\u00e4kimata kulutatud ajast (kuigi see k\u00f5lab nagu huvitav \u00fclesanne).<\/p>\n

<\/p>\n

Teiselt poolt on meil palju tippinseneride, kes t\u00f6\u00f6tavad praegu aktuaalsete jaotuss\u00fcsteemide probleemide kallal, ja neil on kindlasti midagi r\u00e4\u00e4kida. Kuid probleem on \u2014 nad kasutavad<\/em>, ja nende aeg on kallis. Jah, kui sa oled Microsofti, Google'i v\u00f5i JetBrainsi t\u00f6\u00f6taja, suureneb t\u00f5en\u00e4osus, et kohtad \u00fchte tuntud esinejat sise\u00fcritusel \u2014 aga \u00fcldiselt \u2014 ei juhtu see iga p\u00e4ev.<\/p>\n

<\/p>\n

Seega t\u00e4idab Hydra konverents olulist \u00fclesannet, mida enamik meist ise teha ei saa \u2014 \u00fchendab \u00fches kohas ja samal ajal inimesi, kelle ideed v\u00f5i suhtlemine v\u00f5ivad teie elu muuta. Ma tunnistan, et mitte k\u00f5ik ei vaja jaotuss\u00fcsteeme, mingeid keerulisi fundamentaalseid asju. V\u00f5ib elada elu l\u00f5puni PHP-s CRUD-e programmeerides ja olla t\u00e4iesti \u00f5nnelik. Kuid kellele need on vajalikud \u2014 see on teie v\u00f5imalus.<\/p>\n

<\/p>\n

Esimesest Hydra konverentsi teadaandest Habr\u00e9 on m\u00f6\u00f6dunud juba piisavalt palju aega. Selle aja jooksul on tehtud tohutult t\u00f6\u00f6d \u2014 ja n\u00fc\u00fcd on meil peaaegu k\u00f5ikide ettekannete nimekiri. Ei mingit v\u00e4sinud \u00fcheahelalisi algoritme, ainult puhas jaotatud hardcore! L\u00f5petame \u00fcldiste s\u00f5nadega ja vaatame, mis meil n\u00fc\u00fcd k\u00e4es on.<\/p>\n

<\/p>\n

Keynote'id<\/h2>\n

<\/p>\n

Keynote'id avavad ja l\u00f5petavad konverentsip\u00e4evi. Tavaliselt avava keynote'i m\u00f5te on seada konverentsi \u00fcldine vaim ja suund. L\u00f5ppev keynote t\u00f5mbab joone alla ja selgitab, kuidas me peame elama konverentsi p\u00e4evadel omandatud teadmiste ja oskustega. Algus ja l\u00f5pp: see, mis j\u00e4\u00e4b paremini meelde, ja \u00fcldiselt on sellel suur t\u00e4hendus.<\/p>\n

<\/p>\n

Cliff Click \u2014 H2O jaotatud K\/V algoritm<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Cliff on Java-maailma legend. 90ndate l\u00f5pus kirjutas ta oma doktorit\u00f6\u00f6d nimega \u201eAnal\u00fc\u00fcside kombineerimine, optimeerimise kombineerimine\u201c<\/noindex>, mis hiljem sai aluseks HotSpot JVM Server Compiler. Kaks aastat hiljem t\u00f6\u00f6tas ta juba Sun Microsystemsis JVM-i kallal ja n\u00e4itas kogu maailmale, et JIT-l on litsents eksisteerida. Kogu see lugu, et Java on \u00fcks kiiremaid kaasaegseid jooksut\u00f6id koos k\u00f5ige nutikamate ja kiiremate optimeerimisega, tulenebki Cliff Clickist. Alguses arvati, et kui midagi on staatiliselt kompilaatorile k\u00e4ttesaadav, pole m\u00f5tet isegi JIT-i proovida. Cliffi ja tema meeskonna t\u00f6\u00f6 t\u00f5ttu hakkasid k\u00f5ik uued keeled tekkima JIT-kompilatsiooni idee \u00fcmber vaikimisi. See oli kindlasti t\u00f6\u00f6, mis ei olnud \u00fcksi inimese teha, kuid Cliff m\u00e4ngis selles v\u00e4ga olulist rolli.<\/p>\n

<\/p>\n

Cliff r\u00e4\u00e4gib oma avamisk\u00f5nes oma teisest ettev\u00f5tmisest \u2014 H20<\/a><\/noindex>, m\u00e4lus olev platvorm jaotatud ja skaleeritava masina\u00f5ppe jaoks t\u00f6\u00f6stuslikuks kasutamiseks. T\u00e4psemalt \u2014 jaotatud \u201ev\u00f5ti-v\u00e4\u00e4rtus\u201d laopidamine selle sees. See on v\u00e4ga kiire laohoidla, millel on palju huvitavaid omadusi (t\u00e4pne loend on kirjeldus<\/a><\/noindex>), mis v\u00f5imaldavad selliste lahenduste kasutamist suurandmete voogedastuse matemaatikas.<\/p>\n

<\/p>\n

Veel \u00fcks ettekande, millega Cliff esineb \u2014 The Azul Hardware Transactional Memory experience<\/a><\/noindex>. Teine osa tema biograafiast \u2014 k\u00fcmme aastat t\u00f6\u00f6d Azul<\/noindex>, kus ta uuendas ja parandas palju asju Azuli riistvara ja tehnoloogiate virnas: JIT-kompilaatorid, jooksut\u00f6\u00f6d, l\u00f5ngamudel, veahaldus, t\u00f6\u00f6tlus roboti, klasside laadimine jne \u2014 noh, te saite aru.<\/p>\n

<\/p>\n

K\u00f5ige huvitavam osa algas siis, kui nad tegid \u00e4ririistvara \u2014 superarvuti Java k\u00e4itamiseks. See oli \u00fcsna innovatiivne asi, mis oli spetsiaalselt Java jaoks kohandatud, millel olid erilised n\u00f5udmised \u2014 m\u00e4lubarj\u00e4\u00e4rid madala viivitusega pr\u00fcgikoristamiseks, piiritletud massiivid, virtuaalsed kutsed\u2026 \u00dcks \u00e4gedamaid tehnoloogiaid on riistvaraline tehinguline m\u00e4lu. Iga L1 mis tahes 864 tuumas v\u00f5is osaleda tehingu kirjutamises, mis on eriti oluline Java lukustusprobleemide lahendamiseks (s\u00fcnkroniseeritud plokid v\u00f5ivad t\u00f6\u00f6tada paralleelselt seni, kuni ei esine tegelikku m\u00e4lukonflikti). Kuid ilus idee purunes karmi reaalsuse t\u00f5ttu \u2014 ja selles ettekandes r\u00e4\u00e4gib Cliff, miks HTM ja STM ei sobi v\u00e4ga h\u00e4sti mitme l\u00f5imearvutuse praktiliste vajaduste jaoks.<\/p>\n

<\/p>\n

Michael Scott \u2014 Kaksikordne andmestruktuuride spetsialist<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Michael Scott<\/a><\/noindex> \u2014 professor Computer Science Rochesteri \u00dclikoolis, kellega saatus \u00fchendab teda juba 34 aastat<\/noindex>, samas kui tema kodu\u00fclikoolis Wisconsin\u2013Madison oli ta dekaan viie aasta jooksul. Ta tegeleb uurimist\u00f6\u00f6dega parallelse ja jaotatud programmeerimise alal ning \u00f5petab seda tudengitele.<\/p>\n

<\/p>\n

Kogu maailm tunneb Michaelit t\u00e4nu \u00f5pikule \u00abProgramming Language Pragmatics\u00bb<\/a><\/noindex>, mille viimane v\u00e4ljaanne ilmus suhteliselt hiljuti \u2014 2015. aastal. Tema t\u00f6\u00f6 \u00abAlgorithms for scalable synchronization on shared-memory multiprocessors\u00bb<\/a><\/noindex> saanud on Dijkstra auhind<\/a><\/noindex> \u00fche tuntuma t\u00f6\u00f6na jaotatud arvutuste valdkonnas ning on vabalt saadaval<\/a><\/noindex> Rochesteri \u00dclikooli veebiraamatukogus. Samuti v\u00f5ite teada teda kui selle Michael-Scott algoritmi autori, mis on \u00abSimple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms\u00bb<\/a><\/noindex>.<\/p>\n

<\/p>\n

Mis puutub Java maailma, siis siin on olukord eriline: koos Doug Leaga disainis ta need mittes\u00fcnkroonitud algoritmid ja s\u00fcnkroonitud j\u00e4rjekorrad, millel t\u00f6\u00f6tavad Java raamatukogud. Just sellest r\u00e4\u00e4gitakse alapealkirjas \u00abKaksikordne andmestruktuur\u00bb \u2014 nende struktuuride integreerimine Java SE 6-s lubas saavutada k\u00fcmnekordse t\u00f5usu j\u00f5udluses java.util.concurrent.ThreadPoolExecutor<\/code>. Kui olete varem huvitatud, millised need on \u00abKaksikordne andmestruktuur\u00bb, siis selle kohta on olemas vastav uurimist\u00f6\u00f6<\/a><\/noindex>. <\/p>\n

<\/p>\n

Maurice Herlihy \u2014 Blokaadid ja jaotatud arvutamise tulevik<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Maurice Herlihy<\/a><\/noindex> \u2014 Dijkstra auhinna saaja. Esimene \u2014 t\u00f6\u00f6 eest \u201eWait-Free Synchronization\u201d<\/a><\/noindex> (Brown University), ja teine, uuem \u2014 \u201eTransactional Memory: Architectural Support for Lock-Free Data Structures\u201d<\/a><\/noindex> (Virginia Tech University). Dijkstra auhind antakse t\u00f6\u00f6de eest, mille t\u00e4htsus ja m\u00f5ju on olnud n\u00e4htavad v\u00e4hemalt k\u00fcmme aastat, ja on ilmne, et Maurice on \u00fcks tuntumaid spetsialiste alal. Praegu t\u00f6\u00f6tab ta professorina Brown \u00dclikoolis ja tal on palju saavutusi, mis mahuksid tervele l\u00f5igule.<\/p>\n

<\/p>\n

Selles l\u00f5ppk\u00f5nes r\u00e4\u00e4gib Maurice plokiahelate jaotatud s\u00fcsteemide teooriast ja praktikast klassikalise jaotatud arvutamise vaatepunktist ning kuidas see lihtsustab paljusid seotud probleeme. See ettekande teema puutub rangelt konverentsi teemasse \u2014 see ei ole p\u00f5hjalik kaevandamish\u00fcpe, vaid pigem see, kuidas meie teadmisi saab \u00fcllatavalt t\u00f5husalt ja asjakohaselt kasutada v\u00e4ga erinevaid \u00fclesandeid silmas pidades.<\/p>\n

<\/p>\n

Juulis 2017 k\u00fclastas Maurice juba Venemaad SPTDC koolis, osales JUG.ru koosolekul ning salvestust on v\u00f5imalik vaadata YouTube'is:<\/p>\n

\n

\r\n \"M\u00e4ngi\r\n
<\/div>\r\n <\/div><\/center><\/p>\n

Peamine programm<\/h2>\n

<\/p>\n

Edasi saab olema v\u00e4ike \u00fclevaade ettekannetest, mis on programmi kaasatud. Osa ettekannetest on siin detailselt kirjeldatud, osa - l\u00fchemalt. Pikad kirjeldused on peamiselt ingliskeelsete ettekannete omad, mis vajavad viiteid teadust\u00f6\u00f6dele, termineid Vikipeedias ja nii edasi. T\u00e4ielikku nimekirja saab n\u00e4ha konverentsi veebilehelt<\/a><\/noindex>. Nimekiri veebilehel uuendatakse ja t\u00e4iendatakse. <\/p>\n

<\/p>\n

Leslie Lamport \u2014 K\u00fcsimused ja vastused<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Leslie Lamport on uute aluste rajaja hajutatud arvutustes. \u00abLaTeX\u00bb<\/a><\/noindex> t\u00e4hendab \u00abLamport TeX\u00bb. Just tema tutvustas esmakordselt 1979. aastal m\u00f5istet j\u00e4rjepidevast j\u00e4rjekorrast<\/a><\/noindex>, ning tema artikkel \u201eKuidas ehitada mitme protsessoriga arvutit, mis \u00f5igesti t\u00e4idab mitme protsessi programme\u201c<\/a><\/noindex> saadi Dijkstra auhind.<\/p>\n

<\/p>\n

See on programmiformaadilt k\u00f5ige ebatavalisem osa, kuna see pole isegi ettekanne, vaid k\u00fcsimuste ja vastuste sessioon. Kui enamik publikust on juba tuttavad (v\u00f5i saavad tutvuda) erinevate t\u00f6\u00f6dega, mis p\u00f5hinevad \u201eLamporti teoorial\u201d, tema enda artiklite ja ettekannetega, on v\u00e4ga oluline kulutada kogu saadaval olev aeg otse suhtlemiseks.<\/p>\n

<\/p>\n

Idee on lihtne - vaatate YouTube'is kahte ettekannet: \u201eProgrammeerimine peaks olema rohkem kui kodeerimine\u201d<\/a><\/noindex> ja \u00abKui sa ei kirjuta programmi, siis \u00e4ra kasuta programmeerimiskeelt\u00bb<\/a><\/noindex> ja valmistate ette v\u00e4hemalt \u00fche k\u00fcsimuse, millele Leslie vastab.<\/p>\n

<\/p>\n

Esimene neist kahest videost on me juba muutnud hublugemiseks<\/a><\/noindex>. Kui teil pole videot vaadata tund aega, saate seda kiiresti lugeda tekstina.<\/p>\n

<\/p>\n

M\u00e4rkus: YouTube'is on palju rohkem videoid Leslie Lamportiga. N\u00e4iteks on olemas suurep\u00e4rane TLA+ kursuse<\/a><\/noindex>. K\u00f5ik selle kursuse offline-versioon on autori esilehelt<\/a><\/noindex>, ja YouTube'is on see mugavama vaate jaoks mobiilseadmetes \u00fcles laaditud.<\/p>\n

<\/p>\n

Martin Kleppmann \u2014 Andmete s\u00fcnkroonimine kasutajaseadmete vahel jaotatud koost\u00f6\u00f6 jaoks<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Martin Kleppmann on Cambridge'i \u00fclikooli teadlane, kes t\u00f6\u00f6tab CRDT ja algoritmide formaalse t\u00f5endamise kallal. Marti raamat \u201eAndmete intensiivsete rakenduste projekteerimine\u201d<\/noindex>, mis ilmus 2017. aastal, osutus v\u00e4ga edukaks ja j\u00f5udis andmete salvestamise ja t\u00f6\u00f6tlemise valdkonna bestsellerite nimekirja. Kevin Scott, Microsofti CTO, \u00fctles kunagi<\/a><\/noindex>: \u201eSee raamat peaks olema kohustuslik insener-arendajatele. See on haruldane ressurss, mis \u00fchendab teooria ja praktika, aidates arendajatel targemalt projekteerida ja ellu viia infrastruktuuri ja andmet\u00f6\u00f6tluss\u00fcsteeme.\u201d Midagi sarnast \u00fctles ka Kafka looja ja Confluenti CTO Jay Kreps.<\/p>\n

<\/p>\n

Enne kui Martin hakkas tegelema akadeemiliste uurimist\u00f6\u00f6dega, t\u00f6\u00f6tas ta t\u00f6\u00f6stuses ja oli kahe eduka idufirma kaasasutaja.<\/p>\n

<\/p>\n