{"id":35091,"date":"2019-10-31T22:02:18","date_gmt":"2019-10-31T19:02:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/19-golov-gidry-bolshoj-obzor-programmy\/"},"modified":"2019-10-31T22:02:18","modified_gmt":"2019-10-31T19:02:18","slug":"19-golov-gidry-bolshoj-obzor-programmy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/19-golov-gidry-bolshoj-obzor-programmy","title":{"rendered":"19 pead h\u00fcdrahommiku. Suur \u00fclevaade programmist","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

11-12 juulil toimub Peterburis konverents Hydra<\/a><\/noindex>, mis on p\u00fchendatud paralleelsete ja hajutatud s\u00fcsteemide arendusele. Hydra erip\u00e4ra seisneb selles, et see toob kokku suurep\u00e4rased teadlased (keda leidub tavaliselt ainult v\u00e4lismaistel teaduskonverentsidel) ja tuntud praktikute insenerid, luues selle kaudu suure programmi teaduse ja praktika ristumiskohal.<\/p>\n

<\/p>\n

Hydra on \u00fcks meie k\u00f5ige olulisemaid konverentse viimase paari aasta jooksul. Sellele eelnes v\u00e4ga t\u00f5sine ettevalmistus, k\u00f5nelejate ja ettekannete valik. Eelmisel n\u00e4dalal selle kohta ilmus huvitav intervjuu<\/a><\/noindex> JUG.ru Groupi direktori Aleksei Fedorovi (23derevo<\/a><\/noindex>). <\/p>\n

<\/p>\n

Meie oleme juba r\u00e4\u00e4kinud<\/a><\/noindex> ka three olulise osaleja, hajutatud s\u00fcsteemide teooria rajaja \u2014 Leslie Lamport, Maurice Herlihy ja Michael Scott. On aeg r\u00e4\u00e4kida kogu programmi \u00fcksikasjadest!<\/p>\n

<\/p>\n

\"19<\/p>\n

<\/a><\/noindex><\/p>\n

Motivatsioon<\/h2>\n

<\/p>\n

Kui tegelete programmeerimisega, siis teatud m\u00e4\u00e4ral puutute kokku mitme t\u00f6\u00f6tluse ja jagatud arvutustega. Vastava valdkonna spetsialistid t\u00f6\u00f6tavad nendega vahetult, kuid jagatus vaatepunktist on meiega igal pool: igas mitme tuuma arvutis v\u00f5i jagatud teenuses on midagi, mis teostab arvutusi samaaegselt.<\/p>\n

<\/p>\n

On mitmeid konverentse, mis k\u00e4sitlevad erinevaid rakenduste programeerimise aspekte. Teise \u00e4\u00e4rmusesse j\u00e4\u00e4vad spetsiaalsed teaduskoolid, mis loengute formaadis avavad suuri mahte keerulist teooriat. N\u00e4iteks samal ajal, kui Hydra toimub Peterburis, toimub SPTDC kool<\/a><\/noindex>. Konverentsil Hydra p\u00fc\u00fcdsime kokku tuua nii karmid praktikad kui ka teaduse ning k\u00f5ik, mis nende ristumiskohal toimub.<\/strong> <\/p>\n

<\/p>\n

M\u00f5elge sellele: me elame imeliselt ajal, mil on v\u00f5imalik elada kohtuda teadus- ja inseneerimisvaldkonna asutajatega, millega me tegeleme. F\u00fc\u00fcsikud ei saa kohtuda ei Newtont ega Einsteiniga \u2014 rong on l\u00e4inud. Kuid meie k\u00f5rval elavad endiselt need, kes l\u00f5id ja arendasid v\u00e4lja jaotatud s\u00fcsteemide teooria alused, l\u00f5id tuntud programmeerimiskeeled ja teostasid need esimeste funktsionaalsete protot\u00fc\u00fcpide n\u00e4ol. Need inimesed ei ole oma t\u00f6\u00f6d pooleli j\u00e4tnud, vaid tegelevad praegu aktuaalsete \u00fclesannetega tuntud \u00fclikoolides ja ettev\u00f5tetes ning on t\u00e4nap\u00e4eval \u00fched suurimad teadmiste ja kogemuste allikad. <\/p>\n

<\/p>\n

Teisest k\u00fcljest j\u00e4\u00e4b v\u00f5imalus nendega kohtuda tavaliselt puhtalt teoreetiliseks: v\u00e4hesed meist saavad pidevalt j\u00e4lgida avalikke \u00fcritusi m\u00f5nes Rochesteri \u00fclikoolis, et siis kiiresti USAsse s\u00f5ita ja tagasi Michael Scotti loengusse tulla. K\u00f5ikide Hydra osalejate k\u00fclastamine maksaks v\u00e4ikese varanduse, r\u00e4\u00e4kimata raisatud ajast (kuigi see k\u00f5lab nagu huvitav v\u00e4ljakutse).<\/p>\n

<\/p>\n

Teisest k\u00fcljest on meil palju tippinsenere, kes t\u00f6\u00f6tavad praegu aktuaalsete jagatud s\u00fcsteemide probleemide kallal ja neil on t\u00f5eliselt palju r\u00e4\u00e4kida. Aga siin on probleem \u2014 nad t\u00f6\u00f6tavad<\/em>, ja nende aeg on v\u00e4\u00e4rtuslik. Jah, kui oled Microsofti, Google'i v\u00f5i JetBrains'i t\u00f6\u00f6taja, suurenevad v\u00f5imalused, et kohtud m\u00f5ne tuntud esinejaga sisemisel \u00fcritusel, aga \u00fcldiselt \u2014 see ei juhtu iga p\u00e4ev.<\/p>\n

<\/p>\n

Seega t\u00e4idab Hydra konverents olulist \u00fclesannet, mida enamus meist ei suuda ise teha \u2014 toob samasse kohta ja samal ajal kokku inimesi, kelle ideed v\u00f5i kellega suhtlemine v\u00f5ivad muuta sinu elu. Ma tunnustan, et mitte k\u00f5igile ei ole vajalikud jagatud s\u00fcsteemid, mingid keerulised p\u00f5hiteemad. Sa v\u00f5id terve elu programmeerida CRUD-e PHP-s ja j\u00e4\u00e4da t\u00e4iesti \u00f5nnelikuks. Aga kellele see on vajalik \u2014 see on teie v\u00f5imalus.<\/p>\n

<\/p>\n

Esimese Hydra konverentsi teadaandest on m\u00f6\u00f6dunud juba \u00fcsna palju aega. Selle aja jooksul on tehtud tohutult t\u00f6\u00f6d \u2014 ja n\u00fc\u00fcd on meil peaaegu k\u00f5ikide ettekannete nimekiri. Ei mingit igavat \u00fchem\u00f5ttelist algoritmi, ainult puhas jaotatud hardcore! L\u00f5petame \u00fcldiste s\u00f5nadega ja vaatame, mis meil n\u00fc\u00fcd k\u00e4es on.<\/p>\n

<\/p>\n

Peaesinejad<\/h2>\n

<\/p>\n

Peaesinejad avavad ja l\u00f5petavad konverentsi p\u00e4evi. \u00dcldiselt avava peaesineja m\u00f5te on seada konverentsile \u00fcldine vaimsus ja suund. L\u00f5petav peaesineja teeb j\u00e4reldused ja selgitab, kuidas elada konverentsi p\u00e4evadel omandatud teadmiste ja oskustega. Algus ja l\u00f5pp: see, mis j\u00e4\u00e4b k\u00f5ige paremini meelde, ja omab \u00fcldiselt suuremat t\u00e4htsust.<\/p>\n

<\/p>\n

Cliff Click \u2014 H2O jaotatud K\/V algoritm<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Cliff on Java maailma legend. 90ndate l\u00f5pupoole kirjutas ta oma PhD v\u00e4itekirja jaoks t\u00f6\u00f6 nimega \u201eAnal\u00fc\u00fcside kombineerimine, optimeerimise kombineerimine\u201c<\/noindex>, mis arendas m\u00f5ne aja p\u00e4rast HotSpot JVM Server Compiler'i aluseks. Kahe aasta p\u00e4rast t\u00f6\u00f6tas ta juba Sun Microsystems'is JVM-i juures ja n\u00e4itas kogu maailmale, et JIT-l on \u00f5igust olla. Kogu see lugu Java kohta \u2013 kui \u00fche kiireima kaasaegse executeerimise ja nutikate ning kiirete optimeerimise tehnoloogiaga \u2013 algas soovist, mida t\u00e4hendas Cliff Click. Alguses arvati, et kui midagi on saadaval staatilisele kompilaatorile, siis pole seda isegi m\u00f5tet JIT-ida. T\u00e4nu Cliffi ja tema meeskonna t\u00f6\u00f6le hakkasid k\u00f5ik uued keeled olema loodud JIT-kompilaatori ideega vaikimisi. Ilmselgelt ei olnud see t\u00f6\u00f6 \u00fche inimese jaoks, kuid Cliffi roll oli selles v\u00e4ga oluline.<\/p>\n

<\/p>\n

Avak\u00f5nes r\u00e4\u00e4gib Cliff oma uue algatuse kohta \u2013 H20<\/a><\/noindex>, m\u00e4lup\u00f5hine platvorm jaotatud ning skaleeritava masin\u00f5ppe jaoks t\u00f6\u00f6stuslikul tasemel. T\u00e4psemalt \u00f6eldes \u2013 selle sees olev jaotatud v\u00f5tme-v\u00e4\u00e4rtuse ladustamine. See on v\u00e4ga kiire ladustamine paljude huvitavate omadustega (t\u00e4pne nimekiri on olemas kirjeldusest<\/a><\/noindex>), mis v\u00f5imaldavad selliste lahenduste kasutamist suurandmete voogesituse matemaatikas.<\/p>\n

<\/p>\n

Veel \u00fcks ettekande, millega Cliff \u00fcles astub \u2013 Azuli riistvara tehingum\u00e4lu kogemus<\/a><\/noindex>. Teine osa tema eluloost \u2014 k\u00fcmme aastat t\u00f6\u00f6d Azul'is<\/noindex>, kus ta uuendas ja parandas palju igasugust riistvaras ja tehnoloogiatehnikas Azul: JIT-kompilaatorid, jooksuaja, l\u00f5imemudel, vigade t\u00f6\u00f6tlemine, virnastamine, riistvaralised katkestused, klasside laadimine ja nii edasi \u2014 noh, te saate aru.<\/p>\n

<\/p>\n

K\u00f5ige huvitavam osa algas siis, kui nad l\u00f5id riistvara suurtele ettev\u00f5tetele \u2014 superarvuti Java k\u00e4itamiseks. See oli \u00fcsna innovaatiline lahendus, mis oli spetsiaalselt loodud Java jaoks, millel on erilised n\u00f5udmised \u2014 madala pausiga pr\u00fcgikoristuseks lugemise m\u00e4lu t\u00f5kked, piiritletud massiivid, virtuaalsed kutsed... \u00dcks lahedamaid tehnoloogiaid on riistvaraline tehingum\u00e4lu. Iga L1 864 tuumast sai osaleda tehingu salvestuses, mis on eriti oluline Java lukustustega t\u00f6\u00f6tamiseks (s\u00fcnkroniseeritud plokid v\u00f5ivad t\u00f6\u00f6tada paralleelselt, seni kuni ei ole tegelikke m\u00e4lu konflikte). Kuid ilus idee kukkus kokku karmis reaalsuses \u2014 ja selles ettekandes r\u00e4\u00e4gib Cliff, miks HTM ja STM ei sobi h\u00e4sti praktiliste vajaduste jaoks mitme l\u00f5imega arvutamisel.<\/p>\n

<\/p>\n

Michael Scott \u2014 Topeltstruktuurid<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Michael Scott<\/a><\/noindex> \u2014 professor arvutiteaduse erialal Rochesteri \u00fclikoolis, kellega saatus on seotud juba 34 aastat<\/noindex>, ja oma kodu\u00fclikoolis Wisconsin\u2013Madison oli ta dekaan viis aastat. Ta tegeleb paralleelse ja jaotatud programmeerimise ning keelte disaini uurimisega ja \u00f5petab seda \u00fcli\u00f5pilastele.<\/p>\n

<\/p>\n

Kogu maailm tunneb Michaelit tema \u00f5pikust \u00abProgramming Language Pragmatics\u00bb<\/a><\/noindex>, mille viimane v\u00e4ljaanne ilmus suhteliselt hiljuti \u2014 2015. aastal. Tema t\u00f6\u00f6 \u00abAlgorithms for scalable synchronization on shared-memory multiprocessors\u00bb<\/a><\/noindex> sai on saanud Dijkstra auhinna<\/a><\/noindex> kuna see on \u00fcks tuntumaid t\u00f6id jaotatud arvutusvaldkonnas ning on vabalt k\u00e4ttesaadav<\/a><\/noindex> Rochesteri \u00fclikooli veebiraamatukogus. Samuti v\u00f5ite teda tunda kui autori, kes on loonud Michael-Scottti algoritmi \u00abSimple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms\u00bb<\/a><\/noindex>.<\/p>\n

<\/p>\n

Mis puudutab Java maailma, siis siin on lugu eriline: koos Doug Leaga t\u00f6\u00f6tas ta v\u00e4lja need mitteblokeerivad algoritmid ja s\u00fcnkroonsed j\u00e4rjekorrad, millel p\u00f5hinevad Java raamatukogud. Just sellest r\u00e4\u00e4gib ka p\u00f5hik\u00f5ne \u00abDual data structures\u00bb \u2014 nende struktuuride rakendamine Java SE 6-s v\u00f5imaldas saavutada k\u00fcmnekordset j\u00f5udluse paranemist java.util.concurrent.ThreadPoolExecutor<\/code>. Kui teid huvitab, mis need \u00abDual data structures\u00bb on, siis selle kohta on olemas vastav t\u00f6\u00f6<\/a><\/noindex>. <\/p>\n

<\/p>\n

Maurice Herlihy \u2014 Plokiahelad ja jaotatud arvutamise tulevik<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Maurice Herlihy<\/a><\/noindex> \u2014 omanik kahele Deijkstra auhinnale. Esimene \u2014 t\u00f6\u00f6 eest, \u00abWait-Free Synchronization\u00bb<\/a><\/noindex> (Brown University), ja teine, uuem \u2014 \u00abTransactional Memory: Architectural Support for Lock-Free Data Structures\u00bb<\/a><\/noindex> (Virginia Tech University). Deijkstra auhinda antakse t\u00f6\u00f6de eest, mille t\u00e4htsus ja m\u00f5ju on olnud m\u00e4rgatav v\u00e4hemalt k\u00fcmne aasta jooksul, ja selgelt on Maurice \u00fcks tuntumaid spetsialiste selles valdkonnas. Praegu t\u00f6\u00f6tab ta professorina Brown'i \u00fclikoolis ja tal on palju saavutusi, et r\u00e4\u00e4kida terve l\u00f5ik.<\/p>\n

<\/p>\n

Selle l\u00f5petava v\u00f5tmeesitluse k\u00e4igus r\u00e4\u00e4gib Maurice plokiahelate jaotatud s\u00fcsteemide teooriast ja praktikast klassikaliste jagatud arvutuste perspektiivi alt ning sellest, kuidas see lihtsustab mitmeid seotud probleeme. See ettekande teema on rangelt konverentsi teema \u2014 mitte maihaksete hype'i kohta, vaid pigem sellest, kuidas meie teadmisi saab h\u00e4mmastavalt t\u00f5husalt ja sobivalt kasutada mitmesuguste \u00fclesannete lahendamiseks.<\/p>\n

<\/p>\n

Juulis 2017 k\u00fclastas Maurice juba Venemaad SPTDC koolis, osales JUG.ru koosolekul ja salvestust saab vaadata YouTube'is:<\/p>\n

\n

\r\n \"Vaata\r\n
<\/div>\r\n <\/div><\/center><\/p>\n

P\u00f5hiprogramm<\/h2>\n

<\/p>\n

J\u00e4rgmisena on l\u00fchike \u00fclevaade programmis sisalduvatest ettekannetest. Osa ettekandeid on siin detailselt kirjeldatud, osa aga l\u00fchemalt. Pikad kirjeldused on enamasti ingliskeelsetele ettekannetele, mis vajavad viiteid teadusartiklitele, termineid Vikipeedias ja nii edasi. T\u00e4ielikku nimekirja saab n\u00e4ha konverentsi kodulehelt<\/a><\/noindex>. Nimekiri veebilehel uuendatakse ja t\u00e4iendatakse. <\/p>\n

<\/p>\n

Leslie Lamport \u2014 K\u00fcsimused ja vastused<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Leslie Lamport on jaotatud arvutuste aluste t\u00f6\u00f6de autor. \u00abLaTeX\u00bb<\/a><\/noindex> t\u00e4hendab \u00abLamport TeX\u00bb. Just tema tutvustas esmakordselt juba 1979. aastal m\u00f5istet j\u00e4rjekindlast koosk\u00f5lastatusest<\/a><\/noindex>, ja tema artikkel \u00abKuidas teha mitu protsessorit, mis \u00f5igesti t\u00e4idab mitu \u00fclesannet\u00bb<\/a><\/noindex> sai Dijkstra auhinna.<\/p>\n

<\/p>\n

See on programmi k\u00f5ige ebatavalisem formaat, kuna see pole isegi ettekande vormis, vaid k\u00fcsimuste ja vastuste sessioon. Kui suur osa publikust on juba tuttav (v\u00f5i v\u00f5ib tutvuda) k\u00f5ikv\u00f5imalike t\u00f6\u00f6dega, mis p\u00f5hinevad \u00abLempordi teoorial\u00bb, tema enda artiklite ja ettekannetega, on v\u00e4ga oluline kulutada kogu saadaval aeg otseseks suhtlemiseks.<\/p>\n

<\/p>\n

Idee on lihtne \u2014 vaatate YouTube'ist kahte ettekannet: \u00abProgrammeering peaks olema rohkem kui kodeerimine\u00bb<\/a><\/noindex> ja \u00abKui te ei kirjutage programmi, \u00e4rge kasutage programmeerimiskeelt\u00bb<\/a><\/noindex> ja valmistate ette v\u00e4hemalt \u00fche k\u00fcsimuse, millele Leslie vastab.<\/p>\n

<\/p>\n

Esimene neist kahest videost oleme juba muundanud p\u00f5hjalikuks artikliks<\/a><\/noindex>. Kui teil ei ole tunni jagu aega video vaatamiseks, saate seda kiiresti lugeda tekstivormingus.<\/p>\n

<\/p>\n

Teatamiseks: YouTube'is on palju rohkem videoid Leslie Lamport'ist. N\u00e4iteks on seal suurep\u00e4rane course on TLA+<\/a><\/noindex>. Kogu selle kursuse offline-versioon on saadaval autori kodulehelt<\/a><\/noindex>, ja YouTube'is on see mugavamaks vaatamiseks mobiilseadmetes \u00fcles laaditud.<\/p>\n

<\/p>\n

Martin Kleppmann \u2014 Andmete s\u00fcnkroniseerimine kasutajaseadmete vahel jaotatud koost\u00f6\u00f6 jaoks<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Martin Kleppmann on Cambridge'i \u00fclikooli teadlane, kes t\u00f6\u00f6tab CRDT-de ja algoritmide formaalse verifikatsiooni kallal. Martini raamat \u201eData-intensive rakenduste projekteerimine\u201c<\/noindex>, mis ilmus 2017. aastal, osutus v\u00e4ga edukaks ja j\u00f5udis andmete salvestamise ja t\u00f6\u00f6tlemise valdkonna bestsellerite nimekirja. Kevin Scott, Microsofti CTO, korrutas<\/a><\/noindex>: \u201eSee raamat peab olema iga arendaja jaoks kohustuslik. See on haruldane ressurss, mis \u00fchendab teooria ja praktika, aidates arendajatel targemalt disainida ja rakendada infrastruktuuri ja andmete t\u00f6\u00f6tlemise s\u00fcsteeme.\u201c Midagi sarnast \u00fctles ka Kafka looja ja Confluenti CTO, Jay Kreps.<\/p>\n

<\/p>\n

Enne akadeemiliste uurimist\u00f6\u00f6dega tegelemist t\u00f6\u00f6tas Martin t\u00f6\u00f6stuses ja oli kahel edukal idufirmal kaasasutaja:<\/p>\n

<\/p>\n