Cynhelir cynhadledd ar 11-12 Gorffennaf yn St Petersburg , sy'n ymroddedig i ddatblygu systemau cyfochrog a gwasgaredig. Camp Hydra yw ei fod yn uno gwyddonwyr cŵl (sydd i'w cael fel arfer mewn cynadleddau gwyddonol tramor yn unig) a pheirianwyr gweithredol enwog yn un rhaglen fawr ar y groesffordd rhwng gwyddoniaeth ac ymarfer.
Hydra yw un o'n cynadleddau pwysicaf yn y blynyddoedd diwethaf. Fe'i rhagflaenwyd gan baratoi difrifol iawn, dewis siaradwyr ac adroddiadau. Yr wythnos diwethaf am hyn gyda chyfarwyddwr Grŵp JUG.ru, Alexey Fedorov ().
Rydym yn tua thri chyfranogwr pwysig, sylfaenwyr y ddamcaniaeth systemau gwasgaredig - Leslie Lamport, Maurice Herlihy a Michael Scott. Mae'n bryd siarad yn fwy manwl am y rhaglen gyfan!
Cymhelliant
Os ydych chi'n ymwneud â rhaglennu, yna un ffordd neu'r llall rydych chi'n delio â chyfrifiadura aml-edafu a gwasgaredig. Mae arbenigwyr yn y meysydd perthnasol yn gweithio gyda nhw yn uniongyrchol, ond yn ymhlyg, mae dosbarthiad yn edrych arnom ni o bob man: mewn unrhyw gyfrifiadur aml-graidd neu wasanaeth dosbarthedig mae rhywbeth sy'n perfformio cyfrifiadau ochr yn ochr.
Mae yna lawer o gynadleddau sy'n ymdrin â gwahanol agweddau ar raglennu cymwysiadau. Ar ochr arall y sbectrwm, mae gennym ysgolion gwyddonol arbenigol sy'n datgelu llawer iawn o ddamcaniaethau cymhleth ar ffurf darlithoedd. Er enghraifft, ochr yn ochr â Hydra yn St Petersburg mae yna . Yng nghynhadledd Hydra, fe wnaethom geisio dod ag arfer llym, gwyddoniaeth, a phopeth ar y groesffordd ynghyd.
Meddyliwch am hyn: rydyn ni'n byw mewn cyfnod anhygoel pan allwch chi gwrdd yn bersonol â sylfaenwyr y maes gwyddoniaeth a pheirianneg rydyn ni'n ei astudio. Ni fydd ffisegwyr yn cwrdd â Newton nac Einstein - mae'r trên wedi gadael. Ond nesaf i ni yn dal i fyw y rhai a greodd y sylfeini y ddamcaniaeth o systemau gwasgaredig, dyfeisio ieithoedd rhaglennu poblogaidd, ac am y tro cyntaf ymgorffori hyn i gyd yn gweithio prototeipiau. Ni roddodd y bobl hyn y gorau i'w swyddi hanner ffordd, maent ar hyn o bryd yn gweithio ar faterion dybryd mewn prifysgolion a chwmnïau byd-enwog, a dyma'r ffynonellau mwyaf o wybodaeth a phrofiad heddiw.
Ar y llaw arall, mae’r cyfle i gwrdd â nhw fel arfer yn parhau i fod yn hollol ddamcaniaethol: ychydig ohonom sy’n gallu monitro digwyddiadau cyhoeddus yn gyson mewn rhai o Brifysgol Rochester, ac yna rhuthro i UDA ac yn ôl am ddarlith gyda Michael Scott. Byddai ymweld â holl aelodau Hydra yn costio ffortiwn bach, heb gyfrif yr affwys o wastraffu amser (er ei fod yn swnio fel cwest ddiddorol).
Ar y llaw arall, mae gennym lawer o beirianwyr gorau sy'n gweithio ar broblemau dybryd mewn systemau dosbarthedig ar hyn o bryd, ac yn bendant mae ganddynt lawer i'w ddweud. Ond dyma'r broblem - nhw yn gweithio, ac y mae eu hamser yn werthfawr. Ydw, os ydych chi'n gyflogai i Microsoft, Google neu JetBrains, mae'r tebygolrwydd o gwrdd ag un o'r siaradwyr enwog mewn digwyddiad mewnol yn cynyddu'n sydyn, ond yn gyffredinol, na, nid yw hyn yn digwydd bob dydd.
Yn y modd hwn, mae Cynhadledd Hydra yn cyflawni tasg bwysig na all y rhan fwyaf ohonom ei gwneud ar ein pennau ein hunain - mewn un lle ac ar un adeg, mae'n dod â phobl ynghyd y gall eu syniadau neu ryngweithio â nhw newid eich bywyd. Rwy’n cyfaddef nad oes angen systemau gwasgaredig na rhai pethau sylfaenol cymhleth ar bawb. Gallwch raglennu CRUDs yn PHP am weddill eich oes ac aros yn gwbl hapus. Ond pwy bynnag sydd ei angen, dyma'ch cyfle.
Mae cryn dipyn o amser wedi mynd heibio ers y cyhoeddiad cyntaf am gynhadledd Hydra ar Habré. Yn ystod y cyfnod hwn, mae llawer o waith wedi'i wneud - a nawr mae gennym restr o bron pob un o'r adroddiadau. Dim algorithmau un edau swrth, dim ond craidd caled pur wedi'i ddosbarthu! Gadewch i ni orffen gyda geiriau cyffredinol a gweld beth sydd gennym ar ein dwylo nawr.
Cyweirnod
Mae'r cyweirnod yn dechrau ac yn diweddu dyddiau'r gynhadledd. Fel arfer pwynt cyweirnod agoriadol yw gosod ysbryd a chyfeiriad cyffredinol y gynhadledd. Mae'r cyweirnod cloi yn tynnu llinell ac yn egluro sut y gallwn fyw gyda'r wybodaeth a'r sgiliau a ddysgwyd yn ystod y gynhadledd. Y dechrau a'r diwedd: mae'r hyn sy'n cael ei gofio orau, ac yn gyffredinol, wedi cynyddu arwyddocâd.
Cliff Cliff
Mae Cliff yn chwedl yn y byd Java. Ar ddiwedd y 90au, ar gyfer ei draethawd PhD, ysgrifennodd bapur o'r enw , a ddaeth beth amser yn ddiweddarach yn sail i HotSpot JVM Server Compiler. Ddwy flynedd yn ddiweddarach, roedd eisoes yn gweithio yn Sun Microsystems ar y JVM a dangosodd i'r byd i gyd fod gan JIT hawl i fodoli. Daeth y stori gyfan hon am sut mae Java yn un o'r amseroedd rhedeg modern cyflymaf gyda'r optimeiddiadau craffaf a chyflymaf yn dod o Cliff Click. Ar y cychwyn cyntaf, credwyd, os yw rhywbeth yn hygyrch i gasglwr statig, nid oes rhaid i chi hyd yn oed geisio ei jit. Diolch i waith Cliff a thîm, dechreuwyd creu pob iaith newydd gyda'r syniad o lunio JIT yn ddiofyn. Wrth gwrs, nid swydd un dyn oedd hon, ond chwaraeodd Cliff ran bwysig iawn ynddi.
Yn y cyweirnod agoriadol, bydd Cliff yn siarad am ei ymdrech arall - , llwyfan cof ar gyfer dysgu peiriannau gwasgaredig a graddadwy ar gyfer cymwysiadau diwydiannol. Neu'n fwy manwl gywir, am y storfa ddosbarthedig o barau gwerth allweddol y tu mewn iddo. Mae hwn yn storfa gyflym iawn gyda llawer o briodweddau diddorol (mae'r union restr i mewn ), sy'n caniatáu defnyddio atebion tebyg ym mathemateg ffrydio data mawr.
Adroddiad arall y bydd Cliff yn ei roi yw - . Rhan arall o'i fywgraffiad - deng mlynedd , lle bu'n diweddaru a gwella llawer o bethau yn y pentwr caledwedd a thechnoleg Azul: casglwyr JIT, runtime, model edau, trin gwallau, trin stac, torri ar draws caledwedd, llwytho dosbarth, ac yn y blaen ac yn y blaen - wel, fe gewch chi'r syniad.
Dechreuodd y rhan fwyaf diddorol pan wnaethant galedwedd ar gyfer busnes mawr - uwchgyfrifiadur i redeg Java. Roedd yn beth eithaf arloesol, wedi'i deilwra'n benodol ar gyfer Java, sydd â gofynion arbennig - darllenwch rwystrau cof ar gyfer casglu sbwriel am gyfnod isel, araeau gyda therfynau gwirio, rhith-alwadau... Un o'r technolegau mwyaf cŵl yw cof trafodion caledwedd. Gallai L1 cyfan unrhyw un o'r creiddiau 864 gymryd rhan mewn ysgrifennu trafodion, sy'n arbennig o bwysig ar gyfer gweithio gyda chloeon yn Java (gall blociau cydamserol weithio ochr yn ochr â'i gilydd cyn belled nad oes gwrthdaro cof gwirioneddol). Ond cafodd y syniad hardd ei falu gan realiti llym - ac yn y sgwrs hon bydd Cliff yn dweud wrthych pam nad yw HTM a STM yn addas iawn ar gyfer anghenion ymarferol cyfrifiadura aml-edau.
Michael Scott -
- Athro Cyfrifiadureg ym Mhrifysgol Rochester, yr oedd tynged yn ei gysylltu ag ef , ac ym Mhrifysgol Wisconsin-Madison, bu'n ddeon am bum mlynedd. Mae'n ymchwilio ac yn addysgu myfyrwyr am raglennu cyfochrog a gwasgaredig a dylunio iaith.
Mae'r byd i gyd yn adnabod Michael diolch i'r gwerslyfr , y cyhoeddwyd y rhifyn diweddaraf ohono yn gymharol ddiweddar - yn 2015. Ei swydd a dderbyniwyd fel un o'r enwocaf ym maes cyfrifiadura dosranedig a yn Llyfrgell Ar-lein Prifysgol Rochester. Efallai y byddwch hefyd yn ei adnabod fel awdur yr union algorithm Michael-Scott o .
O ran y byd Java, mae hwn yn achos arbennig: ynghyd â Doug Lea, datblygodd yr algorithmau di-rwystro a'r ciwiau cydamserol y mae llyfrgelloedd Java yn gweithio arnynt. Dyma'n union beth fydd y cyweirnod “Strwythurau data deuol” - mae cyflwyno'r strwythurau hyn yn Java SE 6 wedi gwella perfformiad 10 gwaith java.util.concurrent.ThreadPoolExecutor. Os ydych chi'n pendroni ymlaen llaw beth yw'r “strwythurau data deuol” hyn, yna mae yna wybodaeth amdano .
Maurice Herlihy -
- enillydd dwy Wobr Dijkstra. Mae'r un cyntaf ar gyfer gwaith ar (Prifysgol Brown), a'r ail, mwy diweddar - (Prifysgol Dechnoleg Virginia). Mae Gwobr Dijkstra yn cydnabod gwaith y mae ei arwyddocâd a’i effaith wedi bod yn amlwg ers o leiaf ddeng mlynedd, ac mae Maurice yn amlwg yn un o’r arbenigwyr mwyaf adnabyddus yn y maes. Ar hyn o bryd mae'n gweithio fel athro ym Mhrifysgol Brown ac mae ganddo restr baragraff o hyd o gyflawniadau.
Yn y cyweirnod cloi hwn, bydd Maurice yn siarad am theori ac ymarfer systemau dosbarthedig blockchain o safbwynt clasuron cyfrifiadura dosranedig a sut mae'n symleiddio llawer o broblemau cysylltiedig. Adroddiad yw hwn yn gyfan gwbl ar bwnc y gynhadledd - nid o gwbl am hype mwyngloddio, ond yn hytrach am sut y gellir defnyddio ein gwybodaeth yn rhyfeddol o effeithiol a phriodol mewn perthynas ag amrywiaeth o dasgau.
Ym mis Gorffennaf 2017, daeth Maurice eisoes i Rwsia i fynychu ysgol SPTDC, cymryd rhan yn y cyfarfod JUG.ru, a gellir gweld y recordiad ar YouTube:
Prif raglen
Nesaf bydd trosolwg byr o'r adroddiadau sydd wedi'u cynnwys yn y rhaglen. Disgrifir rhai o'r adroddiadau yn fanwl yma, rhai yn fwy cryno. Aeth disgrifiadau hir yn bennaf i adroddiadau Saesneg a oedd yn gofyn am ddolenni i bapurau gwyddonol, termau ar Wicipedia, ac ati. Mae'r rhestr lawn ar gael . Bydd y rhestr ar y wefan yn cael ei diweddaru a'i hategu.
Leslie Lamport -
Mae Leslie Lamport yn awdur gweithiau arloesol mewn cyfrifiadura dosranedig. yn sefyll am "Lamport TeX". Ef a gyflwynodd y cysyniad gyntaf, yn ôl ym 1979 , a'i erthygl wedi derbyn Gwobr Dijkstra.
Dyma’r rhan fwyaf anarferol o’r rhaglen o ran fformat, oherwydd nid adroddiad ydyw hyd yn oed, ond sesiwn holi ac ateb. Pan fo rhan sylweddol o’r gynulleidfa eisoes yn gyfarwydd (neu’n gallu dod yn gyfarwydd) â phob math o weithiau yn seiliedig ar “Theori Lambor”, ei erthyglau a’i adroddiadau ei hun, mae’n bwysicach treulio’r holl amser sydd ar gael ar gyfathrebu uniongyrchol.
Mae'r syniad yn syml - rydych chi'n gwylio dau adroddiad ar YouTube: и a pharatoi o leiaf un cwestiwn, a Leslie yn ateb.
Y cyntaf o'r ddau fideo hyn sydd gennym eisoes . Os nad oes gennych awr o amser i wylio'r fideo, gallwch ddarllen y cyfan yn gyflym ar ffurf testun.
Nodyn: Mae llawer mwy o fideos Leslie Lamport ar YouTube. Er enghraifft, mae rhagorol . Mae fersiwn all-lein o'r cwrs cyfan hwn ar gael yn , a'i uwchlwytho i YouTube i'w weld yn haws ar ddyfeisiau symudol.
Martin Kleppmann -
Mae Martin Kleppmann yn ymchwilydd ym Mhrifysgol Caergrawnt yn gweithio ar CRDT a dilysu algorithmau yn ffurfiol. llyfr Martin , a gyhoeddwyd yn 2017, wedi bod yn llwyddiannus iawn a'i wneud ar restrau gwerthwyr gorau ym maes storio a phrosesu data. Kevin Scott, CTO yn Microsoft, : “Dylai'r llyfr hwn fod yn llyfr hanfodol i beirianwyr meddalwedd. Mae hwn yn adnodd prin sy’n cyfuno theori ac ymarfer i helpu datblygwyr yn ddoethach wrth ddylunio a gweithredu systemau seilwaith a data.” Dywedodd crëwr Kafka a CTO o Confluent, Jay Kreps, rywbeth tebyg.
Cyn symud i ymchwil academaidd, bu Martin yn gweithio mewn diwydiant a chyd-sefydlodd ddau fusnes newydd llwyddiannus:
- Rapportive, sy'n ymroddedig i arddangos proffil cymdeithasol cysylltiadau o'ch e-bost, a brynwyd gan LinkedIn yn 2012;
- Go Test It, gwasanaeth ar gyfer profi gwefannau yn awtomatig mewn amrywiol borwyr, a brynwyd gan RedGate yn 2009.
Yn gyffredinol, mae Martin, er ei fod yn llai enwog na'n cyweirnod, eisoes wedi gallu gwneud rhywfaint o gyfraniad i ddatblygiad cyfrifiadura gwasgaredig ac i'r diwydiant.
Yn y sgwrs hon, bydd Martin yn siarad am bwnc yn nes at ei ymchwil academaidd. Yn Google Docs a soffas cyd-olygu dogfennau tebyg, mae "golygu cydweithredol" yn cyfeirio at dasg atgynhyrchu: mae gan bob defnyddiwr ei atgynhyrchiad ei hun o'r ddogfen a rennir, y maent wedyn yn ei haddasu, ac anfonir pob newid ar draws y rhwydwaith i weddill y cyfranogwyr. Mae newidiadau i ddogfennau all-lein yn arwain at anghysondeb dros dro yn y ddogfen mewn perthynas â chyfranogwyr eraill, ac mae ail-gydamseru yn gofyn am drin gwrthdaro. Dyma'n union beth maen nhw'n bodoli ar ei gyfer (CRDT), mewn gwirionedd, yn beth eithaf newydd, y lluniwyd ei hanfod yn 2011 yn unig. Mae'r sgwrs hon yn trafod yr hyn sydd wedi digwydd ers hynny ym myd CRDT, beth yw'r datblygiadau diweddaraf, yr ymagwedd at greu cymwysiadau lleol-cyntaf yn gyffredinol a'r defnydd o lyfrgell ffynhonnell agored. yn arbennig.
Yr wythnos nesaf byddwn yn cyhoeddi cyfweliad hir gyda Martin ar Habré, bydd yn ddiddorol.
Pedro Ramalhete -
Mae Pedro yn gweithio yn Cisco ac wedi bod yn datblygu algorithmau cyfochrog am y deng mlynedd diwethaf, gan gynnwys mecanweithiau cydamseru, strwythurau data di-glo a di-aros a phopeth y gallwch chi ei ddychmygu ar y pwnc hwn. Mae ei ddiddordebau ymchwil a pheirianneg presennol yn canolbwyntio ar Adeiladwaith Cyffredinol, Cof Trafodol Meddalwedd, Cof Parhaus a thechnolegau tebyg sy'n galluogi cymwysiadau cywir, graddadwy sy'n goddef diffygion. Mae hefyd yn awdur blog sy'n adnabyddus iawn mewn cylchoedd cul .
Mae'r rhan fwyaf o gymwysiadau aml-edau bellach yn rhedeg ar strwythurau data cyfochrog, o'r defnydd o giwiau neges rhwng actorion i strwythurau data wedi'u mynegeio mewn storfeydd gwerth allweddol. Maent wedi bod yn gweithio'n llwyddiannus yn y Java JDK ers blynyddoedd lawer, ac maent yn cael eu hychwanegu'n araf at C++.
Y ffordd symlaf o weithredu strwythur data cyfochrog yw gweithrediad dilyniannol (edau sengl) lle mae dulliau'n cael eu hamddiffyn gan mutexes. Mae hwn yn hygyrch i unrhyw fis Mehefin, ond mae ganddo broblemau amlwg gyda graddio a pherfformiad. Ar yr un pryd, mae strwythurau data di-glo a di-aros nid yn unig yn ymdopi'n well â gwallau, ond hefyd yn cael gwell proffil perfformiad - fodd bynnag, mae eu datblygiad yn gofyn am arbenigedd dwfn ac addasu i gais penodol. Mae un llinell anghywir o god yn ddigon i dorri popeth.
Sut allwn ni ei wneud fel bod hyd yn oed rhywun nad yw'n arbenigwr yn gallu dylunio a gweithredu strwythurau data o'r fath? Mae'n hysbys y gellir gwneud unrhyw algorithm dilyniannol yn edau'n ddiogel gan ddefnyddio'r naill neu'r llall , neu gof trafodaethol. Yn un peth, gallant leihau'r rhwystr i fynediad i ddatrys y broblem hon. Fodd bynnag, mae'r ddau ddatrysiad fel arfer yn arwain at weithredu aneffeithiol. Bydd Pedro yn siarad am sut y gwnaethant lwyddo i wneud y dyluniadau hyn yn fwy effeithlon a sut y gallwch eu defnyddio ar gyfer eich algorithmau.
Heidi Howard -
Mae Heidi Howard, fel Martin, yn ymchwilydd systemau gwasgaredig ym Mhrifysgol Caergrawnt. Ei harbenigeddau yw cysondeb, goddefiad o ddiffygion, perfformiad a chonsensws gwasgaredig. Mae hi'n fwyaf adnabyddus am ei chyffredinoli o'r algorithm Paxos o'r enw .
Dwyn i gof bod yn deulu o brotocolau ar gyfer datrys y broblem o gonsensws mewn rhwydwaith o gyfrifiaduron annibynadwy, yn seiliedig ar waith Leslie Lamport. Felly, mae rhai o'n siaradwyr yn gweithio ar broblemau a gynigiwyd yn wreiddiol gan ein siaradwyr eraill - ac mae hyn yn wych.
Mae'r gallu i ddod o hyd i gonsensws ymhlith gwesteiwyr lluosog - ar gyfer annerch, ethol arweinydd, blocio, neu gydlynu - yn fater sylfaenol mewn systemau dosbarthedig modern. Paxos bellach yw'r brif ffordd o ddatrys problemau consensws, ac mae llawer o ymchwil yn digwydd o'i gwmpas i ehangu a gwneud y gorau o'r algorithm ar gyfer anghenion ymarferol amrywiol.
Yn y sgwrs hon, byddwn yn ailedrych ar sail ddamcaniaethol Paxos, gan lacio'r gofynion gwreiddiol a chyffredinoli'r algorithm. Fe welwn mai dim ond un opsiwn yw Paxos yn ei hanfod ymhlith ystod enfawr o ddulliau consensws, a bod pwyntiau eraill ar y sbectrwm hefyd yn ddefnyddiol iawn ar gyfer adeiladu systemau gwasgaredig da.
Alex Petrov -
Mae Alex yn arbenigwr cronfa ddata a systemau storio, ac yn bwysicach i ni, yn weinidog yn . Ar hyn o bryd mae'n gweithio ar lyfr, Database Internals, gydag O'Reilly.
Ar gyfer systemau gyda (mewn terminoleg Rwsieg - "cysondeb eithaf"), ar ôl damweiniau nod neu raniad rhwydwaith, mae angen i chi ddatrys y cyfyng-gyngor canlynol: naill ai parhau i weithredu ceisiadau, aberthu cysondeb, neu wrthod eu gweithredu ac aberthu argaeledd. Mewn system o'r fath, gall cworwm, gorgyffwrdd is-setiau o nodau a sicrhau bod o leiaf un nod yn cynnwys y gwerth mwyaf diweddar, fod yn ddatrysiad ymyl da. Gallwch oroesi methiannau a cholli cysylltedd â rhai nodau tra'n dal i ymateb gyda'r gwerthoedd diweddaraf.
Fodd bynnag, mae gan bopeth ei bris. Mae cynllun atgynhyrchu cworwm yn golygu costau storio uwch: rhaid storio data diangen ar nodau lluosog ar unwaith i sicrhau bod digon o gopïau ar gael pan fydd problem yn codi. Mae'n ymddangos nad oes rhaid i chi storio'r holl ddata ar yr holl atgynyrchiadau. Gallwch leihau'r llwyth ar y storfa os ydych chi'n storio data ar ran o'r nodau yn unig, a defnyddio nodau arbennig (Transient Replica) ar gyfer senarios trin methiant.
Yn ystod yr adroddiad byddwn yn ystyried , y cynllun atgynhyrchu a ddefnyddir yn и , a gweithredu'r cysyniad hwn yn Apache Cassandra o'r enw .
Dmitry Vyukov -
Mae Dmitry yn ddatblygwr yn Google sy'n gweithio ar brofion deinamig ar gyfer C / C ++ a Go - Address / Memory / ThreadSanitizer, ac offer tebyg ar gyfer y cnewyllyn Linux. Wedi cyfrannu at Go, amserlennydd goroutine graddadwy, poller rhwydwaith, a chasglwr sbwriel cyfochrog. Mae'n arbenigwr mewn aml-edau, yn awdur dwsin o algorithmau newydd nad ydynt yn blocio ac yn berchennog ar Intel.
Nawr ychydig am yr adroddiad ei hun. Mae gan yr iaith Go gefnogaeth frodorol ar gyfer aml-edau ar ffurf goroutines (edau ysgafn) a sianeli (ciwiau FIFO). Mae'r mecanweithiau hyn yn ei gwneud hi'n hawdd iawn ac yn bleserus i ddefnyddwyr ysgrifennu cymwysiadau aml-edau modern, ac mae'n edrych fel hud. Fel y deallwn, nid oes hud yma. Yn y sgwrs hon, bydd Dmitry yn ymchwilio i gymhlethdodau amserlennydd Go ac yn dangos cyfrinachau gweithredu'r “hud” hwn. Yn gyntaf, bydd yn rhoi trosolwg o brif gydrannau'r amserlennydd ac yn dweud wrthych sut mae'n gweithio. Nesaf, byddwn yn edrych yn agosach ar agweddau unigol megis y strategaeth parcio / dad-parcio a delio â galwadau system blocio. Yn olaf, bydd Dmitry yn siarad ychydig am welliannau posibl i'r amserlennydd.
Dmitry Bugaichenko -
Bu Dmitry yn gweithio ar gontract allanol am bron i 9 mlynedd heb golli cysylltiad â'r brifysgol a'r gymuned wyddonol. Daeth dadansoddi data mawr yn Odnoklassniki yn gyfle unigryw iddo gyfuno hyfforddiant damcaniaethol a sylfaen wyddonol â datblygu cynhyrchion go iawn, mewn-alw.
Mae dadansoddiad graff gwasgaredig wedi bod ac yn parhau i fod yn dasg anodd: pan fydd angen cael gwybodaeth am gysylltiadau fertig cyfagos, yn aml mae'n rhaid trosglwyddo'r data rhwng peiriannau, sy'n arwain at fwy o amser gweithredu a llwyth ar seilwaith y rhwydwaith. Yn y sgwrs hon, byddwn yn gweld sut y gallwch gael cyflymderau prosesu sylweddol trwy ddefnyddio strwythurau data tebygol neu ffeithiau fel cymesuredd y graff cyfeillgarwch mewn rhwydwaith cymdeithasol. Dangosir hyn i gyd gydag enghreifftiau cod yn Apache Spark.
Denis Rysov -
Denis - datblygwr , arbenigwr mewn gwirio modelau cysondeb, algorithmau consensws, a thrafodion dosbarthedig. Ar hyn o bryd mae'n gweithio i Microsoft, a chyn hynny bu'n gweithio ar systemau gwasgaredig yn Amazon a Yandex.
Yn y sgwrs hon, byddwn yn edrych ar y protocolau trafodion dosbarthedig sydd wedi'u dyfeisio dros yr ychydig flynyddoedd diwethaf, y gellir eu gweithredu ar ochr y cleient ar ben unrhyw storfa ddata sy'n cefnogi diweddariad amodol (cymharu a gosod). Y gwir yw nad yw bywyd yn dod i ben gydag ymrwymiad dau gam, gellir ychwanegu trafodion ar ben unrhyw gronfeydd data - ar lefel y cais, ond mae gan brotocolau gwahanol (2PC, Percolator, RAMP) wahanol gyfaddawdau ac ni chânt eu rhoi i ni. am ddim.
Alexey Zinoviev -
Alexei () yn siaradwr hir-amser ac yn aelod o bwyllgorau rhaglen mewn cynadleddau eraill. Hyfforddwr gweithredol yn EPAM Systems, ac mae wedi bod yn ffrindiau gyda Hadoop/Spark a data mawr arall ers 2012.
Yn y sgwrs hon, bydd Alexey yn siarad am y problemau o addasu algorithmau dysgu peiriant clasurol i'w gweithredu mewn modd dosbarthedig yn seiliedig ar ei brofiad yn gweithio gydag Apache Spark ML, Apache Mahout, Apache Flink ML a'r profiad o greu Apache Ignite ML. Bydd Alexey hefyd yn siarad am weithredu algorithmau ML gwasgaredig yn y fframweithiau hyn.
Ac yn olaf, dau adroddiad gan Yandex am Gronfa Ddata Yandex.
Vladislav Kuznetsov -
Mae Vladislav yn ddatblygwr yn Yandex yn y grŵp platfform dosbarthedig. Mae Cronfa Ddata Yandex yn DBMS y gellir ei raddio'n llorweddol, wedi'i geo-ddosbarthu, sy'n goddef diffygion a all wrthsefyll methiant disgiau, gweinyddwyr, raciau a chanolfannau data heb golli cysondeb. Er mwyn sicrhau goddefgarwch bai, defnyddir algorithm perchnogol ar gyfer cyflawni consensws dosbarthedig, yn ogystal â nifer o atebion technegol, a drafodir yn fanwl yn yr adroddiad. Gall yr adroddiad fod o ddiddordeb i ddatblygwyr DBMS a datblygwyr datrysiadau cymhwysiad yn seiliedig ar DBMS.
Semyon Checherinda -
Mae Semyon yn ddatblygwr yn y grŵp platfform gwasgaredig yn Yandex, gan weithio ar y posibilrwydd o ddefnydd aml-denant o'r gosodiad YDB.
Mae Cronfa Ddata Yandex wedi'i chynllunio ar gyfer ymholiadau OLTP ac mae'n cydymffurfio â gofynion ACID ar gyfer system drafodion. Yn yr adroddiad hwn, byddwn yn ystyried yr algorithm amserlennu trafodion sy'n sail i system drafodion YDB. Edrychwn ar ba endidau sy'n cymryd rhan mewn trafodion, pwy sy'n aseinio trefn fyd-eang i drafodion, sut mae atomigedd trafodion, dibynadwyedd, a lefel gaeth o unigedd yn cael eu cyflawni. Gan ddefnyddio problem gyffredin fel enghraifft, gadewch i ni edrych ar weithrediadau trafodion gan ddefnyddio ymrwymiadau dau gam a thrafodion penderfyniaethol. Gadewch i ni drafod eu gwahaniaethau.
Beth sydd nesaf?
Mae rhaglen y gynhadledd yn parhau i gael ei llenwi ag adroddiadau newydd. Yn benodol, rydym yn disgwyl adroddiad gan Nikita Koval () oddi wrth JetBrains a Oleg Anastasia () gan y cwmni Odnoklassniki. Mae Nikita yn gweithio ar algorithmau ar gyfer coroutines yn nhîm Kotlin, ac mae Oleg yn datblygu pensaernïaeth ac atebion ar gyfer systemau llwyth uchel yn y platfform Odnoklassniki. Yn ogystal, mae 1 slot arall yn wag yn amodol, ac mae pwyllgor y rhaglen yn gweithio gydag ymgeiswyr ar ei gyfer ar hyn o bryd.
Cynhelir cynhadledd Hydra ar Orffennaf 11-12 yn St Petersburg. Mae tocynnau ar gael . Rhowch sylw i argaeledd tocynnau Ar-lein - os na allwch gyrraedd St Petersburg y dyddiau hyn am ryw reswm.
Welwn ni chi yn Hydra!
Ffynhonnell: hab.com