Неодамна имаше два настани одеднаш за развој на повеќенишки и дистрибуирани системи: конференција (11-12 јули) и училиште (8-12 јули). Луѓето кои се блиски до оваа тема го разбираат тоа доаѓање во Русија Лесли Лампорт, Морис Херлихи и Мајкл Скот - најважниот настан. Но, се појавија други прашања:
- Што да очекуваме од конференцијата: „академска“ или „продукција“?
- Како се поврзани училиштето и конференцијата? Кон кого е насочено ова и она?
- Зошто тие се преклопуваат во датумите?
- Дали ќе бидат корисни за оние кои не го посветиле целиот свој живот на дистрибуирани системи?
Сето тоа добро го знае личноста која ја оживеа Хидра: нашиот директор Алексеј Федоров (). Тој одговори на сите прашања.
Формат
— Воведно прашање за оние кои се далеку од дистрибуирани системи: за што се двата настани?
— Глобалниот предизвик е што околу нас има сервиси со голем обем на операции и сложени компјутерски задачи што не можат да се направат на еден компјутер. Ова значи дека мора да има неколку автомобили. И тогаш се појавуваат прашања поврзани со тоа како правилно да се синхронизира нивната работа и што да се прави во услови на не најголема сигурност (бидејќи опремата се распаѓа и мрежата паѓа).
Колку повеќе машини има, толку повеќе точки на неуспех има. Што да направите ако различни машини даваат различни резултати за исти пресметки? Што да направите ако мрежата исчезне некое време и дел од пресметките стане изолиран, како тогаш можете да го комбинирате сето тоа? Во принцип, има милион проблеми поврзани со ова. Нови решенија - нови проблеми.
Во оваа област има целосно применети области, а има повеќе научни - нешто што сè уште не станало мејнстрим. Би сакал да зборувам за она што се случува и во практиката и во науката, и што е најважно, на нивниот спој. Ова е она за што ќе биде првата конференција Hydra.
- Би сакал да го разберам фактот дека има конференција, а има и летна школа. Како се поврзани? Ако е направен попуст за учесниците во училиштето да присуствуваат на конференцијата, тогаш зошто тие се преклопуваат во датуми, така што е невозможно да се присуствува на сè одеднаш без загуба?
- Училиштето е камерен настан за 100-150 луѓе, каде што доаѓаат водечки експерти од целиот свет и пет дена држат предавања. И се јавува ситуација кога во Санкт Петербург пет дена се собираат светлечки личности од светска класа, подготвени да кажат нешто. И во овој случај произлегува одлуката да се организира не само камерно училиште, туку и конференција од поголеми размери.
Таква школа е можно да се одржи само во лето, во јули, бидејќи меѓу овие специјалисти има актуелни универзитетски професори, а тие едноставно не се подготвени во ниту едно друго време: имаат студенти, дипломи, предавања итн. Училишниот формат е пет работни денови. Познато е дека во лето за време на викендите луѓето сакаат да одат некаде. Тоа значи дека не можеме да одржуваме конференција ниту за викенд пред училиште, ниту за викенд после училиште.
И ако го продолжите уште неколку дена пред или по викендот, тогаш магично петте дена од престојот на специјалистите во Санкт Петербург се претвораат во девет. И тие не се подготвени за ова.
Затоа, единственото решение што го најдовме беше едноставно да ја одржиме конференцијата паралелно со училиштето. Да, ова создава некои проблеми. Има луѓе кои сакаат да одат на училиште и на конференција и ќе мора да пропуштат некои предавања овде или таму. Добрата вест е дека сето ова ќе се одвива во соседните сали, можете да трчате напред-назад. И уште една добра работа е достапноста на видео снимки, во кои подоцна можете мирно да гледате што сте пропуштиле.
- Кога два настани се случуваат паралелно, луѓето го поставуваат прашањето „кој ми треба повеќе? Што точно треба да очекувате од секој, и кои се разликите?
— Училиштето е чисто академски настан, класично научно училиште неколку дена. Секој кој се занимавал со наука и имал врска со постдипломски студии, има идеја што е академско училиште.
Обично ваквите академски настани не се многу добро организирани поради недостаток на експертиза за настани кај луѓето што го прават тоа. Но, ние сме сепак доста искусни момци, така што можеме да направиме сè сосема компетентно. Мислам дека од организациска гледна точка, SPTDC ќе биде глава и рамена над секое академско или истражувачко училиште што некогаш сте го виделе.
Училиште СПТДЦ - ова е формат каде секое големо предавање се чита во два пара: „час и пол - пауза - час и половина“. Мора да разберете дека можеби не е лесно за еден учесник за прв пат: кога ова училиште се одржа за прв пат пред две години, јас самиот бев необичен, неколку пати се исклучував приближно среде двојно предавање, и тогаш беше тешко да се разбере што се случува. Но, ова многу зависи од предавачот: добар предавач зборува многу интересно сите три часа.
Конференција на Хидра - попрактичен настан. Ќе има неколку светилишта на науката кои дојдоа да предаваат во Школата: од , чија работа лежи во основата на самата теорија на повеќенишки и дистрибуирани системи, да , еден од авторите на познатиот учебник за истовременост „Уметноста на мултипроцесорско програмирање“. Но, на конференцијата ќе се обидеме да зборуваме за тоа како одредени алгоритми се имплементираат во реалноста, со какви проблеми се соочуваат инженерите во пракса, кој успева и кој не успева, зошто некои алгоритми се користат во пракса, а други не. И, се разбира, ајде да зборуваме за иднината на развојот на повеќенишки и дистрибуирани системи. Односно, ќе дадеме таква врвна предност: за што сега зборува светската наука, околу што се вртат мислите на водечките инженери и како сето тоа се вклопува заедно.
- Со оглед на тоа што конференцијата е повеќе апликативна, ќе има ли не само академски светилници, туку и говорници од „продукцијата“?
- Дефинитивно. Се обидуваме да ги погледнеме сите „големи“: Google, Netflix, Yandex, Odnoklassniki, Facebook. Има специфични смешни проблеми. На пример, сите велат: „Нетфликс е дистрибуиран систем, речиси половина од сообраќајот во САД, многу кул“, и кога ќе почнете да ги гледате нивните реални извештаи, написи и публикации, настанува мало разочарување. Затоа што, иако ова е секако од светска класа и има сечење на egde, има помалку отколку што изгледа на прв поглед.
Се појавува интересна дилема: можете да повикате претставници на големи еминентни компании или можете да повикате некој што веќе ни е познат. Во реалноста, експертизата постои и овде и таму. И ние попрво се обидуваме да извлечеме не „луѓе од многу големи брендови“, туку многу големи специјалисти, конкретни луѓе.
На пример, тука ќе биде Мартин Клепман, кој своевремено се распламти на LinkedIn и исто така објави — можеби една од основните книги од областа на дистрибуираните системи.
- Ако некој работи не во Нетфликс, туку во поедноставна компанија, може да се запраша: „Дали треба да одам на таква конференција или има секакви Нетфликс кои разговараат меѓу себе, но јас немам што да правам?
- Ќе го кажам ова: кога работев во Oracle нешто повеќе од три години, ги слушнав најневеројатните и најинтересните работи во кујната и во просториите за пушење, кога колегите се собраа таму правејќи одредени делови од платформата Java. Тоа може да бидат луѓе од виртуелната машина, или од одделот за тестирање, или од паралелноста на перформансите - на пример, Лиоша Шипилев и Серјожа Куксенко.
Кога почнаа да разговараат за нешто меѓу себе, јас обично само слушав со отворена уста. За мене тоа беа неверојатни и неочекувани работи за кои не ни размислував. Нормално, на почетокот не разбрав 90% од тоа за што зборуваат. Тогаш 80% станаа неразбирливи. И откако ја завршив домашната задача и прочитав неколку книги, оваа бројка падна на 70%. Сè уште не разбирам многу за што зборуваат меѓу себе. Но, додека седев во аголот со шолја кафе и прислушував, почнав малку да разбирам што се случува.
Затоа, кога Google, Netflix, LinkedIn, Odnoklassniki и Yandex разговараат меѓу себе, тоа не значи дека се работи за нешто неразбирливо и неинтересно. Напротив, мора внимателно да слушаме, бидејќи ова е нашата иднина.
Се разбира, има луѓе на кои сето ова не им треба. Ако не сакате да се развивате во оваа тема, не треба да одите на оваа конференција, само ќе губите време таму. Но, ако темата е интересна, но не разбирате ништо за неа или само ја гледате, тогаш треба да дојдете, бидејќи никаде нема да најдете такво нешто. Згора на тоа, мислам дека не само во Русија, туку и во светот. Се обидуваме да направиме конференција која нема да биде само лидер на оваа тема во Русија, туку генерално број еден во светот.
Ова не е најлесната задача, но кога имаме таква неверојатна шанса да собереме силни говорници од целиот свет, јас сум подготвен да дадам многу за тоа да се случи. Секако, некои од оние што ги поканивме на првата Хидра нема да можат да дојдат. Но, ќе го кажам ова: никогаш не сме започнале нова конференција со толку моќен состав. Освен, можеби, првиот JPoint пред шест години.
— Би сакал да ги проширам зборовите „ова е нашата иднина“: дали темата подоцна ќе влијае на оние кои денес не размислуваат за неа?
- Да, сигурен сум во тоа. Затоа, ми се чини многу правилно да почнам да разговараме што е можно побрзо. На пример, теоријата за повеќенишки се појави многу одамна (во 70-тите години, работата веќе се објавуваше во полн замав), но долго време тие беа многу тесни специјалисти, сè додека не се појави првиот кориснички двојадрен компјутер. на почетокот на 10-тите. И сега сите имаме повеќејадрени сервери, лаптопи, па дури и телефони, и ова е мејнстримот. Беа потребни околу XNUMX години за ова да стане широко распространето, за луѓето да разберат дека овој дискурс не е област на тесен круг специјалисти.
И сега го гледаме приближно истото со дистрибуираните системи. Бидејќи основните решенија како дистрибуција на оптоварување, толеранција на грешки и слично се правени доста долго време, но многу малку луѓе знаат што е, на пример, дистрибуиран консензус или Paxos.
Една од најважните цели што ги поставив за овој настан е да ги потопувам инженерите се повеќе и повеќе во оваа дискусија. Треба да разберете дека на конференциите некои теми и решенија не се дискутираат само, туку се појавува и речник - унифициран концептуален апарат.
Сметам дека е моја задача да создадам платформа каде секој ќе може да разговара за сето ова, да споделува искуства и мислења. Така што јас и ти имаме заедничко разбирање за тоа што прави еден алгоритам, што прави другиот, кој е подобар под кои услови, како се поврзани еден со друг итн.
Многу интересна работа е поврзана со истиот мултинишки. Кога нашите пријатели од Oracle (првенствено Леша Шипилев и Сергеј Куксенко) почнаа активно да зборуваат за перформансите и, особено, за повеќенишки, буквално две или три години подоцна овие прашања почнаа да се поставуваат на интервјуа во компаниите, луѓето почнаа да разговараат за тоа во соби за пушење. Тоа е, нешто што беше многу тесни специјалисти одеднаш стана мејнстрим.
И ова е многу точно. Ми се чини дека им помогнавме на овие момци да го популаризираат целото ова прашање, кое е навистина важно, корисно и интересно. Ако претходно никој не размислуваше за тоа како Java серверот ги обработува барањата паралелно, сега луѓето барем на одредено ниво имаат разбирање за тоа како функционира сето тоа. И тоа е одлично.
Задачата што ја гледам сега е да го направам приближно истото со дистрибуираните системи. За да секој грубо разбере што е тоа, од каде доаѓа, какви задачи и проблеми има, па и ова да стане мејнстрим.
Компаниите имаат огромна побарувачка за луѓе кои разбираат нешто за ова, а такви луѓе има малку. Колку повеќе создаваме околу оваа содржина и можност да научиме од неа, колку повеќе им даваме на луѓето можности да поставуваат прашања што се во воздухот, толку е поголема веројатноста некако да се движиме во оваа насока.
праисторијата
— Конференцијата се одржува за прв пат, но ова не е прв пат за училиштето. Како сето тоа настанало и се развило?
- Ова е интересна приказна. Пред две години, во мај 2017 година, седевме во Киев со Никита Ковал (), експерт во областа на повеќенишки. И ми кажа дека ќе се одржи во Санкт Петербург .
Темата за програмирање со повеќе нишки беше фантастично интересна во последните три години од мојата инженерска кариера. И тогаш се покажа дека во текот на летото многу, многу познати луѓе доаѓаат во Санкт Петербург, истите Морис Херлихи и Нир Шавит, според што го учев. И многу од моите пријатели имаа врска со ова - на пример, Рома Елизаров (). Сфатив дека едноставно не можам да пропуштам таков настан.
Кога стана јасно дека програмата на училиштето за 2017 година ќе биде одлична, се појави идејата дека предавањата дефинитивно треба да се снимаат на видео. Ние во JUG.ru Group имавме целосно разбирање за тоа како треба да се снимаат ваквите предавања. И ние се вклопуваме во SPTCC како момци кои направија видео за училиштето. Како резултат на тоа, сите училишни предавања на нашиот канал на YouTube.
Почнав да комуницирам со Пјотр Кузњецов, кој беше главен идеолог и организатор на ова училиште, и со Виталиј Аксенов, кој помогна да се организира сето тоа во Санкт Петербург. Сфатив дека ова е фантастично кул и интересно и, веројатно, е многу лошо што само 100 учесници можат да ја допрат убавината.
Кога Питер мислеше дека треба повторно да започне со училиште (во 2018 година немаше енергија и време, па реши да го направи тоа во 2019 година), стана јасно дека можеме да му помогнеме со едноставно отстранување на сите организациски работи од него. Еве што се случува сега, Питер се занимава со содржината, а ние правиме се останато. И ова изгледа како вистинската шема: Петар веројатно е повеќе заинтересиран за програмата отколку „каде и кога сите ќе ручаат“. И ние сме добри во работата со сали, места итн.
Овој пат, наместо SPTCC, училиштето се нарекува SPTDC, не „истовремено пресметување“, туку „дистрибуирано пресметување“. Според тоа, ова е приближно разликата: минатиот пат на училиште тие не зборуваа за дистрибуирани системи, но овој пат активно ќе зборуваме за нив.
- Бидејќи училиштето не се одржува за прв пат, веќе можеме да извлечеме некои заклучоци од минатото. Што се случи минатиот пат?
- Кога се создаде првото училиште пред две години, се очекуваше да има академски настан, пред се од интерес за учениците. Згора на тоа, студенти од целиот свет, бидејќи училиштето е само на англиски јазик, а се мислеше дека ќе дојдат значителен број странски студенти.
Всушност, се покажа дека многу инженери доаѓаат од големи руски компании како „Јандекс“. Беше Андреј Пангин () од Однокласници имаше момци од JetBrains кои активно работат на оваа тема. Генерално, таму имаше многу познати лица од нашите партнерски компании. Воопшто не сум изненаден, совршено разбирам зошто дојдоа таму.
Всушност, организаторите очекуваа дека ќе има академски луѓе на Школата, но одеднаш дојдоа луѓе од индустријата и тогаш ми стана јасно дека има побарувачка во индустријата.
Ако настан кој едвај никаде бил промовиран, на првиот клик на прстот, собрал публика од возрасни, тоа значи дека всушност има интерес. Ми се чини дека барањето на оваа тема е задоцнето.
Морис Херлихи на состанокот на JUG.ru
— Покрај училиштето, Морис Херлихи зборуваше во Санкт Петербург на состанокот на JUG.ru во 2017 година. за трансакциската меморија, и ова е малку поблиску до форматот на конференцијата. Кој дојде тогаш - истите луѓе кои обично доаѓаат на состаноците на JUG.ru или друга публика?
- Беше интересно затоа што разбравме дека Морис ќе има општ извештај, а не специфичен за Java, и дадовме малку пошироко соопштение отколку што обично правиме за нашите претплатници на вести на JUG.
Многу луѓе што ги познавам дојдоа од заедници кои воопшто не се за Java: од толпата .NET, од толпата JavaScript. Бидејќи темата за трансакциска меморија не се однесува на одредена развојна технологија. Кога специјалист од светска класа доаѓа да зборува за трансакциска меморија, пропуштањето на можноста да се слуша таков човек и да му се поставуваат прашања е едноставно кривично дело. Едноставно остава силен впечаток кога личноста од чија книга учите ќе дојде кај вас и ќе ви каже нешто. Едноставно фантастично.
- И каков беше повратниот одговор како резултат? Дали пристапот беше премногу академски и неразбирлив за луѓето во индустријата?
- Прегледите на извештајот на Херлихи беа добри. Луѓето напишаа дека многу едноставно и јасно го кажал она што не се очекувало од академски професор. Но, мора да разбереме дека го поканивме со причина, тој е светски познат специјалист со долгогодишно искуство во говорење и позадина од еден куп книги и статии. И, веројатно, тој стана познат на многу начини благодарение на неговата способност да пренесува материјал на луѓето. Затоа, ова не е изненадувачки.
Зборува нормален, разбирлив англиски и, се разбира, одлично го разбира она што го зборува. Тоа е, можете да му поставите апсолутно какви било прашања. Во основа, луѓето се жалеа дека му дадовме премалку време на Морис за неговиот извештај: два часа не се доволни за такво нешто, потребни се уште најмалку два. Па, успеавме да го направиме тоа што успеавме за два часа.
Мотивација
— Обично JUG.ru Group се занимава со настани од големи размери, но оваа тема изгледа повеќе специјализирана. Зошто решивте да го преземете? Има ли подготвеност да се одржи помал настан или може да се соберат многу гледачи на ваква тема?
— Навистина, кога одржувате настан и поставувате одредено ниво на дискусија, секогаш се поставува прашањето колку е распространета оваа дискусија. Колку луѓе - десет, сто или илјада - се заинтересирани за ова? Постои компромис помеѓу масата и длабочината. Ова е сосема нормално прашање и секој различно го решава.
Во овој случај, сакам да го направам настанот „за себе“. Сè уште разбирам нешто за мултинишки (држав предавања на оваа тема на конференции и им кажав нешто на студентите неколку пати), но јас сум почетник кога станува збор за дистрибуирани системи: прочитав неколку статии и видов неколку предавања, но не дури и една полноправна книга ја прочита.
Имаме програмска комисија составена од експерти од областа кои можат да ја проценат точноста на извештаите. И од моја страна, се обидувам да го направам овој настан на кој јас, поради мојата недостаток на експертиза, би сакал да одам. Дали ќе биде можно да се заинтересира масовната јавност, не знам. Ова веројатно не е најважната задача на овој настан во оваа фаза. Сега е поважно да се создаде најсилната програма за кратко време.
Веројатно, сега не поставив задача на тимот „да собере илјада луѓе првиот пат“, туку „да се појави конференцијата“. Ова можеби не звучи многу деловно и донекаде наивно, иако воопшто не сум алтруист. Но, понекогаш можам да си дозволам некои слободи.
Има работи поважни од парите и надвор од парите. Веќе правиме голем број кул настани од големи размери за илјада луѓе или повеќе. Нашите Java конференции одамна надминаа илјада луѓе, а сега други настани ја прескокнуваат оваа лента. Односно, прашањето дека станавме искусни и познати организатори повеќе не вреди. И, веројатно, она што го заработуваме од овие настани ни дава можност да реинвестираме во она што ни е интересно, а во овој случај и мене лично.
Со тоа што го правам овој настан, одам против некои од принципите на нашата организација. На пример, обично се обидуваме да подготвиме конференции многу однапред, но сега имаме многу тесни рокови, а програмата ја финализираме само еден месец пред самиот настан.
И овој настан ќе биде 70-80% на англиски јазик. И овде секогаш се наметнува дискусија за тоа дали треба да бидеме поблиску до луѓето (кои подобро го разбираат тоа кога повеќето извештаи се на руски) или до целиот свет (бидејќи техничкиот свет е на англиски јазик). Обично се обидуваме да правиме многу извештаи на руски. Но, не во овој момент.
Покрај тоа, ќе побараме и некои од нашите говорници кои зборуваат руски да зборуваат на англиски јазик. Ова е, во извесна смисла, апсолутно анти-кориснички и нехуман пристап. Но, мораме да разбереме дека во моментов нема литература на руски јазик на оваа тема, и секое лице што воопшто е заинтересирано за ова е принудено да чита на англиски јазик. Тоа значи дека некако може да разбере англиски. Ако во случајот на JavaScript, Java или. начин да се научи сега.
Навистина сакам да го спроведам овој експеримент: како 70-80% настан на англиски јазик ќе биде сфатен од јавноста во Русија. Дали ќе влезе или не? Ова не го знаеме однапред бидејќи никогаш не сме го направиле ова. Но, зошто да не го направи тоа? Да речеме само дека ова е еден голем експеримент што едноставно не можам да не се обидам.
Училишната програма на СПТДЦ е веќе целосно, а во случајот на Хидра веќе забележлив дел, а наскоро ќе објавиме и анализа на целата програма на конференцијата.
Извор: www.habr.com