Недавно је било два догађаја одједном о развоју вишенитних и дистрибуираних система: конференција (11-12. јул) и шк (8-12. јул). Људи којима је блиска ова тема разумеју да долазак у Русију Леслие Лампорт, Морис Херлихи и Мицхаел Сцотт - најважнији догађај. Али појавила су се друга питања:
- Шта очекивати од конференције: „академско“ или „производно“?
- Како су школа и конференција повезани? Коме је то и то намењено?
- Зашто се датуми преклапају?
- Да ли ће бити корисни онима који нису цео живот посветили дистрибуираним системима?
Све ово је добро познато особи која је оживела Хидру: нашем директору Алексеј Федоров (). Одговорио је на сва питања.
Формат
— Уводно питање за оне који су далеко од дистрибуираних система: о чему су оба догађаја?
— Глобални изазов је што око нас постоје сервиси са великим обимом операција и сложеним рачунарским задацима који се не могу обавити на једном рачунару. То значи да мора бити неколико аутомобила. А онда се постављају питања везана за то како да правилно синхронизују свој рад и шта да раде у условима не највеће поузданости (јер се опрема поквари и мрежа отпада).
Што више машина има, то је више тачака квара. Шта учинити ако различите машине дају различите резултате за исте прорачуне? Шта учинити ако мрежа нестане на неко време и део прорачуна постане изолован, како онда све то комбиновати? Генерално, постоји милион проблема повезаних са овим. Нова решења - нови проблеми.
У овој области постоје потпуно примењене области, а има више научних – нешто што још није постало мејнстрим. Желео бих да причам о томе шта се дешава и у пракси и у науци, и што је најважније, на њиховом споју. О томе ће бити речи на првој Хидра конференцији.
— Желео бих да разумем чињеницу да постоји конференција, а постоји и летња школа. Како се они односе? Ако се за учеснике школе прави попуст да присуствују конференцији, зашто се онда преклапају у датумима, па је немогуће без губитка све присуствовати одједном?
— Школа је камерна манифестација за 100–150 људи, где водећи стручњаци из целог света долазе и држе предавања пет дана. И настаје ситуација када се светски светски светски светски светски светски светски људи окупе пет дана у Санкт Петербургу, спремни да нешто испричају. И у овом случају долази до одлуке да се организује не само камерна школа, већ и конференција већег обима.
Такву школу је могуће одржати само лети, у јулу, јер међу тим специјалистима има садашњих универзитетских професора, а они једноставно нису спремни ни у једном другом тренутку: имају студенте, дипломе, предавања и тако даље. Формат школе је пет радних дана. Познато је да лети викендом људи воле негде да оду. То значи да не можемо одржати конференцију ни викендом пре школе ни викендом после школе.
А ако га продужите још пар дана пре или после викенда, онда се пет дана боравка специјалиста у Санкт Петербургу магично претвара у девет. И нису спремни за ово.
Дакле, једино решење које смо нашли било је једноставно одржавање конференције паралелно са школом. Да, ово ствара неке проблеме. Има људи који желе да иду у школу и на конференцију, па ће морати да пропусте неко предавање овде или тамо. Добра вест је да ће се све ово одвијати у суседним халама, можете трчати напред-назад. И још једна добра ствар је доступност видео снимака, у којима касније можете мирно да погледате шта сте пропустили.
— Када се два догађаја одвијају паралелно, људи имају питање „који ми је више потребан?“ Шта тачно треба очекивати од сваког од њих и које су разлике?
— Школа је чисто академски догађај, вишедневна класична научна школа. Свако ко се бавио науком и имао неке везе са постдипломским студијама има представу о томе шта је академска школа.
Обично такви академски догађаји нису добро организовани због недостатка стручности о догађајима међу људима који то раде. Али ми смо и даље прилично искусни момци, тако да све можемо да урадимо прилично компетентно. Мислим да ће са организационе тачке гледишта, СПТДЦ бити глава и рамена изнад било које академске или истраживачке школе коју сте икада видели.
СПТДЦ школа - ово је формат где се свако велико предавање чита у два пара: „сат и по – пауза – сат и по”. Морате да разумете да полазнику можда неће бити лако први пут: када је ова школа одржана први пут пре две године, и ја сам био необичан, неколико пута сам се искључивао отприлике усред дуплог предавања и тада је било тешко разумети шта се дешава. Али ово у великој мери зависи од предавача: добар предавач сва три сата прича веома занимљиво.
Хидра Цонференце - практичнији догађај. Биће неколико светила науке који су дошли да предају у Школи: од , чији рад лежи у основи саме теорије вишенитних и дистрибуираних система, то , један од аутора чувеног уџбеника о конкурентности „Уметност вишепроцесорског програмирања“. Али на конференцији ћемо покушати да разговарамо о томе како се одређени алгоритми имплементирају у стварности, са каквим се проблемима инжењери суочавају у пракси, ко успева а ко не, зашто се неки алгоритми користе у пракси, а други не. И наравно, хајде да причамо о будућности развоја вишенитних и дистрибуираних система. Односно, даћемо такву оштрицу: о чему сада прича светска наука, око чега се врте мисли водећих инжењера и како се све то уклапа.
— Пошто је конференција више примењена, да ли ће бити не само академских светила, већ и говорника из „продукције”?
- Дефинитивно. Покушавамо да погледамо све „велике“: Гугл, Нетфликс, Јандекс, Одноклассники, Фејсбук. Постоје специфични смешни проблеми. На пример, сви кажу: „Нетфликс је дистрибуиран систем, скоро половина америчког саобраћаја, веома кул“, а када почнете да гледате њихове стварне извештаје, чланке и публикације, настаје благо разочарење. Јер, иако је ово свакако светска класа и врхунац, тога је мање него што се чини на први поглед.
Појављује се занимљива дилема: можете позвати представнике великих еминентних компанија, а можете позвати неког нама познатог. У стварности, стручност постоји и ту и тамо. А ми пре покушавамо да извучемо не „људе из веома великих брендова“, већ веома велике стручњаке, конкретне људе.
На пример, биће Мартин Клеппманн, који је својевремено направио прскање на ЛинкедИн-у и такође објавио — можда једна од основних књига из области дистрибуираних система.
— Ако особа не ради у Нетфлик-у, већ у једноставнијој компанији, може се запитати: „Да ли да идем на такву конференцију или постоје разни Нетфликси који разговарају једни са другима, а ја немам шта да радим?“
— Рећи ћу ово: када сам радио у Орацле-у нешто више од три године, чуо сам најневероватније и најзанимљивије ствари у кухињи и у пушионицама, када су се тамо окупљале колеге правећи одређене делове Јава платформе. То могу бити људи из виртуелне машине, или из одељења за тестирање, или из конкурентности перформанси - на пример, Љоша Шипилев и Серјожа Куксенко.
Када су почели да расправљају о нечему међу собом, обично сам само слушао отворених уста. За мене су то биле невероватне и неочекиване ствари о којима нисам ни размишљао. Наравно, у почетку нисам разумео 90% о чему су причали. Тада је 80% постало неразумљиво. А након што сам урадио домаћи задатак и прочитао неколико књига, овај број је пао на 70%. Још увек не разумем много тога о чему причају међу собом. Али док сам седео у углу са шољицом кафе и прислушкивао, почео сам помало да схватам шта се дешава.
Дакле, када Гугл, Нетфликс, ЛинкедИн, Одноклассники и Јандекс разговарају једни са другима, то не значи да је то нешто неразумљиво и незанимљиво. Напротив, морамо пажљиво слушати, јер то је наша будућност.
Наравно, постоје људи којима све ово није потребно. Ако не желите да се развијате у овој теми, не морате да идете на ову конференцију, само ћете губити време тамо. Али ако је тема интересантна, а не разумете ништа о њој или је само гледате, онда треба да дођете, јер ништа слично нећете наћи нигде. Штавише, мислим да не само у Русији, већ и у свету. Покушавамо да направимо конференцију која неће бити само водећа на ову тему у Русији, већ генерално број један у свету.
Ово није најлакши задатак, али када имамо тако невероватну шансу да окупимо јаке говорнике из целог света, спреман сам да дам много да се то и оствари. Наравно, неки од оних које смо позвали на прву Хидру неће моћи да дођу. Али рећи ћу ово: никада нисмо започели нову конференцију са тако моћним саставом. Осим, можда, првог ЈПоинта пре шест година.
— Желео бих да проширим речи „ово је наша будућност“: да ли ће та тема касније утицати на оне који о томе данас не размишљају?
- Да, сигуран сам у то. Стога ми се чини веома у реду да се о томе почне што пре. На пример, теорија вишенитности се појавила доста давно (70-их година рад је већ био публикован у пуном замаху), али су дуго времена били део уских стручњака, све док се није појавио први кориснички рачунар са два језгра. почетком 10-их. А сада сви имамо сервере са више језгара, лаптопове, па чак и телефоне, а ово је мејнстрим. Требало је око XNUMX година да се ово прошири, да људи схвате да овај дискурс није област уског круга специјалиста.
И ми сада видимо приближно исту ствар са дистрибуираним системима. Јер основна решења као што су дистрибуција оптерећења, толеранција кварова и слично раде се доста дуго, али мало људи зна шта је, на пример, дистрибуирани консензус или Пакос.
Један од најважнијих циљева које сам поставио за овај догађај је да све више уроним инжењере у ову дискусију. Морате схватити да се на конференцијама о неким темама и решењима не само расправља, већ настаје и тезаурус – јединствен концептуални апарат.
Видим као свој задатак да направим платформу на којој ће сви моћи да разговарају о свему томе, размењују искуства и мишљења. Тако да ви и ја имамо заједничко разумевање шта један алгоритам ради, шта други ради, који је бољи под којим условима, како су повезани једни са другима итд.
Веома интересантна ствар је везана за исту вишенитност. Када су наши пријатељи из Орацле-а (првенствено Леша Шипилев и Сергеј Куксенко) почели активно да причају о перформансама, а посебно о мултитхреадингу, буквално две или три године касније ова питања су почела да се постављају на интервјуима у компанијама, људи су почели да разговарају о томе у собе за пушаче. Односно, ствар која је била део уских специјалиста одједном је постала мејнстрим.
И ово је веома тачно. Чини ми се да смо овим момцима помогли да популаришу целу ову тему, која је заиста важна, корисна и занимљива. Ако раније нико није размишљао о томе како Јава сервер паралелно обрађује захтеве, сада људи бар на неком нивоу разумеју како све то функционише. И то је сјајно.
Задатак који сада видим је да се приближно исто уради са дистрибуираним системима. Да сви отприлике схвате шта је то, одакле долази, какви су задаци и проблеми, да и ово постане мејнстрим.
Компаније имају огромну потражњу за људима који нешто разумеју у ово, а таквих је мало. Што више стварамо око овог садржаја и прилике да учимо из њега, што више дајемо људима могућности да постављају питања која су у ваздуху, већа је вероватноћа да ћемо некако кренути у овом правцу.
praistorija
— Конференција се одржава први пут, али ово није први пут за школу. Како је све ово настало и развијало се?
- Ово је занимљива прича. Пре две године, у мају 2017, седели смо у Кијеву са Никитом Ковалом (), стручњак у области вишенитног рада. И рекао ми је да ће се одржати у Санкт Петербургу .
Тема вишенитног програмирања је била фантастично занимљива у последње три године моје инжењерске каријере. А онда се испоставило да лети у Санкт Петербург долазе веома, веома познати људи, исти Морис Херлихи и Нир Шавит, према коју сам проучавао. И многи моји пријатељи су имали неке везе са овим - на пример, Рома Елизаров (). Схватио сам да једноставно не могу да пропустим такав догађај.
Када је постало јасно да ће школски програм за 2017. годину бити одличан, појавила се идеја да предавања свакако треба снимити на видео. Ми у ЈУГ.ру Групи смо потпуно разумели како таква предавања треба да се снимају. И ми се уклапамо у СПТЦЦ као момци који су направили видео за школу. Као резултат тога, сва школска предавања на нашем ИоуТубе каналу.
Почео сам да комуницирам са Петром Кузњецовим, који је био главни идеолог и организатор ове школе, и са Виталијем Аксеновим, који је помогао да се све ово организује у Санкт Петербургу. Схватио сам да је ово фантастично кул и занимљиво и вероватно је јако лоше што само 100 учесника може да дотакне лепоту.
Када је Петар помислио да треба поново да крене у школу (2018. није било енергије и времена, па је одлучио да то уради 2019. године), постало је јасно да можемо да му помогнемо тако што ћемо му једноставно уклонити све организационе ствари. Ово се сада дешава, Петар се бави садржајем, а ми радимо све остало. И ово изгледа као права шема: Питер је вероватно више заинтересован за програм него „где и када ће сви ручати. И ми смо добри у раду са халама, просторима и тако даље.
Овог пута, уместо СПТЦЦ, школа се зове СПТДЦ, не „цонцуррент цомпутинг“, већ „дистрибутед цомпутинг“. Сходно томе, ово је отприлике разлика: прошли пут у школи нису говорили о дистрибуираним системима, али овог пута ћемо активно причати о њима.
— Пошто се школа не одржава први пут, већ можемо извући неке закључке из прошлости. Шта се десило прошли пут?
— Када је пре две године настала прва школа, очекивало се да ће бити академске манифестације, пре свега од интереса за ученике. Штавише, ђаци из целог света, јер је школа само на енглеском, а мислило се да ће доћи значајан број страних ђака.
У ствари, испоставило се да много инжењера долази из великих руских компанија као што је Иандек. Био је Андреј Пангин () из Одноклассника, било је момака из ЈетБраинса који активно раде на овој теми. Генерално, тамо је било много познатих лица наших партнерских компанија. Уопште нисам изненађен, савршено разумем зашто су тамо дошли.
Заправо, организатори су очекивали да ће у Школи бити академика, али одједном су дошли људи из индустрије и тада ми је постало јасно да постоји потражња у индустрији.
Ако је догађај који је једва игде промовисан, на први клик прстом окупио пунолетну публику, значи да заиста постоји интересовање. Чини ми се да је захтев на ову тему закаснио.
Морис Херлихи на састанку ЈУГ.ру
— Поред школе, Морис Херлихи је говорио у Санкт Петербургу на скупу ЈУГ.ру 2017. о трансакционој меморији, а ово је мало ближе формату конференције. Ко је тада дошао - исти људи који обично долазе на састанке ЈУГ.ру или друга публика?
— Било је интересантно јер смо разумели да ће Морис имати општи извештај, а не специфичан за Јава, и дали смо мало шире најаву него што обично радимо за наше претплатнике на ЈУГ вести.
Многи људи које познајем су дошли из заједница које уопште нису о Јави: из .НЕТ гомиле, из ЈаваСцрипт гомиле. Зато што се тема трансакцијске меморије не односи на одређену развојну технологију. Када специјалиста светске класе дође да говори о трансакционом памћењу, пропустити прилику да саслуша такву особу и постави му питања је једноставно злочин. Једноставно оставља снажан утисак када вам особа из чије књиге учите дође и каже вам нешто. Једноставно фантастично.
— И какве су биле повратне информације као резултат? Да ли је приступ био превише академски и неразумљив за људе у индустрији?
— Рецензије Херлихијевог извештаја су биле добре. Људи су писали да је врло једноставно и јасно рекао оно што се од академског професора не очекује. Али морамо разумети да смо га позвали са разлогом, он је светски познати специјалиста са великим искуством у говору и позадином из гомиле књига и чланака. И, вероватно, постао је познат на много начина захваљујући својој способности да људима пренесе материјал. Стога, ово није изненађујуће.
Говори нормалан, разумљив енглески и, наравно, одлично разуме шта прича. То јест, можете му поставити апсолутно сва питања. Углавном, људи су се жалили да смо Морису дали премало времена за његов извештај: два сата нису довољна за тако нешто, потребна су још најмање два. Па, успели смо да урадимо оно што смо успели за два сата.
Мотивација
— Група ЈУГ.ру се обично бави великим догађајима, али ова тема изгледа више специјализована. Зашто сте одлучили да то преузмете? Да ли постоји воља да се одржи мањи догађај или може да се окупи много гледалаца на такву тему?
— Заиста, када одржите догађај и поставите одређени ниво дискусије, увек се поставља питање колико је ова дискусија распрострањена. Колико је људи – десет, сто или хиљаду – заинтересовано за ово? Постоји компромис између масе и дубине. Ово је сасвим нормално питање и свако га решава другачије.
У овом случају, желим да направим догађај „за себе“. Још увек разумем нешто о вишенитности (држао сам предавања на ову тему на конференцијама, и неколико пута нешто рекао студентима), али сам почетник када су у питању дистрибуирани системи: прочитао сам неке чланке и видео неколико предавања, али не прочитала га је чак и једна пуна књига.
Имамо програмски комитет састављен од стручњака из области који могу да процене тачност извештаја. А са своје стране, покушавам да направим овај догађај на који бих, због недостатка стручности, желео да идем. Да ли ће бити могуће заинтересовати масовну јавност, не знам. Ово вероватно није најважнији задатак овог догађаја у овој фази. Сада је важније направити најјачи програм за кратко време.
Вероватно сам сада поставио тиму не задатак да „први пут окупи хиљаду људи“, већ „да се конференција појави“. Ово можда не звучи баш пословно и помало наивно, иако уопште нисам алтруиста. Али понекад могу себи дозволити неке слободе.
Постоје ствари важније од новца и изван новца. Већ радимо велики број цоол догађаја великих размера за хиљаду људи или више. Наше Јава конференције одавно су премашиле хиљаду људи, а сада и други догађаји прескачу ову траку. Односно, питање да смо постали искусни и познати организатори више не вреди. И, вероватно, оно што зарадимо на овим догађајима нам даје могућност да реинвестирамо у оно што је нама, а у овом случају и мени лично, занимљиво.
Радећи овај догађај, идем против неких принципа наше организације. На пример, обично се трудимо да конференције припремимо много унапред, али сада имамо веома кратке рокове, а програм завршавамо само месец дана пре самог догађаја.
И овај догађај ће бити 70-80% на енглеском језику. И овде се увек покрене расправа о томе да ли треба да будемо ближи народу (који боље разуме када је већина извештаја на руском) или целом свету (јер је технички свет енглеског говорног подручја). Обично покушавамо да урадимо много извештаја на руском. Али не у овом тренутку.
Штавише, замолићемо неке од наших говорника који говоре руски да говоре на енглеском. Ово је, у извесном смислу, апсолутно антикориснички и нехуман приступ. Али морамо разумети да тренутно не постоји литература на руском језику о овој теми, и свака особа која је уопште заинтересована за ово је принуђена да чита на енглеском. То значи да је некако у стању да разуме енглески. Ако у случају ЈаваСцрипта, Јаве или .НЕТ-а има доста људи који не знају добро енглески, али у исто време знају добро да програмирају, онда су, вероватно, дистрибуирани системи област у којој једноставно нема друге начин да научите сада.
Заиста желим да спроведем овај експеримент: како ће јавност у Русији перципирати догађај на енглеском језику од 70 до 80%. Хоће ли ући или не? Ово не знамо унапред јер то никада нисмо радили. Али зашто то не учинити? Рецимо само да је ово један велики експеримент који једноставно не могу а да не покушам.
СПТДЦ школски програм је већ у потпуности, а у случају Хидре већ запажен део, а ускоро ћемо објавити анализу целокупног програма конференције.
Извор: ввв.хабр.цом