„Запитването е наложително“: Алексей Федоров за новата конференция по разпределени системи

Скоро имаше анонсирани веднага две събития за разработване на многопоточни и разпределени системи: конференция Hydra (11-12 юли) и училище SPTDC (8-12 юли). Хората, на които им е близка тази тема, разбират, че пристигането в Русия Лесли Лампорта, Морис Хърлихи и Майкъл Скот е изключително важно събитие. Но възникнаха и други въпроси:

• Какво да очакваме от конференцията: "академичност" или "продуктивност"?
• Как се свързват училището и конференцията? За кого са насочени и двете?
• Защо се припокриват по дати?
• Ще бъдат ли полезни за тези, които не са посветили целия си живот на разпределените системи?

Всичко това е добре познато на човек, благодарение на когото Hydra се появи: нашият директор Алексей Фьодов (23derevo). Той отговори на всички въпроси.

Формат

— Въведителен въпрос за тези, които не са запознати с разпределените системи: за какво става дума в двете събития?

— Глобално предизвикателство е, че около нас съществуват услуги с големи обеми операции и сложни изчислителни задачи, които не могат да бъдат изпълнени на един компютър. Следователно, необходимостта е от множество машини. А след това възникват въпроси, свързани с това как правилно да координираме тяхната работа и какво да правим в условия на не най-висока надеждност (защото оборудването се поврежда, а мрежата пада).

Колкото повече машини, толкова повече възлиза на точки на отказ. Какво да правим, ако едни и същи изчисления различни машини дават различни резултати? Какво да правим, ако мрежата спре за известно време и част от изчисленията станат изолирани, как след това да обединим всичко това? Общо, милиони свързани с това проблеми. Нови решения — нови проблеми.

В тази област има изцяло приложни направления, а също и по-научни — нещата, които все още не са станали мейнстрийм. Иска ми се да поговорим за това, което се случва както в практиката, така и в науката, а най-важното — на тяхната пресечна точка. Ето за това ще бъде първата конференция Hydra.

— Искам да разбера какво е конференция, а какво е лятно училище. Как се свързват? Ако за участниците на училището е направена отстъпка за посещение на конференцията, защо се припокриват по дати, така че не може да се присъства на всичко наведнъж без загуби?

— Училището е камерно събитие за 100–150 души, където водещи специалисти от цял свят идват и четат лекции в продължение на пет дни. И възниква ситуация, в която в Санкт Петербург за пет дни се събират звезди от световно ниво, готови да споделят знания. В такъв случай се налага решението да организираме не само камерно училище, но и по-мащабна конференция.

Такова училище може да се проведе само през лятото, през юли, защото сред тези специалисти има действащи професори от университетите, които в друго време просто не са готови: имат студенти, дипломи, лекции и така нататък. Форматът на училището е пет работни дни. Известно е, че през лятото хората обичат да излизат през уикендите. Значи, не можем да направим конференция нито през уикендите преди училището, нито през уикендите след училището.

А ако удължим всичко с още няколко дни преди или след уикендите, то магически петте дни присъствие на специалисти в Санкт Петербург се превръщат в девет. И те не са готови за това.

Затова единственото решение, което намерихме, е просто да проведем конференция паралелно с училището. Да, това създава някои проблеми. Има хора, които искат да посетят както училището, така и конференцията, и им ще се наложи да пропуснат част от лекциите тук или там. Добрата новина е, че всичко това ще се провежда в съседни зали, ще може да се тича тук-там. И още едно предимство е наличието на видеозаписи, на които по-късно може спокойно да се прегледа пропуснатото.

— Когато две събития се провеждат паралелно, у хората възниква въпросът "кое от тях ми е по-необходимо". Какво точно да очакват от всяко и в какво са различията?

— Училището е чисто академично събитие, класическо научно училище за няколко дни. Който сам се е занимавал с наука и е имал някакво отношение към аспирантурата, знае какво представлява академичното училище.

Обикновено подобни академични събития не са много добре организирани поради липса на събитийна експертиза у хората, които ги провеждат. А ние все пак сме доста опитни, така че можем да направим всичко много умно. Мисля, че от организационна гледна точка SPTDC ще бъде с една глава над всяко научно или научно-практическо училище, което някога сте виждали.

SPTDC School — това е такъв формат, при който всяка голяма лекция се провежда в две части: „един час и половина — почивка — един час и половина“. Трябва да се разбере, че в началото на участника може да му е трудно: когато тази школа се проведе за първи път преди две години, на мен самия ми беше непривично, няколко пъти в средата на двойната лекция изключвах и после беше трудно да разбера какво се случва. Но това много зависи от лектора: добрият лектор при всичките три часа говори много интересно.

Конференция Hydra (Гидра) — по-практическо събитие. Там ще бъдат няколко светила на науката, пристигнали да изнасят лекции на Школата: от Лесли Лампорта, чиито работи лежат в основата на самата теория на многопоточните и разпределени системи, до Морис Хърлихи, един от авторите на известния учебник по concurrency „The Art of Multiprocessor Programming“. Но на конференцията ще се опитаме да говорим за това, как в действителност се реализират различни алгоритми, с какви проблеми инженерите се сблъскват на практика, какво успяват и какво не успяват, защо едни алгоритми се използват на практика, а други не. И разбира се, ще говорим за бъдещето на разработката на многопоточни и разпределени системи. Тоест ще представим такава cutting edge: за какво говори в момента световната наука, около какво се въртят мислите на водещите инженери и как всичко това си взаимодейства.

— Тъй като конференцията е по-практическа, там ще бъдат не само академични светила, но и лектори „от продукцията“?

— Определено. Ние се опитваме да се ориентираме към всички „големи“: Google, Netflix, Яндекс, Однокласници, Facebook. Има специфични забавни проблеми. Например, всички говорят: „Netflix — това са разпределени системи, почти половината от трафика в САЩ, много яко“, а когато започнеш да разглеждаш техните реални доклади, статии и публикации, настъпва леко разочарование. Защото, макар че това със сигурност е световно ниво и там има cutting edge, го има по-малко, отколкото изглежда на пръв поглед.

Възниква интересна дилема: може да поканим представители на големи известни компании, а може да поканим и някого, който вече е известен на нас. В реалността експертността съществува и там, и там. И ние по-скоро се опитваме да извличаме не „хора от много големи марки“, а много големи специалисти, конкретни хора.

Например, ще бъде Мартин Клеппман, който навремето направи шум в LinkedIn, а също така издаде добра книга — вероятно, една от основните книги в областта на разпределените системи.

— Ако човек не работи в Netflix, а в по-проста компания, може да си помисли: „Струва ли си да ходя на такава конференция, или там само всевъзможни Netflix ще си говорят помежду си, а аз няма какво да правя?"

— Ще кажа така: когато работих малко над три години в Oracle, най-впечатляващите и интересни неща чувах в кухнята и в курилките, когато се събираха колеги, които правеха определени части от платформата Java. Това можеха да бъдат хора от виртуалната машина, или от отдела за тестване, или от представяне на конкурентност — например, Льоша Шипилев и Серьожа Куксенко.

Когато те започваха да обсъждат нещо помежду си, обикновено просто слушах, с отворена уста. За мен това бяха поразителни и неочаквани неща, за които дори не бях мислил. Разбира се, първоначално не разбирах 90% от това, за което говорят. После непознатото стана 80%. А след като направих домашното си и прочетох няколко книги, това число намаля до 70%. Все още не разбирам много от това, за което говорят помежду си. Но, седейки в ъгъла с чаша кафе и подслушвайки, започнах малко да разбирам какво се случва.

Поради това, когато говорим помежду си Google, Netflix, LinkedIn, Однокласници и Яндекс, това не означава, че това е нещо неразбираемо и неинтересно. Напротив, трябва да слушаме внимателно, защото това е нашето бъдеще.

Разбира се, има и хора, на които всичко това не им трябва. Ако не искате да се развивате в тази тема, не ходете на тази конференция, там просто ще загубите време. Ако темата ви интересува, но не разбирате нищо от нея или просто я наблюдавате — значи, трябва да дойдете, защото не можете да намерите нещо подобно никъде другаде. Освен това мисля, че не само в Русия, но и в света. Опитваме се да направим конференция, която не просто да бъде лидер в тази тема в Русия, а изобщо номер едно в света.

Това не е най-лесната задача, но когато имаме такъв невероятен шанс да съберем силни лектори от цял свят, съм готов да дам много, за да стане. Разбира се, някои от тези, които канихме на първата Гидра, няма да могат да дойдат. Но ще кажа следното: никога не сме започвали нова конференция с такъв мощен екип. Освен, може би, на самия първи JPoint преди шест години.

— Иска ми се да развия думите "това е нашето бъдеще": темата ще засегне и тези, които днес не мислят за нея?

— Да, уверявам се в това. Затова ми се струва много правилно да започнем да я обсъждаме колкото се може по-скоро. Да кажем, теорията за многопоточността се появи доста отдавна (в 70-те години вече излизаха работи), но дълго време те бяха в ръцете на узки специалисти, докато в началото на 2000-те не се появи първият потребителски двуядрен компютър. А сега всички имаме многоядрени сървъри, лаптопи и дори телефони, и това е мейнстрим. Потребваха се около 10 години, за да стане това масово, за да разберат хората, че този дискурс не е единствено за узки специализирани кръгове.

И точно същото наблюдаваме с разпределените системи. Защото основните решения като разпределение на натоварването, осигуряване на устойчивост и подобни вече са направени от доста време, но какво е, например, разпределен консенсус или Paxos, знаят много малко хора.

Една от най-важните задачи, които си поставям пред това мероприятие, е да все по-дълбоко въвеждам инженерите в тази дискусия. Трябва да разберем, че на конференциите не просто се обсъждат теми и решения, но и възниква тезаурус — единен понятийен апарат.

Виждам моята задача да създам платформа, на която всички желаещи могат да обсъждат това, да споделят опит и мнения. За да имаме единно разбиране за това, какво прави един алгоритъм, какво прави другият, който от тях е по-добър при какви условия, как са свързани помежду си и така нататък.

Много интересна работа е свързана с многопоточността. Когато нашите приятели от Oracle (предимно Алексей Шипилев и Сергей Куксенко) започнаха активно да разказват за производителността и по-специално за многопоточността, буквално след две-три години тези въпроси започнаха да се задават на интервюта във фирми, хората започнаха да ги обсъждат в паузите. Тоест нещо, което беше само за узки специалисти, изведнъж стана мейнстрим.

И това е много правилно. Както ми се струва, ние помогнахме на тези момчета да популяризират цялата тази проблематика, която е наистина важна, полезна и интересна. Ако преди никой не се замисляше как Java сървърът обработва заявки паралелно, то сега поне на някакво ниво хората започват да разбират как всичко това работи. И това е прекрасно.

Задачата, която виждам в момента, е приблизително същата — да направим нещо подобно с разпределените системи. За да може всички да разбират какво е това, откъде идват основите, какви задачи и проблеми съществуват, така че това също да стане мейнстрийм.

Компаниите имат огромно търсене на хора, които разбират нещо по този въпрос, а такива хора са малко. Колкото повече създаваме съдържание около това и възможности за обучение, толкова повече даваме шансове на хората да задават въпросите, които витаят във въздуха, и толкова повече шансове имаме да напредваме в тази посока.

Предистория

— Конференцията се провежда за първи път, но училището не е за първи път. Как всичко това възникна и се развива?

— Това е интересна история. Две години назад, през май 2017 година, седяхме в Киев с Никита Ковалем (ndkoval), специалист в областта на многопоточността. И той ми разказа, че в Санкт Петербург ще се проведе «Лятна школа по практика и теория на паралелното изчисление».

Темата на многопоточната програмиране през последните три години от моята инженерна кариера беше фантастично интересна. И изведнъж се оказа, че през лятото в Питер идват много известни личности, същите Морис Херлихи и Нир Шавит, по учебника по който учех. И много от познатите ми участваха в това — например Рома Елизаров (elizarov). Осъзнах, че просто не мога да пропусна такова събитие.

Когато стана ясно, че програмата на училището през 2017 година ще бъде страхотна, се появи идеята лекциите задължително да се записват на видео. В JUG.ru Group имахме ясно разбиране как трябва да се записват такива лекции. И се включихме в SPTCC като хора, които направиха видеозапис за училището. В крайна сметка всички лекции от училището са на нашия YouTube канал.

Започнах да комуникирам с Петър Кузнецов, който беше главният идеолог и организатор на това училище, и с Vitaliy Аксьонов, който помагаше организационно с всичко това в Санкт Петербург. Разбрах, че е фантастично чудесно и интересно и, вероятно, много лошо, че само 100 участника могат да се докоснат до красивото.

Когато Петър се замисли, че трябва отново да създаде училище (през 2018 година нямаше сили и време, така че реши да го направи през 2019), стана ясно, че можем да му помогнем, просто сваляйки всички организационни неща от него. Така и става в момента, Петър се занимава с съдържанието, а ние с всичко останало. И това изглежда като правилна схема: вероятно на Петър му е по-интересна програмата, отколкото "къде и кога всички ще обядват". А ние добре работим с залите, площадките и т.н.

Този път училището се нарича SPTDC вместо SPTCC, не "concurrent computing", а "distributed computing". Съответно, разликата е в това: предишния път в училището не говорихме за разпределени системи, а сега ще говорим за тях активно.

— Тъй като училището се провежда не за първи път, вече можем да направим някакви изводи от миналото. Какво се получи миналия път?

— Когато се организираше първото училище преди две години, се очакваше да бъде академично събитие, предимно интересно за студентите. Освен това, за студенти от целия свят, тъй като училището е само на английски език, и се смяташе, че ще дойде значително количество чуждестранни студенти.

Всъщност се оказа, че дойдоха много инженери от големи руски компании, като Яндекс. Имаше Андрей Паньгин (apangin) от Однокласниците, имаше момчета от JetBrains, които активно се занимават с тази тема. В общи линии, имаше много познати лица от нашите партньорски компании. Съвсем не съм изненадан, прекрасно разбирам защо те дойдоха.

Собствено, организаторите имаха очаквания, че в училището ще бъдат академични хора, а изведнъж дойдоха хора от индустрията, и тогава ми стана ясно, че в индустрията има търсене.

Ако събитие, което почти не е било промотирано никъде, от първия път успя да събере аудитория от възрастни хора, значи, всъщност има интерес. Мисля, че запитването по тази тема е зряло.

Морис Херлихи на срещата JUG.ru

— Освен в училище, Морис Херлихи през 2017 г. участва в Петербург на срещата JUG.ru, разказвайки за транзакционната памет, и това беше малко по-близо до конференционния формат. Кой дойде тогава — същите хора, които обикновено идват на митапите на JUG.ru, или друга аудитория?

— Това беше интересно, защото разбрахме, че Морис ще направи обща лекция, а не специфична за Java, и направихме малко по-широк анонс, отколкото обикновено правим на нашите абонати на JUG-новините.

Дойдоха много познати за мен хора от общности, които изобщо не са свързани с Java: от .NET средите, от JavaScript средите. Защото темата за транзакционната памет не се отнася до конкретна технология за разработка. Когато пристига специалист от световна класа да разкаже за транзакционната памет, да пропуснеш възможността да чуеш такъв човек и да му зададеш въпроси — просто е престъпление. Това производи мощно впечатление, когато човек, по чиято книга учиш, идва при теб и ти разказва нещо. Просто фантастика.

— И каква беше обратната връзка след това? Не се ли оказа подходът твърде академичен и неразбираем за хората от индустрията?

— Отзивите за лекцията на Херлихи бяха добри. Хората пишеха, че той много просто и ясно излага, което не се очакваше от академичен професор. Но трябва да разберем, че не сме го поканили просто така, това е световноизвестен специалист с голям опит в изявите и с бекграунд от купища книги и статии. И, вероятно, той стана известен именно заради умението си да предава материала на хората. Затова в това няма нищо учудващо.

Той говори нормален разбираем английски и, разбира се, много добре разбира темата, за която говори. Тоест, може да му се задават напълно всякакви въпроси. Основно, хората се оплакваха, че сме дали на Морис твърде малко време за лекцията: два часа за такова нещо е малко, необходимо е поне още два. Ну, каквото успяха за два часа, това направиха.

Мотивация

— Обикновено групата JUG.ru се занимава с мащабни събития, а тази тема изглежда по-специализирана. Защо решихте да се захванете с нея? Има ли готовност да проведете по-малко мащабно събитие, или и на такава тема може да се съберат много зрители?

— Наистина, когато правиш някакво събитие и поставяш определено ниво на дискусия, винаги възниква въпросът, колко масова е тази дискусия. На колко хора — десет, сто или хиляда — им е интересно. Налага се компромис между масовост и дълбочина. Това е напълно нормален въпрос и всеки го решава по различен начин.

В този случай искам да направя събитието "по свой вкус". В многопоточността разбирам нещо (на конференции съм изнасял лекции по тази тема, няколко пъти съм разказвал на студенти), но в разпределените системи съм напълно непрофесионален: читал съм някои статии и съм гледал няколко лекции, но дори не съм прочел нито една цялостна книга.

Имаме програмен комитет, съставен от експерти в тази област, способни да оценят точността на докладите. Аз от своя страна се опитвам да направя това събитие такова, на което бих искал да отида, дори и с отсъствието на експертиза. Не знам дали ще успеем да привлечем масовата публика. Вероятно в този етап това не е най-важната задача на събитието. В момента е по-важно да се състави най-силната програма за кратко време.

Вероятно в момента поставям пред екипа не задачата "да съберем хиляда души от първия път", а "да направим конференцията да се появи". Това може да звучи не много бизнесово и в нещо наивно, макар и да не съм съвсем алтруист. Но понякога си позволявам да бъда малко хедонист.

Има неща, които са по-важни от парите и извън парите. Ние и без това организираме много страхотни мащабни събития за хиляда души и повече. Нашите Java конференции отдавна минаха хиляда души, а сега и други събития преминават през тази граница. Тоест, вече не съществува въпросът, че сме опитни и известни организатори. И вероятно, това, че печелим от тези събития, ни дава възможност да реинвестираме в неща, които ни интересуват, и в този случай — лично за мен.

Правейки това събитие, аз отивам в разрез с някои принципи на нашата организация. Например, обикновено се стремим да подготвим конференции много преди времето, а сега имаме много кратки срокове и финализираме програмата само месец преди самото събитие.

И още това събитие ще бъде на 70-80% на английски език. Тук също винаги възниква дискусия относно това дали да бъдем по-близо до народа (който по-лесно разбира, когато повечето доклади са на руски език) или до целия свят (понеже техническият свят е на английски). Обикновено се опитваме да правим много доклади на руски. Но не и този път.

По-скоро, някои от нашите рускоговорящи лектори също ще бъдат помолени да говорят на английски. Това в известен смисъл е абсолютно антипотребителски и нечовешки подход. Но трябва да разберем, че в момента няма рускоговоряща литература по тази тема и всеки, който изобщо се интересува от нея, е принуден да чете на английски. А това значи, че в някаква степен ще успее да се справи с английския. Докато в случая с JavaScript, Java или .NET има много хора, които не знаят много добре английски, но все пак могат да програмират чудесно, то вероятно разпределените системи са област, в която в момента просто не може да се научи по друг начин.

Много искам да проведа този експеримент: как ще бъде възприето от публиката в Русия събитие на 70-80% на английски език. Ще проработи ли или не? Не знаем това предварително, защото никога не сме правили нещо подобно. Но защо да не опитаме? Нека да го наречем: това е един голям експеримент, който просто не мога да не проведа.

Програмата на училището SPTDC вече беше публикувана е изцяло налична, а в случая с Hydra вече е известна забележителна част, и скоро ще публикуваме анализ на цялата програма на конференцията.

Източник: habr.com