Předběžné upozornění: tento příspěvek je čistě páteční a spíše zábavný než technický. Najdete tu vtipné historky o inženýrských hackech, historky z temné stránky práce mobilního operátora a další frivolní šustění. Pokud někde něco přikrášluji, tak jen ku prospěchu žánru, a pokud budu lhát, pak jsou to všechno věci z doby tak dávné, že to nikomu neublíží. Pokud ale zachytíte technickou nebo jinou chybu, nemilosrdně mě opravte, vždy jsem byl na straně spravedlnosti.
Pozor, začínám bez přetaktování!
Zadní vrátka do dvora
V našem služebním pokoji v prvním patře byla velká okna, od základny až téměř ke stropu. Vyjeli na obslužné parkoviště, odkud ráno odjížděli nejrůznější geodeti a další terénní zaměstnanci. Parkoviště bylo umístěno v dostatečné vzdálenosti od předních a všech služebních vchodů a za dvěma závorami.
Jednoho rána v tu dobu přijížděla k budově policejní auta, policisté stáli u všech vchodů a prohledávali všechny odcházející. Do oficiálního mailing listu dorazí upozornění: náhle (opravdu náhle, ne jako obvykle) přišla kontrola softwarové licence a pracovní stanice budou zkontrolovány. Každý, kdo má na svých počítačích cokoli pirátského, by měl být rovnou zlikvidován!
Vše kolem operačních systémů, kancelářského a obslužného softwaru bylo samozřejmě většinou licencováno. Ale ne všechno, ne vždy a ne všude; Pokud jde o to, co si zaměstnanci nainstalovali do svých firemních notebooků, je to zcela temný příběh. Spěchal jsem zkontrolovat auta v oblasti mé odpovědnosti za pirátství, rychle jsem něco demoloval...
... A v tuto chvíli začnou inženýři vstupovat do služební místnosti ukvapenými a nervózními kroky, s notebooky a systémovými inženýry v náručí. Vcházejí dveřmi a vycházejí, chichotajíce se absurditě situace, oknem: všechny vchody byly zablokované, ale démoni zákona a pořádku na taková zadní vrátka nepomysleli. Takže zatímco probíhala kontrola účetního oddělení (kde bylo vše vzorové), zaměstnanci vytahovali vše, co bylo špatně.
Minulost je tam
Pokud máte zájem a ještě jste záložku nezavřeli, zde je nějaká expozice toho, co se děje v čase, prostoru a osobách. Jsem krásně mladý, zelený jako list šťovíku, absolvent IT, který dostal práci v inženýrském oddělení Samara Megafon (což byla tehdy také MSS Povolzhye). Pro mě to byl první skutečný kontakt s Technologií s velkým T a Technici s ještě větším: jako nejmladší čertík v této pekelné kuchyni jsem s potěšením sledoval práci velmi zkušených ďábelských inženýrů, kteří se neúspěšně snažili pochopit jejich moudrost. Dokud tato moudrost nepronikla do pórů mého mozku, mohl jsem se jen prohrabávat v hromadě nejrůznějších monitorů a znepokojovat pokaždé, když se tam objeví „červená“.
Pokud se některá ze zde zmíněných postav najednou pozná, zdravím vás!
Pokud to funguje, nedotýkejte se toho (ale dotkněte se toho, pokud to nefunguje)
Jedním z výše zmíněných supertechniků byl Misha Basov. Za ta léta práce v Mega jsem o něm slyšel spoustu dobrých a zajímavých věcí v duchu, že stál téměř u zrodu a spustil hromadu procesů. Nestíhal jsem s ním pořádně komunikovat: potkali jsme se doslova na personálním oddělení, když jsem přinesl dokumenty a on si je odnesl.
Jeden z monitorovacích systémů, se kterými jsme pracovali, napsal Misha. Opravdu si nepamatuji, co tam bylo monitorováno, ale vím, že Misha napsal dočasné řešení, které se rychle stalo trvalým. A je to dobře: mnoho z toho, co skuteční technici ve spěchu dělají pro své vlastní potřeby, se ukáže v pohodě. Toto monitorování také vyhovovalo všem, fungovalo bez jakékoli podpory nebo údržby, i když nikdo nevěděl jak.
Pár let po Míšině propuštění začalo sledování ukazovat prázdnou stránku.
Okamžitě jsem spustil poplach. Vedoucí směny vyhlásil poplach. Vedoucí sektoru vyhlásil poplach.
Vedoucí oddělení vyhlásil poplach. Vedoucí služby vyhlásil poplach. Vedoucí oddělení zacinkal zvony. Ředitel IT celého Povolží slyšel zvonění a okamžitě svolal poradu. Tam zavolal vedoucího oddělení. Štěkal na šéfa služby. Ten, který nepochopil podstatu problému, zavolal vedoucího oddělení. Tento, nechápaje, co se stalo, zavolal vedoucího sektoru, který zavolal vedoucího směny. No, obrátil šipku na mě.
Nějak, poté, co jsem se změnil ze služby, jsem šel na toto setkání. Zaznělo mnoho slov, byla přivolána osoba odpovědná za monitorování (neslyšeli jsme nic srozumitelného), vzpomnělo se, že Basov psal o monitorování, že monitorování je velmi důležité, ale že nikdo nerozumí a neví, jak to funguje ... Vše dopadlo tak, že nefungující a nesrozumitelný systém by měl být odstraněn a místo něj implementováno osvědčené řešení od prověřeného dodavatele.
Zatímco to všechno bylo řečeno, prosil jsem někoho o notebook a SSH přístup k tomuto serveru. Zajímalo mě, jaký super cool systém napsal legendární Basov.
Když vejdu dovnitř, první věc, kterou ze zvyku udělám, je napsat:
df -hPříkaz mi říká něco jako:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Čistím /var/log, který se za ta léta zaplnil, sledování aktualizací - vše funguje. Opraveno!
Schůze se zastaví, zhroutí se a všichni se rozejdou. Cestou se raduje vedoucí oddělení a slibuje mi bonus!..
... Místo bonusu jsem později dostal mentální ránu za to, že jsem omylem neobjednal monitorovací systém u důvěryhodného dodavatele.
Kde domy bydlí?
Jednou z povinností inženýrů ve službě bylo ovládat elektronické přístupové klíče do počítačových místností. Samotné sály na mě tehdy velmi zapůsobily: řady stojanů naplněné serverovým a přepínacím zařízením, řady optických vláken a křížených kabelů (na některých místech perfektně položené, jinde se změnily v neuvěřitelnou hroudu špaget), neustálý hukot klimatizace a falešné podlahy, pod kterými bylo tak pohodlné chladit nápoje... Vstupy do hal byly utěsněny těžkými hermetickými dveřmi, navrženými tak, aby zajistily automatické blokování v případě požáru. Vstup a výstup byl přísně zaznamenán a podepsán, aby se vědělo, kdo a proč je uvnitř.
Nejvíce se mi v těchto místnostech samozřejmě líbily serverové skříně „superdomů“ – dva HP SuperDome 9000, které zajišťovaly fakturaci. Dva identické uzly, jeden byl vždy bojový a druhý byl synchronní hot standby. Rozdíl mezi nimi byl pouze v IP adresách, jedna byla xxx45, druhá byla xxx46. Všichni inženýři znali obě tyto IP adresy, protože pokud se něco stalo s fakturačním systémem, první věc, kterou uděláte, je podívat se, zda jsou vidět superdomy. Neviditelnost super domů je úžasná.
Jednoho rána se něco takového stane. Během dvou sekund zmizí všechny služby na obou serverech a účtování se zhroutí do prázdna. Rychle kontrolujeme servery - pingují, ale opravdu na nich nic není!
Než vůbec stihneme zahájit požadovaný soubor opatření, uslyšíme hlasitý výkřik "ZABIJTE, STUDENTE!“; arciadministrátor všech serverů vběhne do služebny, vytrhne z police elektronický klíč k místnosti s turbínami a běží tam.
Velmi rychle poté se sledování vrátí do normálu.
Stalo se toto: nový zaměstnanec smluvní organizace, který konfiguroval sadu nových virtuálních strojů, jim ručně přidělil postupné statické IP adresy od xxx1 do xxx100. „Student“ o posvátných nedotknutelných adresách nevěděl a staromilce ani nenapadlo, že by do nich mohl někdo takto zasahovat.
Antispamová služba
Páni, noční směny! Miloval jsem je a nenáviděl je, protože to bylo 50/50: buď plánovaná práce na zařízení, kde se aktivně účastníte, pomáháte inženýrovi s ospalým mozkem a třesoucíma se rukama, nebo ticho a klid. Předplatitelé spí, zařízení funguje, nic není rozbité, důstojník je uvolněný.
Povinnost jde podle plánu.
Jednoho dne tento půlnoční klid naruší volání na služební telefon: ahoj, obtěžují tě ze Sberbank, přestala ti fungovat SIM karta, se kterou se zasílají upozornění.
To bylo dávno, ještě před zavedením IP připojení k SMS bráně. Proto, aby mohl Sber poslat SMS ze svého slavného čísla 900, vzali dodanou SIM kartu (s největší pravděpodobností více než jednu), zapojili ji do GSM modemu a tak to fungovalo.
Dobře, přijal jsem problém a začal kopat. V první řadě zkontroluji stav SIM karty ve vyúčtování, je zablokovaná. Co to sakra - vedle je červený nápis „NEBLOKOVAT“ a odkaz na rozkaz generálního arcidémona. Wow, to je opravdu zajímavé.
Zkontroluji důvod zablokování, udělám si domeček na obočí a putuji do vedlejší kanceláře, kde na monitor zírá dívka z oddělení podvodů.
"Lenočko," říkám jí, "proč jsi zablokoval Sberbank?"
Je zmatená: prý přišla stížnost, že spam přichází z čísla 900. No zablokoval jsem to, ráno to vyřeší.
A vy říkáte - stížnosti účastníků jsou ignorovány!
SIM kartu samozřejmě znovu zapnuli.
Velmi děsivý příběh
Když jsem poprvé dostal práci, já a další nováčci jsme dostali něco jako orientační prohlídku. Ukázali zařízení: servery, klimatizace, invertory, hasicí zařízení. Ukázali základnovou stanici, která stála v jedné z testovacích místností pro experimenty, s vysvětlením, že ačkoli jsou vysílače zapnuté na minimální výkon, je lepší v tuto chvíli nevstupovat do stíněných dveří. Vysvětlili strukturu mobilní sítě, o hlavním a záložním napájení, o odolnosti vůči poruchám a o tom, že síť je navržena tak, aby fungovala i po atomové bombě. Nevím, jestli to bylo řečeno proto, abych to řekl, nebo jestli to byla pravda, ale utkvělo mi to v hlavě.
A skutečně: bez ohledu na to, jaké bláznivé věci se děly lokálně, hlasová síť Volhy vždy fungovala nepřetržitě. Nejsem specialista na komunikaci, ale vím, že zařízení (základnové stanice i klientské terminály) je navrženo pro maximální „hlasové“ přežití. Vypadlo napájení BS? Sníží výkon, přepne na dieselagregát/baterie, vypne přenos paketového provozu, ale hlas bude pokračovat. Přestřihl jsi kabel? Základna se přepne na rádiový kanál, který stačí pro hlas. Ztratil telefon BS? Zvýší výkon a bude sondovat vzduch, dokud se nezavěsí na věž (nebo dokud nevybije baterii). Atd.
Jednoho dne ale v kanceláři zablikala světla a na ulici duněly dieselové generátory. Všichni spěchali, aby znovu zkontrolovali svůj hardware: v IT části se nic kritického nestalo, ale z monitorování BS se objevil zmatený „nepořádek“. A pak: "Kluci, VŠECHNY naše základny jsou mimo provoz, zkontrolujte spojení."
Vytahujeme mobily - není signál.
Zkoušíme IP telefonii - není přístup k mobilní komunikaci.
Neexistuje žádná síť. Vůbec. Nikde.
Vzpomněl jsem si na slova o atomovém bombardování a podvědomě jsem několik sekund čekal, než nás rázová vlna zasáhne - z nějakého důvodu mě nenapadl žádný jiný důvod ztráty sítě. Bylo to děsivé a zvědavé zároveň: nějak jsem pochopil, že nebudu mít čas nic dělat. Zbytek chlapů byl také ohromen, nikdo ničemu nerozuměl.
Žádná tlaková vlna nebyla. Po pětivteřinovém šoku jsme se vrhli k pevnému městskému telefonu, který byl k dispozici právě pro takový případ, a začali volat do krajských úřadů. Městská síť naštěstí fungovala, ale v regionech potvrdili: celá Samara je „mrtvá“, ani hardware nepingne, ani nevytáčí.
O pět minut později přinesl jeden z energetiků zprávu: někde v elektrárně hořelo a odpojilo proud minimálně do celé Samary a možná i do regionu. Vydechl; a když došlo k přepnutí na rezervní proud, dokonce se nadechli.
Další děsivý (ale trochu hloupý) příběh
Největší fakap v mé paměti nastal při další rovince s nyní vynulovanou. V té době právě zavedli funkci s posíláním dotazů pomocí SMS, takže se na prudký nárůst zátěže sítě předem připravili: vše zkontrolovali a připravili a celý týden před dnem X zakázali jakoukoli práci kromě nouzových. Obdobný protokol se používá ve všech případech, kdy se očekává zvýšená zátěž, například o prázdninách. A pro inženýry ve službě je to stejné jako den volna, protože když se zařízení nedotkne, nemůže se mu nic stát, a i kdyby se to stalo, všichni specialisté sedí v kanceláři předem pro každý případ.
Obecně sedíme, posloucháme národního vůdce a o nic se nestaráme.
Tiché „F***“ se ozve od operátorů rozvaděče.
Dívám se na sebe – je to opravdu „f***“: síť kampusů se rozpadla.
Ve vteřině všechno zemře (tehdy ještě neexistoval meme o Nataše a kočkách, ale bylo by to užitečné). Uživatelský segment sítě zmizí a technologický segment zmizí. S rostoucí hrůzou se snažíme zkontrolovat, co zůstalo v provozuschopném stavu, a po kontrole sáhneme po skříňce pro ukrytou láhev léčivého koňaku: zbyly jen hlasové hovory (říkal jsem ti, že jsou houževnaté!), všechno ostatní je mrtvé . Neexistuje žádný internet - ani účastnické GPRS, ani vlákno, které je přiděleno několika subposkytovatelům. SMS se neodesílají. Osel! Voláme regiony – mají síť, ale Samaru nevidí.
Během půl hodiny byl konec světa téměř hmatatelný. Deset milionů lidí, kterým je najednou všechno rozbité a kteří se nemohou dostat do call centra, protože hlasové terminály v call centru fungují přes VOIP.
A to během projevu nejtemnějšího vládce! Další vítězství ministerstva zahraničí a Obamy osobně!
Služební technici naskočili z nízkého startu a pracovali velmi efektivně: během hodiny síť ožila.
Taková razie není regionální, ba ani regionální úrovně, má být oznámena Moskvě se všemi podrobnostmi a vydáním pachatelů. Proto těm, kdo se účastnili vyšetřování, bylo pod trestem propuštění zakázáno říkat pravdu a pro Civilní obranu byla sestavena zpráva plná vody a mlhy, ze které jaksi vyplynulo, že „to je samo, nikdo je na vině."
Co se vlastně stalo: jednomu ze šéfů docházel čas na implementace a ztrácel za ně bonusy. A přerušili šéfova šéfa a tak dále; Proto vyvinuli tlak na jednoho z nových inženýrů a řekli mu, aby provedl požadovaná síťová připojení, „zatímco je všechno v klidu“. Inženýr se neodvážil namítat, ba dokonce požadovat písemný rozkaz: to byla jeho první chyba. Zadruhé udělal chybu při vzdálené konfiguraci Cisco a dosáhl rekordních výsledků pro fakap v nejkratším možném čase.
Pokud vím, nikdo nebyl potrestán.
Oslava k nám přichází
Prázdniny, jak jsem již zmínil, byly pro nás vždy výjimečné dny. V takových dnech se zatížení sítě prudce zvyšuje, počet gratulačních hovorů a SMS prochází střechou. Nevím, jak je to nyní, s rozvojem internetové komunikace, ale jen na Nový rok opsos uvalil velmi výrazný trest za gratulace.
Na Silvestra proto měli v kanceláři vždy službu inženýři ze všech oddělení (a mimo kancelář byly týmy připravené protlačit se závějemi, aby odstranily nehodu na základní stanici ve vesnici malých drischi). Fakturační specialisté, administrátoři hardwaru, softwaroví instalatéři, síťoví specialisté, switcheři, servisní technici, dodavatelé podpory – každé stvoření má stvoření. A pokud to podmínky dovolovaly, pověsili se v naší služební místnosti a na našich monitorovacích zařízeních sledovali nárůst provozu podle časových pásem v celém regionu Volha.
Třikrát nebo čtyřikrát za noc jsme slavili Nový rok, ale nebylo to ani tak veselí, jako nervózní očekávání: vydrží zařízení přetížení, přetrhne se nějaký článek složitého technického řetězu...
Nervózní byl především Saša, který měl na starosti účtování. V zásadě vždy vypadal, jako by celý svůj život strávil na roztrhaném nervu, protože si musel utřídit všechno dobré, co se dělo s účtováním, nést zodpovědnost za všechny ty záseky, budil se častěji než ostatní v noci; obecně nemám ponětí, jak a proč pracoval tam, kde pracoval. Možná dostal hodně peněz, nebo byla rodina držena jako rukojmí. Ale ten večer jsem měl vlastně pocit, že když na Sašu klikneš nehtem, tak se z vnitřního napětí nahromaděného v něm rozpadne v prach. Pro takový nepříjemný případ máme koště, ale mezitím se dáváme do práce a olizujeme koňak, který na nás čeká.
Hodinu za hodinou všechny zátěžové rázy pominuly, všichni začali znovu kontrolovat své systémy. Přepínač zbledne: veškerý fakturační provoz zmizel na jednom z regionálních přepínačů. A to jsou data o všech hovorech, která prošla přepínačem; zapisují se do souboru, který je po částech nahrán přes FTP (pardon, ale spolehlivě) do BRT k nabití.
Komutátor při představě objemu terpentýnového klystýru, který dostane za ztrátu části novoročních příjmů pro celý region, se začal třást. Obrátil se k Sašovi a hlasem plným vzrušující naděje oslovil proslulého pana Billing Officera: „Sašo, podívej se, možná se BRT podařilo snížit tarify? Oh, podívej, prosím!"
Saša usrkl koňaku, zakousl se do kaviárového sendviče, pomalu ho žvýkal a potěšeně kouleje očima, že neměl jointa, odpověděl: „Už jsem to zkontroloval, žádné soubory tam nejsou... “.
(Můj úžasný korektor se zeptal, co se stalo tomu nebohému přepínači. Ach, jeho osud byl strašný: byl odsouzen k týdnu služby na první lince podpory call centra, bylo mu zakázáno nadávat. Brrr!)
Hoď kamenem, kdo je bez hříchu
Na základě těchto příběhů může člověk nabýt dojmu, že jsem za to nenesl odpovědnost ani já osobně, ani ostatní ve službě. Nic takového, nasrali, ale tak nějak bez zajímavého eposu a následků. Práce byla považována za vhodnou pro včerejší studenty bez mozku a zkušeností, takovému zaměstnanci nebylo co vzít, vyhodili by ho na jointa - takže není pravda, že bude chytřejší. Ale obviňování jejich chyb ve službě bylo pro inženýry samostatnou sportovní disciplínou: minuli cíl, nepřišli na to, neinformovali je včas, takže je potrestali. „Důstojník“ dokonale ovládal umění vymlouvat se, ne vždy to vyšlo, ale všichni všemu rozuměli. Proto přiletěl - ale zpravidla bez vážnějších následků.
Řešíme další „selhání“ při výměně směny.
Za několik let, co tam pracuji, si pamatuji tři případy, kdy byl někdo vyhozen z oddělení.
Jednoho dne se inženýr na noční směně rozhodl, že bude pít pivo, a pak přišel do služebny technický ředitel a vešel dovnitř. Někdy mohl takto přijít a jednoduše pozdravit (jako by začínal s důstojníky). Upálil jsem chlapa plechovkou piva, cvakl telefonem, vystřelil. V noci jsme už žádné pivo nepili.
Jindy službu konající ústředna propásla velmi strašná nehoda. Podrobnosti už si nepamatuji.
A potřetí - na konci mého působení tam. Pracovní podmínky velmi klesaly, byla tam divoká fluktuace a hrozné přesčasy. Lidé někdy pracovali 12 hodin, pak šli na XNUMX hodin spát a zase šli do každodenní služby. Sám jsem takto fungoval, dokud mi to zdraví dovolovalo a bylo za to placeno; pak fakticky přestali platit za přesčasy (standardně slibovali kompenzaci s volnem, když to šlo - ale všichni pochopili, že na procházku nikdy nikdo nepůjde) a skoro až výhrůžkami byli vyhnáni z povinnosti. Jeden inženýr nevydržel kukačku, vstal z pracoviště uprostřed směny a odešel navždy domů, cestou se podíval do kanceláře vedoucího služby a poslal mu třípísmenný dopis. Vzpomínám si na mailing, ve kterém byl tento inženýr označen za fašistu a zrádce, na každém řádku bylo čteno, jak byly úřady takovým činem popáleny.
Pokud jde o mé osobní fakapy, jedna příhoda mi v mysli vyčnívala svou neobvyklostí. Opět noční služba, všude klid, nic se neděje. Při výměně směny kontrolujeme monitoring: jejda, v noci spadlo zpracování dat ze spínačů, je dobře, že červená svítí už dlouho. Díval jsem se na tento signál celou noc a nevnímal jsem ho nebo tak něco. Navzdory skutečnosti, že to bylo jedno z nejviditelnějších a nejvizuálnějších sledování, stále nechápu, proč jsem to neviděl.
Tady se nedalo vymlouvat, spoj byl čistý a stoprocentní, nehoda páté kategorie a dost pravděpodobné propuštění. Po dvanácti hodinách noční služby až do oběda mě obtěžovali a nutili mě psát vysvětlující poznámky. Protože by nikdo nevěřil pravdě, musel jsem vymyslet nějaký blábol, že jsem kvůli zranění nadužíval prášek proti bolesti a usnul. Vedoucí služby na mě ve své kanceláři křičel, obecně vše směřovalo k propuštění - ale vyústilo to v napomenutí a odebrání prémií. V té době Mega neviděla bonusy několik let, takže jsem neutrpěl žádnou škodu.
Vzpomínka na epizodu s příchodem technického ředitele: jednou v noci se nějaký vidlák schoulil ve služební místnosti a začal křičet, že sedíme odemknuto (služební místnost by se v zásadě zamykat neměla), že jsme tady jeleni a že podle ráno od nás všech očekával vysvětlující poznámky o všech našich chybách. Tenhle vidlák byl šéfem bezpečnostní služby a KAPAL. Po křiku šéf bezpečnosti utekl do tmy a ráno jsme se zeptali našeho šéfa: "Co máme dělat?" "Do prdele," odpověděl a tím incident skončil.
Jak jsem rozbil oddělení
V té době byl bashorg (tehdy ještě bash.org.ru a ne to, co je nyní) kultovním zdrojem. Citáty se tam objevovaly téměř pár měsíců a máte VLASTNÍ! CITÁT!!! NA BASH!!! bylo tak skvělé, jako když máte v roce XNUMX vlastní doménu druhé úrovně. Ten bashorg byl tak nějak víc IT-anime, i když to bylo vtipné pro všechny.
Každé pracovní ráno nejmladšího inženýra (tedy mého) začínalo čtením bashorga – třicet vteřin smíchu před dvanácti hodinami utrpení.
Jednou se mě kolega zeptal, čemu se chichotám. Ukázal jsem mu co. Poslal odkaz po oddělení.
Práce se na pár dní zastavily: k mému překvapení do té chvíle nikdo z mých kolegů o bash nevěděl. Ve služebně se ozval smích: "Ach-haha-haha, oprava KDE, ahaha-haha!" "Igogo-go-go, utop páčidla ve rtuti, bgegegeg!" Přišel o pracovní den, ale na druhou stranu se jim výrazně prodloužil život.
Bonus pro ty, kteří dočtou
Pamatujte si, že za vousatých časů byl takový populární vtip: „Myslím, že v Nortonu vidím dva disky C – proč potřebuji dva? No, jednu jsem vymazal!" Velmi to připomíná jeden z mých oblíbených příběhů, který nevyprávím já, ale já. A pokaždé je to vtipné jako první:
18+, ale slova z písně nelze vymazat
Постскриптум
Tyto příběhy jsou zpracovanou kompilací některých příspěvků z mého kanálu TG. Občas tam proklouzne podobná hra; Nic nenaznačuji, ale stejně to nechám.
Hezký pátek všem!
Zdroj: www.habr.com