Artem Denisov ( , )
Badoo ndiyo nzvimbo huru pasi rose yekufambidzana. Parizvino tine vanenge 330 miriyoni vakanyoresa vashandisi pasi rese. Asi chinonyanya kukosha mumamiriro ekutaura kwedu nhasi ndechekuti isu tinochengeta nezve 3 petabytes yemifananidzo yemushandisi. Zuva rega rega vashandisi vedu vanorodha nezve 3,5 miriyoni mitsva mapikicha, uye kuverenga kuverenga kuri kuda 80 zviuru zvikumbiro pasekondi. Izvi zvakanyanya kune yedu backend, uye dzimwe nguva kune matambudziko neizvi.
Ini ndichataura nezvekugadzirwa kwegadziriro iyi, iyo inochengetedza uye inotumira mapikicha muhuwandu, uye ini ndichaitarisa kubva pakuona kwemugadziri. Pachave nekudzokororwa kupfupi pamusoro pekuti yakagadzirika sei, apo ini ndichatsanangura mikuru mikuru, asi ini ndichataura chete zvakadzama nezve mhinduro dzatiri kushandisa izvozvi.
Zvino ngatitangei.
Sezvandambotaura, iyi ichava retrospective, uye kuti titange pane imwe nzvimbo, ngatitorei muenzaniso wakajairika.
Tine basa rakafanana, tinoda kubvuma, kuchengeta uye kutumira mapikicha emushandisi. Mune iyi fomu, basa racho rakajairwa, tinogona kushandisa chero chinhu:
- yemazuva ano cloud storage,
- mhinduro yebhokisi, iyo kunewo yakawanda ikozvino;
- Tinogona kuseta michina yakati wandei munzvimbo yedu yedata toisa madhiraivha makuru paari uye tochengeta mafoto ipapo.
Badoo nhoroondo - zvese zvino uye zvakare (panguva iyo yakanga ichangotanga) - inogara pamaseva ayo, mukati meDC yedu. Naizvozvo, sarudzo iyi yaive yakatinakira.
Isu takangotora michina yakati wandei, tikavadaidza kuti "mafoto", uye isu takawana cluster inochengeta mafoto. Asi zvinoita sekuti pane chiri kushaikwa. Kuti zvese izvi zvishande, isu tinoda neimwe nzira kuona kuti ndeupi muchina watichachengeta iwo mafoto. Uye pano, zvakare, hapana chikonzero chekuvhura America.
Isu tinowedzera imwe ndima kune yedu yekuchengetedza neruzivo nezve vashandisi. Ichi chichava kiyi yekugovana. Kwatiri, takaidaidza kuti place_id, uye id yenzvimbo ino inonongedza kunzvimbo inochengetwa mafoto evashandisi. Isu tinogadzira mepu.
Padanho rekutanga, izvi zvinogona kuitwa nemaoko - isu tinoti foto yemushandisi ane nzvimbo yakadai ichamhara pane sevha yakadaro. Nekuda kwemepu iyi, tinogara tichiziva kana mushandisi akaisa foto, pekuisa, uye tinoziva kwekupa kubva.
Ichi chirongwa chisingakoshi, asi chine zvakanakira zvakakosha. Chekutanga ndechekuti zviri nyore, sekutaura kwandaita, uye chechipiri ndechekuti nemaitiro aya tinogona kuyera zvakachinjika nekungoendesa mota nyowani nekuwedzera pamepu. Iwe haufanirwe kuita chero chimwe chinhu.
Ndizvo zvazvaiva zvakaita kwatiri kwenguva yakati.
Izvi zvaive zvakapoteredza 2009. Vakaendesa mota, vakaendeswa...
Uye pane imwe nguva takatanga kuona kuti chirongwa ichi chine zvimwe zvipingamupinyi. Ndezvipi zvisingabatsiri?
Chokutanga pane zvose, pane simba rakaganhurirwa. Hatigone kurovera madhiraivha akawanda pane imwe sevha yemuviri sezvatinoda. Uye iri rave rimwe dambudziko nekufamba kwenguva uye nekukura kweiyo dataset.
Uye chechipiri. Uku kugadziridzwa kweatypical kwemichina, sezvo michina yakadai inonetsa kushandisa zvakare mune mamwe masumbu; iwo akanyatsojeka, i.e. vanofanira kunge vasina simba mukushanda, asi panguva imwe chete nehombe huru yedhirairi.
Izvi zvese zvaive zve2009, asi, mumusimboti, izvi zvinodiwa zvichiri kukosha nhasi. Isu tine retrospective, saka muna 2009 zvese zvaive zvakashata neizvi.
Uye poindi yekupedzisira ndiyo mutengo.
Mutengo wacho wakanga wakanyanya kukwira panguva iyoyo, uye taifanira kutsvaka dzimwe nzira. Avo. isu taida neimwe nzira kushandisa zvirinani zvese nzvimbo iri munzvimbo dzedata uye maseva emuviri pane zvese izvi zviripo. Uye mainjiniya edu ehurongwa akatanga chidzidzo chikuru mavakaongorora boka rezvisarudzo zvakasiyana. Ivo zvakare vakatarisa kune akaunganidzwa faira masisitimu akadai sePolyCeph uye Luster. Paive nematambudziko ekuita uye kushanda kwakaoma. Vakaramba. Takaedza kukwidza dataset rese kuburikidza neNFS pamotokari yega yega kuitira kuti neimwe nzira ikwire kumusoro. Kuverenga zvakare hakuna kunaka, takaedza mhinduro dzakasiyana kubva kune vakasiyana vatengesi.
Uye pakupedzisira, takagadzirisa kushandisa iyo inonzi Storage Area Network.
Aya maSHD makuru akagadzirirwa chaizvo kuchengetedza huwandu hwakawanda hwe data. Iwo masherufu ane madhisiki akaiswa pamashini ekupedzisira optical kubuda. Izvozvo. isu tine imwe mhando yedziva remakina, madiki, uye aya maSHD, ayo ari pachena kune yedu yekutumira pfungwa, i.e. kune yedu nginx kana chero ani zvake kuti ashumire zvikumbiro zvemifananidzo iyi.
Ichi chisarudzo chaiva nezvakanaka zviri pachena. Iyi ndiyo SHD. Yakanangana nekuchengeta mafoto. Izvi zvinoshanda zvakachipa pane kungoshongedza michina ine hard drive.
Chechipiri kuwedzera.
Izvi ndezvekuti kukwanisa kwave kwakakura zvikuru, i.e. tinokwanisa kugarisa chengetedzo yakawanda muvhoriyamu diki.
Asi paivewo nezvakashata zvakabuda nekukurumidza. Sezvo nhamba yevashandisi uye mutoro pane ino system yakakura, matambudziko ekuita akatanga kusimuka. Uye dambudziko riri pano riri pachena - chero SHD yakagadzirirwa kuchengetedza akawanda mafoto mudiki vhoriyamu, sekutonga, inotambura nekuverenga kwakanyanya. Izvi ndezvechokwadi kune chero kuchengetedza kwegore kana chimwe chinhu. Ikozvino isu hatina nzvimbo yekuchengetera yakanakira iyo inogona kukurumidza scalable, iwe unogona kuisa chero chinhu mairi, uye inogona kushivirira kuverenga zvakanyanya. Kunyanya kuverenga kwakasununguka.
Sezvinoita pamifananidzo yedu, nekuti mapikicha anokumbirwa zvisingaite, uye izvi zvinokanganisa zvakanyanya kuita kwavo.
Kunyangwe zvichienderana nenhamba dzemazuva ano, kana tikawana kumwe kunopfuura mazana mashanu RPS yemifananidzo pamushini wakabatanidzwa kuchengetedza, matambudziko atotanga. Uye zvakanga zvakashata zvakakwana kwatiri, nokuti nhamba yevashandisi iri kukura, zvinhu zvichatowedzera kuipa. Izvi zvinoda kuvandudzwa neimwe nzira.
Kuti tiwedzere, takasarudza panguva iyoyo, zviri pachena, kuti titarise iyo mutoro profile - chii, kazhinji, chiri kuitika, chii chinoda kugadziriswa.
Uye pano zvinhu zvose zvinotamba mumaoko edu.
Ndakatotaura mune yekutanga slide: isu tine zviuru makumi masere zvekuverenga zvikumbiro pasekondi ine chete 80 miriyoni uploads pazuva. Ndiko kuti, iyi mutsauko wemirairo mitatu yehukuru. Zviripachena kuti kuverenga kunoda kukwenenzverwa uye zviri pachena kuti sei.
Pane imwe pfungwa diki zvakare. Izvo chaizvo zvesevhisi ndezvekuti munhu anonyoresa, anoisa foto, obva atanga kushingairira kutarisa kune vamwe vanhu, saivo, uye anoshingairira kuratidzwa kune vamwe vanhu. Ipapo anowana wokuroorana naye kana kuti haawani wokuroorana naye, zvinoenderana nokuti zvinozofamba sei, uye orega kushandisa basa racho kwechinguva. Panguva ino, paanoishandisa, mapikicha ake ari kupisa zvakanyanya - ari kudiwa, vanhu vazhinji vanoaona. Paanongomira kuita izvi, nekukasira anodonha kubva mukuratidzwa zvakanyanya kune vamwe vanhu sezvaaimboita, uye mafoto ake anenge asina kumbokumbirwa.
Avo. Tine diki diki rinopisa dataset. Asi panguva imwe chete kune zvakawanda zvikumbiro kwaari. Uye mhinduro yakanyatsojeka pano ndeyekuwedzera cache.
Cache ine LRU inogadzirisa matambudziko edu ese. Tiri kuitei?
Isu tinowedzera imwe diki pamberi peboka redu rakakura rine kuchengetedza, iro rinonzi photocaches. Izvi zvinongori caching proxy.
Inoshanda sei kubva mukati? Heino mushandisi wedu, heino kuchengetedza. Zvose zvakafanana nekare. Chii chatinowedzera pakati?
Ingori muchina une dhisiki renzvimbo, iro rinokurumidza. Izvi zvine SSD, semuenzaniso. Uye imwe mhando yenzvimbo cache inochengetwa pane iyi diski.
Chakaita sei? Mushandisi anotumira chikumbiro chemufananidzo. NGINX inoitsvaga kutanga mune cache yemuno. Kana zvisiri, ingo pfuura proxy_pass kune yedu yekuchengetedza, dhawunirodha iyo foto kubva ipapo uye upe kumushandisi.
Asi uyu akanyanya kurambidza uye hazvizivikanwe zviri kuitika mukati. Inoshanda chinhu chakadai.
Iyo cache yakakamurwa zvine mutsindo muzvikamu zvitatu. Kana ini ndikati "matatu akaturikidzana", izvi hazvirevi kuti kune imwe mhando yehurongwa hwakaoma. Kwete, aya angori madhairekitori matatu mufaira system:
- Iyi ibuffer uko mafoto achangotorwa kubva kune proxy enda.
- Iyi cache inopisa inochengetedza mafoto ari kukumbirwa izvozvi.
- Uye inotonhora cache, uko mafoto anosundirwa zvishoma nezvishoma kubva mucheki inopisa kana zvikumbiro zvishoma zvichiuya kwavari.
Kuti izvi zvishande, isu tinofanirwa kubata iyi cache, isu tinofanirwa kurongedza mafoto mairi, nezvimwe. Iyi zvakare nzira yechinyakare.
Nginx inongonyorera ku RAMDisk access.log yechikumbiro chega chega, mairi inoratidza nzira inoenda kumufananidzo iyo yaakashanda parizvino (yehukama nzira, hongu), uye iyo kupatsanurwa kwayakaitwa. Avo. inogona kuti "mufananidzo 1" uyezve ingave buffer, kana inopisa cache, kana inotonhora cache, kana proxy.
Zvichienderana neizvi, isu tinoda neimwe nzira kusarudza zvekuita nemufananidzo.
Tine dhimoni diki rinomhanya pamushini wega wega unogara uchiverenga irogi uye chengetedza nhamba dzekushandiswa kwemamwe mafoto mundangariro dzayo.
Anongounganidza ipapo, anochengeta zviverengero uye nguva nenguva anoita zvinotevera. Anofamba achishingairira akakumbirwa mafoto, ayo ane akawanda zvikumbiro, kune inopisa cache, chero kwavanenge vari.
Mapikicha anokumbirwa kashoma uye akakumbirwa kashoma anosundirwa zvishoma nezvishoma kunze kwenzvimbo inopisa achipinda mune inotonhora.
Uye kana tapererwa nenzvimbo mune cache, isu tinongotanga kudzima zvese kubva kune inotonhora cache tisingasaruri. Uye nenzira, izvi zvinoshanda zvakanaka.
Kuti iyo foto iponeswe nekukasira kana ichiita proxy kune buffer, isu tinoshandisa iyo proxy_store dhairekitori uye iyo buffer iri zvakare RAMDisk, i.e. kune mushandisi inoshanda nekukurumidza. Izvi zvine chekuita nemukati meiyo caching server pachayo.
Mubvunzo wasara ndewe nzira yekugovera zvikumbiro pamaseva aya.
Ngatitii pane sumbu remakumi maviri ekuchengetera michina uye matatu caching maseva (ndiwo maitikiro azvakaita).
Isu tinofanirwa kuona neimwe nzira kuti ndezvipi zvikumbiro ndezvapi mapikicha uye kuti tozviisepi.
Iyo inonyanya kuzivikanwa sarudzo ndeye Round Robin. Kana kuti unozviita netsaona?
Izvi zviripachena zvine huwandu hwekuipa nekuti isu tinenge tichishandisa cache zvisingaite mumamiriro ezvinhu akadaro. Zvikumbiro zvichamhara pane mamwe machina asina kujairika: apa yakavharirwa, asi pane inotevera haisisipo. Uye kana izvi zvese zvikashanda, zvichave zvakaipa kwazvo. Kunyangwe nenhamba shoma yemichina musumbu.
Isu tinoda neimwe nzira tisingafungire kuti ndeipi server yekuisa chikumbiro chipi.
Pane banal nzira. Isu tinotora hashi kubva kuURL kana hashi kubva kune yedu sharding kiyi, iri muURL, uye tigoigovanisa nenhamba yemaseva. Zvichashanda? Will.
Avo. Tine chikumbiro che2%, semuenzaniso, kune imwe "example_url" inogara ichimhara pane sevha ine index "XNUMX", uye cache inogara ichiraswa zvakanyanya sezvinobvira.
Asi pane dambudziko nekugovana patsva muchirongwa chakadaro. Resharding - Ndinoreva kuchinja nhamba yemaseva.
Ngatifungei kuti caching cluster yedu haichakwanisa kurarama uye isu tinosarudza kuwedzera mumwe muchina.
Ngatiwedzere.
Iye zvino zvinhu zvose zvinoparadzaniswa kwete nevatatu, asi nevana. Saka, anenge ese makiyi ataimbova nawo, anenge ese maURL anogara pane mamwe maseva. Iyo cache yese yakavharwa kwechinguvana. Zvese zvikumbiro zvakawira pane yedu yekuchengetedza cluster, yakava isina kunaka, kutadza kwebasa uye vasingagutsikane vashandisi. Handidi kuita izvozvo.
Sarudzo iyi haitikodzeriwo.
Izvozvo. tinofanira kuitei? Isu tinofanira neimwe nzira kushandisa cache zvine hungwaru, kuisa chikumbiro chimwe chete pane imwechete server nguva nenguva, asi tichiramba kugovanazve. Uye kune mhinduro yakadaro, haisi iyo yakaoma. Inonzi consistent hashing.
Chakaita sei?
Isu tinotora rimwe basa kubva kune sharding kiyi uye tinoparadzira hunhu hwayo hwese padenderedzwa. Avo. padanho 0, hushoma hwayo uye huwandu hwakanyanya hunochinja. Tevere, tinoisa maseva edu ese padenderedzwa rimwe chete nenzira iyi:
Sevha yega yega inotsanangurwa nepoindi imwe, uye iyo chikamu chinoenda newachi kwairi, saizvozvo, inoshumirwa nemuenzi uyu. Kana zvikumbiro zvichiuya kwatiri, tinobva tangoona kuti, semuenzaniso, kukumbira A - ine hashi ipapo - uye inoshandiswa nevhavha 2. Chikumbiro B - nevhavha 3. Uye zvichingodaro.
Chii chinoitika mumamiriro ezvinhu aya panguva yekugoverazve?
Isu hatisi kukanganisa cache yese, sepakutanga, uye hatichinji makiyi ese, asi isu tinoshandura chikamu chimwe nechimwe chinhambwe kuitira kuti, tichitaura, sevha yedu yechitanhatu, yatinoda kuwedzera, ikwane munzvimbo yemahara, uye. tinozviwedzera ipapo.
Zvechokwadi, mumamiriro ezvinhu akadaro makiyi anobudawo. Asi vanobuda vasina simba kupfuura kare. Uye isu tinoona kuti makiyi edu maviri ekutanga akasara pamaseva avo, uye caching server yakachinja chete kune yekupedzisira kiyi. Izvi zvinoshanda nemazvo, uye kana ukawedzera mauto matsva nekuwedzera, saka hapana dambudziko rakakura pano. Iwe unowedzera uye kuwedzera zvishoma pane imwe nguva, kumirira kusvikira cache yazara zvakare, uye zvose zvinoshanda zvakanaka.
Mubvunzo chete unosara nekuramba. Ngatifungei kuti imwe mhando yemota haisi kurongeka.
Uye isu hatingadi kunyatso gadzira iyi mepu panguva ino, kuita chikamu checache, uye zvichingodaro, kana, semuenzaniso, muchina wakatangwazve, uye isu tinoda neimwe nzira zvikumbiro zvesevhisi. Isu tinongochengeta imwe backup yefoto cache pane yega saiti, inoita sekutsiva chero muchina uri pasi parizvino. Uye kana kamwe kamwe sevha yedu ikasavapo, traffic inoenda ikoko. Sezvineiwo, isu hatina chero cache ipapo, i.e. kuri kutonhora, asi zvirinani zvikumbiro zvemushandisi zviri kugadziriswa. Kana iyi iri nguva pfupi, saka tinozviwana zvakadzikama. Pane kungowanda mutoro pakuchengetedza. Kana nguva iyi yakareba, saka tinogona kutoita sarudzo - kubvisa iyi sevha kubva pamepu kana kwete, kana kuti pamwe kuitsiva neimwe.
Izvi ndezve caching system. Ngatitarisei mhinduro.
Zvingaita sekuti hapana chakaoma apa. Asi iyi nzira yekugadzirisa cache yakatipa hunyengeri hunosvika 98%. Avo. kunze kwezvikumbiro zviuru makumi masere pasekondi, 80 chete inosvika pakuchengetwa, uye uyu mutoro wakajairwa, vanotsungirira zvinyoronyoro, isu tinogara tine chengetedzo.
Isu takaisa maseva aya mumatatu eDC edu, uye takagamuchira mapoinzi matatu ekuvapo - Prague, Miami neHong Kong.
Izvozvo. ivo vanonyanya kana kushoma munharaunda kune imwe neimwe yemisika yedu yatinoda.
Uye sebhonasi yakanaka, isu tine iyi caching proxy, iyo iyo CPU inenge isingaite, nekuti haidiwe zvakanyanya kushandira zvirimo. Uye ipapo, tichishandisa NGINX + Lua, takaita zvakawanda zvekushandisa pfungwa.
Semuenzaniso, tinogona kuyedza webp kana jpeg inofambira mberi (aya mafomati echizvino-zvino anoshanda), toona maitiro ainoita traffic, kuita sarudzo, kuigonesa kune dzimwe nyika, nezvimwewo; gadzirisa saizi kana zvirimwa mafoto panhunzi.
Iyi ikesi yakanaka yekushandisa kana, semuenzaniso, uine nharembozha inoratidza mafoto, uye nharembozha haidi kutambisa CPU yemutengi pakukumbira foto hombe uye wozoisa saizi kune imwe saizi kuti isundire mukati. maonero. Isu tinogona kungotsanangura zvine simba mamwe maparamendi muUPort ane mamiriro URL, uye iyo cache yepikicha inogadzirisa foto pachayo. Sezvo mutemo, ichasarudza saizi yatinayo mumuviri pa diski, padyo sezvinobvira kune yakakumbirwa, uye inoitengesa mumakongisheni chaiwo.
Nenzira, takaita kuti mavhidhiyo akarekodhwa anowanikwa pachena emakore mashanu apfuura emusangano wevagadziri veakanyanya-mutoro masisitimu. . Tarisa, dzidza, govera uye unyore .
Isu tinogona zvakare kuwedzera yakawanda chigadzirwa logic ipapo. Semuenzaniso, tinogona kuwedzera mawatermark akasiyana tichishandisa URL paramita, isu tinokwanisa kublur, blur kana pixelate mafoto. Apa ndipo patinoda kuratidza mufananidzo wemunhu, asi isu hatidi kuratidza chiso chake, izvi zvinoshanda nemazvo, zvese zviri kuitwa pano.
Takawanei? Isu tine mapoinzi matatu ekuvapo, yakanaka yekunyepedzera mwero, uye panguva imwe chete isu hatina idle CPU pamakina aya. Iye zvino ava, chokwadika, anokosha kupfuura kare. Tinofanira kuzvipa motokari dzakasimba, asi zvakakodzera.
Izvi zvine chekuita nekudzoka kwemifananidzo. Zvose pano zvakajeka uye zviri pachena. Ndinofunga handina kuwana America, chero CDN inoshanda nenzira iyi.
Uye, zvichida, muteereri ane unyanzvi angave ane mubvunzo: sei usingaiti kungoshandura zvose kuCDN? Zvingave zvakafanana; ese emazuva ano maCDN anogona kuita izvi. Uye pane zvikonzero zvinoverengeka.
Yekutanga mapikicha.
Iyi ndiyo imwe yeakakosha mapoinzi ezvivakwa zvedu, uye isu tinoda kudzora kwakawanda pamusoro payo sezvinobvira. Kana iyi iri imwe mhando yemhinduro kubva kune wechitatu-bato mutengesi, uye iwe usina chero simba pamusoro payo, zvichave zvakakuomera iwe kuti ugare nayo kana uine hombe dataset, uye kana uine yakakura kwazvo kuyerera. zvezvikumbiro zvemushandisi.
Rega ndikupe muenzaniso. Zvino, nezvivakwa zvedu, isu tinogona, semuenzaniso, kana paine mamwe matambudziko kana pasi pevhu kugogodza, kuenda kumuchina uye nekukanganisa uko, tichitaura. Tinogona kuwedzera kuunganidzwa kwemamwe metrics atinongoda chete, tinogona kuyedza neimwe nzira, toona kuti izvi zvinokanganisa sei magirafu, zvichingodaro. Iye zvino huwandu hwakawanda huri kuunganidzwa pane iyi caching cluster. Uye isu nguva nenguva tinozvitarisa uye tinopedza nguva yakareba tichiongorora mamwe anomalies. Dai yaive kudivi reCDN, zvaizova zvakanyanya kuoma kudzora. Kana kuti, somuenzaniso, kana rudzi rwakati rwetsaona rukaitika, tinoziva chakaitika, tinoziva nzira yokurarama nayo uye nzira yokuchikurira nayo. Iyi ndiyo mhedziso yekutanga.
Yechipiri mhedziso ndeye zvakare pane nhoroondo, nekuti sisitimu yanga ichikura kwenguva yakareba, uye pakanga paine zvakawanda zvakasiyana bhizinesi zvinodiwa pamatanho akasiyana, uye hazviwanzo kukwana mune yeCDN pfungwa.
Uye pfungwa inotevera kubva kune yapfuura ndeye
Izvi zvinodaro nekuti pane mafoto cache isu tine yakawanda chaiyo logic, iyo isingagone kuwedzerwa nguva dzose pakukumbira. Hazvigoneki kuti chero CDN iwedzere zvimwe zvetsika zvinhu kwauri pakukumbira kwako. Semuenzaniso, encrypting URLs kana iwe usingade kuti mutengi akwanise kushandura chimwe chinhu. Iwe unoda here kushandura iyo URL pane sevha uye kuivharira, uye wozotumira mamwe ane simba paramita pano.
Izvi zvinoratidzei? Muchiitiko chedu, CDN haisi imwe nzira yakanaka.
Uye mune yako, kana uine chero chakananga bhizinesi chinodiwa, saka unogona kuita nyore kuita izvo zvandakakuratidza iwe pachako. Uye izvi zvichashanda zvakakwana neyakafanana mutoro profile.
Asi kana iwe uine imwe yemhando mhinduro, uye basa racho harina kunyatsojeka, unogona kutora CDN zvakachengeteka. Kana kana nguva uye zviwanikwa zvakakosha kwauri pane kutonga.
Uye maCDN emazuva ano ane zvinenge zvese zvandakuudza izvozvi. Kunze kwekuwedzera kana kubvisa zvimwe zvinhu.
Izvi ndezvekupa mafoto.
Ngatifambei mberi zvishoma mune yedu retrospective uye titaure nezve kuchengetedza.
2013 yakanga yapfuura.
Caching maseva akawedzerwa, matambudziko ekuita aenda. Zvese zvakanaka. Dataset iri kukura. Kubva muna 2013, takanga tine maseva makumi masere akabatana nekuchengetedza, uye angangoita makumi mana ekuchengetedza mune imwe neimwe DC. Iyi i80 terabytes yedata pane yega DC, i.e. nezve petabyte zvachose.
Uye nekukura kwedataset, mari yekushandisa yakatanga kukwira zvakanyanya. Izvi zvairevei?
Mumufananidzo uyu wakadhirowewa - ne SAN, ine michina uye cache zvakabatanidzwa kwairi - kune akawanda mapoinzi ekutadza. Kana isu takanga tatobata nekutadza kwe caching servers kare, zvinhu zvose zvaive zvakanyanya kana zvisingafanotaurika uye zvinonzwisisika, asi padivi rekuchengetedza zvinhu zvose zvakanga zvakanyanya kuipa.
Chekutanga, iyo Storage Area Network (SAN) pachayo, inogona kutadza.
Chechipiri, yakabatana kuburikidza neoptics kumashini ekupedzisira. Panogona kunge paine matambudziko nemakadhi optical uye spark plugs.
Ehe, hakuna akawanda awo senge neSAN pachayo, asi, zvisinei, aya zvakare mapoinzi ekukundikana.
Inotevera ndiyo muchina pachayo, iyo yakabatana nekuchengetedza. Inogonawo kukundikana.
Pakazara, isu tine mapoinzi matatu ekukundikana.
Kupfuurirazve, mukuwedzera kune mapoinzi ekukundikana, kune inorema kuchengetedza kwekuchengetedza pachayo.
Iyi yakaoma yakawanda-chikamu system, uye masisitimu mainjiniya anogona kuve nenguva yakaoma kushanda nawo.
Uye yekupedzisira, yakakosha pfungwa. Kana kutadza kukaitika pane chero yeaya mapoinzi matatu, isu tine isiri-zero mukana wekurasikirwa nemushandisi data nekuti iyo faira system inogona kuparara.
Ngatitii faira yedu system yatyoka. Kutanga, kupora kwayo kunotora nguva yakareba - inogona kutora vhiki nehuwandu hwakawanda hwe data. Uye chechipiri, mukupedzisira isu tingangopedzisira tave neboka remafaira asinganzwisisike ayo anozoda kubatanidzwa neimwe nzira kuita mushandisi mafoto. Uye isu tinokanganisa kurasikirwa nedata. Ngozi yacho yakanyanya. Uye kazhinji mamiriro ezvinhu akadaro anoitika, uye matambudziko mazhinji anomuka mune iyi ketani yese, inowedzera njodzi iyi.
Chimwe chinhu chaifanira kuitwa pamusoro peizvi. Uye isu takasarudza kuti isu tinongoda kuchengetedza data. Iyi ndiyo mhinduro iri pachena uye yakanaka. Taita sei?
Izvi ndizvo zvaitaridzika sevha yedu payakange yakabatana nekuchengetedza kare. Ichi ndicho chikamu chikuru, chingori chivharo chinomiririra gomo rekuchengetedza kure kuburikidza neoptics.
Tangowedzera chikamu chechipiri.
Takaisa chechipiri chekuchengetedza pedyo nayo (nerombo rakanaka, haisi iyo inodhura maererano nemari), uye yakadana iyo chikamu chekuchengetedza. Iyo zvakare yakabatana kuburikidza neoptics uye iri pamushini mumwe chete. Asi isu tinoda neimwe nzira kuwiriranisa iyo data pakati pavo.
Pano tinongoita mutsara weasynchronous padyo.
Haana kunyanya kubatikana. Tinoziva kuti hatina zvinyorwa zvakakwana. Mutsara ingori tafura muMySQL umo mitsara yakaita sekuti "iwe unofanirwa kutsigira iyi foto" yakanyorwa. Ne chero shanduko kana kurodha, isu tinokopa kubva pachikamu chikuru kuenda kubheji uchishandisa asynchronous kana imwe mhando yemushandi wekumashure.
Uye nokudaro isu tinogara tine zvikamu zviviri zvinowirirana. Kunyange kana chikamu chimwe chegadziriro ino chikakundikana, tinogona kugara tichishandura chikamu chikuru nekuchengetedza, uye zvose zvicharamba zvichishanda.
Asi nekuda kweizvi, mutoro wekuverenga unowedzera zvakanyanya, nekuti ... kuwedzera kune vatengi vanoverenga kubva muchikamu chikuru, nekuti ivo vanotanga kutarisa pamufananidzo ipapo (ichangopfuura ipapo), uye vozoitsvaga pane backup, kana vasina kuiwana (asi NGINX inongoita izvi), sisitimu yedu zvakare yekuwedzera backup ikozvino inoverenga kubva kune chikuru chikamu. Hakusi kuti uku kwaive bhodhoro, asi ini ndakanga ndisingadi kuwedzera mutoro, zvakanyanya, zvakadaro.
Uye isu takawedzera yechitatu dhisiki, inova SSD diki, ndokuidaidza kuti buffer.
Zvinoshanda sei manje.
Mushandisi anoisa mufananidzo kune buffer, ipapo chiitiko chinokandwa mumutsara chinoratidza kuti chinoda kukopwa muzvikamu zviviri. Inokopwa, uye iyo foto inogara pane buffer kwenguva yakati (ti, zuva), uye chete ipapo inocheneswa kubva ipapo. Izvi zvinovandudza zvakanyanya ruzivo rwemushandisi, nekuti mushandisi anorodha mufananidzo, sekutonga, zvikumbiro zvinotanga kutevera, kana iye pachake akavandudza peji uye akarizorodza. Asi zvese zvinoenderana nechishandiso chinoita kurodha.
Kana, semuenzaniso, vamwe vanhu vaakatanga kuzviratidza kwavari pakarepo vanotumira zvikumbiro mushure memufananidzo uyu. Haisati iri mu cache; chikumbiro chekutanga chinoitika nekukurumidza. Zvakanyanya zvakafanana nekubva kune foto cache. Kunonoka kuchengetedza hakubatanidzwe mune izvi zvachose. Uye kana zuva rakatevera racheneswa, rinogona kunge rakatochengetwa pane yedu caching layer, kana, kazhinji, hapana anoida zvakare. Avo. Chiitiko chemushandisi pano chakakura zvakanyanya nekuda kwemaitiro akareruka akadai.
Zvakanaka, uye zvakanyanya kukosha: isu takamira kurasikirwa nedata.
Tongoti takamira zvichibvira kurasikirwa nedata, nekuti isu hatina kurasikirwa nayo. Asi paiva nengozi. Tinoona kuti mhinduro iyi, hongu, yakanaka, asi yakafanana nekugadzirisa zviratidzo zvedambudziko, pane kuigadzirisa zvachose. Uye mamwe matambudziko anoramba aripo.
Chekutanga, iyi ipoindi yekutadza muchimiro chemuiti wenyama pachayo painomhanyirwa nemuchina uyu; haina kuenda.
Chechipiri, kuchine matambudziko neSAN, kuchengetedza kwavo kunorema, nezvimwe zvinosara. Kwakanga kusiri kuti chaive chinhu chakakosha, asi ndaida kuedza neimwe nzira kurarama ndisina.
Uye isu takagadzira yechitatu vhezheni (chaizvoizvo, yechipiri muchokwadi) - iyo yekuchengetera vhezheni. Zvakanga zvakaita sei?
Izvi ndizvo zvaive -
Zvinetso zvedu zvikuru ndezvechokwadi chokuti uyu muenzi wenyama.
Chekutanga, tiri kubvisa maSAN nekuti tinoda kuyedza, tinoda kuedza madhiraivha emunharaunda chete.
Izvi zvatova 2014-2015, uye panguva iyoyo mamiriro ane disks uye kukwanisa kwavo mune mumwe muenzi akava nani zvikuru. Takasarudza kuregedza kuzviedza.
Uye isu tinongotora yedu yekuchengetedza partition toiendesa kumuchina wakasiyana.
Nokudaro, tinowana mufananidzo uyu. Tine mota mbiri dzinochengeta madatasets akafanana. Vanotsigirana zvizere uye vanowiriranisa data pamusoro petiweki kuburikidza neasynchronous queue mune imwecheteyo MySQL.
Chikonzero nei izvi zvichishanda zvakanaka imhaka yekuti tine zvinyorwa zvishoma. Avo. dai kunyora kwakafananidzwa nekuverenga, pamwe taizove nerumwe rudzi rwetiweki pamusoro nematambudziko. Pane zvinyorwa zvishoma, kuverenga kwakawanda - iyi nzira inoshanda zvakanaka, i.e. Isu hatiwanzo kukopa mafoto pakati pemasevha maviri aya.
Izvi zvinoshanda sei, kana iwe ukatarisa zvishoma zvakadzama.
Upload. Iyo balancer inongo sarudza zvisingaite masheji ane maviri uye anoisa kwairi. Panguva imwecheteyo, anowanzoita macheki ehutano uye anoita kuti motokari irege kudonha. Avo. anorodha mafoto chete kuseva mhenyu, uyezve kuburikidza neasynchronous queue zvese zvinokopwa kumuvakidzani wake. Nekurodha zvese zviri nyore kwazvo.
Basa racho rakanyanya kuoma.
Lua akatibatsira pano, nekuti zvinogona kunetsa kuita logic yakadaro pavanilla NGINX. Isu tinotanga kuita chikumbiro kune yekutanga sevha, ona kana iyo foto iripo, nekuti zvingangodaro inogona kuiswa, semuenzaniso, kune muvakidzani, asi haisati yasvika pano. Kana mufananidzo uripo, zvakanaka. Isu tinobva taipa kune mutengi uye, pamwe, cache iyo.
Kana chisipo, tinongokumbira muvakidzani wedu uye tinovimbiswa kuchigamuchira kubva ikoko.
Izvozvo. zvakare tinogona kutaura: panogona kunge paine matambudziko nekuita, nekuti kune nguva dzose nzendo dzekutenderera - iyo foto yakaiswa, haisi pano, tiri kuita zvikumbiro zviviri pane imwe, izvi zvinofanirwa kushanda zvishoma nezvishoma.
Mumamiriro edu ezvinhu, izvi hazvishande zvishoma nezvishoma.
Isu tinounganidza boka remetrics pane ino system, uye iyo inomisikidzwa smart chiyero chemuchina wakadaro ingangoita 95%. Avo. Iyo lag yeiyi backup idiki, uye nekuda kweizvi isu takatovimbiswa, mushure mekunge foto yaiswa, tinoitora kekutanga uye hatizoendi chero kupi kaviri.
Saka ndezvipi zvimwe zvatinazvo zvakanyatsonaka?
Pakutanga, takanga tine chikamu chikuru chekuchengetedza, uye takaverenga kubva kwavari zvakatevedzana. Avo. Taigara tichitsvaga pane chikuru kutanga, uyezve pane backup. Kwaiva kufamba kumwe chete.
Iye zvino isu tinoshandisa kuverenga kubva kumichina miviri kamwechete. Isu tinogovera zvikumbiro tichishandisa Round Robin. Muchikamu chidiki chezviitiko tinoita zvikumbiro zviviri. Asi zvakazara, isu tave nekakapetwa kaviri kuverenga stock sezvataive tamboita. Uye mutoro wacho wakaderedzwa zvikuru zvose pamichina yekutumira uye zvakananga pamichina yekuchengetedza, iyo yataiva nayo panguva iyoyo.
Kana kuri kushivirira mhosva. Chaizvoizvo, izvi ndizvo zvatakanyanya kurwira. Nekushivirira kukanganisa, zvese zvakava zvakanaka pano.
Imwe motokari inofa.
Hapana dambudziko! A system engineer anogona kusatombomuka husiku, anomirira kusvika mangwanani, hapana chakaipa chichaitika.
Kana kunyangwe muchina uyu ukatadza, mutsara hausisina kurongeka, hapana matambudziko, irogi rinongotanga kuunganidzwa pamushini wekugara, uyezve rinozowedzerwa kumutsara, uyezve kumota iyo tanga kushanda mushure menguva yakati.
Chinhu chimwe chete nekugadzirisa. Isu tinongodzima imwe yemichina, toiburitsa nemaoko kubva mumadziva ese, inomira kugamuchira traffic, tinoita imwe mhando yekugadzirisa, isu tinogadzirisa chimwe chinhu, tozodzosera kubasa, uye iyi backup inobata nekukurumidza. Avo. pazuva, kuderera kwemotokari imwe kunosvika mukati memaminitsi mashoma. Izvi zvishoma chaizvo. Nekushivirira kukanganisa, ndinoti zvakare, zvese zvinotonhorera pano.
Ndedzipi mhedziso dzinogona kutorwa kubva muchirongwa ichi chekuregererwa?
Tine fault tolerance.
Easy kushandisa. Sezvo michina iine madhiraivha emunharaunda, izvi zviri nyore zvakanyanya kubva pakuona kwekushanda kune mainjiniya anoshanda nawo.
Takagamuchira mvumo yekuverenga kaviri.
Iyi ibhonasi yakanaka kwazvo mukuwedzera kune kukanganisa kushivirira.
Asi panewo matambudziko. Iye zvino isu tine yakanyanya kuomarara kukura kwemamwe maficha ane hukama neizvi, nekuti sisitimu yave 100% pakupedzisira inowirirana.
Tinofanira, toti, mune rimwe basa rekumashure, tichigara tichifunga: "Ndeipi sevha yatiri kushandira izvozvi?", "Pane mufananidzo wazvino here?" etc. Izvi, hongu, zvese zvakaputirwa, uye kune iyo programmer inonyora bhizinesi logic, zviri pachena. Asi, zvisinei, iyi yakakura yakaoma layer yakaonekwa. Asi isu takagadzirira kushivirira izvi mukutsinhana nezvakanaka zvatakagamuchira kubva kwazviri.
Uye pano zvakare kumwe kukakavara kunomuka.
Ndakataura pekutanga kuti kuchengeta zvese pama hard drive eko kwakaipa. Uye zvino ndinoti takazvifarira.
Hongu, zvechokwadi, nekufamba kwenguva mamiriro acho akachinja zvakanyanya, uye ikozvino nzira iyi ine zvakawanda zvakanakira. Chekutanga, tinowana mashandiro ari nyore.
Chechipiri, inogadzira zvakanyanya, nekuti isu hatina aya maotomatiki anodzora kana makubatanidza kune disk masherufu.
Pane huwandu hukuru hwemichina ipapo, uye aya angori mashoma madhisiki akaunganidzwa pano pamushini mukupambwa.
Asi panewo zvazvakaipira.
Izvi zvinodhura zvakapetwa ka1,5 pane kushandisa maSAN kunyangwe nemitengo yanhasi. Naizvozvo, takasarudza kusashinga kushandura sumbu redu rose rakakura kuita mota dzine madhiraivha emunharaunda uye takasarudza kusiya mhinduro yakasanganiswa.
Hafu yemichina yedu inoshanda nemadhiraivha akaomarara (zvakanaka, kwete hafu - pamwe makumi matatu muzana). Uye mamwe ese imota dzekare dzaimbove nekutanga kuchengetedza chirongwa. Isu takangoadzoreredza, sezvo isu taisada data nyowani kana chero chimwe chinhu, isu takangotamisa mamoiri kubva kune mumwe wenyama anotambira kune maviri.
Uye iye zvino tine zvakawanda zvokuverenga, uye takazviwedzera. Kana pakutanga takaisa imwe chengetedzo pamushini mumwe, ikozvino tinokwira mana, semuenzaniso, pane imwe peya. Uye inoshanda zvakanaka.
Ngatitorei muchidimbu zvatakaita, zvatakarwira, uye kuti takabudirira here.
Migumisiro
Tine vashandisi - vanosvika mamirioni makumi matatu nematatu.
Tine mapoinzi matatu ekuvapo - Prague, Miami, Hong Kong.
Izvo zvine caching layer, iyo ine mota dzine fast local disks (SSDs), iyo iri nyore michina kubva kuNGINX, yayo access.log uye Python daemons inomhanya, iyo inogadzirisa zvese izvi uye inogadzirisa cache.
Kana uchida, uri mupurojekiti yako, kana mapikicha asina kukukoshera sezvaari kwatiri, kana kana kutengeserana-kune kudzora kunopesana nekumhanya kwekusimudzira uye mutengo wezvekushandisa uri kune rimwe divi kwauri, saka unogona kutsiva zvakachengeteka. neCDN, maCDN emazuva ano vanoita zvakanaka.
Tevere kunouya dura rekuchengetedza, patine masumbu emaviri emakina anotsigira mumwe nemumwe, mafaera anokopwa asynchronously kubva kune imwe kuenda kune imwe pese paanochinja.
Uyezve, mamwe emakina aya anoshanda nemadhiraivha emunharaunda.
Mimwe yemichina iyi yakabatana nemaSAN.
Uye, kune rumwe rutivi, zviri nyore kushandisa uye zvishoma kubereka, kune rumwe rutivi, zviri nyore maererano nekuisa density uye mutengo pagigabyte.
Iyi ndiyo pfupiso pfupi yezvivakwa zvezvatakawana uye kuti zvakagadzirisika sei.
Mamwe matipi mashoma kubva kumutungamiriri, ari nyore kwazvo.
Kutanga, kana iwe ukaerekana wafunga kuti iwe nekukurumidza unoda kuvandudza zvese zviri mumapikicha ako, tanga kuyera, nekuti pamwe hapana chinoda kuvandudzwa.
Rega ndikupe muenzaniso. Tine boka remakina anotumira mafoto kubva kune zvakabatanidzwa muchats, uye chirongwa ichi chave kushanda ipapo kubva 2009, uye hapana ari kutambura nacho. Munhu wese akanaka, munhu wese anoda zvese.
Kuti uenzanise, tanga warembera boka remamita, tarisa kwavari, uye sarudza zvausingafari nazvo uye zvinoda kuvandudzwa. Kuti tiyere izvi, tine chishandiso chinotonhorera chinonzi Pinba.
Zvinokutendera kuti utore huwandu hwakadzama kubva kuNGINX kune yega yega chikumbiro uye mhinduro makodhi, uye kugovera nguva - chero chaunoda. Iyo ine zvisungo kune ese marudzi akasiyana eanalytics masisitimu, uye ipapo iwe unogona kuzvitarisa zvese zvakanaka.
Kutanga takaiyera, tozoivandudza.
Uyezve. Isu tinokwenenzvera kuverenga necache, tichinyora nesharding, asi iyi ipfungwa iri pachena.
Uyezve. Kana iwe uchangotanga kuvaka system yako, saka zviri nani kugadzira mafoto semafaira asingachinjike. Nekuti iwe unobva warasikirwa nekirasi yese yezvinetso nekusabvumirwa kwecache, nemabatiro anofanirwa kuwana iyo chaiyo vhezheni yemufananidzo, zvichingodaro.
Ngatiti iwe wakarodha zana, wobva waitenderedza, gadzira kuti ive faira rakasiyana. Avo. hapana chikonzero chekufunga: ikozvino ndichachengetedza nzvimbo shoma, inyore kune imwechete faira, shandura shanduro. Izvi nguva dzose hazvishande zvakanaka uye zvinokonzera kuwanda kwemusoro gare gare.
Next point. About resize panhunzi.
Pakutanga, vashandisi pavakaisa mufananidzo, isu takabva tangocheka boka rose rehukuru hwezviitiko zvese, zvevatengi vakasiyana, uye vese vaive padhisiki. Zvino isu takasiya izvi.
Takasiya matatu makuru saizi: madiki, epakati uye makuru. Isu tinongodzikisira zvimwe zvese kubva kuhukuru huri kuseri kweiyo yatakakumbirwa kuUport, tinongoita iyo yakaderera toipa kumushandisi.
Iyo CPU yeiyo caching layer pano inoshanduka kuve yakachipa zvakanyanya kupfuura kana isu tikaramba tichigadzira saizi aya pane imwe neimwe yekuchengetedza. Ngatitii tinoda kuwedzera imwe nyowani, izvi zvinotora mwedzi - mhanyisa script kwese uko kwaizoita zvese izvi zvakanaka, pasina kuparadza cluster. Avo. Kana iwe uine mukana wekusarudza ikozvino, zviri nani kuita mashoma emuviri saizi sezvinobvira, asi kuitira kuti zvimwe kugovera kuri, toti, matatu. Uye zvimwe zvese zvinogona kungogadziriswa panhunzi uchishandisa akagadzirira-akagadzirwa mamodule. Zvese zviri nyore uye zviri kuwanikwa izvozvi.
Uye kuwedzera asynchronous backup yakanaka.
Sezvatakaratidza maitiro edu, chirongwa ichi chinoshanda zvakanaka nekunonoka kukopa mafaera akachinjwa.
Pfungwa yekupedzisira iri pachena zvakare. Kana hupfumi hwako husina matambudziko akadaro ikozvino, asi pane chimwe chinhu chinogona kuputsa, chichaputsika kana chikava zvishoma. Naizvozvo, zviri nani kufunga nezvazvo pachine nguva uye kusasangana nematambudziko nazvo. Ndizvo chete zvandaida kutaura.
contactsGoogle
Β»
Β»
Chirevo ichi chinyorwa cheimwe yeakanakisa hurukuro pamusangano wevagadziri veyakanyanya-mutoro masisitimu . Kwasara isingasviki mwedzi kusvika pamusangano weHighLoad++ 2017.
Tatova nayo yakagadzirira , purogiramu iye zvino iri kuumbwa zvakasimba.
Gore rino tinoenderera mberi nekuongorora musoro wezvivakwa uye kuyera:
- / Igor Vasiliev
- / Dmitry Egorov
- / Anatoly Plaskovsky
- / Roman Shekhovtsov, Alexey Gromatchikov
- / Philip Delgado
Isu tinoshandisawo zvimwe zvezvinhu izvi mune yedu online kudzidziswa kosi pakugadzira yakakwira-mutoro masisitimu iketani yemavara akasarudzwa, zvinyorwa, zvinhu, mavhidhiyo. Bhuku redu rinotove nezvinodarika makumi matatu zvakasiyana zvekushandisa. Connect!
Source: www.habr.com