Gach lá, féachann na milliúin lucht féachana físeáin ar an Idirlíon. Ach le go mbeidh an físeán ar fáil, ní mór é a uaslódáil ní hamháin ar an bhfreastalaí, ach é a phróiseáil freisin. Dá tapúla a tharlaíonn sé seo, is amhlaidh is fearr don tseirbhís agus dá húsáideoirí.
Askar Kamalov is ainm dom, bliain ó shin chuaigh mé isteach i bhfoireann teicneolaíochta físeán Yandex. Inseoidh mé go hachomair inniu do léitheoirí Habr faoi conas, trí chomhthreomharú a dhéanamh ar an bpróiseas ionchódaithe, gur éirigh linn seachadadh físeáin chuig an úsáideoir a bhrostú go suntasach.
Beidh an post seo ina ábhar spéise go príomha dóibh siúd nár smaoinigh roimhe seo ar cad a tharlaíonn faoi chochall na seirbhísí físeáin. Sna tuairimí is féidir leat ceisteanna a chur agus topaicí a mholadh do phoist amach anseo.
Cúpla focal faoin tasc féin. Ní hamháin go gcabhraíonn Yandex leat físeáin a chuardach ar shuíomhanna eile, ach déanann sé físeáin a stóráil dá sheirbhísí féin. Cibé an clár bunaidh é nó cluiche spóirt ar an aer, scannán ar KinoPoisk nó físeáin ar Zen agus News - déantar é seo ar fad a uaslódáil chuig ár bhfreastalaithe. Chun gur féidir le húsáideoirí féachaint ar an bhfíseán, ní mór é a ullmhú: a thiontú go dtí an fhormáid riachtanach, réamhamharc a chruthú, nó fiú a rith tríd an teicneolaíocht . Tógann comhad neamhullmhaithe suas spás. Thairis sin, táimid ag caint ní hamháin faoi úsáid optamach crua-earraí, ach freisin faoi luas seachadta ábhar d'úsáideoirí. Sampla: is féidir taifead de mhóimint chinniúnach chluiche haca a chuardach laistigh de nóiméad tar éis an imeachta féin.
Ionchódú seicheamhach
Mar sin, braitheann sonas an úsáideora go mór ar cé chomh tapa agus a chuirtear an físeán ar fáil. Agus déantar é seo a chinneadh go príomha ag an luas traschódaithe. Nuair nach bhfuil aon cheanglais dhian ann maidir le luas uaslódáil físeáin, níl aon fhadhbanna ann. Glacann tú comhad amháin, doroinnte, a thiontú, agus é a uaslódáil. Ag tús ár dturas, seo mar a d’oibrigh muid:
Uaslódálann an cliant an físeán chuig an stóráil, bailíonn an chomhpháirt Anailíseoir faisnéis meta agus aistríonn sé an físeán chuig an gcomhpháirt Oibrí le haghaidh comhshó. Déantar gach céim go seicheamhach. Sa chás seo, is féidir go leor freastalaithe ionchódaithe a bheith ann, ach níl ach duine amháin gnóthach ag próiseáil físeán ar leith. Léaráid shimplí, thrédhearcach. Seo nuair a thagann deireadh lena buntáistí. Ní féidir an scéim seo a scála ach go hingearach (mar gheall ar fhreastalaithe níos cumhachtaí a cheannach).
Ionchódú seicheamhach le toradh idirmheánach
Chun an fanacht pianmhar a réiteach ar bhealach éigin, tháinig an tionscal suas le rogha códaithe tapa. Tá an t-ainm míthreorach, mar i ndáiríre, tarlaíonn códú iomlán go seicheamhach agus tógann sé chomh fada. Ach le toradh idirmheánach. Seo é an smaoineamh: ullmhaigh agus foilsigh leagan ísealtaifigh den fhís chomh tapa agus is féidir, agus gan ach ansin leaganacha ardtaifigh.
Ar thaobh amháin, cuirtear físeán ar fáil níos tapúla. Agus tá sé úsáideach le haghaidh imeachtaí tábhachtacha. Ach ar an láimh eile, iompaíonn an pictiúr doiléir, agus cuireann sé seo as do lucht féachana.
Tarlaíonn sé go gcaithfidh tú ní hamháin an físeán a phróiseáil go tapa, ach freisin a cháilíocht a chothabháil. Is é seo a bhfuil súil ag úsáideoirí ó sheirbhís físeáin anois. D’fhéadfadh sé a bheith cosúil gur leor na freastalaithe is táirgiúla a cheannach (agus iad a uasghrádú go rialta ag an am céanna). Ach is deireadh marbh é seo, toisc go bhfuil físeán ann i gcónaí a chuirfidh moill ar na crua-earraí is cumhachtaí fiú.
Ionchódú comhthreomhar
Tá sé i bhfad níos éifeachtaí fadhb chasta a roinnt ina go leor cinn nach bhfuil chomh casta agus iad a réiteach go comhthreomhar ar fhreastalaithe éagsúla. Seo MapReduce le haghaidh físeáin. Sa chás seo, nílimid teoranta ag feidhmíocht freastalaí amháin agus is féidir linn scála go cothrománach (trí mheaisíní nua a chur leis).
Dála an scéil, níl rún áirithe ag an smaoineamh físeáin a roinnt i bpíosaí beaga, iad a phróiseáil go comhthreomhar agus iad a ghluáil le chéile. Is féidir leat teacht ar go leor tagairtí don chur chuige seo (mar shampla, ar Habré molaim post faoin tionscadal ). Ach ní dhéanann sé seo níos éasca ar an iomlán, mar ní féidir leat réiteach réidh a ghlacadh agus é a thógáil isteach i do theach. Ní mór dúinn ár mbonneagar, ár bhfíseán agus fiú ár n-ualach a oiriúnú. Go ginearálta, tá sé níos éasca do chuid féin a scríobh.
Mar sin, san ailtireacht nua, roinneamar an bloc Oibrí monolithic le códú seicheamhach i microservices Deighleog, Tcoder, Combiner.
- Briseann deighleog an físeán ina blúirí de thart ar 10 soicind. Cuimsíonn blúirí de GOP amháin nó níos mó (). Tá gach GOP neamhspleách agus ionchódaithe ar leithligh ionas gur féidir é a dhíchódú gan tagairt a dhéanamh do fhrámaí ó GOPanna eile. Is é sin, is féidir blúirí a imirt go neamhspleách ar a chéile. Laghdaíonn an bearrtha seo latency, rud a ligeann don phróiseáil tosú níos luaithe.
- Próiseálann Tcoder gach blúire. Tógann sé tasc ón scuaine, íoslódálann sé blúire ón stóras, ionchódaíonn sé i rúin éagsúla é (cuimhnigh gur féidir leis an imreoir leagan a roghnú bunaithe ar an luas ceangail), ansin cuireann sé an toradh ar ais sa stóráil agus marcáilíonn sé an blúire mar a phróiseáiltear é sa bhunachar sonraí. Tar éis na blúirí go léir a phróiseáil, seolann Tcoder an tasc chun torthaí a ghiniúint don chéad chomhpháirt eile.
- Bailíonn Combiner na torthaí le chéile: íoslódálann sé na blúirí go léir a rinne Tcoder, gineann sé sruthanna le haghaidh rúin éagsúla.
Cúpla focal faoi fuaime. Tá gné míthaitneamhach ag an gcód fuaime AAC is coitianta. Má ionchódaíonn tú blúirí ar leithligh, ní bheidh tú in ann iad a ghliúáil le chéile gan uaim. Beidh aistrithe faoi deara. Níl an fhadhb seo ag codecs físe. Go teoiriciúil, is féidir leat réiteach teicniúil casta a lorg, ach níl an cluiche seo fiú an choinneal go fóill (tá meáchan fuaime i bhfad níos lú ná físeáin). Dá bhrí sin, níl ach an físeán ionchódaithe go comhthreomhar, agus déantar an rian fuaime ar fad a phróiseáil.
Torthaí
A bhuí le próiseáil físe chomhthreomhar, tá laghdú suntasach déanta againn ar an moill idir físeán a uaslódáil chugainn agus a bheith ar fáil d’úsáideoirí. Mar shampla, roimhe seo d’fhéadfadh sé dhá uair an chloig a ghlacadh roinnt leaganacha iomlána de cháilíocht dhifriúil a chruthú do scannán FullHD a mhair uair go leith. Anois tógann sé seo go léir 15 nóiméad. Thairis sin, le próiseáil chomhthreomhar, cruthaímid leagan ardtaifigh fiú níos tapúla ná leagan íseal-réitigh leis an sean-chur chuige toradh idirmheánach.
Agus rud amháin eile. Leis an sean-chur chuige, ní raibh go leor freastalaithe ann, nó bhí siad díomhaoin gan tascanna. Ceadaíonn códú comhthreomhar leat an sciar den athchúrsáil iarainn a mhéadú. Anois tá ár mbraisle de níos mó ná míle freastalaí i gcónaí gnóthach le rud éigin.
Go deimhin, tá spás le feabhsú fós. Mar shampla, is féidir linn am suntasach a shábháil má thosaímid ag próiseáil blúirí den fhíseán sula dtagann sé chugainn ina iomláine. Mar a deir siad, níos mó le teacht.
Scríobh sna tuairimí cad iad na tascanna sa réimse oibre le físeáin ar mhaith leat léamh fúthu.
Naisc úsáideacha le taithí comhghleacaithe sa tionscal
Foinse: will.com