2020an aurkeztutako Huawei Enterprise soluzio moderno guztien ikuspegi orokorra hartu ondoren, ideia eta produktu indibidualei buruzko istorio zehatzagoetara pasatzen gara, enpresa handien zein gobernu agentzien eraldaketa digitalaren oinarri izan daitezkeenak. Gaur Huawei datu-zentroak eraikitzeko proposatzen dituen kontzeptu eta teknologiei buruz ari gara.
Konektatutako munduaren garaian, datuak biltegiratzeko eta prozesatzeko erronkek ikuspegi berriak behar dituzte datu-zentroaren bizi-zikloaren fase guztietan. Aldi berean, sinpleagoak eta adimentsuak bihurtu behar dira ekonomia digital globalaren azpiegituraren elementu zentral gisa duten eginkizunari aurre egiteko.
2018an, gizateriak 33 zettabyte informazio gorde zituen, baina 2025erako bere bolumen osoa bost aldiz baino gehiago handitu beharko litzateke. IKT azpiegituren garapenean hiru hamarkadako esperientziari esker, Huawei-i gero eta handiagoa den "datuen tsunamiari" aurre egiteko eta bere bazkideei eta bezeroei datu-zentro adimendun baten kontzeptua eskaintzeko aukera eman die, bere eraikuntza, funtzionamendu eta mantentze-fase guztiak barne. Kontzeptu honen elementuak HiDC izen orokorrean batzen dira.
Digitalizatu
Txantxa berri bat dabil Interneten: nork azkartu zuen gehien zure enpresaren eraldaketa digitala - CEO, CTO, administrazio kontseilua? Koronabirusaren epidemia! Alferrak bakarrik ez du webinarrik egiten, ez du artikulurik idazten, ez dio jendeari nola eta zer egin behar duen esaten. Baina hauek guztiak ekintza erreaktiboak dira. Batzuk aldez aurretik prestatuta.
Ez harrotzeko mesedetan - arrazoi objektiboak direla medio, gure enpresa erabiliko dugu adibide gisa, eraldaketa digitala duela zenbait urte eskala handian hasi baitzen. Gaur egun, gure langile ia guztiak etxetik lanera eraman ditzakegu eraginkortasunik gabe. Wuhan hirian hamar egunetan eraikitako ospitale baten istorioa adierazgarria da. Bertan, eraldaketa digitala sistema informatiko guztiak hiru egunetan zabaldu zirela agertu zen. Beraz, eraldaketa digitala ez da “noiz” eta “zergatik”, “nola” baizik.
Planteamendu arkitektonikoa garapen espontaneoaren ordez
Zeintzuk dira sistema jakin bat eraikitzen hasten garenean aurrean ditugun arazo nagusiak? Orain arte, gure bezero guztiek negozio-zerbitzuak aplikazio-zerbitzuekin eta IT soluzioekin konbinatzeko moduan lan egiten dute. Konplexu horren funtzionamenduaren ideia orokorra lortzea nahiko zaila da hainbat bloke gehituz sortu bada. Eta sistema bat organismo bakar gisa eraikitzeko, lehenik eta behin arkitektura ikuspegia beharrezkoa da. Hau da gure HiDC irtenbidearen ideologian gorpuzten genuena.
Gehieneko balioa eta gutxieneko kostua
HiDC egitura osoa bi xerra nagusiz osatuta dago. Lehenengoa Huawei-tik ikusten ohi duzuna da - azpiegitura klasikoa. Bigarren zatiko elementuak errazen konbinatzen dira "datu adimendunak" terminoarekin.
Zergatik da beharrezkoa? Gaur egun, enpresa askok informazio-kopuru izugarria pilatzen dute, askotan sakabanatuta edo eskura daitezke hainbat "juntadura" motaren bidez. Bai, hartu gutxienez datu-base arruntak. Galdetu datu-baseen administratzaileei datu-base hauek nola egokitzen diren eta nola erabili haien informazioa BI sistemetan negozio-erabakiak hartzeko. Harrigarria bada ere, datu-baseak elkarren artean oso modu baxuan lotuta egon ohi dira eta "uharte" bereizi gisa funtzionatzen dute. Hori dela eta, lehenik eta behin, arazo hori zein arkitektura planteamenduk desagerrarazi dezaketen pentsatu dugu.
HiDC Arkitektura Diseinuaren Printzipioak
Ikus ditzagun HiDC diseinuaren oinarrizko printzipioak. Hau, batez ere, erabilgarria izango da ez arlo jakin bateko espezialistentzat, baizik eta panorama osoa har dezaketen irtenbide arkitektoentzat.
Ohikoenak sare konbergenteen blokea eta datuen kudeaketa blokea dira. Eta horra hor irtenbide-arkitektuek gutxitan pentsatzen duten kontzeptu bat: datuen bizi-zikloaren kudeaketa. Datu-base klasikoetatik, beste sistema askotara migratu da, hodeiko eta ertzetako informatika barne.
Edge computing gero eta ohikoagoa da. Horien erabileraren adibiderik nabarmenena pilotu automatikoa duen autoa da, plataforma bakar batetik kontrolatzea komeni dena. Horrez gain, teknologia "berdeetarako" joera dago - energia eraginkorragoa, ingurumenari kalte minimoa eraginez. Biak lor ditzakezu baliabide intelektualetara aldatuz (geroago gehiago).
Oso ona da HiDC egiturako sei blokeak eskura izatea. Egia da, bezeroek sarritan aldez aurretik sortutako ingurune batean lan egiten dute. Hala ere, goiko diagramako bloke bat erabiltzeak fruituak eman ditzake. Eta bigarren, hirugarren eta abar gehitzen badituzu, efektu sinergiko bat agertzen hasiko da. Sarearen eta biltegiratze banatuaren konbinazioak errendimendu handiagoa eta latentzia txikiagoa emango du. Blokeen ikuspegiari esker, ez garatzeko modu kaotikoan, industrian askotan gertatzen den bezala, ikuspegi arkitektoniko integratua erabiliz baizik. Bada, blokeen irekierak askatasuna ematen du irtenbide optimoa aukeratzeko.
Sare konbergenteen garaia
Azkenaldian, merkatu globalean eta Errusian, sare konbergenteen kontzeptua gero eta gehiago sustatzen ari gara. Dagoeneko, gaur egun, gure bezeroek RoCEv2-n (RDMA over Converged Ethernet v2) oinarritutako soluzio konbergetuak erabiltzen ari dira software banatutako biltegiratze sistemak eraikitzeko. Ikuspegi honen abantaila nagusia irekitasuna eta sare ezberdinen kopuru mugagabea sortzeko beharrik eza da.
Zergatik ez zen hori egin aurretik? Gogoratu Ethernet estandarra 1969an garatu zela. Mende erdian zehar, arazo asko pilatu ditu, baina Huawei-k konpontzen ikasi du. Orain, urrats gehigarri batzuei esker, Ethernet erabil dezakegu misio kritikoko aplikazioetarako, karga handiko soluzioetarako, etab.
DCNtik DCIra
Hurrengo joera garrantzitsua DCI (Data Center Interconnect) ezartzearen efektu sinergikoa da. Errusian, Txinan ez bezala, telekomunikazio operadoreekin bakarrik aurki daiteke antzeko zerbait. Bezeroek datu-zentrorako sareko irtenbideak kontuan hartzen dituztenean, normalean ez diote arreta nahikorik ematen sare optikoen eta IP soluzio klasikoen integrazio sakonari presentzia puntu bakarrean. IP geruzan lan egiten duten soluzio ezagunak erabiltzen dituzte, eta hori nahikoa da.
Zertarako da orduan DCI? Imajinatu DWDM nodo-administratzaileak eta sare-administratzaileak modu independentean jokatzen dutela. Noizbait, horietako batean hutsegiteak zure erresilientzia larriki murriztu dezake. Eta sinergiaren printzipioa erabiltzen badugu, IP bideratzea sare optikoan gertatzen dena kontuan hartuta egiten da. Halako zerbitzu adimentsu baten erabilerak nabarmen handitzen du bederatziren kopurua sistema osoaren erabilgarritasun mailan.
Gure DCIren beste abantaila larri bat bere errendimendu-marjina handia da. C eta L tarteen gaitasunak laburbilduz, 220 lambda inguru lor ditzakezu. Erreserba hori nekez agortuko da bezero korporatibo handi batek ere, gaur egungo irtenbideak lambda bakoitzaren bidez 400 Gbit/s-ra igortzea ahalbidetzen duelako. Etorkizunean, ekipo berean 800 Gbit/s lortzea posible izango da.
Erosotasun gehigarria interfaze klasiko irekien bidez ematen dugun kudeagarritasun orokorrak eskaintzen du. NETCONF-ek etengailuak ez ezik, multiplex optikoko gailuak ere kudeatzen ditu, eta horri esker, maila guztietan konbergentzia lortu eta sistema baliabide intelektual gisa hautematen da, eta ez "kutxa multzo bat".
Edge computing gero eta garrantzitsuagoa da
Jende askok Edge Computing-en berri izan du. Eta hodeiko eta datu-zentro klasikoetan parte hartzen dutenek kontuan izan behar dute azkenaldian aldaketa larria ikusi dugula ertzetako informatikarako.
Zerk eragiten du hau? Ikus ditzagun ohiko hedapen-ereduak. Gaur egun asko hitz egiten da “hiri adimendunak”, “etxe adimendunak”... Kontzeptu horri esker, sustatzaileari balio erantsia sortu eta etxebizitzaren prezioa igo daiteke. "Etxe adimendun" batek bere bizilaguna identifikatzen du, sartzen eta ateratzen uzten dio eta zenbait zerbitzu eskaintzen dizkio. Estatistiken arabera, horrelako zerbitzuek % 10-15 inguru gehitzen diote apartamentuen prezioari eta, oro har, negozio eredu berrien garapena bultza dezakete. Gainera, dagoeneko esan da pilotu automatikoaren kontzeptuei buruz. Laster, 5G eta Wi-Fi 6 teknologien garapenak oso latentzia baxua emango du etxe adimendunen, autoen eta ertzeko informatika egiten duten datu-zentro nagusien artean datu-transferentziarako. Horrek esan nahi du datuen tratamendu serioarekin lotutako eragiketa kopuru askoz handiagoa egin ahal izango dela. Arazo horiek konpontzeko, bereziki, Errusiari dagoeneko hornitutako prozesadore neuronalak erabil daitezke.
Azaldu berri dugun joeraren promesa ukaezina da. Imajina dezagun, adibidez, hiri-garraioa kudeatzeko sistema adimendun bat, semaforoak aldatzeko, kale zehatzetako trafiko-zama erregulatzeko, edota larrialdietan neurri egokiak hartzeko gai dena.
Goazen orain HiDC kontzeptuaren ezarpena eskaintzen dugun baliabideetara.
Informatika
Informatika-sistema estandar bat ezarri behar dugunean, x86 arkitektura duten prozesadoreak erabiltzen dira, noski. Baina pertsonalizazio beharra sortu bezain laster, irtenbide anitzagoak pentsatzeko garaia da.
Esaterako, ARM prozesadoreak, nukleo kopuru handia dela eta, oso pareko aplikazioetarako bikainak dira. Multithreading-ak % 30 inguruko errendimendu-irabazia ematen du.
Latentzia baxua kritikoa denean, eremuko zirkuitu integratu logiko programagarriak (FPGA) lehen lerroan jartzen dira.
Prozesadore neuronalak beharrezkoak dira batez ere ikaskuntza automatikoko arazoak konpontzeko. Inplementazio zehatz baterako 16 zerbitzari bakoitzarekin 8 rack behar baditugu, prozesadore neuronalez beteak, orduan x86 arkitekturan oinarritutako maila bereko irtenbide batek (!) 128 bastidore inguru beharko lituzke. Ikus dezakezunez, kalkulu mota askotarikoek hardware-plataformak arretaz hautatzea beharrezkoa da.
Datuak biltegiratzea
Bigarren urtez, Huawei-k bazkideei, bezeroei eta industriako lankideei eskatzen die datuak biltegiratzeko sistemak eraikitzeko Flash Only printzipioaren arabera. Eta gure bezero gehienek ardatz mekanikoak erabiltzen dituzte soluzio zaharretan edo oso gutxitan erabiltzen diren artxibo-datuetarako.
Flash sistemak ere eboluzionatzen ari dira. Storage Class Memory (SCM) Intel Optane bezalako sistemak merkatuan agertzen ari dira. Txinako eta Japoniako fabrikatzaileak garapen interesgarriak erakusten ari dira. Gaur egun, SCM beste irtenbide guztien gainetik dago prozesatzeko klaseari dagokionez. Orain arte, kostu altuak bakarrik ez du onartzen leku guztietan erabiltzeko.
Aldi berean, ikusten dugu biltegiratze sistemen kalitatea hobetu behar dela ohiko backend-ean ez ezik, frontend-ean ere. Orain, de facto, inplementazio berrietan, oro har, Ethernet bidez memoriarako sarbide zuzeneko mekanismoak eskaintzen eta erabiltzen ditugu, baina bezeroen eskaerak ikusten ditugu eta, beraz, urte amaiera aldera, NVMe ehunak baino gehiago erabiltzen hasiko gara. Gainera, end-to-end, arkitektura komun bat eskaintzeko, zeina, noski, errendimendu handikoa eta kontroladorearen hutsegitearekiko erresistentea izan behar duena.
OceanStor Dorado biltegiratze sistema gure produktu nagusietako bat da. Barne probek erakutsi dute 20 milioi IOPS-ko errendimendua ematen duela, eta zortzi kontrolagailuetatik zazpik huts egiten dutenean funtzionaltasuna mantenduz.
Zergatik hainbeste botere? Ikus dezagun egungo egoera. Duela hilabete batzuk, txinatar bizilagunek denbora nabarmen gehiago ematen dute etxean blokeoa dela eta. Une honetan Interneteko trafikoa %30 handitu zen batez beste, eta lurralde batzuetan bikoiztu ere egin zen. Sareko hainbat zerbitzuren kontsumoa hazi egin da. Eta noizbait, banku berberek karga gehigarri larria izaten hasi ziren, biltegiratze sistemak prest ez zeuden horretarako.
Argi dago denek ez dutela orain 20 milioi IOPS behar. Baina zer gertatuko da bihar? Gure sistema adimendunek prozesadore neuronalen potentzial osoa maximizatzen dute trafikoaren trinkotasuna, desduplicazioa, optimizazioa eta datuak azkar berreskuratzeko.
Erreferentzia sarea
2020a, aurreko artikuluan aipatu genuen bezala, oinarrizko sareen urtea izango da guretzat. Bezero asko, batez ere aplikazio-zerbitzu-hornitzaileak (ASP) eta bankuak, dagoeneko pentsatzen ari dira nola funtzionatuko duten beren aplikazioak datu-zentroetarako eta arteko komunikazioei dagokienez. Hona hemen bizkarrezurreko sare berri bat gure laguntzara. Adibide gisa, har ditzagun datu-zentroen arteko komunikaziorako dozena bat protokolo desberdin erabiltzen ez dituzten bizkarrezurreko sistema sinplifikatuetara aldatu diren Txinako banku handienak, baina, nahiko hitz eginez, pare bat - OSPF eta SRv6. Gainera, erakundeak zerbitzu multzo bera jasotzen du.
Baliabide intelektualak
Nola erabili datuak? Duela gutxi arte datu-base heterogeneoen sistema zatikatua zegoen: Microsoft SQL, MySQL, Oracle... Horiekin lan egiteko, big dataren arloko soluzioak erabiltzen ziren, datu horiek uztartzeko, hartzeko, lantzeko gai direnak. Horrek guztiak baliabideen karga handia sortu zuen.
Aldi berean, ez zegoen gertaeraren bat gertatu zenean datuekin eragiketak egiteko mekanismorik. Irtenbidea datuen bizi-zikloaren kudeaketa (DLM) printzipioen garapena izan zen.
Denek entzun dute data lakeen berri. Datuen kudeaketatik datuen gobernantzara igarotzean, "laku digitalak" azkarrago bihurtzen hasi ziren. Huawei soluzioei eskerrak barne. Ondorengo materialetan, zalantzarik gabe, erabili ditugun software-teknologien pila osoari buruz hitz egingo dugu. Orain garrantzitsua da kontuan izan datuen bizi-zikloaren kudeaketa adimendunaren erabilera izan zela gure sarearen eta zerbitzarien erabilera sinplifikatzeko aukera eman zigula, baita muturreko arkitekturak eraikitzen ikasi ere, datuekin lan egiteko printzipioak hobeto ulertzeko. .
Datu zentroen ingeniaritza azpiegitura
Ingeniaritza azpiegiturei eskainitako material bereiziak argitaratuko ditugu, baina gaurko gaiaren testuinguruan HiDC kontzeptuarekin zerikusia duten aldaketa horiek aipatu nahi ditugu.
Denbora luzez, debekatuta egon zen litiozko bateriak erabiltzea datu-zentroetako larrialdietako eta babeskopiako potentzia sistemetan (ESP) sute arrisku handia zutelako. Edozein kalte mekaniko edo bateriaren osotasuna urratzeak sutea eta ezusteko ondorioak ekar ditzake. Ildo horretan, PSA azido bateria zaharkituekin hornituta zegoen, karga espezifiko dentsitate baxua eta masa handia zutenak.
Huawei-ren larrialdietarako eta babesko energia sistema berriek litio-burdin fosfato (LFP) bateria seguruak erabiltzen dituzte kudeaketa proaktibo adimendunarekin. Edukiera berdinarekin, hiru aldiz bolumen gutxiago okupatzen dute azidozko pilekin alderatuta. Haien bizi-zikloa 10-15 urtekoa da, eta horrek, besteak beste, ingurumenean sortzen duten zama murrizten du. SmartLi ekosisteman patentatutako kontrol-sistemak bateria mota zahar eta berriez osatutako sistema hibridoak erabiltzeko aukera ematen du, eta kommutazio-sistemak PSA egituran aldaketa "beroak" egiteko aukera ematen du, erredundantzia funtzioa mantenduz.
Eragiketa adimenduna
HiDC azpiegitura funtzionatzeko printzipioen zati garrantzitsu bat autosendatze adimendunaren ideologia da. IN Gure aurreko argitalpenetatik, O&M 1-3-5 plataforma adimenduna aipatu dugu, sisteman nahi ez den gertaera bat detektatzeko eta aztertzeko gai dena, baizik eta administratzaileari arazoari irtenbide guztiz automatizatu bat emateko hainbat aukera eskaintzeko gai dena.
Autoanalisi funtzioak minutu batean gutxi gorabehera arazoak detektatzeko aukera ematen du. Hiru minutu ematen dira analisian, eta bost minuturen buruan sistemaren egoera aldatzeko proposamenak osatzen dira.
Demagun operadorearen errore batzuek prozesuen begizta itxi bat sortzea ekarri zuela, birtualizazio baserriaren errendimendua % 100etik 77ra murriztuz. Datu-zentroko administratzaileak dagokion mezua jasotzen du bere aginte-panelean, eta bertan arazoaren bistaratzea osoa dauka, nahi ez diren prozesuak eragindako baliabideen sare-diagrama barne. Ondoren, administratzaileak egoera eskuz zuzentzen jarrai dezake edo eskaintzen zaizkion berreskuratze automatikoko eszenatokietako bat erabil dezake.
Sistemak ezagutzen ditu hamar minutu baino gutxiagotan inplementa daitezkeen halako 75 eszenatoki inguru.Gainera, datu-zentroetan aurkitzen diren arazoen %90 estaltzen dute. Une honetan, ingeniariak lasai erantzun ditzake kezkatuta dauden bezeroen deiak, zerbitzua edozein minututan berreskuratuko dela ziur.
HiDC-n funtsezko produktu berriak
Software produktuez gain, azpiegitura mailan funtzionatzen duten funtsezko soluzioak sartu beharko lirateke. Lehenik eta behin, gure Atlas AI klusterren familian erabiltzen diren prozesadore neuronalak aipatu behar ditugu, baita NPU eta GPU oinarritutako zerbitzariak ere.
Horrez gain, ezin dugu aipatu gabe utzi Dorado eta bere klaseko lehen emanaldia, urte askoan iraungo duena. Hau bereziki egia da sobietar osteko espazioan, non, salbuespenak salbuespen, ohikoa den zerbait eguneratzea guztiz funtzionatzeari uzten dionean. Honela azaltzen du banakako biltegiratze sistemen bizitza irautea, hamar urtera iritsi arte. Produktibitate izugarria beharrezkoa da Doradorentzat hemendik hamar urtera kalitate handiko zerbitzuen entrega bermatzeko.
Berrikuntza elementu guztietan
Azpiegitura-soluzio espezifikoak aukeratzerakoan, ez ditugu ahaztu behar bere garapenerako arkitektura eta eszenatokiak. Fabrikatzaile ezberdinen produktu desberdinek ez dute bermatzen dagoeneko elkarrekin erabiltzeko optimizatutako soluzioek emango duten efektu sinergikorik.
Azpiegiturak teknologia egokian oinarritu behar dira. "Zuzenak" irekiak dira, errendimendu handia eskaintzen dutenak, karga handietan egonkor funtzionatzen dutenak. Datu-zentroetarako, adibidez, oso garrantzitsua da energia-kontsumoaren eta IT-aren kargaren ratio ona izatea. Aurreko helburu guztiak lortzeko, ingurunea eta osagaiak hautatu behar dituzu. Baldintza modernoetan, horrek adimen artifizialaren erabilera gero eta hedatuagoa ere esan nahi du.
Gure behaketen arabera, Huawei-ren bezero estrategikoen artean gero eta gutxiago dira ikaskuntza automatikoko sistemak erabiltzen ez dituztenak. ML gabe, ezinezkoa da metatutako datuak ahalik eta gehien dirua irabaztea.
Dirua irabazteko sistema desberdina izan daiteke: bankuentzat - norako produktu berriak eskainiz, telekomunikazio-operadoreentzat - banakako zerbitzuak eskaintzea eta leialtasuna bermatzea, gobernuko bezeroentzat - kalitate handiko datuen bizi-zikloaren kudeaketa eta beste erakunde batzuekin elkarrekintza maila altua. Azken finean, datuak kudeatzeko ereduak suebaki bat ezartzeaz gain datu-baseen sareko ikusgarritasuna bermatzeaz haratago joan dira.
Ideiatik datu-zentro eragilera
Datu-zentro estandar baten eraikuntza urtebetetik urte eta erdira behar da, gehienetan. Gure produkzio-zikloak askoz azkarrago egiteko aukera ematen digu FusionDC 2.0 izen arruntarekin bateratutako soluzio talde baten erabilerari esker. Diseinua, goi-mailako diseinuaren garapena, informatikako kargaren elementu guztien muntaia zuzenean fabrikan egiten dira. Denbora gutxian, ekipamendua Txinatik Errusiara itsas edukiontzien bidez entregatzen da. Ondorioz, giltza eskuan datu-zentro bat sortzea literalki lauzpabost hilabetetan lor daiteke.
Hodeiko datu-zentro aurrefabrikatu baten ideia ere interesgarria da, datu-zentro bat etapaka garatu daitekeelako, beharrezko bloke funtzionalak gehituz. Ikuspegi hau HiDC kontzeptuan bertan txertatuta dago.
Berrikuspen-materiala datu-orri batean ez bihurtzeko, HiDC-ri buruzko informazio osagarria joatea gomendatzen dugu . Bertan, hitz egin ditugun planteamendu, produktu eta irtenbideen deskribapena eta ezarpenaren adibideak aurkituko dituzu. Zenbat eta handiagoa izan gunerako sarbide-maila, orduan eta material gehiago egongo da. "Bazkide" egoera esleitzen bazaizu, HiDC bide-orriak, aurkezpen teknikoak, bideoak deskargatu ahal izango dituzu.
Artikulu hau irakurtzen duten gehienek sare-arkitektuen eskumenak dituztela pentsatzera ausartuko ginateke. Zalantzarik gabe, gure bisitatzeko interesa izango dute . Bertan, Huawei Validated Design (HVD) arauen arabera sare-azpiegitura bat nola eraikitzeari buruz hitz egingo dugu. Deskargatzeko dauden jarraibideek konpainiaren irtenbideek nola funtzionatzen duten ondo ulertzen lagunduko dizute. Gogoratu, baimenik gabe, material gutxiago izango duzula eskuragarri.
***
Errusierazko segmentuan ez ezik, nazioarteko mailan ere egindako webinar ugarik nabigatzen lagunduko dizute. Horietan gure produktuei eta negozio-praktikei buruzko informazioa partekatzen dugu. Halaber, Huawei-k, zerbitzu kate asko eten arren, bere produktuak herrialde desberdinetara etengabe entregatzen jarraitzen duenari buruz hitz egiten dugu. Duela gutxi, adibidez, datu-zentro baterako ekoiztutako ekipamendu berriak hiru astetan Moskuko bezero bati heldu zaizkion kasu bat gertatu da.
Apirileko webinarioen zerrenda eskuragarri dago .
Iturria: www.habr.com