Konteineru tehnoloÄ£iju ekosistÄma strauji attÄ«stÄs un mainÄs, tÄpÄc Å”ajÄ jomÄ trÅ«kst labas darba prakses. TomÄr Kubernetes un konteineri tiek izmantoti arvien vairÄk gan mantoto lietojumprogrammu modernizÄÅ”anai, gan modernu mÄkoÅa lietojumprogrammu izstrÄdei.
Komanda apkopoja prognozes, padomus un labÄko praksi tirgus lÄ«deriem no Gartner, 451 Research, StacxRoŃ
un citiem. Tie ļaus un paÄtrinÄs konteineru izvietoÅ”anu ražoÅ”anas vidÄs.
KÄ uzzinÄt, vai jÅ«su uzÅÄmums ir gatavs izvietot konteinerus ražoÅ”anas vidÄ
, 2022. gadÄ vairÄk nekÄ 75% organizÄciju ražoÅ”anÄ izmantos konteinerizÄtÄs lietojumprogrammas. Tas ir ievÄrojami vairÄk nekÄ paÅ”laik, kad Å”Ädas aplikÄcijas izmanto mazÄk nekÄ 30% uzÅÄmumu.
SaskaÅÄ ar Paredzamais konteineru tehnoloÄ£iju lietojumu tirgus 2022. gadÄ bÅ«s 4,3 miljardi ASV dolÄru. Tas ir vairÄk nekÄ divas reizes vairÄk nekÄ 2019. gadÄ prognozÄtais, un tirgus pieauguma temps bÅ«s 30%.
Š 87% respondentu teica, ka paÅ”laik izmanto konteineru tehnoloÄ£ijas. SalÄ«dzinÄjumam, 2017. gadÄ Å”Ädu respondentu bija 55%.
Neskatoties uz pieaugoÅ”o interesi un konteineru pieÅemÅ”anu, to ievieÅ”anai ražoÅ”anÄ ir nepiecieÅ”ama mÄcÄ«Å”anÄs lÄ«kne tehnoloÄ£iju nenobrieduma un zinÄÅ”anu trÅ«kuma dÄļ. OrganizÄcijÄm ir jÄbÅ«t reÄlistiskÄm attiecÄ«bÄ uz biznesa procesiem, kuriem nepiecieÅ”ama lietojumprogrammu konteinerizÄcija. IT vadÄ«tÄjiem ir jÄnovÄrtÄ, vai viÅiem ir nepiecieÅ”amÄs prasmes, lai Ätri mÄcÄ«tos.
MÄs domÄjam, ka tÄlÄk esoÅ”ajÄ attÄlÄ redzamie jautÄjumi palÄ«dzÄs jums noteikt, vai esat gatavs izvietot konteinerus ražoÅ”anÄ.
BiežÄkÄs kļūdas, izmantojot konteinerus ražoÅ”anÄ
OrganizÄcijas bieži vien nepietiekami novÄrtÄ pÅ«les, kas nepiecieÅ”amas konteineru ekspluatÄcijai ražoÅ”anÄ. Dažas izplatÄ«tas kļūdas klientu scenÄrijos, izmantojot konteinerus ražoÅ”anas vidÄs:
KÄ glabÄt konteinerus droŔībÄ
Ar droŔību nevar nodarboties āvÄlÄkā. Tam jÄbÅ«t iebÅ«vÄtam DevOps procesÄ, tÄpÄc ir pat Ä«paÅ”s termins - DevSecOps. OrganizÄcijÄm ir jÄplÄno visÄ izstrÄdes dzÄ«ves ciklÄ, kas ietver lietojumprogrammas izveides un izstrÄdes procesu, izvietoÅ”anu un palaiÅ”anu.
:
- IntegrÄjiet lietojumprogrammu attÄlu skenÄÅ”anas procesu ievainojamÄ«bu noteikÅ”anai savÄ nepÄrtrauktÄs integrÄcijas/nepÄrtrauktÄs piegÄdes (CI/CD) konveijerÄ. Lietojumprogrammas tiek skenÄtas programmatÅ«ras izveides un palaiÅ”anas stadijÄ. Uzsveriet nepiecieÅ”amÄ«bu skenÄt un identificÄt atvÄrtÄ pirmkoda komponentus, bibliotÄkas un ietvarus. IzstrÄdÄtÄji, kuri izmanto vecas, neaizsargÄtas versijas, ir viens no galvenajiem konteineru ievainojamÄ«bu cÄloÅiem.
- Uzlabojiet savu konfigurÄciju, izmantojot Center for Internet Security testus (), kas ir pieejami gan Docker, gan Kubernetes.
- Noteikti ieviesiet piekļuves kontroli, nodroÅ”iniet pienÄkumu nodalÄ«Å”anu un ieviesiet noslÄpumu pÄrvaldÄ«bas politiku. SensitÄ«vu informÄciju, piemÄram, droÅ”ligzdu slÄÅa (SSL) atslÄgas vai datu bÄzes akreditÄcijas datus, Å”ifrÄ orÄ·estrÄtÄjs vai treÅ”Äs puses pÄrvaldÄ«bas pakalpojumi, un tÄ tiek atklÄta izpildlaikÄ.
- Izvairieties no paaugstinÄtiem konteineriem, pÄrvaldot droŔības politikas, lai samazinÄtu iespÄjamos pÄrkÄpumu riskus.
- Izmantojiet droŔības rÄ«kus, kas nodroÅ”ina iekļauÅ”anu baltajÄ sarakstÄ, uzvedÄ«bas uzraudzÄ«bu un anomÄliju noteikÅ”anu, lai novÄrstu ļaunprÄtÄ«gas darbÄ«bas.
:
- Izmantojiet Kubernetes iebÅ«vÄtÄs iespÄjas. Iestatiet piekļuvi lietotÄjiem, kuri izmanto lomas. NepieŔķiriet nevajadzÄ«gas atļaujas atseviŔķÄm entÄ«tijÄm, lai gan var bÅ«t nepiecieÅ”ams zinÄms laiks, lai pÄrdomÄtu minimÄlÄs nepiecieÅ”amÄs atļaujas. Var bÅ«t vilinoÅ”i pieŔķirt klastera administratoram plaÅ”as privilÄÄ£ijas, jo tas sÄkotnÄji ietaupa laiku. TomÄr jebkurÅ” kompromiss vai kļūdas kontÄ vÄlÄk var izraisÄ«t postoÅ”as āāsekas.
- Izvairieties no piekļuves atļauju dublikÄtiem. DažkÄrt var bÅ«t noderÄ«gi, ja dažÄdas lomas pÄrklÄjas, taÄu tas var radÄ«t darbÄ«bas problÄmas un arÄ« radÄ«t aklÄs zonas, noÅemot atļaujas. Ir svarÄ«gi arÄ« noÅemt neizmantotÄs un neaktÄ«vÄs lomas.
- Iestatiet tÄ«kla politikas: izolÄjiet moduļus, lai ierobežotu piekļuvi tiem; skaidri atļaut piekļuvi internetam tiem moduļiem, kuriem tas ir nepiecieÅ”ams, izmantojot tagus; Skaidri atļaujiet saziÅu starp tiem moduļiem, kuriem ir jÄsazinÄs vienam ar otru.
KÄ organizÄt konteineru uzraudzÄ«bu un tajos esoÅ”os pakalpojumus
DroŔība un uzraudzÄ«ba - izvietojot Kubernetes klasterus. IzstrÄdÄtÄji vienmÄr vairÄk koncentrÄjas uz izstrÄdÄto lietojumprogrammu funkcijÄm, nevis aspektiem .
:
- MÄÄ£iniet pÄrraudzÄ«t tajos esoÅ”o konteineru vai pakalpojumu stÄvokli kopÄ ar resursdatoru sistÄmu pÄrraudzÄ«bu.
- MeklÄjiet piegÄdÄtÄjus un rÄ«kus ar dziļu integrÄciju konteineru orÄ·estrÄÅ”anÄ, Ä«paÅ”i Kubernetes.
- IzvÄlieties rÄ«kus, kas nodroÅ”ina detalizÄtu reÄ£istrÄÅ”anu, automÄtisku pakalpojumu atraÅ”anu un reÄllaika ieteikumus, izmantojot analÄ«zi un/vai maŔīnmÄcÄ«Å”anos.
:
- Izmantojiet rÄ«kus, lai automÄtiski atklÄtu un izsekotu konteineru metriku, korelÄjot veiktspÄjas metriku, piemÄram, centrÄlo procesoru, atmiÅu un darbspÄjas laiku.
- NodroÅ”iniet optimÄlu jaudas plÄnoÅ”anu, prognozÄjot jaudas izsÄ«kuma datumus, pamatojoties uz konteineru uzraudzÄ«bas metriku.
- PÄrraugiet konteineru lietojumprogrammu pieejamÄ«bu un veiktspÄju, kas noder gan jaudas plÄnoÅ”anai, gan veiktspÄjas problÄmu novÄrÅ”anai.
- AutomatizÄjiet darbplÅ«smas, nodroÅ”inot pÄrvaldÄ«bas un mÄrogoÅ”anas atbalstu konteineriem un to mitinÄÅ”anas vidÄm.
- AutomatizÄjiet piekļuves kontroli, lai pÄrraudzÄ«tu savu lietotÄju bÄzi, atspÄjotu novecojuÅ”us un viesu kontus un noÅemtu nevajadzÄ«gas privilÄÄ£ijas.
- NodroÅ”iniet, lai jÅ«su rÄ«ku kopa varÄtu pÄrraudzÄ«t Å”os konteinerus un lietojumprogrammas vairÄkÄs vidÄs (mÄkonis, lokÄlÄ vai hibrÄ«dÄ), lai vizualizÄtu un salÄ«dzinÄtu veiktspÄju visÄ infrastruktÅ«rÄ, tÄ«klÄ, sistÄmÄs un lietojumprogrammÄs.
KÄ uzglabÄt datus un nodroÅ”inÄt to droŔību
Pieaugot statusu saturoÅ”u darbinieku konteineriem, klientiem ir jÄÅem vÄrÄ datu klÄtbÅ«tne Ärpus resursdatora un nepiecieÅ”amÄ«ba aizsargÄt Å”os datus.
SaskaÅÄ ar , datu droŔība ieÅem pirmo vietu droŔības problÄmu sarakstÄ, ko minÄja lielÄkÄ daļa respondentu (61%).
Datu Å”ifrÄÅ”ana ir galvenÄ droŔības stratÄÄ£ija (64%), taÄu respondenti izmanto arÄ« izpildlaika uzraudzÄ«bu
(49%), reÄ£istru skenÄÅ”ana, lai noteiktu ievainojamÄ«bas (49%), CI/CD konveijeru ievainojamÄ«bu skenÄÅ”ana (49%) un anomÄliju bloÄ·ÄÅ”ana, izmantojot izpildlaika aizsardzÄ«bu (48%).
:
- IzvÄlieties uz principiem balstÄ«tus uzglabÄÅ”anas risinÄjumus . LabÄk ir koncentrÄties uz tiem, kas atbilst konteinerpakalpojumu datu uzglabÄÅ”anas prasÄ«bÄm, ir neatkarÄ«gi no aparatÅ«ras, ir API vadÄ«ti, tiem ir sadalÄ«ta arhitektÅ«ra, kas atbalsta vietÄjo izvietoÅ”anu un izvietoÅ”anu publiskajÄ mÄkonÄ«.
- Izvairieties no patentÄtiem spraudÅiem un saskarnÄm. IzvÄlieties pÄrdevÄjus, kas nodroÅ”ina Kubernetes integrÄciju un atbalsta standarta saskarnes, piemÄram, CSI (konteineru glabÄÅ”anas interfeisus).
KÄ strÄdÄt ar tÄ«kliem
TradicionÄlais uzÅÄmuma tÄ«kla modelis, kurÄ IT komandas katram projektam izveido tÄ«kla izstrÄdes, testÄÅ”anas, kvalitÄtes nodroÅ”inÄÅ”anas un ražoÅ”anas vidi, ne vienmÄr labi iederas nepÄrtrauktÄs izstrÄdes darbplÅ«smÄ. TurklÄt konteineru tÄ«kli aptver vairÄkus slÄÅus.
Š augsta lÄ«meÅa noteikumi, kuriem jÄatbilst klasteru tÄ«kla risinÄjuma ievieÅ”anai:
- VienÄ mezglÄ ieplÄnotajiem apvidiem ir jÄspÄj sazinÄties ar citiem apvidiem, neizmantojot NAT (tÄ«kla adreÅ”u tulkoÅ”anu).
- Visi sistÄmas dÄmoni (fona procesi, piemÄram, kubelet), kas darbojas noteiktÄ mezglÄ, var sazinÄties ar podiem, kas darbojas tajÄ paÅ”Ä mezglÄ.
- PÄkstis, izmantojot jÄspÄj sazinÄties ar visiem pÄrÄjiem podiem visos pÄrÄjos mezglos, neizmantojot NAT. LÅ«dzu, Åemiet vÄrÄ, ka resursdatora tÄ«kls tiek atbalstÄ«ts tikai Linux resursdatoros.
TÄ«kla risinÄjumiem jÄbÅ«t cieÅ”i integrÄtiem ar Kubernetes primitÄ«vÄm un politikÄm. IT vadÄ«tÄjiem jÄtiecas uz augstu tÄ«kla automatizÄcijas pakÄpi un jÄnodroÅ”ina izstrÄdÄtÄji ar pareiziem rÄ«kiem un pietiekamu elastÄ«bu.
:
- Uzziniet, vai jÅ«su CaaS (konteiners kÄ pakalpojums) vai jÅ«su SDN (programmatÅ«ras noteiktais tÄ«kls) tÄ«kls atbalsta Kubernetes tÄ«klus. Ja nÄ vai atbalsts ir nepietiekams, izmantojiet CNI (Container Network Interface) tÄ«kla saskarni saviem konteineriem, kas atbalsta nepiecieÅ”amo funkcionalitÄti un politikas.
- PÄrliecinieties, vai jÅ«su CaaS vai PaaS (platforma kÄ pakalpojums) atbalsta ieejas kontrolleru un/vai slodzes balansÄtÄju izveidi, kas sadala ienÄkoÅ”o trafiku starp klasteru mezgliem. Ja tas nav iespÄjams, izpÄtiet, izmantojot treÅ”Äs puses starpniekserverus vai pakalpojumu tÄ«klus.
- ApmÄciet savus tÄ«kla inženierus par Linux tÄ«kliem un tÄ«kla automatizÄcijas rÄ«kiem, lai samazinÄtu prasmju trÅ«kumu un palielinÄtu veiklÄ«bu.
KÄ pÄrvaldÄ«t lietojumprogrammas dzÄ«ves ciklu
Lai nodroÅ”inÄtu automatizÄtu un netraucÄtu lietojumprogrammu piegÄdi, konteineru orÄ·estrÄÅ”ana ir jÄpapildina ar citiem automatizÄcijas rÄ«kiem, piemÄram, infrastruktÅ«ru kÄ koda (IaC) produktiem. Tie ietver Chef, Puppet, Ansible un Terraform.
NepiecieÅ”ami arÄ« automatizÄcijas rÄ«ki lietojumprogrammu izveidei un ievieÅ”anai (sk."). Konteineri nodroÅ”ina arÄ« paplaÅ”inÄÅ”anas iespÄjas, kas ir lÄ«dzÄ«gas tÄm, kas ir pieejamas, izvietojot virtuÄlÄs maŔīnas (VM). TÄpÄc IT vadÄ«tÄjiem ir jÄbÅ«t .
:
- Iestatiet standarta konteinera attÄlu standartus, pamatojoties uz izmÄru, licencÄÅ”anu un elastÄ«bu, lai izstrÄdÄtÄji varÄtu pievienot komponentus.
- Izmantojiet konfigurÄcijas pÄrvaldÄ«bas sistÄmas, lai pÄrvaldÄ«tu konteineru dzÄ«ves ciklu, kas veido konfigurÄcijas slÄni, pamatojoties uz bÄzes attÄliem, kas atrodas publiskÄs vai privÄtÄs krÄtuvÄs.
- IntegrÄjiet savu CaaS platformu ar automatizÄcijas rÄ«kiem, lai automatizÄtu visu lietojumprogrammu darbplÅ«smu.
KÄ pÄrvaldÄ«t konteinerus ar orÄ·estrantiem
GalvenÄ funkcionalitÄte konteineru izvietoÅ”anai tiek nodroÅ”inÄta orÄ·estrÄÅ”anas un plÄnoÅ”anas slÄÅos. PlÄnoÅ”anas laikÄ konteineri tiek novietoti klastera optimÄlÄkajos saimniekdatoros, kÄ to nosaka orÄ·estrÄcijas slÄÅa prasÄ«bas.
Kubernetes ir kļuvis par de facto konteineru orÄ·estrÄÅ”anas standartu ar aktÄ«vu kopienu, un to atbalsta lielÄkÄ daļa vadoÅ”o komerciÄlo pÄrdevÄju.
:
- DefinÄjiet pamatprasÄ«bas droŔības kontrolei, uzraudzÄ«bai, politikas pÄrvaldÄ«bai, datu noturÄ«bai, tÄ«kla izveidei un konteineru dzÄ«ves cikla pÄrvaldÄ«bai.
- Pamatojoties uz Ŕīm prasÄ«bÄm, izvÄlieties rÄ«ku, kas vislabÄk atbilst jÅ«su prasÄ«bÄm un lietoÅ”anas gadÄ«jumiem.
- Izmantojiet Gartner pÄtÄ«jumu (sk."), lai izprastu dažÄdu Kubernetes izvietoÅ”anas modeļu priekÅ”rocÄ«bas un mÄ«nusus un izvÄlÄtos savai lietojumprogrammai piemÄrotÄko.
- Atlasiet pakalpojumu sniedzÄju, kas var nodroÅ”inÄt hibrÄ«da orÄ·estrÄÅ”anu darba konteineriem vairÄkÄs vidÄs ar cieÅ”u aizmugursistÄmas integrÄciju, kopÄ«giem pÄrvaldÄ«bas plÄniem un konsekventiem cenu modeļiem.
KÄ izmantot mÄkoÅpakalpojumu sniedzÄju iespÄjas
ka interese par konteineru izvietoÅ”anu publiskajÄ mÄkoÅa IaaS pieaug, pateicoties gatavu CaaS piedÄvÄjumu pieejamÄ«bai, kÄ arÄ« Å”o piedÄvÄjumu cieÅ”ai integrÄcijai ar citiem mÄkoÅpakalpojumu sniedzÄju piedÄvÄtajiem produktiem.
IaaS mÄkoÅi piedÄvÄ resursu patÄriÅu pÄc pieprasÄ«juma, Ätru mÄrogojamÄ«bu un , kas palÄ«dzÄs izvairÄ«ties no nepiecieÅ”amÄ«bas pÄc padziļinÄtÄm zinÄÅ”anÄm par infrastruktÅ«ru un tÄs uzturÄÅ”anu. LielÄkÄ daļa mÄkoÅpakalpojumu sniedzÄju piedÄvÄ konteineru pÄrvaldÄ«bas pakalpojumu, un daži piedÄvÄ vairÄkas orÄ·estrÄÅ”anas iespÄjas.
Galvenie mÄkoÅa pÄrvaldÄ«to pakalpojumu sniedzÄji ir parÄdÄ«ti tabulÄ:
MÄkoÅu nodroÅ”inÄtÄjs
Pakalpojuma veids
Produkts/pakalpojums
Alibaba
VietÄjais mÄkoÅpakalpojums
Alibaba Cloud Container Service, Alibaba Cloud Container Service Kubernetes
Amazon Web Services (AWS)
VietÄjais mÄkoÅpakalpojums
Amazon Elastic Container Services (ECS), Amazon ECS Kubernetes (EKS), AWS Fargate
Milzu bars
MSP
Milzu spieta pÄrvaldÄ«tÄ Kubernetes infrastruktÅ«ra
google
VietÄjais mÄkoÅpakalpojums
Google Container Engine (GKE)
IBM
VietÄjais mÄkoÅpakalpojums
IBM Cloud Kubernetes pakalpojums
microsoft
VietÄjais mÄkoÅpakalpojums
Azure Kubernetes pakalpojums, Azure Service Fabric
OrÄkuls
VietÄjais mÄkoÅpakalpojums
OCI konteineru dzinÄjs Kubernetes
Platform9
MSP
PÄrvalda Kubernetes
Red Hat
Hosted Service
OpenShift Dedicated & Online
VMware
Hosted Service
Cloud PKS (beta)
Mail.ru Cloud Solutions*
VietÄjais mÄkoÅpakalpojums
Mail.ru MÄkoÅu konteineri
* MÄs to neslÄpsim, mÄs pievienojÄm sevi tulkoÅ”anas laikÄ :)
Publiskie mÄkoÅdatoÅ”anas pakalpojumu sniedzÄji arÄ« pievieno jaunas iespÄjas un izlaiž lokÄlos produktus. TuvÄkajÄ nÄkotnÄ mÄkoÅpakalpojumu sniedzÄji izstrÄdÄs atbalstu hibrÄ«dmÄkoÅiem un vairÄku mÄkoÅu vidÄm.
:
- ObjektÄ«vi novÄrtÄjiet savas organizÄcijas spÄju izvietot un pÄrvaldÄ«t atbilstoÅ”us rÄ«kus un apsveriet alternatÄ«vus mÄkoÅa konteineru pÄrvaldÄ«bas pakalpojumus.
- RÅ«pÄ«gi izvÄlieties programmatÅ«ru, ja iespÄjams, izmantojiet atvÄrto avotu.
- IzvÄlieties pakalpojumu sniedzÄjus ar izplatÄ«tiem darbÄ«bas modeļiem hibrÄ«da vidÄs, kas piedÄvÄ vienotu apvienoto klasteru stikla pÄrvaldÄ«bu, kÄ arÄ« pakalpojumu sniedzÄjus, kas atvieglo IaaS paÅ”mitinÄÅ”anu.
:
- Ir vÄrts meklÄt izplatÄ«jumus, kas atbalsta augstu pieejamÄ«bu jau no kastes. Tas ietver atbalstu vairÄkÄm galvenajÄm arhitektÅ«rÄm, ļoti pieejamus etcd komponentus, kÄ arÄ« dublÄÅ”anu un atkopÅ”anu.
- Lai nodroÅ”inÄtu mobilitÄti savÄs Kubernetes vidÄs, vislabÄk ir izvÄlÄties mÄkoÅpakalpojumu sniedzÄjus, kas atbalsta plaÅ”u izvietoÅ”anas modeļu klÄstu ā no lokÄlajiem lÄ«dz hibrÄ«diem un vairÄkiem mÄkoÅiem.
- Pakalpojumu sniedzÄju piedÄvÄjumi ir arÄ« jÄnovÄrtÄ, pamatojoties uz iestatÄ«Å”anas, instalÄÅ”anas un klasteru izveides vienkÄrŔību, kÄ arÄ« atjauninÄjumiem, uzraudzÄ«bu un problÄmu novÄrÅ”anu. PamatprasÄ«ba ir atbalstÄ«t pilnÄ«bÄ automatizÄtus klasteru atjauninÄjumus bez dÄ«kstÄves. IzvÄlÄtajam risinÄjumam ir jÄļauj arÄ« manuÄli palaist atjauninÄjumus.
- IdentitÄtes un piekļuves pÄrvaldÄ«ba ir svarÄ«ga gan no droŔības, gan pÄrvaldÄ«bas viedokļa. PÄrliecinieties, vai jÅ«su izvÄlÄtais Kubernetes izplatÄ«jums atbalsta integrÄciju ar iekÅ”Äji izmantotajiem autentifikÄcijas un autorizÄcijas rÄ«kiem. RBAC un precÄ«za piekļuves kontrole ir arÄ« svarÄ«gas funkciju kopas.
- IzvÄlÄtajam izplatÄ«Å”anai ir jÄbÅ«t vai nu vietÄjam programmatÅ«ras definÄtam tÄ«kla risinÄjumam, kas aptver plaÅ”u dažÄdu lietojumprogrammu vai infrastruktÅ«ras prasÄ«bu klÄstu, vai arÄ« jÄatbalsta kÄda no populÄrajÄm uz CNI balstÄ«tajÄm tÄ«kla ievieÅ”anÄm, tostarp Flannel, Calico, kube-router vai OVN.
Par galveno virzienu kļūst konteineru ievieÅ”ana ražoÅ”anÄ, par ko liecina gada veiktÄs aptaujas rezultÄti par infrastruktÅ«ru, darbÄ«bÄm un mÄkoÅa stratÄÄ£ijÄm (IOCS) 2018. gada decembrÄ«:
KÄ redzams, konteinerus savÄ darbÄ jau izmanto 27% aptaujÄto un plÄno to darÄ«t 63%.
Š 24% respondentu ziÅoja, ka konteineru tehnoloÄ£ijÄs iegulda vairÄk nekÄ pusmiljonu dolÄru gadÄ, un 17% respondentu tÄm iztÄrÄja vairÄk nekÄ miljonu dolÄru gadÄ.
Rakstu sagatavojusi mÄkoÅa platformas komanda .
Ko vÄl lasÄ«t par tÄmu:
- .
- .
- .
Avots: www.habr.com