Wéb modéren ampir teu kapikiran tanpa eusi média: ampir unggal nini gaduh smartphone, sadayana aya dina jaringan sosial, sareng downtime dina pangropéa mahal pikeun perusahaan. Ieu mangrupikeun transkrip carita perusahaan ngeunaan kumaha anjeunna ngatur pangiriman poto nganggo solusi hardware, masalah kinerja naon anu anjeunna hadapi dina prosésna, naon anu nyababkeunana, sareng kumaha masalah ieu direngsekeun nganggo solusi parangkat lunak dumasar kana Nginx, bari mastikeun kasabaran kasalahan dina sagala tingkatan (). Urang hatur pangarang carita Oleg Efimova sareng Alexandra Dymova, anu ngabagi pangalaman dina konperénsi éta .
— Hayu urang mimitian ku bubuka saeutik ngeunaan kumaha urang nyimpen jeung cache poto. Simkuring boga lapisan dimana urang nyimpen aranjeunna, sarta lapisan dimana urang cache poto. Dina waktos anu sami, upami urang hoyong ngahontal tingkat trik anu luhur sareng ngirangan beban dina neundeun, penting pikeun urang yén unggal poto pangguna individu aya dina hiji server cache. Upami teu kitu, urang bakal kudu install saloba kali leuwih disk sakumaha urang boga leuwih server. Laju trik kami sakitar 99%, nyaéta, kami ngirangan beban dina panyimpenan kami ku 100 kali, sareng pikeun ngalakukeun ieu, 10 taun ka pengker, nalika sadayana ieu diwangun, kami ngagaduhan 50 server. Sasuai, pikeun ngalayanan poto ieu, kami peryogi dasarna 50 domain éksternal anu dilayanan ku server ieu.
Alami, patarosan langsung timbul: lamun salah sahiji server urang turun sarta jadi sadia, naon bagian tina lalulintas urang leungit? Kami ningali naon anu aya di pasar sareng mutuskeun mésér sapotong hardware supados tiasa ngabéréskeun sadaya masalah urang. Pilihanna murag kana solusi perusahaan jaringan F5 (anu, ku jalan kitu, nembé mésér NGINX, Inc): Manajer Lalu Lintas Lokal BIG-IP.
Naon sapotong hardware ieu (LTM) lakukeun: éta hiji router beusi nu ngajadikeun redundansi beusi tina palabuhan éksternal sarta ngidinan Anjeun pikeun lalulintas ruteu dumasar kana topologi jaringan, dina sababaraha setélan, sarta ngalakukeun cék kaséhatan. Penting pikeun urang yén sapotong hardware ieu tiasa diprogram. Sasuai, urang tiasa ngajelaskeun logika kumaha poto-poto pangguna khusus dilayanan tina cache khusus. Kumaha rupana? Aya sapotong hardware nu Sigana di Internet dina hiji domain, hiji IP, teu ssl offload, parses requests http, milih nomer cache ti IRule, dimana buka, sarta ngidinan lalulintas ka dinya. Dina waktos anu sami, éta ngalaksanakeun pamariksaan kaséhatan, sareng upami aya sababaraha mesin anu henteu sayogi, dina waktos éta kami damel supados lalu lintas angkat ka hiji server cadangan. Tina sudut pandang konfigurasi, tangtosna, aya sababaraha nuansa, tapi sacara umum sadayana saderhana: urang ngadaptarkeun kartu, korespondensi sababaraha nomer ka IP urang dina jaringan, urang nyarios yén urang bakal ngadangukeun palabuhan 80 jeung 443, urang nyebutkeun yén lamun server teu sadia, mangka anjeun kudu ngirim lalulintas keur cadangan, dina hal ieu 35th, sarta kami ngajelaskeun kebat logika ngeunaan kumaha arsitéktur ieu kudu disassembled. Hiji-hijina masalah nyaéta basa dimana hardware diprogram nyaéta Tcl. Upami aya anu émut pisan ... basa ieu langkung seueur ngan ukur nyerat tibatan basa anu cocog pikeun program:
Naon anu urang meunang? Simkuring nampi sapotong hardware anu ensures kasadiaan tinggi infrastruktur urang, ruteu sagala lalulintas urang, nyadiakeun kauntungan kaséhatan sarta ngan jalan. Sumawona, éta tiasa dianggo pikeun waktos anu lami: salami 10 taun ka pengker teu aya keluhan ngeunaan éta. Nepi ka awal taun 2018, kami parantos ngirim sakitar 80k poto per detik. Ieu tempat sabudeureun 80 gigabits lalulintas ti duanana puseur data urang.
Nanging…
Dina awal 2018, urang nempo hiji gambar awon dina grafik: waktu nu diperlukeun pikeun ngirim poto geus jelas ngaronjat. Sarta eta dieureunkeun cocog kami. Masalahna nyaéta paripolah ieu ngan ukur katingali nalika puncak lalu lintas - pikeun perusahaan kami nyaéta wengi ti Minggu dugi ka Senén. Tapi sesa waktos sistem behaved sakumaha biasa, euweuh tanda gagal.
Sanajan kitu, masalah kudu direngsekeun. Kami ngaidentipikasi kamungkinan bottlenecks sareng mimiti ngaleungitkeunana. Anu mimiti, tangtosna, urang ngalegaan uplinks éksternal, ngalaksanakeun Inok lengkep uplinks internal, sarta manggihan sagala bottlenecks mungkin. Tapi sadayana ieu henteu masihan hasil anu jelas, masalahna henteu ngaleungit.
bottleneck sejen mungkin éta kinerja caches poto sorangan. Sarta kami mutuskeun yén meureun masalah rests aranjeunna. Nya, urang ngalegaan kinerja - utamina palabuhan jaringan dina cache poto. Tapi deui euweuh pamutahiran atra katempo. Tungtungna, urang nengetan deukeut kinerja LTM sorangan, sarta di dieu urang nempo gambar hanjelu dina grafik: beban dina sagala CPUs mimiti lancar, tapi lajeng ujug-ujug datang ka dataran. Dina waktu nu sarua, LTM eureun ngarespon adequately mun cék kaséhatan sarta uplinks tur mimitian acak mareuman aranjeunna, nu ngabalukarkeun degradasi kinerja serius.
Hartina, urang geus ngaidentifikasi sumber masalah, ngaidentipikasi bottleneck nu. Tetep mutuskeun naon anu bakal urang laksanakeun.
Anu kahiji, anu paling jelas anu urang tiasa laksanakeun nyaéta kumaha waé ngamodernisasi LTM sorangan. Tapi aya sababaraha nuances dieu, sabab hardware ieu rada unik, anjeun moal indit ka supermarket pangcaketna jeung meuli eta. Ieu mangrupikeun kontrak anu kapisah, kontrak lisénsi anu misah, sareng éta bakal peryogi seueur waktos. Pilihan kadua nyaéta pikeun ngamimitian mikir pikeun diri anjeun, ngadamel solusi anjeun nyalira nganggo komponén anjeun nyalira, langkung saé nganggo program aksés kabuka. Sadaya anu tetep nyaéta mutuskeun naon anu bakal urang pilih pikeun ieu sareng sabaraha waktos urang bakal nyéépkeun pikeun ngarengsekeun masalah ieu, sabab pangguna henteu nampi poto anu cekap. Ku alatan éta, urang kedah ngalakukeun sadayana ieu pisan, pisan gancang, salah sahiji bisa nyebutkeun kamari.
Kusabab tugasna disada sapertos "ngalakukeun hiji hal gancang-gancang sareng nganggo hardware anu kami gaduh," hal anu pangheulana urang panginten nyaéta ngan saukur ngahapus sababaraha mesin anu henteu kuat pisan ti payun, nempatkeun Nginx di dinya, dimana urang terang kumaha carana. damel sareng nyobian ngalaksanakeun sadaya logika anu sami anu dianggo ku hardware. Nyaéta, kanyataanna, urang ninggalkeun hardware urang, dipasang 4 langkung server nu urang kudu ngonpigurasikeun, dijieun domain éksternal pikeun aranjeunna, sarupa kumaha éta 10 sababaraha taun ka pengker ... Urang leungit saeutik dina kasadiaan lamun mesin ieu murag, tapi masih kirang, aranjeunna direngsekeun masalah pamaké urang lokal.
Sasuai, logika tetep sarua: urang install Nginx, éta bisa ngalakukeun SSL-offload, urang kumaha bae bisa program logika routing, kaséhatan-cék dina configs tur saukur duplikat logika nu urang tadi.
Hayu urang diuk turun nulis configs. Mimitina sigana yén sadayana saderhana pisan, tapi, hanjakalna, sesah mendakan manual pikeun unggal tugas. Kukituna, kami henteu nyarankeun ngan saukur googling "kumaha carana ngonpigurasikeun Nginx pikeun poto": langkung saé ngarujuk kana dokuméntasi resmi, anu bakal nunjukkeun setélan mana anu kedah dirampa. Tapi éta hadé pikeun milih parameter husus sorangan. Nya, teras sadayana saderhana: urang ngajelaskeun server anu urang gaduh, urang ngajelaskeun sertipikat ... Tapi anu paling pikaresepeun nyaéta, kanyataanna, logika routing sorangan.
Mimitina sigana urang ngan ukur ngajelaskeun lokasi urang, cocog sareng jumlah cache poto urang di jerona, nganggo panangan atanapi generator pikeun ngajelaskeun sabaraha hulu anu urang butuhkeun, dina unggal hulu urang nunjukkeun server anu kedahna patalimarga. buka, sarta server cadangan - lamun server utama teu sadia:
Tapi, sigana, upami sadayana saderhana, urang ngan saukur balik ka bumi sareng henteu nyarios nanaon. Hanjakalna, kalayan setélan Nginx standar, anu, sacara umum, dilakukeun salami mangtaun-taun pangwangunan sareng henteu sapinuhna cocog pikeun hal ieu ... mindahkeun lalulintas ka nu salajengna. Leuwih ti éta, sanggeus kagagalan kahiji, dina 10 detik server ogé bakal dipareuman, duanana ku kasalahan sarta ku timeout - ieu teu bisa ngonpigurasi dina sagala cara. Nyaéta, upami urang ngahapus atanapi ngareset pilihan seep dina diréktif hulu, teras, sanaos Nginx moal ngolah pamundut ieu sareng bakal ngabales sababaraha kasalahan anu henteu saé, server bakal pareum.
Pikeun ngahindarkeun ieu, urang ngalakukeun dua hal:
a) aranjeunna nyaram Nginx tina ngalakukeun ieu sacara manual - sareng hanjakalna, hiji-hijina jalan pikeun ngalakukeun ieu ngan saukur nyetél setélan max gagal.
b) kami émut yén dina proyék-proyék anu sanés kami nganggo modul anu ngamungkinkeun urang ngalaksanakeun pamariksaan kaséhatan latar tukang - sasuai, kami ngalakukeun pamariksaan kaséhatan anu sering pisan supados downtime upami aya kacilakaan bakal minimal.
Hanjakalna, ieu sanés sadayana, sabab sacara harfiah dua minggu mimiti operasi skéma ieu nunjukkeun yén parios kaséhatan TCP ogé mangrupikeun hal anu teu tiasa dipercaya: dina server hulu éta sanés Nginx, atanapi Nginx di D-state, sareng di hal ieu kernel bakal nampa sambungan, pariksa kaséhatan bakal lulus, tapi moal jalan. Ku alatan éta, urang langsung ngaganti ieu kalawan kaséhatan-cek http, dijieun husus, nu, lamun balik 200, lajeng sagalana jalan dina naskah ieu. Anjeun tiasa ngalakukeun logika tambahan - contona, dina kasus server cache, pariksa yén sistem file dipasang leres:
Sarta ieu bakal nyaluyukeun kami, iwal dina momen sirkuit lengkep ngulang naon hardware tuh. Tapi urang hayang ngalakukeun hadé. Sateuacanna, urang ngagaduhan hiji server cadangan, sareng ieu sigana henteu saé pisan, sabab upami anjeun ngagaduhan saratus server, teras nalika sababaraha gagal sakaligus, hiji server cadangan sigana moal tiasa ngatasi beban. Ku alatan éta, urang mutuskeun pikeun ngadistribusikaeun reservasi ka sadaya server: urang ngan nyieun hulu misah sejen, nulis sagala server di dinya kalawan parameter tangtu luyu jeung beban maranéhna bisa ngawula, ditambahkeun cék kaséhatan sami nu urang tadi:
Kusabab mustahil pikeun ngalih ka hulu anu sanés dina hiji hulu, éta kedah mastikeun yén upami hulu utama, dimana urang ngan ukur ngarékam cache poto anu leres, anu diperyogikeun, henteu sayogi, urang ngan ukur ngalangkungan error_page pikeun mundur, ti dimana urang indit ka cadangan hulu:
Sareng sacara harfiah nambihan opat server, ieu anu kami kéngingkeun: kami ngagentos bagian tina beban - kami ngahapus tina LTM ka server ieu, ngalaksanakeun logika anu sami di dinya, nganggo parangkat lunak sareng parangkat lunak standar, sareng langsung nampi bonus anu tiasa server ieu. jadi diskalakeun, sabab bisa saukur nyadiakeun saloba diperlukeun. Nya, hiji-hijina négatip nyaéta urang kaleungitan kasadiaan anu luhur pikeun pangguna éksternal. Tapi dina momen éta urang kedah ngorbankeun ieu, sabab éta perlu pikeun ngajawab masalah langsung. Ku kituna, urang dihapus bagian tina beban, éta ngeunaan 40% dina waktu éta, LTM ngarasa alus, sarta sacara harfiah dua minggu sanggeus masalah dimimitian, urang mimiti ngirim moal 45k requests per detik, tapi 55k. Kanyataanna, urang tumuwuh ku 20% - ieu jelas patalimarga nu urang teu masihan ka pamaké. Sarta sanggeus éta maranéhna mimiti mikir ngeunaan kumaha carana ngajawab masalah sésana - pikeun mastikeun diakses éksternal tinggi.
Kami ngagaduhan sababaraha jeda, nalika urang bahas solusi naon anu bakal kami anggo pikeun ieu. Aya usulan pikeun mastikeun reliabilitas ngagunakeun DNS, ngagunakeun sababaraha skrip home-tulisan, protokol routing dinamis ... aya loba pilihan, tapi geus jadi jelas yén pikeun pangiriman sabenerna dipercaya poto, Anjeun kudu ngenalkeun lapisan sejen anu bakal ngawas ieu. . Urang disebut diréktur poto mesin ieu. Parangkat lunak anu kami andalkeun nyaéta Keepalived:
Pikeun mimitian, naon eusi Keepalived? Kahiji nyaéta protokol VRRP, dipikawanoh lega ka networkers, ayana dina alat jaringan nu nyadiakeun toleransi sesar kana alamat IP éksternal nu klien disambungkeun. Bagian kadua nyaéta IPVS, server virtual IP, pikeun nyaimbangkeun antara router poto sareng mastikeun kasabaran kasalahan dina tingkat ieu. Jeung katilu - cék kaséhatan.
Hayu urang mimitian ku bagian kahiji: VRRP - kumaha rupana? Aya IP maya tangtu, nu boga entri dina dns badoocdn.com, dimana klien nyambung. Dina sababaraha waktos, urang gaduh alamat IP dina hiji server. Paket Keepalived ngajalankeun antara server nganggo protokol VRRP, sareng upami master ngaleungit tina radar - server parantos reboot atanapi anu sanés, maka server cadangan otomatis ngajemput alamat IP ieu - teu aya tindakan manual anu diperyogikeun. Beda antara master na cadangan utamana prioritas: nu leuwih luhur éta, nu gede kasempetan mesin bakal jadi master a. Kauntungannana anu kacida gedéna nyaéta yén anjeun henteu kedah ngonpigurasikeun alamat IP dina server sorangan, cukup pikeun ngajelaskeunana dina konfigurasi, sareng upami alamat IP peryogi sababaraha aturan routing khusus, ieu dijelaskeun langsung dina konfigurasi, nganggo sintaksis sarua sakumaha ditétélakeun dina pakét VRRP. Anjeun moal mendakan hal-hal anu teu biasa.
Naon rupa ieu dina prakna? Naon anu lumangsung lamun salah sahiji server gagal? Pas master ngaleungit, cadangan urang lirén nampi iklan sareng otomatis janten master. Saatos sababaraha waktos, urang ngalereskeun master, rebooted, ngangkat Keepalived - iklan sumping kalayan prioritas anu langkung luhur tibatan cadangan, sareng cadangan otomatis dibalikan deui, ngaleungitkeun alamat IP, henteu aya tindakan manual anu kedah dilakukeun.
Ku kituna, kami geus ensured kasabaran lepat alamat IP éksternal. Bagian salajengna nyaeta kumaha bae nyaimbangkeun lalulintas ti alamat IP éksternal ka routers poto nu geus terminating eta. Sagalana cukup jelas jeung protokol balancing. Ieu boh mangrupa round-robin basajan, atawa hal rada leuwih kompleks, wrr, sambungan daptar jeung saterusna. Ieu dasarna dijelaskeun dina dokuméntasi, aya nanaon husus. Tapi métode pangiriman ... Di dieu urang bakal nyandak hiji tampilan ngadeukeutan dina naha urang milih salah sahijina. Ieu NAT, Direct Routing sareng TUN. Nyatana yén kami langsung ngarencanakeun pikeun nganteurkeun 100 gigabit lalu lintas tina situs-situs éta. Upami anjeun ngira-ngira, anjeun peryogi 10 kartu gigabit, leres? 10 kartu gigabit dina hiji server parantos saluareun ruang lingkup, sahenteuna, konsép urang "alat standar". Lajeng kami inget yen urang teu ngan masihan sababaraha lalulintas, urang masihan poto.
Naon anu istimewa? - Bédana pisan antara lalu lintas asup sareng kaluar. Lalu lintas asup leutik pisan, lalu lintas kaluar ageung pisan:
Upami anjeun ningali grafik ieu, anjeun tiasa ningali yén ayeuna sutradara nampi sakitar 200 MB per detik, ieu mangrupikeun dinten anu biasa. Urang masihan deui 4,500 MB per detik, rasio urang kira 1/22. Geus jelas yén pikeun pinuh nyadiakeun lalulintas kaluar ka 22 server pagawe, urang ngan butuh hiji nu narima sambungan ieu. Ieu dimana algoritma routing langsung datang ka bantuan urang.
Kumaha rupana? Diréktur poto urang, nurutkeun tabel na, transmits sambungan ka routers poto. Tapi routers poto ngirim balik lalulintas langsung ka Internet, ngirim ka klien nu, teu balik ngaliwatan diréktur poto, sahingga, kalawan jumlah minimum mesin, urang mastikeun kasabaran sesar lengkep sareng ngompa sadaya lalulintas. Dina configs Sigana mah kieu: urang tangtukeun algoritma, bisi urang téh rr basajan, nyadiakeun metoda routing langsung lajeng ngawitan daptar sakabeh server nyata, sabaraha urang gaduh. Nu bakal nangtukeun lalulintas ieu. Upami urang gaduh hiji atanapi dua langkung server di dinya, atanapi sababaraha server, peryogi sapertos kitu - urang ngan ukur nambihan bagian ieu kana konfigurasi sareng entong hariwang teuing. Ti sisi server nyata, ti sisi router poto, metoda ieu merlukeun konfigurasi paling minimal, éta sampurna digambarkeun dina dokuméntasi, tur teu aya pitfalls aya.
Anu paling saé nyaéta yén solusi sapertos kitu henteu nunjukkeun desain ulang radikal jaringan lokal; ieu penting pikeun kami; kami kedah ngabéréskeun ieu kalayan biaya minimal. Lamun nempo , teras urang tingali kumaha éta. Di dieu urang boga server maya tangtu, pa port 443, ngadangukeun, narima sambungan nu, kabéh server digawé didaptarkeun, tur anjeun tiasa ningali yén sambungan anu, masihan atanapi nyandak, sami. Upami urang ningali statistik dina server virtual anu sami, urang gaduh pakét anu asup, sambungan anu asup, tapi leres pisan henteu aya anu kaluar. Sambungan kaluar langsung ka klien. Oké, urang bisa unbalance eta. Ayeuna, kumaha upami salah sahiji router poto urang gagal? Barina ogé, beusi téh beusi. Éta tiasa janten panik kernel, éta tiasa rusak, catu daya tiasa kaduruk. naon waé. Éta sababna pamariksaan kaséhatan diperyogikeun. Éta tiasa saderhana sapertos mariksa kumaha palabuhan dibuka, atanapi anu langkung rumit, dugi ka sababaraha naskah anu ditulis di bumi anu malah bakal pariksa logika bisnis.
Urang dieureunkeun wae di tengah: urang boga pamundut HTTPS ka lokasi husus, skrip disebut, lamun eta responds kalawan respon 200th, kami yakin yén sagalana geus rupa kalawan server ieu, yén éta téh hirup tur bisa dihurungkeun cukup. gampang.
Kumaha ieu, deui, kasampak dina prakna? Hayu urang mareuman server pikeun pangropéa - kedip-kedip mios, contona. Dina log, urang langsung boga timeout a, urang ningali baris kahiji, lajeng sanggeus tilu usaha eta ditandaan salaku "gagal", sarta eta ngan saukur dihapus tina daptar.
Hiji pilihan kabiasaan kadua oge mungkin, lamun VS ngan saukur disetel ka enol, tapi lamun poto geus balik, ieu teu dianggo ogé. Server muncul, Nginx dimimitian di dinya, pariksa kaséhatan langsung ngartos yén sambunganna berpungsi, yén sadayana henteu kunanaon, sareng server muncul dina daptar kami, sareng beban langsung mimiti diterapkeun kana éta. Taya lampah manual diperlukeun ti administrator tugas. Server rebooted peuting - departemén ngawaskeun teu nelepon kami ngeunaan ieu peuting. Aranjeunna ngawartosan yén ieu kajantenan, sadayana henteu kunanaon.
Janten, ku cara anu saderhana, kalayan bantosan sajumlah server anu alit, kami ngarengsekeun masalah kasabaran kasalahan éksternal.
Sadaya anu kedah dicarioskeun nyaéta yén sadaya ieu, tangtosna, kedah diawaskeun. Kapisah, éta kudu dicatet yén Keepalivede, salaku software ditulis geus lila pisan, boga kebat cara ngawas eta, duanana ngagunakeun cék via DBus, SMTP, SNMP, sarta Zabbix standar. Tambih Deui, manéhna sorangan weruh kumaha carana nulis hurup pikeun ampir unggal beresin, sarta jujur, di sawatara titik urang malah panginten mareuman eta, sabab manéhna nulis loba hurup pikeun sagala switching lalulintas, switching on, pikeun unggal sambungan IP. teras salajengna . Tangtosna, upami aya seueur server, maka anjeun tiasa ngagentoskeun diri ku hurup ieu. Urang ngawas nginx on routers poto ngagunakeun métode baku, sarta ngawas hardware teu Isro. Urang bakal, tangtosna, mamatahan dua hal deui: firstly, kaséhatan-cék éksternal sarta kasadiaan, sabab sanajan sagalana jalan, dina kanyataanana, meureun pamaké teu nampi poto alatan masalah sareng panyadia éksternal atawa hal nu leuwih kompleks. Éta salawasna patut tetep dina jaringan anu sanés, di Amazon atanapi di tempat anu sanés, mesin anu misah anu tiasa ping server anjeun ti luar, sareng éta ogé patut nganggo deteksi anomali, pikeun anu terang kumaha carana diajar mesin anu rumit, atanapi ngawaskeun saderhana. , sahenteuna dina urutan pikeun ngalacak lamun requests geus turun sharply, atawa, sabalikna, ngaronjat. Éta ogé tiasa mangpaat.
Hayu urang nyimpulkeun: urang, dina kanyataanana, ngaganti solusi beusi-clad, nu di sawatara titik ceased pikeun nyocogkeun kami, kalawan sistem anu cukup basajan nu ngalakukeun sagalana sarua, nyaeta, nyadiakeun terminasi lalulintas HTTPS sarta routing pinter salajengna kalawan cék kaséhatan perlu. Kami parantos ningkatkeun stabilitas sistem ieu, nyaéta, kami masih gaduh kasadiaan anu luhur pikeun tiap lapisan, tambah kami gaduh bonus yén éta cukup gampang pikeun skala sadayana dina unggal lapisan, sabab éta mangrupikeun hardware standar sareng parangkat lunak standar, nyaéta. , kami geus disederhanakeun diagnosing masalah mungkin.
Naon anu urang tungtungna? Kami ngagaduhan masalah salami liburan Januari 2018. Dina genep bulan kahiji bari urang nempatkeun skéma ieu kana operasi, urang dilegakeun ka sadaya lalulintas guna miceun kabeh lalulintas ti LTM, urang tumuwuh ukur dina lalulintas di hiji puseur data ti 40 gigabits ka 60 gigabits, sarta dina waktos anu sareng pikeun sakabéh 2018 sataun éta bisa ngirim ampir tilu kali leuwih poto per detik.
sumber: www.habr.com