системаи идоракунии пойгоҳи додаҳои сутунии кушодаасос барои коркарди онлайни дархостҳои таҳлилӣ (OLAP) мебошад, ки аз ҷониби Яндекс сохта шудааст. Он аз ҷониби Яндекс, CloudFlare, VK.com, Badoo ва дигар хидматҳо дар саросари ҷаҳон барои нигоҳ доштани миқдори воқеан калон истифода мешавад (ворид кардани ҳазорҳо сатр дар як сония ё петабайтҳои маълумоти дар диск нигоҳ дошташуда).
Дар МДМ муқаррарии "сатр", ки мисоли онҳо MySQL, Postgres, MS SQL Server мебошанд, маълумот бо тартиби зерин нигоҳ дошта мешавад:
Дар ин ҳолат, арзишҳои марбут ба як сатр дар наздикии ҷисмонӣ нигоҳ дошта мешаванд. Дар DBMS-и сутунӣ, арзишҳо аз сутунҳои гуногун алоҳида нигоҳ дошта мешаванд ва маълумот аз як сутун якҷоя нигоҳ дошта мешаванд:
Намунаҳои DBMS-и сутунӣ Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+ мебошанд.
Ширкати интиқолдиҳандаи почта истифодаи Clickhouse-ро дар соли 2018 барои гузоришдиҳӣ оғоз кард ва бо соддагӣ, миқёспазирӣ, дастгирии SQL ва суръати он ба ҳайрат афтод. Суръати ин DBMS бо ҷодугарӣ сарҳад буд.
шароит
Clickhouse дар Ubuntu бо як фармон насб карда мешавад. Агар шумо SQL-ро донед, шумо метавонед фавран ба истифодаи Clickhouse барои эҳтиёҷоти худ шурӯъ кунед. Аммо, ин маънои онро надорад, ки шумо метавонед дар MySQL "намоиш додани ҷадвали эҷод" -ро иҷро кунед ва SQL-ро дар Clickhouse нусхабардорӣ кунед.
Дар муқоиса бо MySQL, дар таърифҳои схемаи ҷадвал фарқиятҳои муҳими навъи додаҳо мавҷуданд, аз ин рӯ ба шумо барои тағир додани таърифҳои схемаи ҷадвал ва омӯхтани муҳаррикҳои ҷадвал барои бароҳат шудан каме вақт лозим мешавад.
Clickhouse бе ягон нармафзори иловагӣ хуб кор мекунад, аммо агар шумо хоҳед, ки нусхабардориро истифода баред, шумо бояд ZooKeeper-ро насб кунед. Таҳлили иҷрои дархостҳо натиҷаҳои аъло нишон медиҳад - ҷадвалҳои система ҳама маълумотро дар бар мегиранд ва ҳама маълумотро бо истифода аз SQL кӯҳна ва дилгиркунанда гирифтан мумкин аст.
Маҳсулнокӣ
- муқоисаи Clickhouse бо Vertica ва MySQL дар конфигуратсияи сервер: ду васлаки Intel® Xeon® CPU E5-2650 v2 @ 2.60 ГГц; 128 ГБ RAM; md RAID-5 дар 8 6TB SATA HDD, ext4.
- муқоисаи Clickhouse бо нигаҳдории абрии Amazon RedShift.
- Иқтибосҳои блог :
Махзани маълумотҳои ClickHouse тарҳи хеле содда дорад - ҳамаи гиреҳҳои кластер як функсия доранд ва танҳо барои ҳамоҳангсозӣ ZooKeeper -ро истифода мебаранд. Мо як кластери хурди якчанд гиреҳҳо сохтем ва санҷиш гузаронидем, ки дар давоми он мо фаҳмидем, ки система кори хеле таъсирбахш дорад, ки ба бартариҳои зикршуда дар нишондиҳандаҳои таҳлилии DBMS мувофиқат мекунад. Мо тасмим гирифтем, ки ба консепсияи паси ClickHouse муфассалтар назар андозем. Аввалин монеаи тадқиқот ин набудани асбобҳо ва ҷомеаи хурди ClickHouse буд, аз ин рӯ мо тарҳи ин DBMS-ро омӯзем, то бифаҳмем, ки он чӣ гуна кор мекунад.
ClickHouse қабули маълумотро мустақиман аз Кафка дастгирӣ намекунад, зеро он танҳо як пойгоҳи додаҳост, аз ин рӯ мо хидмати адаптери худро дар Go навиштем. Он паёмҳои Cap'n Proto-ро аз Кафка хонда, онҳоро ба TSV табдил дод ва тавассути интерфейси HTTP ба ClickHouse дар гурӯҳҳо дохил кард. Мо дертар ин хидматро аз нав навиштем, то китобхонаи Go-ро дар якҷоягӣ бо интерфейси худи ClickHouse барои беҳтар кардани кор истифода барем. Ҳангоми арзёбии кори бастаҳои қабул, мо як чизи муҳимро кашф кардем - маълум шуд, ки барои ClickHouse ин нишондиҳанда аз андозаи баста, яъне шумораи сатрҳои ҳамзамон воридшуда вобаста аст. Барои фаҳмидани он ки чаро ин рӯй медиҳад, мо дида баромадем, ки чӣ тавр ClickHouse маълумотро нигоҳ медорад.
Муҳаррики асосӣ, дурусттараш оилаи муҳаррикҳои ҷадвал, ки аз ҷониби ClickHouse барои нигоҳ доштани маълумот MergeTree истифода мешавад. Ин муҳаррик аз ҷиҳати консептуалӣ ба алгоритми LSM шабоҳат дорад, ки дар Google BigTable ё Apache Cassandra истифода мешавад, аммо аз сохтани ҷадвали хотираи фосилавӣ худдорӣ мекунад ва маълумотро мустақиман ба диск менависад. Ин ба он қобилияти аълои навиштан медиҳад, зеро ҳар як бастаи воридшуда танҳо аз рӯи калиди ибтидоӣ мураттаб карда, фишурда мешавад ва ба диск навишта мешавад, то сегментро ташкил кунад.
Набудани ҷадвали хотира ё ҳама гуна мафҳуми “тару тозагии” маълумот инчунин маънои онро дорад, ки онҳо метавонанд танҳо илова карда шаванд; система тағир додан ё нест карданро дастгирӣ намекунад. Дар айни замон, роҳи ягонаи нест кардани маълумот ин нест кардани он аз рӯи моҳи тақвимӣ мебошад, зеро сегментҳо ҳеҷ гоҳ сарҳади як моҳро убур намекунанд. Дастаи ClickHouse барои танзимшавандаи ин хусусият фаъолона кор мекунад. Аз тарафи дигар, он навиштан ва муттаҳид кардани сегментҳоро бидуни баҳс мекунад, аз ин рӯ миқёси интиқолро ба таври хаттӣ бо шумораи воридоти ҳамзамон то фаро расидани I/O ё сершавии аслӣ қабул кунед.
Аммо, ин инчунин маънои онро дорад, ки система барои бастаҳои хурд мувофиқ нест, аз ин рӯ хидматҳои Кафка ва воридкунандагон барои буферӣ истифода мешаванд. Баъдан, ClickHouse дар замина пайваста муттаҳидкунии сегментҳоро идома медиҳад, то ки бисёре аз қисмҳои хурди иттилоот муттаҳид карда шаванд ва борҳо сабт карда шаванд ва ба ин васила шиддати сабтро зиёд кунад. Аммо, то даме ки муттаҳидшавӣ идома дорад, қисмҳои аз ҳад зиёди пайвастнашуда боиси дроссели хашмгин мешаванд. Мо дарёфтем, ки беҳтарин созиш байни қабули вақти воқеӣ ва иҷрои воридшавӣ ворид кардани миқдори маҳдуди воридот дар як сония ба ҷадвал аст.
Калиди иҷрои хондани ҷадвал индексатсия ва ҷойгиршавии маълумот дар диск мебошад. Новобаста аз он ки коркард то чӣ андоза зуд аст, вақте ки муҳаррик бояд терабайтҳои маълумотро аз диск скан кунад ва танҳо як қисми онро истифода барад, он вақтро мегирад. ClickHouse як мағозаи сутун аст, аз ин рӯ ҳар як сегмент дорои файл барои ҳар як сутун (сутун) бо арзишҳои мураттабшуда барои ҳар як сатр. Бо ин роҳ, аввал тамоми сутунҳои дар пурсиш мавҷудбударо партофтан мумкин аст ва сипас якчанд ячейкаҳоро дар баробари иҷрои векторӣ коркард кардан мумкин аст. Барои пешгирӣ кардани скан пурра, ҳар як сегмент дорои файли индекси хурд аст.
Бо назардошти он, ки ҳамаи сутунҳо аз рӯи "калиди ибтидоӣ" мураттаб карда мешаванд, файли индекс танҳо тамғакоғазҳоро (сатрҳои гирифташуда) -и ҳар як сатри N-ро дар бар мегирад, то онҳоро ҳатто барои ҷадвалҳои хеле калон дар хотира нигоҳ дорад. Масалан, шумо метавонед танзимоти пешфарзро барои "ҳар як сатри 8192-ум қайд кунед", пас индексатсияи "ночиз" -и ҷадвал бо 1 триллион. сатрҳое, ки ба хотира ба осонӣ мувофиқанд, танҳо 122 аломат мегиранд.
Рушди система
Рушд ва такмили Clickhouse-ро метавон пайгирӣ кард ва боварӣ ҳосил кунед, ки раванди "болошавӣ" бо суръати таъсирбахш мегузарад.
Нашрия
Чунин ба назар мерасад, ки маъруфияти Clickhouse, махсусан дар ҷомеаи русзабон, беист афзоиш меёбад. Конфронси соли гузаштаи High load 2018 (Маскав, 8-9 ноябри соли 2018) нишон дод, ки чунин ҳаюлоҳо ба монанди vk.com ва Badoo аз Clickhouse истифода мебаранд, ки бо онҳо маълумотро (масалан, гузоришҳо) аз даҳҳо ҳазор серверҳо дар як вақт ворид мекунанд. Дар як видеои 40 дақиқа . Ба наздикӣ мо стенограммаро дар Habr ҷойгир хоҳем кард, то кор бо мавод осон шавад.
Барномаҳо
Пас аз чанд вақт барои таҳқиқ, ман фикр мекунам, ки соҳаҳое ҳастанд, ки ClickHouse метавонад муфид бошад ё метавонад ҳалли дигар, анъанавӣ ва маъмулро иваз кунад, ба монанди MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot ва Друид. Дар зер тафсилоти истифодаи ClickHouse барои навсозӣ ё пурра иваз кардани DBMS дар боло тавсиф карда шудааст.
Васеъ кардани имкониятҳои MySQL ва PostgreSQL
Ба наздикӣ мо қисман MySQL-ро бо ClickHouse барои платформаи бюллетени худ иваз кардем . Мушкилот дар он буд, ки MySQL аз сабаби тарҳрезии бад, ҳар як почтаи ирсолшуда ва ҳар як истиноди ин почтаи электрониро бо хэши base64 сабт карда, ҷадвали бузурги MySQL (email_stats) эҷод мекард. Пас аз фиристодани ҳамагӣ 10 миллион почтаи электронӣ ба муштариёни хидматрасонӣ, ин ҷадвал 150 ГБ фазои файлро ишғол кард ва MySQL дар дархостҳои оддӣ "беақл" шудан гирифт. Барои ислоҳи масъалаи фазои файл, мо фишурдани ҷадвали InnoDB-ро бомуваффақият истифода кардем, ки онро 4 маротиба кам кард. Бо вуҷуди ин, нигоҳ доштани зиёда аз 20-30 миллион почтаи электронӣ дар MySQL танҳо ба хотири хондани таърих ҳанӯз маъно надорад, зеро ҳар як дархости оддӣ, ки бо ягон сабаб скани пурраро анҷом додан лозим аст, дар своп натиҷа медиҳад ва бисёр ман /О бор, ки аз руи он мо аз Заббикс мунтазам огохй мегирифтем.
Clickhouse ду алгоритми фишурдасозиро истифода мебарад, ки ҳаҷми маълумотро тахминан кам мекунад , аммо дар ин маврид маълумот махсусан «фишурдашаванда» буд.
Иваз кардани ELK
Бар асоси таҷрибаи шахсии ман, стеки ELK (ElasticSearch, Logstash ва Kibana, дар ин маврид ElasticSearch) барои кор захираҳои бештареро талаб мекунад, ки назар ба нигоҳ доштани гузоришҳо. ElasticSearch як муҳаррики олиҷаноб аст, агар ба шумо ҷустуҷӯи хуби сабти пурраи матн лозим бошад (ба фикрам, ки ба шумо воқеан лозим нест), аммо ман ҳайронам, ки чаро он муҳаррики воқеии стандартии сабти ном шудааст. Фаъолияти воридшавии он дар якҷоягӣ бо Logstash ба мо ҳатто дар зери бори хеле сабук мушкилот овард ва аз мо талаб кард, ки RAM ва фазои диски бештарро илова кунем. Ҳамчун пойгоҳи додаҳо, Clickhouse аз ElasticSearch бо сабабҳои зерин беҳтар аст:
- Дастгирии лаҳҷаи SQL;
- Беҳтарин дараҷаи фишурдани маълумоти захирашуда;
- Дастгирии ҷустуҷӯи ифодаи муқаррарии Regex ба ҷои ҷустуҷӯи матни пурра;
- Банақшагирии мукаммали дархост ва иҷрои баландтари умумӣ.
Дар айни замон, бузургтарин мушкилоте, ки ҳангоми муқоисаи ClickHouse бо ELK ба миён меояд, набудани роҳҳои боркунии гузоришҳо, инчунин набудани ҳуҷҷатҳо ва дарсҳо оид ба мавзӯъ мебошад. Ғайр аз он, ҳар як корбар метавонад ELK-ро бо истифода аз дастури Digital Ocean танзим кунад, ки барои татбиқи босуръати чунин технологияҳо хеле муҳим аст. Муҳаррики пойгоҳи додаҳо мавҷуд аст, аммо ҳоло Filebeat барои ClickHouse вуҷуд надорад. Бале, он ҷост ва системаи кор бо гузоришҳо , асбобе ҳаст барои ворид кардани маълумоти файли журнал ба ClickHouse, аммо ҳамаи ин вақти бештарро мегирад. Бо вуҷуди ин, ClickHouse бо сабаби соддагии худ ҳоло ҳам пешсаф аст, аз ин рӯ ҳатто шурӯъкунандагон метавонанд онро ба осонӣ насб кунанд ва дар тӯли 10 дақиқа пурра истифода баранд.
Ба ҳалли минималистӣ бартарӣ дода, ман кӯшиш кардам, ки FluentBit, асбоби интиқоли гузоришҳо бо хотираи хеле кам ва дар якҷоягӣ бо ClickHouse истифода барам, дар ҳоле ки кӯшиш кардам, ки аз Кафка худдорӣ кунам. Бо вуҷуди ин, носозгориҳои хурд бояд ҳал карда шаванд, масалан пеш аз он ки ин корро бидуни қабати прокси, ки маълумотро аз FluentBit ба ClickHouse табдил медиҳад, иҷро кардан мумкин аст.
Ҳамчун алтернатива, Kibana метавонад ҳамчун пуштибони ClickHouse истифода шавад . Аз он чизе ки ман мефаҳмам, ин метавонад ҳангоми пешниҳоди миқдори зиёди нуқтаҳои додаҳо, махсусан бо версияҳои кӯҳнаи Grafana, мушкилоти иҷроишро ба вуҷуд орад. Мо инро дар Qwintry то ҳол санҷида натавонистем, аммо шикоятҳо дар ин бора гоҳ-гоҳ дар канали дастгирии ClickHouse дар Telegram пайдо мешаванд.
Иваз кардани Google Big Query ва Amazon RedShift (ҳал барои ширкатҳои бузург)
Ҳолати беҳтарини истифода барои BigQuery ин бор кардани 1 TB додаҳои JSON ва иҷро кардани дархостҳои таҳлилӣ дар он мебошад. Big Query як маҳсулоти аълоест, ки миқёспазирии онро аз ҳад зиёд арзёбӣ кардан мумкин нест. Ин нармафзор нисбат ба ClickHouse хеле мураккабтар аст, ки дар кластери дохилӣ кор мекунад, аммо аз нуқтаи назари муштарӣ он бо ClickHouse умумӣ дорад. Вақте ки шумо ба як SELECT пардохт мекунед, BigQuery метавонад зуд гарон шавад, аз ин рӯ, он як ҳалли воқеии SaaS бо тамоми ҷиҳатҳои мусбат ва манфии он аст.
ClickHouse интихоби беҳтаринест, вақте ки шумо дархостҳои аз ҷиҳати ҳисоббарории гаронбаҳоро иҷро мекунед. Чӣ қадаре ки шумо ҳар рӯз дархостҳои SELECT-ро бештар иҷро кунед, иваз кардани Query бо ClickHouse ҳамон қадар маъно дорад, зеро чунин ивазкунӣ метавонад ҳазорҳо долларро сарфа кунад, вақте сухан дар бораи терабайтҳои зиёди маълумот меравад. Ин ба маълумоти захирашуда дахл надорад, ки коркард дар Big Query хеле арзон аст.
Дар маколаи асосгузори Altinity Александр Зайцев дар бораи манфиатҳои чунин муҳоҷирати DBMS сӯҳбат мекунад.
Иваз кардани TimescaleDB
TimescaleDB як тамдиди PostgreSQL мебошад, ки кор бо силсилаи вақтҳоро дар пойгоҳи додаҳои муқаррарӣ оптимизатсия мекунад (, ).
Гарчанде ки ClickHouse рақиби ҷиддӣ дар чароғаки силсилаи вақт нест, аммо сохтори сутунӣ ва иҷрои дархостҳои векторӣ, он дар аксари ҳолатҳои коркарди дархостҳои аналитикӣ нисбат ба TimescaleDB хеле тезтар аст. Ҳамзамон, иҷрои қабули маълумоти партиявӣ аз ClickHouse тақрибан 3 маротиба зиёдтар аст ва он инчунин фазои дискро 20 маротиба камтар истифода мебарад, ки барои коркарди ҳаҷми бузурги маълумоти таърихӣ воқеан муҳим аст: .
Баръакси ClickHouse, ягона роҳи сарфаи фазои диск дар TimescaleDB ин истифодаи ZFS ё системаҳои файлии шабеҳ аст.
Навсозиҳои дарпешистода дар ClickHouse эҳтимолан фишурдани дельтаро ҷорӣ мекунанд, ки онро барои коркард ва нигоҳ доштани маълумотҳои силсилаи вақт мувофиқтар мекунад. TimescaleDB дар ҳолатҳои зерин метавонад интихоби беҳтар аз ClickHouse-и холӣ бошад:
- насбҳои хурд бо RAM хеле кам (<3 ГБ);
- шумораи зиёди INSERT-ҳои хурд, ки шумо намехоҳед ба порчаҳои калон буфер кунед;
- мутобиқати беҳтар, якрангӣ ва талаботи ACID;
- Дастгирии PostGIS;
- ҳамроҳ шудан бо ҷадвалҳои мавҷудаи PostgreSQL, зеро Timescale DB аслан PostgreSQL мебошад.
Рақобат бо системаҳои Hadoop ва MapReduce
Hadoop ва дигар маҳсулоти MapReduce метавонанд ҳисобҳои зиёди мураккабро иҷро кунанд, аммо онҳо одатан бо таъхирҳои азим кор мекунанд. ClickHouse ин мушкилотро тавассути коркарди терабайтҳои маълумот ва тавлиди натиҷаҳо қариб фавран ҳал мекунад. Ҳамин тариқ, ClickHouse дар анҷом додани тадқиқоти аналитикии зуд ва интерактивӣ самараноктар аст, ки бояд олимони маълумотро ҷалб кунад.
Рақобат бо Пинот ва Друид
Наздиктарин рақибони ClickHouse маҳсулоти сутунӣ ва миқёспазири кушодаи Pinot ва Druid мебошанд. Дар мақола як кори аълои муқоисаи ин системаҳо нашр шудааст аз 1 феврали соли 2018
Ин мақола ба навсозӣ ниёз дорад - дар он гуфта мешавад, ки ClickHouse амалиёти UPDATE ва DELETE -ро дастгирӣ намекунад, ки барои версияҳои охирин комилан дуруст нест.
Мо бо ин пойгоҳҳо таҷрибаи зиёд надорем, аммо ман аслан мураккабии инфрасохторро, ки барои идора кардани Druid ва Pinot лозим аст, дӯст намедорам - ин як маҷмӯи қисмҳои ҳаракаткунандаест, ки аз ҳама ҷонибҳо бо Java иҳота шудаанд.
Druid ва Pinot лоиҳаҳои инкубаторҳои Apache мебошанд, ки пешрафти онҳо аз ҷониби Apache дар саҳифаҳои лоиҳаи GitHub муфассал инъикос ёфтааст. Пино дар инкубатор моҳи октябри соли 2018 пайдо шуд ва Друид 8 моҳ пештар - дар моҳи феврал таваллуд шудааст.
Набудани маълумот дар бораи чӣ гуна кор кардани AFS барои ман саволҳои каме ва шояд аблаҳро ба миён меорад. Ман ҳайронам, ки оё муаллифони Pinot пай бурданд, ки Бунёди Апачи нисбат ба Друид мусоидтар аст ва оё ин муносибат ба рақиб эҳсоси ҳасадро ба вуҷуд овардааст? Оё рушди Друид суст мешавад ва рушди Пино суръат мебахшад, агар пуштибони пештара ногаҳон ба охирин таваҷҷӯҳ кунанд?
Камбудиҳои ClickHouse
Нокомӣ: Аён аст, ки ин технологияи дилгиркунанда нест, аммо дар ҳар сурат, дар дигар DBMS-ҳои сутунӣ чизе ба ин монанд мушоҳида намешавад.
Васлкунакҳои хурд бо суръати баланд хуб кор намекунанд: замимаҳоро ба қисмҳои калонтар тақсим кардан лозим аст, зеро кори воридкунии хурд мутаносибан ба шумораи сутунҳо дар ҳар як сатр паст мешавад. Маҳз ҳамин тавр ClickHouse маълумотро дар диск нигоҳ медорад - ҳар як сутун 1 файл ё бештарро ифода мекунад, бинобар ин барои ворид кардани 1 сатри дорои 100 сутун, шумо бояд ҳадди аққал 100 файлро кушоед ва нависед. Ин аст, ки чаро буфер кардани замимаҳо миёнаравро талаб мекунад (агар худи муштарӣ буфериро таъмин накунад) - одатан Кафка ё як навъ системаи идоракунии навбат. Шумо инчунин метавонед муҳаррики ҷадвали буфериро истифода баред, то баъдтар қисмҳои калони маълумотро ба ҷадвалҳои MergeTree нусхабардорӣ кунед.
Пайвастшавӣ ба ҷадвал бо RAM-и сервер маҳдуд аст, аммо ҳадди аққал онҳо дар он ҷо ҳастанд! Масалан, Druid ва Pinot чунин робитаҳо надоранд, зеро татбиқи бевосита дар системаҳои тақсимшуда душвор аст, ки интиқоли қисмҳои калони маълумотро байни гиреҳҳо дастгирӣ намекунанд.
натиҷаҳои
Мо нақша дорем, ки дар солҳои оянда ClickHouse-ро дар Qwintry ба таври васеъ истифода барем, зеро ин DBMS тавозуни аълои кор, хароҷоти кам, миқёспазирӣ ва соддаро таъмин мекунад. Ман боварӣ дорам, ки он ба зудӣ паҳн мешавад, вақте ки ҷомеаи ClickHouse бо роҳҳои бештари истифода аз он дар насбҳои хурд то миёна истифода мешавад.
Баъзе рекламаҳо 🙂
Ташаккур ба шумо барои бо мо мондан. Мақолаҳои мо ба шумо маъқуланд? Мехоҳед мундариҷаи ҷолибтарро бубинед? Бо фармоиш додан ё тавсия додан ба дӯстон моро дастгирӣ кунед, , аналоги беназири серверҳои сатҳи ибтидоӣ, ки аз ҷониби мо барои шумо ихтироъ шудааст: (бо RAID1 ва RAID10, то 24 ядро ва то 40 ГБ DDR4 дастрас аст).
Dell R730xd дар маркази додаҳои Equinix Tier IV дар Амстердам 2 маротиба арзонтар аст? Танҳо дар ин ҷо дар Нидерландия! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - аз $99! Дар бораи хондан
Манбаъ: will.com