Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Замућена мачка позира на позадини прилагођеног сервера. У позадини је миш на серверу

Хеј Хабр!

У животу сваке особе понекад постоји потреба за надоградњом рачунара. Понекад је куповина новог телефона за замену поквареног или у потрази за новим Андроидом или камером. Понекад - замена видео картице како би игра могла да ради на минималним подешавањима. Понекад - инсталирање ССД-а у лаптоп на који сте инсталирали Виндовс 2, али не воли да живи на Цоре2.5Дуо-у и 32 гигабајта адресабилне меморије, и стално избацује неискоришћене странице у свап датотеку, уништавајући ионако не велику брзину размене са диском од XNUMX гигабајта.

Моја прича је надоградња сервера који је монтиран током моје прве године на институту. Моје потребе су порасле у протеклих шест година, а он је, наравно, добио повећање и РАМ-а и простора на диску. Проблем је у томе што су се новим сазнањима стекле нове амбиције – жеља да се то знање примени у пракси – и можда више неће моћи да се носи са њима.

Прво ће бити неки досадан уводни текст, а затим и слике.

Само да буде јасно који сервер сада постоји:

Процесор: Цоре иКСНУМКС-КСНУМКС 4 тока, 3.4 ГХз
РАМ: ДДР3 8 ГиБ
ССД: 250 ГБ

Даље, овај сервер тешко да ће се спомињати, ове главне карактеристике су искључиво зато да се има са чиме упоредити и јасно је зашто сам одлучио да превазиђем своју лењост и потрошим време и новац.

Још нисам сигуран шта ће тачно радити на новом серверу, али неке апстрактне мисли су ме навеле да преузмем следеће задатке:

  • Хостовање неколико статичних сајтова. Сада нгинк то ради, али са не најбољим конфигурацијама. И њих ће требати исправити, али о томе у другом делу.
  • Хостовање само статичких датотека. На пример, слике из овог чланка. Они такође пролазе кроз нгинк, али се учитавају преко ВинСЦП-а, што је незгодно. Морамо да ископамо нешто попут миОвнЦлоуд да бисмо могли лако и природно да отпремамо слике на сервер.
  • Изградите сервер за пројекте кућних љубимаца. Сада је Џенкинс.
  • Различите ознаке за ове пројекте: развој, интеграцијски тестови, итд. Још није стигао на продајно место, али постоји само један штанд, додуше на оптуженичкој клупи.
  • Неки сервери за игре, ако ваши пријатељи желе да играју нешто што захтева сервер: Старбоунд, Минецрафт, Скуад (иако им треба најмање четрдесет људи). Да, најмање ЦС 1.6.
  • Виртуелне машине за пријатеље, ако изненада хитно морају негде да угосте нешто. Или за себе, да имате неку врсту ВДИ. Има чиме да се учита, само да има хардвера.

Политички далеки планови:

  • Торент преузимач: да подржи ретке дистрибуције на роот трацкеру. Истина, морамо да смислимо како да их аутоматски преузмемо, где да их чувамо, да ли ће провајдер бити против константне позадинске дистрибуције и, што је најважније, да ли ће момци у униформи бити заинтересовани за терабајте наменски дистрибуиране музике са књигама.
  • Излазна тачка из неког ТОР-а: лепо, али не. Из истог разлога.

Међутим, могуће је доделити део капацитета аналогном сада затвореном СЕТИ@Хоме. Можда ми неки претраживач који је упознат са овим може рећи где да ставим топлоту?

Избор платформе

Да. Средили смо мотивациони део: Желим хардвер, али није јасно зашто. Морате одлучити какав хардвер желите.

Јефтина половна опрема се редовно помиње на Хабреу: било да се ради о дистрибуцији сервера од стране наранџастог човека или недавни чланак о коришћеним акцелераторима за уши. Професионална опрема је скупа. За програмера у Москви то је подношљиво, али скупо.

Међутим, професионална опрема је скупа јер корпорације имају много новца, техничку подршку и гаранцију квалитета већу од робе широке потрошње. Не увек, али очекивања су очигледно померена на боље.

Дакле, циљ је саставити сервер од половних (читај: јефтиних) резервних делова и оставити простор за мању надоградњу у наредних пет година. Такви резервни делови су јефтинији од нових, а можда и даље имају довољно средстава за редовну кућну употребу. (Овај циљ сам саставио након што сам саставио сервер. Све је у најбољој традицији писања тезе)

Као последица циља, опрема треба да има један од најбољих односа "папагај/рубља", при чему битни капацитет папагаја зависи од врсте опреме: РАМ - запремина (не брзина, не), диск - запремина ( и брзина), процесор - ово је тешко. Нека ово буду референтни синтетички папагаји.

Препоручљиво је да сервер тежи бешумности. Не обећавам егзотику у виду прилагођених топлотних цеви и хладњака без вентилатора, али сервер је предодређен да стоји у спаваћој соби или удаљеној канцеларији или мојој соби, тако да бих волео да не бучи у режиму мировања као млазни авион на полетању.

Полазна тачка су јефтини кинески ксеони, за које сам сазнао у давна времена, можда и са Хабра. У коментарима У једној од успутних вести пао је жар холивара „Интел против АМД-а“. Немогуће је не поредити, можда су нови Ризен-и заиста бољи од Интелових процесора - нисам их пратио пет година, па чак и више.

Дакле, поређење укључује две странке са приближно истим показатељем папагаја према цпубенцхмарк: Ризен КСНУМКС КСНУМКС, Ризен 7 2700к, пар Ксеон Е5-2689, пар Е5-2690, пар Е5-2696в2 и струја Цоре иКСНУМКС-КСНУМКС. Наравно, упоредио сам и друге процесоре, на пример, нови Цоре и7, нови Ризен 7 и Ризен 7 2600, али главни интерес је управо овај одељак: они су приближно исти по процесорској снази. На крају крајева, ово није покушај да се реши холивар, већ да изаберем процесор који ми највише одговара. Е5-2696в2 и и3-2130 су представљени само за поређење са другим коришћеним процесорима и тренутним сервером.

АМКСНУМКС
ЛГАКСНУМКС

7 2700к
7 2700
е5-2689
2к е5-2689
е5-2690
2к е5-2690
2к е5-2696в2
иКСНУМКС-КСНУМКС

Чин, папагаји
17898
16021
10036
17945
10207
18967
23518
1839

Цена, рубаља
15200
12500
5000
10000
5500
11000
18000
1000

Топлотна снага, В
105
65
115
230
135
270
260
65

Језгра, ком.
16
16
16
32
16
32
24
4

Фреквенција, ГХз
3,7
3,2
2,6
2,6
2,9
2,9
2,5
3,1

Папагаји / рубље
1,18
1,28
2,01
1,79
1,86
1,72
1,31
1,84

Папагаји/В
170,46
246,48
87,27
78,02
75,61
70,25
90,45
28,29


Досадно је гледати табелу, погледајмо графикон апсолутних папагаја:
Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе

Размишљао сам да изоставим овај графикон, али онда бих морао очима да погледам табелу, а не воле сви ово да раде. Дакле, ово је наставни графикон. На левој страни је скала шта год да је, у овом случају апстрактни синтетички папагаји. Потписи испод су процесори. На левој страни је пар Ризен-а, у средини је пар једноструких и двоструких Ксеона. Збуњен, да, али то је чињеница. Десно су два Ксеона друге генерације и процесор тренутног сервера.

Упознавши се са локацијом процесора, вреди погледати графикон трошкова једног папагаја:
Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе

То показује да је најисплативије узети један Ксеон прве генерације. Двоструки ксеони су нешто лошији од појединачних: трошак се удвостручио, а ефикасност је повећана за 1.7 пута, односно однос се смањио. Али Ксеон друге генерације више није профитабилан: цена по папагају се већ приближава Ризену.

А Ризенови су проклето енергетски ефикасни по папагају:
Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе

Морам признати, у том тренутку сам се осећао поносним на напредак човечанства и АМД-а. Ово више није обиман развојни пут, то је покушај да се из парчета силицијума исцеди максимум. Е5-2690 је изашао 2012, а Ризен 7 2700 2018. Троструко повећање енергетске ефикасности за шест година није доба за технологију. Ох, и Цоре и3-2100 је негде потпуно невидљив у углу. Хајде да не причамо о њему.

Међусобно повлачење: Ризенс растурају однос перформанси и потрошње енергије. Или је то епски другачији начин мерења ТДП-а између АМД-а и Интел-а. И прва генерација коришћених ксеона за уши су импресивни у погледу односа перформанси и цене.

Дакле, узећу кеоне. Нисте заборавили циљ који сам поставио на самом почетку овог одељка, зар не?

Остало сродно гвожђе

У ствари, избор између АМД-а и Интел-а није ограничен само процесором који се користи. Зен+ процесори користе ДДР4 меморију (титс), а Санди Бридге је ДДР3 (титс). ДДР4-2933 је теоретски 1.87 пута бржи од ДДР3-1600, ако ишта разумем. Не, сећам се са институтског курса како ДДР функционише, са свим овим ¬ЦС, РАС, ЦАС и осталима. И Бурст Моде. Само не желим да улазим дубље у ово, јер се тога сећам веома нејасно, а ДДР3 је већ имплицитно одабран од стране процесора, нема смисла бринути о томе.

Поред тога 16 гигс ДДР4-2600 кошта исто као 32 ГБ ДДР3-1866* са ЕЦЦ...

*Није 1866, него 1778. Немам појма зашто суморни кинески геније није могао да савлада 1866, али се није спустио на стандардних 1600 МХз...

Ограничења у вези са утичницом и типом меморије такође утичу на избор матичне плоче: за исте 7к рубаља можете добити Кинеска накнада са максимално 256 гигабајта РАМ-а, и било која АМ4 утичница има максимално 4 слота за РАМ, односно ограничен на 64 гигабајта.

Избор матичне плоче са два утичница подразумева посебне захтеве за напајање: мора имати два осмопинска контакта за напајање процесора. Можда ће видео картица радити, али игле су мало другачијег облика, одлучио сам да не ризикујем и не читам документацију, јер напајања имају потребне захтеве постоје.

Утичнице на овој матичној плочи су такође лоше распоређене: растојање између њих је нешто мање од 10 центиметара, што отежава паралелну инсталацију два хладњака. У почетку сам желео да уградим хладњаке тако да усис ваздуха долази из међупростора, али више о томе у наставку.

За складиштење података, у почетку сам желео да узмем ССД који је већ био у старом серверу за систем, али сам одлучио да узмем 2ТБ Цруциал П1 са М1 конектором. Матична плоча има шест САТА конектора и планирао сам да на њих повежем шест ВД Ред 2ТБ хард дискова, али док сам се питао да ли је вредно потрошити још 12 хиљада рубаља на њих, они су већ били купљени. Дакле, постављање ЗФС раида није укључено у други део чланка. Али то је касније, прича се враћа на ССД. Можете прочитати много професионалнију рецензију о томе овде. Његов трик је у томе што је јефтин. Погледајте и сами ову табелу снимања:

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе

Можете уписати 75 гигабајта на њега одједном, а онда постаје гори од чврстог диска. Хвала ти што бар ниси почео да се вртиш. Ох, и може се преписати само 200 пута. Од чега је уопште направљен?!

У ствари, ово није толико страшно за начин у којем планирам да га користим: углавном читање података и писање података који нису критични за брзину писања. Па, волео бих да се надам.

Ресурс за поновно уписивање од 200к одговара приближно 109 гигабајта дневно током пет година. 109 гигабајта дневно није исто што и 75 гигабајта одједном. И све је у реду са читањем. Нису најбоље перформансе међу М2 дисковима, али су у складу са нивоом писања који показује у кеш меморији.

Скупштина

Ако је пре тога био претежно псеудотехнички текст испресецан графиконима, сада ће бити слике, разводњене уметничком нарацијом.

Изненада у уторак ујутро јавио се курир руске поште и рекао да ће данас стићи са пакетом. Обично сам преузимам пакете, али су током карантина, очигледно, одлучили да пооштре одељење за испоруку.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Изглед парцеле

Лукави Кинези су све спаковали у један пакет, иако сам наручио четири различите поруџбине на Алиекспресу, да не би био подложан дажбинама од двеста евра.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Садржај кутије

Матична плоча долази са читавим упутством! О сигналима говорника морате сами да претпоставите. На веб страници се каже да су наранџасти РАМ слотови главни и да их треба инсталирати. Упутства су мало мање него потпуно бескорисна. Повезао сам дугме за напајање на њега. Иначе, једини натпис на кутији је МАТИЧНА ПЛОЧА. Своју фотографију није заслужила, али је свакако заслужила помињање.

Извадимо кућиште и усисавамо га. У ствари, није вредело да га добије, није био ништа друго до мука. Али изгледа естетски угодно. погледао...

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Хулл, поглед наопако

У телу су вилински тобогани. (И планирам драјвове од 3.5 инча. Мораћу да уклоним плочу)

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Простор за дискове

На предњој плочи се налазе и брзо заменљиви вентилатори. Вероватно су бучни.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Њима управља нешто сложеније од директно матичне плоче

Скините горњи поклопац и погледајте шта је унутра. Ако одврнете неколико шрафова, можете померити простор на диску и направити простор за манипулацију. А матична плоча је формата Е-АТКС, заузима скоро сав простор на серверу.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Изворно напајање

Нисам могао само да извучем напајање; морао сам да одврнем све завртње на полеђини и скоро раставим цело кућиште. Испоставило се да су га држала два завртња и комад траке. Било је злочесто, али сада и сам могу да користим такву тактику.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Ево је лево, несрећна црна трака!

Већ сам уморан да бирам најуспешније фотографије, уклањам оне које нису потребне за причу, изрезујем слике и постављам их на сајт. У међувремену долази следећи дан, а на мом столу су само кинески резервни делови. Морате брзо да наручите и пожурите у продавницу на другој страни Москве.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
На улазу у продавницу

Продајни простор је затворен, отворено је само преузимање поруџбине. Добро је да је време било сунчано, не знам како би било на киши. Наруџбине се морају позивати преко видео интерфона, штета што се то не објашњава много. Било би лепо да одштампате бар нека упутства осим „држите раздаљину од 2 метра“. Чека се не дуже од десет минута, одлично. Хајдемо назад.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Два хладњака, једно напајање и мали ССД

Пошто су хладњаци који су одговарали димензијама кућишта били скупи и бучни, морали смо да изаберемо превелику опцију. Ово ме је спасило од агоније избора напајања: тихи АТКС формат, али ћете морати да уклоните поклопац, или једноделни, али бучан и две хиљаде рубаља скупљи. Почињемо да испробавамо куповину. Првобитна идеја два хладњака је била да узимају ваздух из центра, али је клизни капацитет за дискове направљен подешавања и вентилатори су морали да се пребаце на секвенцијално дување. Биће занимљиво посматрати температуру на једном кристалу пар степени више него на другом.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Још увек нема термалне пасте

Обришите базу хладњака и процесор алкохолом. Дринкинг. Али то је технички већ неколико година, боље је не користити га орално. Равномерно нанесите термалну пасту нечим равним. У ствари, ја се слабо разумем у процес наношења термалне пасте, али резултати мог рада су увек доносили позитивне резултате. Очигледно, овде је тешко зезнути, чак и ако лепак Момент може да ради годинама, судећи по причама. Обично користим комад непотребне пластичне картице, али је нисам имао при руци. На његовом месту био је новопечени четврти пањ без ногу. Не брините, након процедуре сам га обрисао алкохолом и вратио на полицу.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Нешто чудно и узнемирујуће
Апликација није идеална, а хладњак нисам притиснуо до краја: можете видети померање „ћелавог“ места у односу на центар.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Нулирање

Додамо додатни слој термичког интерфејса на местима где очигледно недостаје и на мало другачијим местима.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Да, задовољавајуће

Почнимо са инсталирањем матичне плоче. Очигледно је било нешто другачијег формата на серверу, а ти... ух... елементи у које су завртњи уврнути да би осигурали матичну плочу нису били на правом месту за Е-АТКС плочу. Нажалост, комаду метала у који су ушрафљени спојеви недостајале су три рупе наспрам оних на матичној плочи. На срећу, и самим оковима су недостајала три комада.

Због тога се матична плоча савија на местима где су прикључени 24-пински конектор и ПЦИ-Е конектори. С једне стране, то је текстолит. С друге стране, ово је кинески текстолит, никад не знаш шта да очекујеш од њега. Али морате пажљиво притиснути у сваком случају, чак и ако је ПЦБ сертификован по војним стандардима. Не, у овом случају морате притиснути још пажљивије - такође је направљен у Кини, али сертификација по комаду и прихватање повећала су цену уређаја неколико десетина пута.

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Пуно рупа и свега нема

Сећате се напајања на траци? Историја је циклична, ево понављања:

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
И да, не свиђа ми се

Монтажа је завршена, премештамо рачунар у собу мог брата, одузимамо тастатуру и монитор са живог сервера и покушавамо да га укључимо. Први пут не могу ни да уђем у БИОС. Пошто кеони обично немају уграђени графички копроцесор, а БИОС треба да буде приказан на екрану, инсталирамо неку врсту једноставне видео картице. Боже, како је бучна!

Ни други пут не могу да уђем у БИОС. Разврставањем криваца долазимо до решења: заменом РАМ трака и уклањањем ССД-а можете приступити БИОС-у. Убацујемо ССД на место и поново укључујемо рачунар - БИОС се учитава и диск је откривен. Очигледно, нешто је ресетовано због недостајуће ЦР2032 батерије.

Успут, да ли видите да јединица чврстог диска вири напред више него што би требало? Наслања се на хладњак. Ово није идеално кућиште за рачунаре класичног облика, шта можете да урадите?

Јефтин сервер направљен од кинеских резервних делова. Део 1, гвожђе
Место за почетно подешавање

Мала дигресија што се тиче буке: код видео картице ниво буке је био на нивоу од 27-30 децибела, а након инсталирања оперативног система ниво буке сервера је пао негде око 8-14 децибела. Било је тешко прецизније измерити, јер је и ниво позадинске буке био негде у овом опсегу: градња метроа на улици, котрљање лоптица од комшија изнад, гажење мачке итд. Сервер ће бити смештен у Икеа ормарићу без врата, тако да ће овај ниво буке бити прикладан.  

Бонус

Технички, ово поглавље се не односи на избор и склапање хардвера, али инсталирање оперативног система не представља посебно поглавље. Многи ресурси су већ описали инсталацију било чега на различите уређаје, а оно што ће се десити овде је сасвим обичан феномен. Не желим да правим додатни водич, и то можда нетачан.

Ипак, описаћу грабље на које сам нагазио током процеса инсталације ОС-а.

Нисам инсталирао Виндовс Сервер због недостатка лиценце, а више сам навикнут на интеракцију са Линук серверима. Стари сервер користи Убунту, али неколико мало коришћених ВПС-а покреће ЦентОС и на послу РХЕЛ. Стога ћемо детаљније погледати ЦентОС 8.

Идемо у било које огледало, преузмите .торрент фајл - и за пар десетина минута преузимамо слику од седам гигабајта.

Убацујемо флеш диск, проналазимо га и копирамо слику на њега.

frog@server:~$ lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sdb      8:16   1  14,6G  0 disk
└─sdb4   8:20   1  14,6G  0 part /media/localadmin/ANACONDA
sda      8:0    0 223,6G  0 disk
├─sda2   8:2    0    24G  0 part [SWAP]
├─sda3   8:3    0   128G  0 part /
└─sda1   8:1    0   243M  0 part /boot/efi
frog@server:~$ dd if=/home/frog/CentOS-8.1.1911-x86_64-dvd1.iso of=/dev/sdb
dd: failed to open '/dev/sdb': Permission denied
frog@server:~$ sudo !!
sudo dd if=/home/frog/CentOS-8.1.1911-x86_64-dvd1.iso of=/dev/sdb

И одлазимо да пијемо чај. Сат времена касније уверени смо да је све одавно копирано - али се упит за унос није појавио. Дакле, још увек се копира. У реду, нови терминал, питамо dd, колико је остало.

  PID TTY          TIME CMD
 1075 tty5     00:00:00 bash
 1105 tty5     00:00:00 sudo
 1106 tty5     00:00:00 su
 1112 tty5     00:00:00 bash
 1825 pts/18   00:00:00 sudo
 1826 pts/18   00:01:08 dd
 2846 pts/0    1-23:03:42 java
 5956 pts/19   00:00:00 bash
 6070 pts/19   00:42:15 java
 6652 pts/20   00:00:00 ps
 7477 tty4     00:00:00 bash
 7494 tty4     00:00:00 sudo
 7495 tty4     00:00:00 su
 7497 tty4     00:00:00 bash
frog@server:~$ kill -USR1 1826
-bash: kill: (1826) - Operation not permitted
frog@server:~$ sudo !!
sudo kill -USR1 1826

Одговор на старом терминалу:

9025993+0 records in
9025993+0 records out
4621308416 bytes (4,6 GB, 4,3 GiB) copied, 13428,4 s, 344 kB/s

И после још пар десетина минута:

14755840+0 records in
14755840+0 records out
7554990080 bytes (7,6 GB, 7,0 GiB) copied, 14971,5 s, 505 kB/s

Шта је то? Да ли је копирао бајт по бајт? Лош ресурс флеш диска. Или проверио исправност снимка. У сваком случају, било је неопходно man dd и користите велике блокове за копирање и још нешто што је било корисно једном приликом копирања ХДД-а од 64 ГБ при 5400 о/мин. Али чак и он је копирао брзином већом од трећине УСБ 1.0.

А затим стандардни избор флеш диска као Боот Девице, Нект, Нект, Нект, Финисх. Нема манипулација са партиционисањем диска или Етхернет подешавањима. Најчешћа инсталација ОС-а у 2020.

Закључак

Овај први део приче је о постављању новог сервера. Објавио бих га у целости, али имам још два недовршена чланка у нацртима, који су, чини ми се, занимљивији од „још једне изградње сервера“, а други део о подешавању софтвера прети да неће ускоро бити завршен.

Укупни трошкови су били 57973 рубаља. Ево детаљнијег прегледа, међутим, линкови на Алиекпресс показују нешто другачије производе.

Оперативна меморија КСНУМКСГБ ДДРКСНУМКС-КСНУМКС – 4 ком
КСНУМКС рубаља

процесор Ксеон Е5-2690 – 2 ком
КСНУМКС рубаља

Матична плоча Јингсха Кс79 Дуал Соцкет – 1 ком
КСНУМКС рубља

Напајање ЕкеГате СерверПРО РМ-800АДС – 1 ком
КСНУМКС рубља

Хладњак ИД-хлађење ИД-ЦПУ-СЕ-224-КСТ – 2 ком
КСНУМКС рубља

ССД Цруциал П1 ЦТ1000П1ССД8
КСНУМКС рубаља

Цасе Нонаме
Бесплатно

Приближни трошак власништва је 3.89 рубаља / кВх * 0.8 кВ * 24 сата * 31 дан = 2315 рубаља / месец. Али ово је ако млате колико може без престанка месец дана, у шта веома сумњам због недостатка таквих задатака и преживљавања гвожђа. За поређење, трошкови изнајмљивања сличног сервера висококвалитетних делова је око 25 хиљада рубаља месечно.

Мислим да је ово прилично добар сервер за новац.

Извор: ввв.хабр.цом

Додај коментар