Levný server vyrobený z čínských náhradních dílů. Část 1, železo
Rozmazaná kočka pózuje na pozadí vlastního serveru. Na pozadí je myš na serveru
Čau Habr!
V životě každého člověka je někdy potřeba upgradovat počítač. Někdy je to nákup nového telefonu, který nahradí rozbitý, nebo snaha o nový Android nebo fotoaparát. Někdy - výměna grafické karty, aby hra mohla běžet s minimálním nastavením. Někdy - instalace SSD do notebooku, na který jste nainstalovali Windows 2, ale život na Core2.5Duo a 32 gigabajtech adresovatelné paměti ho opravdu nebaví a neustále vyhazuje nepoužívané stránky do odkládacího souboru, čímž ničí již tak ne příliš velkou rychlost výměny s XNUMXGB diskem.
Můj příběh je upgrade serveru, který byl sestaven během mého prvního roku v ústavu. Moje potřeby za posledních šest let vzrostly a jemu se samozřejmě zvětšila jak RAM, tak místo na disku. Problém je v tom, že s novými znalostmi získal nové ambice - touhu aplikovat tyto znalosti v praxi - a s nimi už se nemusí vyrovnat.
Nejprve bude nějaký nudný úvodní text a pak budou obrázky.
Jen aby bylo jasné, jaký server nyní existuje:
CPU: 4 streamy, 3.4 GHz
RAM: DDR3 8 GiB
SSD: 250 GB
Dále o tomto serveru nebude řeč, tyto hlavní vlastnosti jsou pouze proto, aby bylo s čím srovnávat a bylo jasné, proč jsem se rozhodl překonat svou lenost a utrácet čas a peníze.
Ještě si nejsem jistý, co přesně bude na novém serveru fungovat, ale některé abstraktní myšlenky mě vedou k tomu, abych převzal následující úkoly:
- Hostování několika statických webů. Nyní to nginx dělá, ale s ne nejlepšími konfiguracemi. I ty bude potřeba opravit, ale o tom více v druhém díle.
- Hostování pouze statických souborů. Například obrázky z tohoto článku. Procházejí také přes nginx, ale načítají se přes WinSCP, což je nepohodlné. Potřebujeme vykopat něco jako myOwnCloud, abychom mohli snadno a přirozeně nahrávat obrázky na server.
- Sestavte server pro pet projekty. Teď je to Jenkins.
- Různá označení pro tyto projekty: vývoj, integrační testy atd. Ještě se nedostal do prodeje, ale je tam jen jeden stánek, i když v doku.
- Některé herní servery, pokud vaši přátelé chtějí hrát něco, co vyžaduje server: Starbound, Minecraft, Squad (ačkoli potřebují alespoň čtyřicet lidí). Ano, minimálně CS 1.6.
- Virtuální stroje pro přátele, pokud by náhle potřebovali někde něco akutně hostit. Nebo pro sebe, mít jakési VDI. Je čím naložit, jen kdyby tam byl hardware.
Politicky vzdálené plány:
- Torrent downloader: pro podporu vzácných distribucí na root trackeru. Pravda, musíme vymyslet, jak je automaticky stáhnout, kam je uložit, jestli bude poskytovatel proti neustálému šíření na pozadí a hlavně, jestli chlapi v uniformách budou mít zájem o terabajty účelově distribuované hudby s knihami.
- Výstupní bod z nějakého TOR: pěkné, ale ne. Ze stejného důvodu.
Část kapacity je však možné přidělit obdobě již uzavřeného SETI@Home. Možná mi někdo znalý v tomto oboru řekne, kam umístit teplo?
Výběr platformy
To jo. Vyřešili jsme motivační část: Chci hardware, ale není jasné proč. Musíte se rozhodnout, jaký druh hardwaru chcete.
Na Habré je pravidelně zmiňováno levné použité zařízení: ať už jde o distribuci serverů oranžovým mužem nebo o použitých ušních akcelerátorech blesků. Profesionální vybavení je drahé. Pro developera v Moskvě je to snesitelné, ale drahé.
Profesionální vybavení je však drahé, protože korporace mají spoustu peněz, technickou podporu a vyšší záruku kvality než u spotřebního zboží. Ne vždy, ale očekávání se jednoznačně posouvá k lepšímu.
Cílem je tedy sestavit server z použitých (čti: levných) náhradních dílů a ponechat prostor pro menší upgrade v příštích pěti letech. Takové náhradní díly jsou levnější než nové a ještě mohou mít dostatek prostředků pro běžné domácí použití. (Tento cíl jsem složil poté, co jsem sestavil server. Vše je v nejlepších tradicích psaní diplomové práce)
V důsledku cíle by zařízení mělo mít jeden z nejlepších poměrů „papoušek/rubl“, kde bitová kapacita papouška závisí na typu zařízení: RAM - objem (ne rychlost, ne), disk - objem ( a rychlost), procesor - to je obtížné. Ať jsou to referenční syntetickí papoušci.
Je vhodné, aby se server snažil o bezhlučnost. Neslibuji exotiku v podobě vlastních heatpipe a bezventilátorových chladičů, ale server je předurčen k tomu, aby stál v ložnici alias vzdálená kancelář alias můj pokoj, takže bych chtěl, aby v klidovém režimu neřval jako tryskové letadlo při vzletu.
Východiskem jsou levné čínské xeony, o kterých jsem se dozvěděl v dávných dobách snad také od Habra. V jedné z procházejících zpráv padl žhavý žhavý holivar „Intel vs. AMD“. Nejde to nesrovnávat, možná jsou nové Ryzeny opravdu lepší než procesory Intel – nesleduji je pět let, možná i déle.
Srovnání tedy zahrnuje dvě strany s přibližně stejným ukazatelem papoušků podle : , , , , a aktuální . Samozřejmě jsem porovnával jiné procesory, například nový Core i7, nový Ryzen 7 a Ryzen 7 2600, ale hlavní zájem je právě o tuto sekci: jsou přibližně stejné, pokud jde o výpočetní výkon. Nejde nakonec o snahu řešit holivar, ale o výběr procesoru, který je pro mě nejvhodnější. E5-2696v2 a i3-2130 jsou uvedeny pouze pro srovnání s jinými použitými procesory a aktuálním serverem.
AM4
LGA2011
7 2700x
7 2700
e5-2689
2x e5-2689
e5-2690
2x e5-2690
2x e5-2696v2
i3-2100
Hodnost, papoušci
17898
16021
10036
17945
10207
18967
23518
1839
Cena, rublů
15200
12500
5000
10000
5500
11000
18000
1000
Tepelný výkon, W
105
65
115
230
135
270
260
65
Jádra, ks.
16
16
16
32
16
32
24
4
Frekvence, GHz
3,7
3,2
2,6
2,6
2,9
2,9
2,5
3,1
Papoušci/rubly
1,18
1,28
2,01
1,79
1,86
1,72
1,31
1,84
Papoušci/W
170,46
246,48
87,27
78,02
75,61
70,25
90,45
28,29
Je nudné dívat se na tabulku, podívejme se na graf absolutních papoušků:
Přemýšlel jsem o vynechání tohoto grafu, ale pak bych se musel dívat na tabulku očima a to ne každý dělá rád. Takže toto je výuková tabulka. Vlevo je měřítko toho, co to je, v tomto případě abstraktní syntetickí papoušci. Níže uvedené podpisy jsou procesory. Vlevo je dvojice Ryzenů, uprostřed dvojice jednoduchých a dvojitých Xeonů. Zmatený, to ano, ale je to fakt. Vpravo jsou dva Xeony druhé generace a procesor aktuálního serveru.
Poté, co jste se seznámili s umístěním procesorů, stojí za to podívat se na graf nákladů na jednoho papouška:
Ukazuje, že nejvýnosnější je vzít si jediný Xeon první generace. Dvojité xeony jsou o něco horší než jednoduché: náklady se zdvojnásobily a účinnost se zvýšila 1.7krát, to znamená, že poměr se snížil. Druhá generace Xeonu už ale není zisková: náklady na papouška se už blíží Ryzenu.
A Ryzeny jsou zatraceně energeticky účinné na papouška:
Musím přiznat, že v tu chvíli jsem se cítil hrdý na pokrok lidstva a AMD. To už není rozsáhlá vývojová cesta, je to pokus vymáčknout z kusu křemíku maximum. E5-2690 vyšel v roce 2012 a Ryzen 7 2700 v roce 2018. Trojnásobné zvýšení energetické účinnosti za šest let není věkem pro technologie. Jo a Core i3-2100 je někde úplně neviditelný v rohu. Nemluvme o něm.
Mezitímní výběr: Ryzeny trhají poměr výkon/spotřeba energie. Nebo je to epický odlišný způsob měření TDP mezi AMD a Intel. A použité ušní xeony první generace jsou působivé z hlediska poměru výkon/cena.
Takže vezmu xeony. Nezapomněli jste na cíl, který jsem si stanovil na samém začátku této části, že?
Jiné příbuzné železo
Ve skutečnosti je výběr AMD vs Intel omezen nejen použitým procesorem. Procesory Zen+ využívají paměti DDR4 () a Sandy Bridge je DDR3 (). DDR4-2933 je teoreticky 1.87x rychlejší než DDR3-1600, jestli tomu něco rozumím. Ne, z kurzu institutu si pamatuji, jak funguje DDR, se všemi těmi ¬CS, RAS, CAS a dalšími. A Burst Mode. Jen se do toho nechci hlouběji pouštět, protože si to pamatuji velmi matně a DDR3 je již implicitně vybrán procesorem, nemá smysl se tím trápit.
Navíc stojí stejně jako ...
*Není 1866, ale 1778. Netuším, proč ten zachmuřený čínský génius nezvládl 1866, ale nesnížil na standardních 1600 MHz...
Omezení týkající se zásuvky a typu paměti také ovlivňují výběr základní desky: za stejných 7 XNUMX rublů můžete získat s maximálně 256 gigabajty paměti RAM a má maximálně 4 sloty pro RAM, tedy omezenou na 64 gigabajtů.
Výběr dvoupaticové základní desky s sebou nese speciální požadavky na napájení: musí mít dva osmipinové kontakty pro napájení procesoru. Možná bude grafická karta fungovat, ale kolíky mají mírně odlišný tvar, rozhodl jsem se neriskovat a nečíst dokumentaci, protože napájecí zdroje mají potřebné požadavky .
Zásuvky na této základní desce jsou také špatně uspořádány: vzdálenost mezi nimi je o něco menší než 10 centimetrů, což ztěžuje paralelní instalaci dvou chladičů. Původně jsem chtěl chladiče instalovat tak, aby nasávání vzduchu vycházelo z mezery mezi nimi, ale o tom níže.
Pro ukládání dat jsem původně chtěl vzít SSD, který byl již na starém serveru pro systém, ale rozhodl jsem se vzít 2TB Crucial P1 s konektorem M1. Základní deska má šest konektorů SATA a plánoval jsem k nim připojit šest pevných disků WD Red 2TB, ale když jsem přemýšlel, zda za ně stojí dalších 12 XNUMX rublů, už byly zakoupeny. Takže nastavení ZFS raidu není zahrnuto v druhé části článku. Ale to je později, příběh se vrací k SSD. Můžete si na něj přečíst mnohem odbornější recenzi . Jeho trik je v tom, že je levný. Podívejte se sami na tuto tabulku nahrávání:
Najednou na něj můžete zapsat 75 gigabajtů a pak to bude horší než pevný disk. Děkuji, že jste se alespoň nezačali točit. Jo a taky se to dá přepsat jen 200x. Z čeho to vůbec je?!
Ve skutečnosti to není tak děsivé pro režim, ve kterém to plánuji používat: hlavně čtení dat a zápis dat, která nejsou kritická pro rychlost zápisu. No, rád bych v to doufal.
Prostředek 200x přepisu odpovídá přibližně 109 gigabajtům denně po dobu pěti let. 109 gigabajtů za den není totéž jako 75 gigabajtů najednou. A se čtením je vše v pořádku. Není to nejlepší výkon mezi disky M2, ale odpovídá úrovni zápisu, kterou ukazuje v mezipaměti.
shromáždění
Jestliže dříve existoval převážně pseudotechnický text prokládaný grafy, nyní zde budou obrázky, ředěné uměleckým vyprávěním.
Najednou v úterý ráno zavolal kurýr Ruské pošty a řekl, že dnes dorazí s balíkem. Balíčky si většinou vyzvedávám sám, ale během karantény se rozhodli zřejmě zpřísnit doručovací oddělení.
Vzhled zásilky
Vychytralí Číňané zabalili vše do jednoho balíku, ačkoli jsem si na Aliexpressu objednal čtyři různé objednávky, abych se na ně nevztahoval clo dvě stě eur.
Obsah krabice
Základní deska je dodávána s celým návodem! Signály reproduktoru musíte odhadnout sami. Web říká, že oranžové sloty RAM jsou hlavní a měly by být instalovány v nich. Návod je o něco méně než úplně k ničemu. Připojil jsem k němu tlačítko napájení. Mimochodem, jediný nápis na krabici je MOTHERBOARD. Vlastní fotku si nezasloužila, ale zmínku rozhodně zasloužila.
Vyjmeme pouzdro a vysajeme. Vlastně nestálo za to ho dostat, nebyl nic jiného než muka. Ale vypadá to esteticky. Podíval se...
Trup, pohled vzhůru nohama
V těle jsou pohádkové skluzavky. (A plánuji 3.5” disky. Budu muset odstranit desku)
Prostor pro disky
Na předním panelu jsou také rychle vyměnitelné ventilátory. Asi jsou hluční.
Jsou ovládány něčím složitějším než přímo základní deskou
Odstraňte horní kryt a podívejte se, co je uvnitř. Pokud odšroubujete pár šroubků, můžete posunout prostor na disku a vytvořit prostor pro manipulaci. A základní deska je formátu E-ATX, zabírá téměř veškerý prostor na serveru.
Nativní napájení
Nemohl jsem jen tak vytáhnout napájecí zdroj, musel jsem odšroubovat všechny šrouby na zadní straně a téměř celé pouzdro rozebrat. Ukázalo se, že to držely dva šrouby a kus pásky. Bylo to podlé, ale teď už takovou taktiku můžu používat sám.
Tady je to vlevo, ten nešťastný černý pruh!
Už mě nebaví vybírat ty nejpovedenější fotografie, vyřazovat ty nepotřebné pro příběh, ořezávat obrázky a nahrávat je na stránky. Mezitím přichází další den a na mém stole jsou jen čínské náhradní díly. Musíte rychle zadat objednávku a spěchat do obchodu na druhé straně Moskvy.
U vchodu do prodejny
Prodejní plocha je uzavřena, otevřeno je pouze vyzvednutí objednávek. Je dobře, že bylo slunečné počasí, nevím, jak by to bylo v dešti. Objednávky je nutné volat přes video interkom, škoda, že to není příliš vysvětleno. Bylo by hezké vytisknout alespoň nějaké pokyny jiné než „dodržujte vzdálenost 2 metry“. Čekání není delší než deset minut, super. Vraťme se.
Dva chladiče, jeden zdroj a malinké SSD
Vzhledem k tomu, že chladiče odpovídající rozměrům skříně byly drahé a hlučné, museli jsme zvolit předimenzovanou variantu. To mě zachránilo před utrpením při výběru zdroje: tichý formát ATX, ale budete muset sundat kryt, nebo jednojednotkový, ale hlučný a o dva tisíce rublů dražší. Začínáme zkoušet nákupy. Původní myšlenka dvou chladičů byla odebírat vzduch ze středu, ale posuvná kapacita pro disky se přizpůsobila a ventilátory musely být přepnuty na sekvenční foukání. Bude zajímavé pozorovat teplotu na jednom krystalu o pár stupňů vyšší než na druhém.
Stále žádná teplovodivá pasta
Otřete základnu chladiče a procesor alkoholem. Pití. Ale to už je pár let technické, je lepší to nepoužívat orálně. Naneste teplovodivou pastu rovnoměrně něčím plochým. Popravdě málo rozumím procesu nanášení teplovodivé pasty, ale výsledky mé práce vždy přinesly pozitivní výsledky. Zdá se, že je těžké to tu podělat, i když lepidlo Moment může fungovat roky, soudě podle vyprávění. Obvykle používám kus nepotřebné plastové karty, ale neměl jsem ji po ruce. Na jeho místě byl nový, beznohý čtvrtý pahýl. Nebojte, po proceduře jsem to otřel alkoholem a vrátil na poličku.
Něco zvláštního a znepokojivého
Aplikace není ideální a chladič jsem úplně nestlačil: můžete vidět posunutí „plešatého“ místa vzhledem ke středu.
Nulování
Dodatečnou vrstvu tepelného rozhraní přidáváme na místa, kde jednoznačně chybí a na mírně odlišná místa.
Ano, uspokojivé
Začněme s instalací základní desky. Na serveru bylo zjevně něco jiného formátu a ty... uh... kování, do kterých jsou zašroubovány šrouby pro zajištění základní desky, nebyly umístěny na správném místě pro desku E-ATX. Bohužel v kusu kovu, do kterého se šroubování šroubuje, chyběly tři otvory naproti těm na základní desce. K samotnému kování naštěstí také chyběly tři kusy.
Základní deska se kvůli tomu prohýbá v místech, kde je uchycen 24pinový konektor a PCI-E konektory. Na jedné straně je to textolit. Na druhou stranu se jedná o čínský textolit, nikdy nevíte, co od něj čekat. Ale v každém případě musíte lisovat opatrně, i když je PCB certifikováno vojenskými standardy. Ne, v tomto případě musíte lisovat ještě pečlivěji - byl také vyroben v Číně, ale certifikace a akceptace kus od kusu zvýšily náklady na zařízení několik desítekkrát.
Spousta děr a všechno tam není
Pamatujete si napájecí zdroj na pásce? Historie je cyklická, zde je opakování:
A ano, nelíbí se mi to
Montáž je hotová, přemístíme počítač do bratrova pokoje, odebereme klávesnici a monitor z živého serveru a pokusíme se ho zapnout. Poprvé se nemůžu dostat ani do BIOSu. Protože xeony obvykle nemají vestavěný grafický koprocesor a na obrazovce je třeba zobrazit BIOS, nainstalujeme nějakou jednoduchou grafickou kartu. Bože, jak je hlučná!
Podruhé se taky nemůžu dostat do BIOSu. Tříděním viníků se dostáváme k řešení: výměnou proužků RAM a vyjmutím SSD se dostanete do BIOSu. Vložíme SSD na místo a znovu zapneme počítač - BIOS se načte a disk je detekován. Zřejmě se něco resetovalo kvůli chybějící baterii CR2032.
Mimochodem, vidíte, že jednotka pevného disku vyčnívá dopředu víc, než by měla? Opírá se o chladič. Toto není ideální pouzdro pro počítače klasického formátu, co se dá dělat?
Místo pro počáteční nastavení
Malá odbočka k hluku: u grafické karty byla hladina hluku na úrovni 27-30 decibelů a po instalaci operačního systému klesla hladina hluku serveru někde kolem 8-14 decibelů. Bylo obtížné měřit přesněji, protože hladina hluku na pozadí byla také někde v tomto rozmezí: stavba metra na ulici, koulející se míče od sousedů nahoře, dupání kočky a tak dále. Server bude umístěn ve skříni Ikea bez dveří, takže tato hladina hluku bude vyhovovat.
prémie
Technicky se tato kapitola netýká výběru a montáže hardwaru, ale instalace operačního systému není samostatnou kapitolou. Mnoho zdrojů již popsalo instalaci čehokoli na různá zařízení a to, co se zde stane, je zcela obyčejný jev. Nechci vytvářet další návod, a možná i nesprávný.
Přesto popíšu rake, na který jsem šlápl během procesu instalace OS.
Neinstaloval jsem si Windows Server kvůli chybějící licenci a jsem spíše zvyklý na interakci se servery Linux. Na starém serveru běží Ubuntu, ale na několika málo používaných VPS běží CentOS a RHEL. Proto se na CentOS 8 podíváme blíže.
Pojďme , stáhněte si soubor .torrent - a za pár desítek minut stáhneme sedmigigabajtový obrázek.
Vložíme flash disk, najdeme jej a zkopírujeme na něj obrázek.
frog@server:~$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sdb 8:16 1 14,6G 0 disk
└─sdb4 8:20 1 14,6G 0 part /media/localadmin/ANACONDA
sda 8:0 0 223,6G 0 disk
├─sda2 8:2 0 24G 0 part [SWAP]
├─sda3 8:3 0 128G 0 part /
└─sda1 8:1 0 243M 0 part /boot/efi
frog@server:~$ dd if=/home/frog/CentOS-8.1.1911-x86_64-dvd1.iso of=/dev/sdb
dd: failed to open '/dev/sdb': Permission denied
frog@server:~$ sudo !!
sudo dd if=/home/frog/CentOS-8.1.1911-x86_64-dvd1.iso of=/dev/sdbA odcházíme pít čaj. O hodinu později jsme si jisti, že vše bylo již dávno zkopírováno - ale výzva k zadání se neobjevila. Takže se to stále kopíruje. Dobře, nový terminál, ptáme se dd, kolik zbývá.
PID TTY TIME CMD
1075 tty5 00:00:00 bash
1105 tty5 00:00:00 sudo
1106 tty5 00:00:00 su
1112 tty5 00:00:00 bash
1825 pts/18 00:00:00 sudo
1826 pts/18 00:01:08 dd
2846 pts/0 1-23:03:42 java
5956 pts/19 00:00:00 bash
6070 pts/19 00:42:15 java
6652 pts/20 00:00:00 ps
7477 tty4 00:00:00 bash
7494 tty4 00:00:00 sudo
7495 tty4 00:00:00 su
7497 tty4 00:00:00 bash
frog@server:~$ kill -USR1 1826
-bash: kill: (1826) - Operation not permitted
frog@server:~$ sudo !!
sudo kill -USR1 1826Odpověď ve starém terminálu:
9025993+0 records in
9025993+0 records out
4621308416 bytes (4,6 GB, 4,3 GiB) copied, 13428,4 s, 344 kB/sA po dalších pár desítkách minut:
14755840+0 records in
14755840+0 records out
7554990080 bytes (7,6 GB, 7,0 GiB) copied, 14971,5 s, 505 kB/sCo to bylo? Kopírovalo to bajt po byte? Špatný zdroj flash disku. Nebo zkontrolovat správnost záznamu. V každém případě to bylo nutné man dd a používat velké kopírovací bloky a ještě něco, co se kdysi hodilo při kopírování 64 GB HDD při 5400 ot./min. Ale i to kopírovalo rychleji než třetina USB 1.0.
A pak standardní výběr flash disku jako Boot Device, Next, Next, Next, Finish. Žádné manipulace s rozdělením disku nebo nastavením Ethernetu. Nejběžnější instalace OS v roce 2020.
Závěr
Tato první část příběhu je o nastavení nového serveru. Vydal bych ho celý najednou, ale ve svých konceptech mám ještě dva nedokončené články, které, jak se mi zdá, jsou zajímavější než „další sestavení serveru“ a druhá část o nastavení softwaru hrozí nebude brzy dokončena.
Celkové náklady byly 57973 XNUMX rublů. Zde je podrobnější rozpis, nicméně odkazy na Aliexpress ukazují mírně odlišné produkty.
Operační paměť – 4 ks
19078 rublů
Procesor – 2 ks
10300 rublů
Základní deska – 1 ks
9422 rubl
Napájecí zdroj – 1 ks
4852 rubl
Chladič – 2 ks
3722 rubl
SSD
10599 rublů
Případ Noname
Volný
Přibližné náklady na vlastnictví jsou 3.89 rublů/kWh * 0.8 kW * 24 hodin * 31 dní = 2315 rublů/měsíc. Ale to pokud bude měsíc bez přestání mlátit, jak jen může, o čemž vzhledem k nedostatku takových úkolů a přežití železa velmi pochybuji. Pro srovnání, vysoce kvalitních dílů je asi 25 tisíc rublů měsíčně.
Myslím, že za ty peníze je to docela dobrý server.
Zdroj: www.habr.com