DUMP සමුළුව | grep 'backend|devops'

පසුගිය සතියේ මම Yekaterinburg හි පැවති DUMP IT සම්මන්ත්‍රණයට (https://dump-ekb.ru/) ගිය අතර, Backend සහ Devops අංශවල සාකච්ඡා කළ දේ සහ කලාපීය තොරතුරු තාක්ෂණ සම්මන්ත්‍රණ අවධානය යොමු කිරීම වටී ද යන්න ඔබට පැවසීමට මට අවශ්‍යය.

සර්වර්ලස් ගැන Evil Martians වෙතින් Nikolay Sverchkov

කෙසේ වෙතත් එහි තිබුණේ කුමක්ද?

සමස්තයක් වශයෙන්, සම්මන්ත්‍රණයට කොටස් 8 ක් තිබුණි: පසුපෙළ, ඉදිරිපස, ජංගම, පරීක්ෂණ සහ QA, Devops, Design, Science සහ Management.

විශාලතම ශාලා, මාර්ගය වන විට, විද්‍යාව සහ කළමනාකරණයෙහි ඇත)) ~ 350 පුද්ගලයින් සඳහා. Backend සහ Frontend එතරම් කුඩා නොවේ. Devops කාමරය කුඩාම නමුත් ක්‍රියාකාරී විය.

මම Devops සහ Backend අංශවල වාර්තාවලට සවන් දී කථිකයන් සමඟ ටිකක් කතා කළෙමි. සම්මන්ත්‍රණයේදී මෙම කොටස් ආවරණය කර ඇති මාතෘකා ගැන කතා කිරීමට සහ සමාලෝචනය කිරීමට මම කැමතියි.

SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) නියෝජිතයින් Devops සහ Backend අංශවල කතා කළහ. CI/CD ආවරණය කරන ලද මාතෘකා, පෝලිම් සේවා සමඟ වැඩ කිරීම, ලොග් වීම; Serverless මාතෘකා සහ Go හි PostgreSQL සමඟ වැඩ කිරීම හොඳින් ආවරණය විය.

Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank හි වාර්තා ද තිබුණි, නමුත් මට ඒවාට ශාරීරිකව සහභාගී වීමට කාලය නොතිබුණි (වීඩියෝ පටිගත කිරීම් සහ වාර්තාවල විනිවිදක තවමත් නොමැත, සති 2 ක් ඇතුළත ඒවා පළ කිරීමට ඔවුන් පොරොන්දු වේ. dump-ekb.ru මත).

Devops අංශය

පුදුමයට කරුණ නම්, එම කොටස පැවැත්වූයේ කුඩාම ශාලාවේ, එනම් ආසන 50 ක් පමණ වීමයි. මිනිසුන් අන්තරාලවල පවා සිටගෙන සිටියහ :) මම සවන් දීමට සමත් වූ වාර්තා ගැන මම ඔබට කියමි.

පෙටාබයිට් බර ඉලාස්ටික්

කොටස ආරම්භ වූයේ කොන්ටූර්හි ඉලාස්ටික් සෙවුම් පිළිබඳ ව්ලැඩිමීර් ලිල් (එස්කේබී-කොන්ටූර්) විසින් කරන ලද වාර්තාවකින් ය. ඔවුන් සතුව තරමක් විශාල සහ පටවන ලද ඉලාස්ටික් ඇත (~800 TB දත්ත, ~1.3 පෙටාබයිට් අතිරික්තය සැලකිල්ලට ගනිමින්). සියලුම කොන්ටූර් සේවාවන් සඳහා ඉලාස්ටික් සෙවුම තනි, පොකුරු 2 කින් (සේවාදායක 7 සහ 9 කින්) සමන්විත වන අතර කොන්තූර්ට විශේෂ ඉලාස්ටික් සෙවුම් ඉංජිනේරුවෙකු සිටින බැවින් එය ඉතා වැදගත් වේ (ඇත්ත වශයෙන්ම, ව්ලැඩිමීර් විසින්ම).

ව්ලැඩිමීර් Elasticsearch හි ප්‍රතිලාභ සහ එය ගෙන එන ගැටළු පිළිබඳ ඔහුගේ අදහස් ද බෙදා ගත්තේය.

ප්‍රතිලාභ:

• සියලුම ලඝු-සටහන් එක තැනක ඇත, ඒවාට පහසුවෙන් ප්‍රවේශ විය හැක
• වසරක් සඳහා ලඝු-සටහන් ගබඩා කිරීම සහ ඒවා පහසුවෙන් විශ්ලේෂණය කිරීම
• ලොග් සමඟ වැඩ කිරීමේ අධික වේගය
• කොටුවෙන් පිටත සිසිල් දත්ත දෘශ්‍යකරණය

ගැටළු:

• පණිවිඩ තැරැව්කරු අනිවාර්යයෙන්ම තිබිය යුතුය (කොන්ටූර් සඳහා එහි භූමිකාව කෆ්කා විසින් ඉටු කරනු ලැබේ)
• Elasticsearch Curator සමඟ වැඩ කිරීමේ විශේෂාංග (Curator හි සාමාන්‍ය කාර්යයන් වලින් වරින් වර ඉහළ බරක් නිර්මාණය කරන ලදී)
• ගොඩනඟන ලද අවසරයක් නොමැත (වෙනම, තරමක් විශාල මුදල් සඳහා හෝ නිෂ්පාදනය සඳහා විවිධ මට්ටමේ සූදානමකින් යුත් විවෘත කේත ප්ලගීන ලෙස)

Elasticsearch සඳහා Open Distro ගැන ධනාත්මක සමාලෝචන පමණක් තිබුණි :) අවසර දීමේ ගැටලුවම එහිදී විසඳා ඇත.

පෙටාබයිට් පැමිණෙන්නේ කොහෙන්ද?ඔවුන්ගේ නෝඩ් 12*8 Tb SATA + 2*2 Tb SSD සහිත සේවාදායකයන්ගෙන් සමන්විත වේ. SATA මත ශීත ගබඩා, SSD උණුසුම් හැඹිලි (උණුසුම් ගබඩා) සඳහා පමණි.
7+9 සේවාදායක, (7 + 9) * 12 * 8 = 1536 Tb.
අවකාශයේ කොටසක් රක්ෂිතයේ, අතිරික්තය සඳහා වෙන් කර ඇත, ආදිය.
Kontur, Elba යනාදී සියලුම වාර්තාකරණ සේවාවන් ඇතුළුව, අයදුම්පත් 90ක පමණ ලොග් Elasticsearch වෙත යවනු ලැබේ.

Serverless මත සංවර්ධනයේ විශේෂාංග

ඊළඟට Ruslan Serkin විසින් DataArt වෙතින් Serverless පිළිබඳ වාර්තාවකි.

රුස්ලාන් සාමාන්‍යයෙන් සර්වර්ලස් ප්‍රවේශය සමඟ සංවර්ධනය යනු කුමක්ද සහ එහි ලක්ෂණ මොනවාද යන්න ගැන කතා කළේය.

Serverless යනු සංවර්ධකයින් කිසිදු ආකාරයකින් යටිතල පහසුකම් ස්පර්ශ නොකරන සංවර්ධනය සඳහා වන ප්‍රවේශයකි. උදාහරණය - AWS Lambda Serverless, Kubeless.io (Serverless inside Kubernetes), Google Cloud Functions.

Ideal Serverless යෙදුමක් යනු විශේෂ API Gateway එකක් හරහා Serverless සපයන්නෙකුට ඉල්ලීමක් යවන කාර්යයකි. පරමාදර්ශී ක්ෂුද්‍ර සේවාවක් වන අතර AWS Lambda නවීන ක්‍රමලේඛන භාෂා විශාල සංඛ්‍යාවකට ද සහය දක්වයි. වලාකුළු සපයන්නන් සම්බන්ධයෙන් යටිතල පහසුකම් නඩත්තු කිරීමේ සහ යෙදවීමේ පිරිවැය ශුන්‍ය වේ, කුඩා යෙදුම් සඳහා සහය දැක්වීම ද ඉතා ලාභදායී වනු ඇත (AWS Lambda - $0.2 / 1 මිලියන සරල ඉල්ලීම්).

එවැනි පද්ධතියක පරිමාණය බොහෝ දුරට පරමාදර්ශී වේ - වලාකුළු සපයන්නා විසින්ම මෙය බලා ගනී, Kubernetes පොකුර තුළ Kubeless ස්වයංක්‍රීයව පරිමාණය කරයි.

අවාසි ඇත:

• විශාල යෙදුම් සංවර්ධනය කිරීම වඩාත් අපහසු වෙමින් පවතී
• යෙදුම් පැතිකඩ කිරීමේ දුෂ්කරතාවයක් ඇත (ඔබට ලඝු-සටහන් පමණක් තිබේ, නමුත් සුපුරුදු අර්ථයෙන් පැතිකඩ කිරීම නොවේ)
• අනුවාද නැත

ඇත්තම කිව්වොත්, මම මීට වසර කිහිපයකට පෙර සර්වර්ලස් ගැන අසා සිටියත්, එය නිවැරදිව භාවිතා කරන්නේ කෙසේදැයි මේ වසර ගණනාව තුළ මට පැහැදිලි නොවීය. රුස්ලාන්ගේ වාර්තාවෙන් පසුව, අවබෝධය දර්ශනය වූ අතර, පසුබිම් අංශයෙන් නිකොලායි ස්වර්ච්කොව් (නපුරු අඟහරු) වාර්තාවෙන් පසුව එය තහවුරු විය. මම සම්මන්ත්‍රණයට ගිය එක නිෂ්ඵල නොවේ :)

CI යනු දුප්පතුන් සඳහාද, නැතහොත් වෙබ් චිත්‍රාගාරයක් සඳහා ඔබේම CI ලිවීම වටී ද?

Yekaterinburg සිට Flag වෙබ් චිත්‍රාගාරයේ ප්‍රධානියා වන Mikhail Radionov ස්වයං-ලිඛිත CI/CD ගැන කතා කළේය.

ඔහුගේ චිත්‍රාගාරය “මැනුවල් CI/CD” (SSH හරහා සේවාදායකයට ලොග් වන්න, ගිට් පුල් කරන්න, දිනකට 100 වතාවක් නැවත නැවත කරන්න) සිට ජෙන්කින්ස් වෙත සහ ඔබට කේතය නිරීක්ෂණය කිරීමට සහ පුල්කින්ස් නමින් නිකුත් කිරීම් සිදු කිරීමට ඉඩ සලසන ස්වයං-ලිඛිත මෙවලමක් වෙත ගොස් ඇත. .

ජෙන්කින්ස් වැඩ නොකළේ ඇයි? එය පෙරනිමියෙන් ප්‍රමාණවත් නම්‍යශීලී බවක් ලබා නොදුන් අතර අභිරුචිකරණය කිරීමට අපහසු විය.

"ධජය" Laravel (PHP රාමුව) තුළ වර්ධනය වේ. CI/CD සේවාදායකයක් සංවර්ධනය කිරීමේදී, මිහායිල් සහ ඔහුගේ සගයන් Laravel හි Telescope සහ Envoy ලෙස හඳුන්වන යාන්ත්‍රණයන් භාවිතා කළහ. ප්‍රතිඵලය වන්නේ PHP හි සේවාදායකයක් වන අතර එය ලැබෙන webhook ඉල්ලීම් ක්‍රියාවට නංවන, ඉදිරිපස සහ පසුපෙළ ගොඩනගා ගත හැකි, විවිධ සේවාදායකයන් වෙත යෙදවීමට සහ Slack වෙත වාර්තා කළ හැක.

ඉන්පසුව, නිල්/කොළ යෙදවීම සිදු කිරීමට සහ dev-stage-prod පරිසරය තුළ ඒකාකාර සැකසුම් ඇති කිරීමට, ඔවුන් Docker වෙත මාරු විය. වාසි එලෙසම පැවතුනි, පරිසරය සමජාතීය කිරීමේ හැකියාව සහ බාධාවකින් තොරව යෙදවීම එකතු කරන ලදී, එය සමඟ නිවැරදිව වැඩ කිරීමට Docker ඉගෙනීමේ අවශ්‍යතාවය එකතු කරන ලදී.

ව්‍යාපෘතිය Github හි ඇත

අපි සේවාදායක මුදා හැරීම් සංඛ්‍යාව 99% කින් අඩු කළ ආකාරය

Devops කොටසේ අවසාන වාර්තාව Miro.com (කලින් RealTimeBoard) හි Lead devops ඉංජිනේරු Viktor Eremchenko වෙතින් විය.

RealTimeBoard, Miro කණ්ඩායමේ ප්‍රමුඛතම නිෂ්පාදනය, ඒකලිතික ජාවා යෙදුමක් මත පදනම් වේ. අක්‍රීය කාලයකින් තොරව එය එකතු කිරීම, පරීක්ෂා කිරීම සහ යෙදවීම දුෂ්කර කාර්යයකි. මෙම අවස්ථාවේදී, එය ආපසු පෙරළීමට සිදු නොවන පරිදි කේතයේ එවැනි අනුවාදයක් යෙදවීම වැදගත් වේ (එය බර මොනොලිතයකි).

ඔබට මෙය කිරීමට ඉඩ සලසන පද්ධතියක් ගොඩනැගීමට යන ගමනේදී, මිරෝ ගෘහ නිර්මාණ ශිල්පය, භාවිතා කරන මෙවලම් (Atlassian Bamboo, Ansible, ආදිය) සහ කණ්ඩායම්වල ව්‍යුහය මත වැඩ කිරීම ඇතුළත් මාර්ගයක් හරහා ගියේය (දැන් ඔවුන් සතුව ඇත. කැපවූ Devops කණ්ඩායමක් + විවිධ පැතිකඩවල සංවර්ධකයින්ගෙන් බොහෝ වෙනම Scrum කණ්ඩායම්).

මාර්ගය දුෂ්කර හා කටු සහිත වූ අතර වික්ටර් එතැනින් අවසන් නොවූ සමුච්චිත වේදනාව සහ ශුභවාදී බව බෙදා ගත්තේය.

ප්‍රශ්න අහලා පොතක් දිනුවා

පසුපෙළ කොටස

මම වාර්තා 2 කට සහභාගී වීමට සමත් විය - Nikolay Sverchkov (Evil Martians), Serverless ගැන සහ Grigory Koshelev (Kontur සමාගම) වෙතින් Telemetry ගැන.

හුදු මනුෂ්‍යයන් සඳහා සර්වර් රහිතය

Ruslan Sirkin Serverless යනු කුමක්ද යන්න ගැන කතා කළේ නම්, Nikolay Serverless භාවිතයෙන් සරල යෙදුම් පෙන්වූ අතර AWS Lambda හි යෙදුම්වල පිරිවැය සහ වේගය කෙරෙහි බලපාන විස්තර ගැන කතා කළේය.

රසවත් විස්තරයක්: අවම ගෙවන ලද මූලද්රව්යය 128 Mb මතකය සහ 100 ms CPU වේ, එය ඩොලර් 0,000000208 ක් වැය වේ. එපමණක් නොව, මසකට එවැනි ඉල්ලීම් මිලියන 1 ක් නොමිලේ.

නිකොලායිගේ සමහර කාර්යයන් බොහෝ විට 100 ms සීමාව ඉක්මවා ඇත (ප්‍රධාන යෙදුම රූබි වලින් ලියා ඇත), එබැවින් ඒවා Go හි නැවත ලිවීමෙන් විශිෂ්ට ඉතිරියක් ලබා දුන්නේය.

වොස්ටොක් හර්කියුලිස් - ටෙලිමෙට්‍රි නැවතත් විශිෂ්ට කරන්න!

Grigory Koshelev (Kontur සමාගම) වෙතින් Telemetry පිළිබඳ පසුපෙළ කොටසේ නවතම වාර්තාව. Telemetry යන්නෙන් අදහස් කරන්නේ ලඝු-සටහන්, ප්‍රමිතික, යෙදුම් ලුහුබැඳීම්.

මෙම කාර්යය සඳහා, සමෝච්ඡය Github මත පළ කර ඇති ස්වයං-ලිඛිත මෙවලම් භාවිතා කරයි. වාර්තාවේ මෙවලම - හර්කියුලිස්, github.com/vostok/hercules, දුරස්ථ දත්ත ලබා දීමට භාවිතා කරයි.

Devops කොටසේ Vladimir Lila ගේ වාර්තාව Elasticsearch හි ලඝු-සටහන් ගබඩා කිරීම සහ සැකසීම පිළිබඳව සාකච්ඡා කර ඇත, නමුත් බොහෝ දහස් ගණනක් උපාංග සහ යෙදුම් වලින් ලඝු-සටහන් ලබා දීමේ කාර්යය තවමත් පවතී, Vostok Hercules වැනි මෙවලම් ඒවා විසඳයි.

පරිපථය බොහෝ දෙනා දන්නා මාර්ගයක් අනුගමනය කළේය - RabbitMQ සිට Apache Kafka දක්වා, නමුත් සියල්ල එතරම් සරල නැත)) ඔවුන්ට Zookeeper, Cassandra සහ Graphite පරිපථයට එක් කිරීමට සිදු විය. මම මෙම වාර්තාවේ තොරතුරු සම්පූර්ණයෙන්ම හෙළි නොකරමි (මගේ පැතිකඩ නොවේ), ඔබ කැමති නම්, ඔබට සම්මන්ත්‍රණ වෙබ් අඩවියේ විනිවිදක සහ වීඩියෝ සඳහා රැඳී සිටිය හැක.

එය අනෙකුත් සම්මන්ත්‍රණ සමඟ සැසඳෙන්නේ කෙසේද?

මට එය මොස්කව් සහ ශාන්ත පීටර්ස්බර්ග් හි සම්මන්ත්‍රණ සමඟ සැසඳිය නොහැක, මට එය Urals හි අනෙකුත් සිදුවීම් සමඟ සහ සමාරා හි 404fest සමඟ සැසඳිය හැකිය.

DAMP කොටස් 8 කින් පවත්වනු ලැබේ, මෙය යූරල් සම්මන්ත්‍රණ සඳහා වාර්තාවකි. ඉතා විශාල විද්‍යා සහ කළමනාකරණ අංශ, මෙයද අසාමාන්‍ය ය. යෙකටරින්බර්ග් හි ප්‍රේක්ෂකයින් තරමක් ව්‍යුහගත ය - නගරයේ Yandex, Kontur, Tinkoff සඳහා විශාල සංවර්ධන දෙපාර්තමේන්තු ඇති අතර මෙය වාර්තා මත එහි සලකුණ තබයි.

තවත් සිත්ගන්නා කරුණක් නම්, බොහෝ සමාගම් එකවර සම්මන්ත්‍රණයේදී කථිකයන් 3-4 ක් ඇත (මෙය Kontur, Evil Martians, Tinkoff සමඟ සිදු විය). ඔවුන්ගෙන් බොහෝ දෙනෙක් අනුග්‍රාහකයන් වූ නමුත්, එම වාර්තා අනෙක් ඒවාට සමපාත වේ, මේවා ප්‍රචාරණ වාර්තා නොවේ.

යන්නද නොයන්නද? ඔබ ජීවත් වන්නේ Urals හෝ ඒ අසල නම්, ඔබට අවස්ථාවක් ඇති අතර මාතෘකා ගැන උනන්දුවක් දක්වන්න - ඔව්, ඇත්ත වශයෙන්ම. ඔබ දිගු ගමනක් ගැන සිතන්නේ නම්, මම පසුගිය වසරවල වාර්තා සහ වීඩියෝ වාර්තා මාතෘකා දෙස බලමි www.youtube.com/user/videoitpeople/videos සහ තීරණයක් ගත්තා.
කලාපවල සම්මන්ත්‍රණවල තවත් වාසියක් නම්, රීතියක් ලෙස, වාර්තා කිරීමෙන් පසු කථිකයා සමඟ සන්නිවේදනය කිරීම පහසුය; එවැනි සන්නිවේදනය සඳහා අයදුම්කරුවන් අඩුය.

ඩම්ප් සහ Ekaterinburg වෙත ස්තූතියි! )

මූලාශ්රය: www.habr.com