గత వారం నేను యెకాటెరిన్బర్గ్లో జరిగిన DUMP IT కాన్ఫరెన్స్ (https://dump-ekb.ru/)కి వెళ్లాను మరియు బ్యాకెండ్ మరియు డెవొప్స్ విభాగాలలో ఏమి చర్చించబడ్డాయో మరియు ప్రాంతీయ IT కాన్ఫరెన్స్లు విలువైనవి కావా అని నేను మీకు చెప్పాలనుకుంటున్నాను.
సర్వర్లెస్ గురించి ఈవిల్ మార్టియన్స్ నుండి నికోలాయ్ స్వెర్చ్కోవ్
అయినా అక్కడ ఏముంది?
మొత్తంగా, కాన్ఫరెన్స్లో 8 విభాగాలు ఉన్నాయి: బ్యాకెండ్, ఫ్రంటెండ్, మొబైల్, టెస్టింగ్ మరియు QA, డెవొప్స్, డిజైన్, సైన్స్ అండ్ మేనేజ్మెంట్.
అతిపెద్ద హాల్స్, సైన్స్ అండ్ మేనేజ్మెంట్లో ఉన్నాయి)) ఒక్కొక్కరికి ~350 మంది. బ్యాకెండ్ మరియు ఫ్రంటెండ్ చాలా చిన్నవి కావు. డెవొప్స్ గది అతి చిన్నది, కానీ యాక్టివ్గా ఉంది.
నేను Devops మరియు బ్యాకెండ్ విభాగాలలోని నివేదికలను విన్నాను మరియు స్పీకర్లతో కొంచెం మాట్లాడాను. నేను సదస్సులో ఈ విభాగాలను కవర్ చేసి, సమీక్షించిన అంశాల గురించి మాట్లాడాలనుకుంటున్నాను.
Devops మరియు బ్యాకెండ్ విభాగాలలో SKB-కొంటూర్, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) ప్రతినిధులు మాట్లాడారు. CI/CD కవర్ చేయబడిన అంశాలు, క్యూ సేవలతో పని చేయడం, లాగింగ్ చేయడం; సర్వర్లెస్ టాపిక్లు మరియు Goలో PostgreSQLతో పని చేయడం వంటివి బాగా కవర్ చేయబడ్డాయి.
Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank ద్వారా నివేదికలు కూడా ఉన్నాయి, కానీ భౌతికంగా వాటికి హాజరు కావడానికి నాకు సమయం లేదు (వీడియో రికార్డింగ్లు మరియు నివేదికల స్లయిడ్లు ఇంకా అందుబాటులో లేవు, వాటిని 2 వారాల్లో పోస్ట్ చేస్తామని హామీ ఇచ్చారు dump-ekb.ruలో).
డెవోప్స్ విభాగం
ఆశ్చర్యకరమైన విషయం ఏమిటంటే, సెక్షన్ అతిచిన్న హాలులో, దాదాపు 50 సీట్లలో నిర్వహించబడింది. ప్రజలు నడవలలో కూడా నిలబడి ఉన్నారు :) నేను వినగలిగే నివేదికల గురించి నేను మీకు చెప్తాను.
ఒక పెటాబైట్ బరువుతో సాగే
కొంటూర్లోని సాగే శోధన గురించి వ్లాదిమిర్ లిల్ (SKB-కొంటూర్) నివేదికతో విభాగం ప్రారంభమైంది. అవి చాలా పెద్దవి మరియు లోడ్ చేయబడిన సాగేవి (~800 TB డేటా, ~1.3 పెటాబైట్లు రిడెండెన్సీని పరిగణనలోకి తీసుకుంటాయి). అన్ని కొంటూర్ సేవల కోసం సాగే శోధన సింగిల్, 2 క్లస్టర్లను (7 మరియు 9 సర్వర్లు) కలిగి ఉంటుంది మరియు కొంటూర్కు ప్రత్యేక ఎలాస్టిక్సెర్చ్ ఇంజనీర్ (వాస్తవానికి, వ్లాదిమిర్ స్వయంగా) ఉన్నందున ఇది చాలా ముఖ్యమైనది.
వ్లాదిమిర్ ఎలాస్టిక్ సెర్చ్ యొక్క ప్రయోజనాలు మరియు అది తెచ్చే సమస్యలపై తన ఆలోచనలను కూడా పంచుకున్నాడు.
ప్రయోజనాలు:
- అన్ని లాగ్లు ఒకే చోట ఉన్నాయి, వాటిని సులభంగా యాక్సెస్ చేయవచ్చు
- ఒక సంవత్సరం పాటు లాగ్లను నిల్వ చేయడం మరియు వాటిని సులభంగా విశ్లేషించడం
- లాగ్లతో పని చేసే అధిక వేగం
- బాక్స్ వెలుపల కూల్ డేటా విజువలైజేషన్
సమస్యలు:
- మెసేజ్ బ్రోకర్ తప్పనిసరిగా ఉండాలి (కొంటూర్ కోసం దాని పాత్రను కాఫ్కా పోషించాడు)
- సాగే శోధన క్యూరేటర్తో పని చేసే లక్షణాలు (క్యూరేటర్లోని సాధారణ పనుల నుండి క్రమానుగతంగా అధిక లోడ్ సృష్టించబడతాయి)
- అంతర్నిర్మిత అధికారం లేదు (వేరుగా, చాలా పెద్ద డబ్బు కోసం లేదా ఉత్పత్తి కోసం వివిధ స్థాయిల సంసిద్ధత కలిగిన ఓపెన్ సోర్స్ ప్లగిన్ల కోసం మాత్రమే)
సాగే శోధన కోసం ఓపెన్ డిస్ట్రో గురించి సానుకూల సమీక్షలు మాత్రమే ఉన్నాయి :) అధికారం యొక్క అదే సమస్య అక్కడ పరిష్కరించబడింది.
పెటాబైట్ ఎక్కడ నుండి వస్తుంది?వాటి నోడ్లు 12*8 Tb SATA + 2*2 Tb SSDతో సర్వర్లను కలిగి ఉంటాయి. SATAలో కోల్డ్ స్టోరేజ్, హాట్ కాష్ (హాట్ స్టోరేజ్) కోసం మాత్రమే SSD.
7+9 సర్వర్లు, (7 + 9) * 12 * 8 = 1536 Tb.
స్థలంలో కొంత భాగం రిజర్వ్లో ఉంది, రిడెండెన్సీ కోసం కేటాయించబడింది, మొదలైనవి.
కొంటూర్, ఎల్బా మొదలైన అన్ని రిపోర్టింగ్ సేవలతో సహా దాదాపు 90 దరఖాస్తుల నుండి లాగ్లు సాగే శోధనకు పంపబడతాయి.
సర్వర్లెస్లో అభివృద్ధి యొక్క లక్షణాలు
తదుపరిది సర్వర్లెస్ గురించి డేటాఆర్ట్ నుండి రుస్లాన్ సెర్కిన్ నివేదిక.
సర్వర్లెస్ విధానంతో సాధారణంగా అభివృద్ధి ఏమిటి మరియు దాని లక్షణాలు ఏమిటి అనే దాని గురించి రుస్లాన్ మాట్లాడారు.
సర్వర్లెస్ అనేది డెవలపర్లు మౌలిక సదుపాయాలను ఏ విధంగానూ తాకని అభివృద్ధికి ఒక విధానం. ఉదాహరణ - AWS లాంబ్డా సర్వర్లెస్, Kubeless.io (కుబెర్నెట్స్ లోపల సర్వర్లెస్), Google క్లౌడ్ ఫంక్షన్లు.
ఆదర్శవంతమైన సర్వర్లెస్ అప్లికేషన్ అనేది ఒక ప్రత్యేక API గేట్వే ద్వారా సర్వర్లెస్ ప్రొవైడర్కు అభ్యర్థనను పంపే ఒక ఫంక్షన్. ఆదర్శవంతమైన మైక్రోసర్వీస్, అయితే AWS లాంబ్డా కూడా పెద్ద సంఖ్యలో ఆధునిక ప్రోగ్రామింగ్ భాషలకు మద్దతు ఇస్తుంది. క్లౌడ్ ప్రొవైడర్ల విషయంలో మౌలిక సదుపాయాల నిర్వహణ మరియు అమలు ఖర్చు సున్నా అవుతుంది, చిన్న అప్లికేషన్లకు మద్దతు ఇవ్వడం కూడా చాలా చౌకగా ఉంటుంది (AWS లాంబ్డా - $0.2 / 1 మిలియన్ సాధారణ అభ్యర్థనలు).
అటువంటి సిస్టమ్ యొక్క స్కేలబిలిటీ దాదాపు ఆదర్శవంతమైనది - క్లౌడ్ ప్రొవైడర్ దీన్ని స్వయంగా చూసుకుంటుంది, కుబెర్నెటెస్ క్లస్టర్లో స్వయంచాలకంగా Kubeless స్కేల్ చేస్తుంది.
ప్రతికూలతలు ఉన్నాయి:
- పెద్ద అప్లికేషన్లను అభివృద్ధి చేయడం కష్టతరంగా మారుతోంది
- అప్లికేషన్లను ప్రొఫైలింగ్ చేయడంలో ఇబ్బంది ఉంది (మీకు లాగ్లకు మాత్రమే ప్రాప్యత ఉంది, కానీ సాధారణ అర్థంలో ప్రొఫైలింగ్ కాదు)
- సంస్కరణ లేదు
నిజం చెప్పాలంటే, నేను కొన్ని సంవత్సరాల క్రితం సర్వర్లెస్ గురించి విన్నాను, కానీ ఇన్ని సంవత్సరాలలో దాన్ని సరిగ్గా ఎలా ఉపయోగించాలో నాకు స్పష్టంగా తెలియలేదు. రుస్లాన్ నివేదిక తర్వాత, అవగాహన కనిపించింది మరియు బ్యాకెండ్ విభాగం నుండి నికోలాయ్ స్వెర్చ్కోవ్ (ఈవిల్ మార్టియన్స్) నివేదిక తర్వాత, అది ఏకీకృతం చేయబడింది. నేను కాన్ఫరెన్స్కి వెళ్లడం వృధా కాదు :)
CI అనేది పేదల కోసం, లేదా వెబ్ స్టూడియో కోసం మీ స్వంత CI రాయడం విలువైనదేనా?
యెకాటెరిన్బర్గ్ నుండి ఫ్లాగ్ వెబ్ స్టూడియో అధిపతి మిఖాయిల్ రేడియోనోవ్ స్వీయ-వ్రాత CI/CD గురించి మాట్లాడారు.
అతని స్టూడియో "మాన్యువల్ CI/CD" (SSH ద్వారా సర్వర్లోకి లాగిన్ అవ్వండి, గిట్ పుల్ చేయండి, రోజుకు 100 సార్లు పునరావృతం చేయండి) నుండి జెంకిన్స్కు మరియు కోడ్ను పర్యవేక్షించడానికి మరియు పుల్కిన్స్ అనే విడుదలలను నిర్వహించడానికి మిమ్మల్ని అనుమతించే స్వీయ-వ్రాత సాధనానికి వెళ్లింది. .
జెంకిన్స్ ఎందుకు పని చేయలేదు? ఇది డిఫాల్ట్గా తగినంత సౌలభ్యాన్ని అందించలేదు మరియు అనుకూలీకరించడం చాలా కష్టం.
"ఫ్లాగ్" లారావెల్ (PHP ఫ్రేమ్వర్క్)లో అభివృద్ధి చెందుతుంది. CI/CD సర్వర్ను అభివృద్ధి చేస్తున్నప్పుడు, మిఖాయిల్ మరియు అతని సహచరులు టెలిస్కోప్ మరియు ఎన్వాయ్ అని పిలిచే లారావెల్ యొక్క అంతర్నిర్మిత మెకానిజమ్లను ఉపయోగించారు. ఫలితం PHPలోని సర్వర్ (దయచేసి గమనించండి), ఇది ఇన్కమింగ్ వెబ్హుక్ అభ్యర్థనలను ప్రాసెస్ చేస్తుంది, ఫ్రంటెండ్ మరియు బ్యాకెండ్ను నిర్మించగలదు, వివిధ సర్వర్లకు అమలు చేయగలదు మరియు స్లాక్కి నివేదించవచ్చు.
అప్పుడు, బ్లూ/గ్రీన్ డిప్లాయ్ని నిర్వహించడానికి మరియు దేవ్-స్టేజ్-ప్రొడ్ ఎన్విరాన్మెంట్లలో ఏకరీతి సెట్టింగ్లను కలిగి ఉండటానికి, వారు డాకర్కి మారారు. ప్రయోజనాలు అలాగే ఉన్నాయి, పర్యావరణాన్ని సజాతీయపరచడం మరియు అతుకులు లేని విస్తరణ యొక్క అవకాశాలు జోడించబడ్డాయి మరియు దానితో సరిగ్గా పనిచేయడానికి డాకర్ నేర్చుకోవాల్సిన అవసరం జోడించబడింది.
మేము సర్వర్ విడుదల రోల్బ్యాక్ల సంఖ్యను 99% ఎలా తగ్గించాము
Devops విభాగంలోని చివరి నివేదిక Miro.com (గతంలో RealTimeBoard)లో లీడ్ డెవొప్స్ ఇంజనీర్ అయిన విక్టర్ ఎరెమ్చెంకో నుండి అందించబడింది.
RealTimeBoard, Miro బృందం యొక్క ప్రధాన ఉత్పత్తి, ఒక ఏకశిలా జావా అప్లికేషన్ ఆధారంగా రూపొందించబడింది. పనికిరాని సమయం లేకుండా సేకరించడం, పరీక్షించడం మరియు అమలు చేయడం చాలా కష్టమైన పని. ఈ సందర్భంలో, కోడ్ యొక్క అటువంటి సంస్కరణను అమలు చేయడం చాలా ముఖ్యం, తద్వారా దానిని వెనక్కి తిప్పాల్సిన అవసరం లేదు (ఇది భారీ ఏకశిలా).
దీన్ని చేయడానికి మిమ్మల్ని అనుమతించే వ్యవస్థను నిర్మించే మార్గంలో, మిరో ఆర్కిటెక్చర్, ఉపయోగించిన సాధనాలు (అట్లాసియన్ వెదురు, అన్సిబుల్, మొదలైనవి) మరియు జట్ల నిర్మాణంపై పని చేయడం (ఇప్పుడు వారు కలిగి ఉన్నారు ఒక ప్రత్యేక Devops బృందం + విభిన్న ప్రొఫైల్ల డెవలపర్ల నుండి అనేక ప్రత్యేక స్క్రమ్ బృందాలు).
మార్గం కష్టంగా మరియు విసుగుగా మారింది, మరియు విక్టర్ అక్కడ ముగియని పేరుకుపోయిన నొప్పి మరియు ఆశావాదాన్ని పంచుకున్నాడు.
ప్రశ్నలు అడిగినందుకు పుస్తకాన్ని గెలుచుకున్నారు
బ్యాకెండ్ విభాగం
నేను 2 నివేదికలకు హాజరు కాగలిగాను - నికోలాయ్ స్వెర్చ్కోవ్ (ఈవిల్ మార్టియన్స్), సర్వర్లెస్ గురించి మరియు గ్రిగరీ కోషెలెవ్ (కొంటూర్ కంపెనీ) నుండి టెలిమెట్రీ గురించి.
కేవలం మానవులకు సర్వర్లెస్
రుస్లాన్ సిర్కిన్ సర్వర్లెస్ అంటే ఏమిటో మాట్లాడినట్లయితే, నికోలాయ్ సర్వర్లెస్ని ఉపయోగించి సాధారణ అప్లికేషన్లను చూపించాడు మరియు AWS లాంబ్డాలోని అప్లికేషన్ల ధర మరియు వేగాన్ని ప్రభావితం చేసే వివరాల గురించి మాట్లాడాడు.
ఆసక్తికరమైన వివరాలు: కనీస చెల్లింపు మూలకం 128 Mb మెమరీ మరియు 100 ms CPU, దీని ధర $0,000000208. అంతేకాకుండా, నెలకు 1 మిలియన్ అభ్యర్థనలు ఉచితం.
నికోలాయ్ యొక్క కొన్ని విధులు తరచుగా 100 ms పరిమితిని మించిపోయాయి (ప్రధాన అప్లికేషన్ రూబీలో వ్రాయబడింది), కాబట్టి వాటిని గోలో తిరిగి వ్రాయడం అద్భుతమైన పొదుపులను అందించింది.
వోస్టాక్ హెర్క్యులస్ — టెలిమెట్రీని మళ్లీ గొప్పగా చేయండి!
టెలిమెట్రీ గురించి గ్రిగరీ కోషెలెవ్ (కొంటూర్ కంపెనీ) నుండి బ్యాకెండ్ విభాగం యొక్క తాజా నివేదిక. టెలిమెట్రీ అంటే లాగ్లు, మెట్రిక్లు, అప్లికేషన్ ట్రేస్లు.
ఈ ప్రయోజనం కోసం, కాంటూర్ గితుబ్లో పోస్ట్ చేసిన స్వీయ-వ్రాత సాధనాలను ఉపయోగిస్తుంది. నివేదిక నుండి సాధనం - హెర్క్యులస్, , టెలిమెట్రీ డేటాను బట్వాడా చేయడానికి ఉపయోగించబడుతుంది.
Devops విభాగంలో వ్లాదిమిర్ లీలా యొక్క నివేదిక ఎలాస్టిక్సెర్చ్లో లాగ్లను నిల్వ చేయడం మరియు ప్రాసెస్ చేయడం గురించి చర్చించింది, అయితే అనేక వేల పరికరాలు మరియు అప్లికేషన్ల నుండి లాగ్లను డెలివరీ చేసే పని ఇంకా ఉంది మరియు Vostok Hercules వంటి సాధనాలు వాటిని పరిష్కరిస్తాయి.
సర్క్యూట్ చాలా మందికి తెలిసిన మార్గాన్ని అనుసరించింది - రాబిట్ఎమ్క్యూ నుండి అపాచీ కాఫ్కా వరకు, కానీ ప్రతిదీ అంత సులభం కాదు)) వారు సర్క్యూట్కు జూకీపర్, కాసాండ్రా మరియు గ్రాఫైట్లను జోడించాల్సి వచ్చింది. నేను ఈ నివేదికలోని సమాచారాన్ని పూర్తిగా బహిర్గతం చేయను (నా ప్రొఫైల్ కాదు), మీకు ఆసక్తి ఉంటే, మీరు కాన్ఫరెన్స్ వెబ్సైట్లోని స్లయిడ్లు మరియు వీడియోల కోసం వేచి ఉండవచ్చు.
ఇది ఇతర సమావేశాలతో ఎలా పోల్చబడుతుంది?
నేను మాస్కో మరియు సెయింట్ పీటర్స్బర్గ్లోని సమావేశాలతో పోల్చలేను, నేను యురల్స్లోని ఇతర ఈవెంట్లతో మరియు సమారాలోని 404ఫెస్ట్తో పోల్చగలను.
DAMP 8 విభాగాలలో జరుగుతుంది, ఇది ఉరల్ సమావేశాలకు రికార్డ్. చాలా పెద్ద సైన్స్ మరియు మేనేజ్మెంట్ విభాగాలు, ఇది కూడా అసాధారణమైనది. యెకాటెరిన్బర్గ్లోని ప్రేక్షకులు చాలా నిర్మాణాత్మకంగా ఉన్నారు - నగరంలో Yandex, Kontur, Tinkoff కోసం పెద్ద అభివృద్ధి విభాగాలు ఉన్నాయి మరియు ఇది నివేదికలపై దాని గుర్తును వదిలివేస్తుంది.
మరో ఆసక్తికరమైన అంశం ఏమిటంటే, చాలా కంపెనీలు ఒకేసారి 3-4 స్పీకర్లను కాన్ఫరెన్స్లో కలిగి ఉన్నాయి (కొంటూర్, ఈవిల్ మార్టియన్స్, టింకాఫ్ విషయంలో ఇది జరిగింది). వారిలో చాలా మంది స్పాన్సర్లు, కానీ నివేదికలు ఇతరులతో సమానంగా ఉంటాయి, ఇవి ప్రకటనల నివేదికలు కావు.
వెళ్లాలా వద్దా? మీరు యురల్స్లో లేదా సమీపంలో నివసిస్తుంటే, మీకు అవకాశం ఉంది మరియు అంశాలపై ఆసక్తి ఉంది - అవును, వాస్తవానికి. మీరు సుదీర్ఘ పర్యటన గురించి ఆలోచిస్తుంటే, నేను మునుపటి సంవత్సరాల నుండి నివేదికలు మరియు వీడియో నివేదికల అంశాలను పరిశీలిస్తాను మరియు ఒక నిర్ణయం తీసుకున్నాడు.
ప్రాంతాలలో సమావేశాల యొక్క మరొక ప్రయోజనం, ఒక నియమం వలె, నివేదికల తర్వాత స్పీకర్తో కమ్యూనికేట్ చేయడం సులభం; అటువంటి కమ్యూనికేషన్ కోసం తక్కువ మంది దరఖాస్తుదారులు ఉన్నారు.
డంప్ మరియు ఎకాటెరిన్బర్గ్కు ధన్యవాదాలు! )
మూలం: www.habr.com
