🥇एलेक्सी नायडेनोव। आईटूलैब्स। गो (गोलंग) फ़ोन प्लेटफ़ॉर्म पर विकास का मामला। भाग 1

एलेक्सी नैडेनोव, सीईओ आईटूलैब्स, प्रोग्रामिंग भाषा गो (गोलंग) में दूरसंचार ऑपरेटरों के लिए एक दूरसंचार मंच के विकास के बारे में बात करता है। एलेक्सी ने सबसे बड़े एशियाई दूरसंचार ऑपरेटरों में से एक में प्लेटफ़ॉर्म को तैनात करने और संचालित करने का अपना अनुभव भी साझा किया है, जिसने प्लेटफ़ॉर्म का उपयोग वॉयस मेल (वॉयसमेल) और वर्चुअल पीबीएक्स (क्लाउड पीबीएक्स) सेवाएं प्रदान करने के लिए किया था।

एलेक्सी नायडेनोव (इसके बाद - एएन): - नमस्ते! मेरा नाम एलेक्सी नैडेनोव है। मैं IToolabs का निदेशक हूं। सबसे पहले, मैं यह उत्तर देना चाहूँगा कि मैं यहाँ क्या कर रहा हूँ और मैं यहाँ तक कैसे पहुँचा।

यदि आप बिट्रिक्स24 मार्केटप्लेस (अनुभाग "टेलीफोनी") को देखें, तो वहां मौजूद 14 एप्लिकेशन और 36 (40%) हम हैं:

अधिक सटीक रूप से, ये हमारे भागीदार ऑपरेटर हैं, लेकिन इन सबके पीछे हमारा प्लेटफ़ॉर्म (एक सेवा के रूप में प्लेटफ़ॉर्म) है - जो हम उन्हें एक छोटे से पैसे में बेचते हैं। दरअसल, मैं इस मंच के विकास के बारे में बात करना चाहूंगा और हम यहां तक कैसे पहुंचे।

अब हमारे प्लेटफ़ॉर्म के नंबर हैं:

मेगाफोन सहित 44 भागीदार ऑपरेटर। आम तौर पर कहें तो, हम रोमांच पर जाना पसंद करते हैं, और वास्तव में हमारे पास रूस में 100 ऑपरेटरों के 44 मिलियन ग्राहकों तक पहुंच है। इसलिए, यदि किसी के पास कुछ व्यावसायिक विचार हैं, तो हम उन्हें सुनकर हमेशा प्रसन्न होते हैं।

5000 उपयोगकर्ता कंपनियाँ।
कुल 20 ग्राहक। यह सब b000b है - हम केवल कंपनियों के साथ काम करते हैं।
दिन के दौरान प्रति मिनट 300 कॉल।
पिछले वर्ष 100 मिलियन कॉल मिनट (हमने जश्न मनाया)। यह हमारे मंच पर चल रही आंतरिक बातचीत को ध्यान में रखे बिना है।

इसकी शुरुआत कैसे हुई?

सही लोग अपना मंच कैसे बनाना शुरू करते हैं? हमें यह भी ध्यान में रखना चाहिए कि हमारे पास "कट्टर उद्यम" विकास का इतिहास था, और यहां तक कि किसी उद्यम के लिए वर्ष का सबसे सटीक समय भी! यह वह ख़ुशी का समय था जब आप ग्राहक के पास आते हैं और कहते हैं: "हमें कुछ और सर्वर चाहिए।" और ग्राहक: “हाँ, कोई सवाल नहीं! हमारे पास रैक में दस हैं।

तो हमने Oracle, Java, WebSphere, Db2 और वह सब किया। इसलिए, हमने, निश्चित रूप से, सर्वोत्तम विक्रेता समाधान लिए, उन्हें एकीकृत किया और इसके साथ आगे बढ़ने का प्रयास किया। वे अपने दम पर खेले. यह एक ऐसा आंतरिक स्टार्टअप होगा.

यह सब 2009 में शुरू हुआ। 2006 से, हम किसी न किसी रूप में ऑपरेटर निर्णयों में निकटता से शामिल रहे हैं। हमने कई कस्टम वर्चुअल पीबीएक्स बनाए (जैसे कि अब हमारे पास ऑर्डर पर है): हमने देखा, फैसला किया कि यह अच्छा था, और एक आंतरिक स्टार्टअप शुरू करने का फैसला किया।

वीएमवेयर लें। चूँकि हम अपने आप चल रहे थे, हमें तुरंत कूल वेंडर स्टोरेज को छोड़ना पड़ा। हम उनके बारे में सब कुछ जानते हैं: वादों को 3 से विभाजित किया जाना चाहिए, और लागत को 10 से गुणा किया जाना चाहिए। इसलिए, हमने DirDB इत्यादि किया।

फिर यह बढ़ने लगा. बिलिंग सेवा को इसमें जोड़ा गया था, क्योंकि प्लेटफ़ॉर्म अब इसका सामना नहीं कर सकता था। फिर MySQL से बिलिंग सर्वर मोंगो में चला गया। परिणामस्वरूप, हमें एक कार्यशील समाधान मिला जो वहां आने वाली सभी कॉलों को संसाधित करता है:

लेकिन अंदर कहीं, वही विक्रेता उत्पाद घूम रहा है - मुख्य, परमाणु वाला, जिसे हमने एक बार लिया था। लगभग 2011 के अंत तक, हमने स्वयं महसूस किया कि हमारे लिए मुख्य बाधा, निश्चित रूप से, यह विशेष उत्पाद होगा - हम इसमें भाग लेंगे। हमने अपने सामने एक दीवार देखी, जिसमें हम पूरी सरपट दौड़े, जैसे-जैसे ग्राहक चलते गए, जुड़ते गए।
तदनुसार, हमें कुछ करना था। बेशक, हमने विभिन्न उत्पादों पर काफी शोध किया - ओपन सोर्स और विक्रेता दोनों। मैं अब इस पर ध्यान नहीं दूँगा - मुद्दा यह नहीं है। आखिरी वापसी के बारे में हमने सोचा था कि वह अपना खुद का प्लेटफॉर्म बना रहा था।

अंततः हम इस विकल्प पर आये। क्यों? क्योंकि सभी विक्रेता और ओपन सोर्स उत्पाद 10 साल पहले समस्याओं को हल करने के लिए बनाए गए थे। खैर, अगर 10 साल का बच्चा, और कुछ और! हमारे लिए विकल्प स्पष्ट हो गया है: या तो हम एक आदर्श सेवा (साझेदारों, ऑपरेटरों और स्वयं के लिए) के अपने महान विचार को अलविदा कह दें, या हम अपना खुद का कुछ करें।

हमने कुछ अलग करने का फैसला किया!

प्लेटफ़ॉर्म आवश्यकताएँ

यदि आप लंबे समय तक कुछ करते हैं (आप किसी और के उत्पाद का शोषण करते हैं), तो यह विचार धीरे-धीरे आपके दिमाग में बनता है: मैं इसे स्वयं कैसे करूंगा? चूंकि कंपनी में हम सभी प्रोग्रामर हैं (विक्रेताओं को छोड़कर, कोई गैर-प्रोग्रामर नहीं हैं), हमारी आवश्यकताएं लंबे समय से बनी हुई हैं, और वे स्पष्ट थीं:

उच्च विकास गति. विक्रेता का उत्पाद, जिसने हमें परेशान किया, पहली बार में हमें पसंद नहीं आया क्योंकि सब कुछ लंबे समय तक और धीरे-धीरे काम करता रहा। हम जल्दी चाहते थे - हमारे पास बहुत सारे विचार थे! हमारे पास अभी भी बहुत सारे विचार हैं, लेकिन तब विचारों की सूची ऐसी थी कि ऐसा लगता था कि यह दस साल आगे है। अब सिर्फ एक साल के लिए.
मल्टी-कोर आयरन का अधिकतम उपयोग। यह हमारे लिए भी महत्वपूर्ण था, क्योंकि हमने देखा कि अधिक से अधिक कोर ही होंगे।
उच्च विश्वसनीयता। जिस पर हम भी रोए थे.
उच्च दोष सहनशीलता.
हम दैनिक रिलीज़ प्रक्रिया को समाप्त करना चाहते थे। ऐसा करने के लिए, हमें भाषा के विकल्प की आवश्यकता थी।

तदनुसार, उत्पाद की आवश्यकताओं से जो हमने अपने लिए प्रस्तुत की है, भाषा की आवश्यकताएं स्पष्ट रूप से तार्किक तरीके से बढ़ती हैं।

यदि हम मल्टी-कोर सिस्टम के लिए समर्थन चाहते हैं, तो हमें समानांतर निष्पादन के लिए समर्थन की आवश्यकता है।
यदि हमें विकास की गति चाहिए, तो हमें एक ऐसी भाषा की आवश्यकता है जो प्रतिस्पर्धी विकास, प्रतिस्पर्धी प्रोग्रामिंग का समर्थन करे। यदि किसी को अंतर का सामना नहीं करना पड़ा है, तो यह बहुत सरल है:
- समानांतर प्रोग्रामिंग इस बारे में है कि दो अलग-अलग थ्रेड अलग-अलग कोर पर कैसे चलते हैं;
- समवर्ती निष्पादन, विशेष रूप से समवर्ती समर्थन, इस बारे में है कि कैसे भाषा (या रनटाइम, जो भी हो) समानांतर निष्पादन से आने वाली सभी जटिलताओं को छिपाने में मदद करती है।
उच्च स्थिरता. जाहिर है, हमें एक क्लस्टर की आवश्यकता थी, और यह विक्रेता उत्पाद पर हमारे पास जो था उससे बेहतर था।

यदि आपको याद हो तो वास्तव में हमारे पास अधिक विकल्प नहीं थे। सबसे पहले, एरलांग - हम इसे प्यार करते हैं और जानते हैं, यह मेरा व्यक्तिगत, व्यक्तिगत पसंदीदा था। दूसरे, जावा जावा भी नहीं है, बल्कि विशेष रूप से स्काला है। तीसरी, वह भाषा जो उस समय हम बिल्कुल नहीं जानते थे - जाओ। यह तब ही प्रकट हुआ था, अधिक सटीक रूप से, यह पहले से ही लगभग दो वर्षों से अस्तित्व में था, लेकिन अभी तक जारी नहीं किया गया था।

हार जाओ!

गो का इतिहास

हमने उस पर एक मंच बनाया। मैं समझाने की कोशिश करूंगा कि क्यों।

गो का संक्षिप्त इतिहास. 2007 में शुरू हुआ, 2009 में खुला, पहला संस्करण 2012 में जारी किया गया (यानी, हमने पहली रिलीज से पहले ही काम करना शुरू कर दिया)। आरंभकर्ता Google था, जो, जैसा कि मुझे संदेह है, जावा को प्रतिस्थापित करना चाहता था।

लेखक बहुत प्रसिद्ध हैं:

केन थॉमसन, जो यूनिक्स के पीछे थे, ने यूटीएफ-8 का आविष्कार किया, योजना 9 प्रणाली पर काम किया;
रॉब पाइक, जिन्होंने केन के साथ यूटीएफ-8 डिजाइन किया, ने बेल लैब्स में प्लान 9, इन्फर्नो, लिम्बो पर भी काम किया;
रॉबर्ट गिज़मर, जिन्हें हम जावा हॉटस्पॉट कंपाइलर का आविष्कार करने और V8 (Google के जावास्क्रिप्ट दुभाषिया) में जनरेटर पर काम करने के लिए जानते हैं और पसंद करते हैं;
और 700 से अधिक योगदानकर्ता, जिनमें हमारे कुछ पैच भी शामिल हैं।

एक नज़र में जाओ

हम देखते हैं कि भाषा कमोबेश सरल एवं समझने योग्य है। हमारे पास स्पष्ट प्रकार हैं: कुछ मामलों में उन्हें घोषित करने की आवश्यकता होती है, अन्य में नहीं (मतलब वैसे भी प्रकार का अनुमान लगाया जाता है)।

यह देखा जा सकता है कि संरचनाओं का वर्णन करना फैशनेबल है। यह देखा जा सकता है कि हमारे पास एक सूचक (जहां तारांकन चिह्न है) की अवधारणा है। यह देखा जा सकता है कि सरणियों और सहयोगी सरणियों के आरंभीकरण की घोषणा के लिए विशेष समर्थन है।

मोटे तौर पर समझने योग्य - आप जी सकते हैं। हेलो, वर्ल्ड लिखने का प्रयास कर रहा हूँ:

हम क्या देखते हैं? यह C-जैसा सिंटैक्स है, अर्धविराम वैकल्पिक है। यह दो रेखाओं के लिए विभाजक हो सकता है, लेकिन केवल तभी जब ये दो संरचनाएं बिल्कुल एक ही रेखा पर हों।

हम देखते हैं कि नियंत्रण संरचनाओं में (14वीं पंक्ति पर) ब्रैकेट वैकल्पिक हैं, लेकिन घुंघराले ब्रैकेट हमेशा आवश्यक होते हैं। हम देखते हैं कि टाइपिंग स्थिर है। अधिकांश मामलों में टिम प्रदर्शित होता है। यह उदाहरण सामान्य हेलो वर्ल्ड से थोड़ा अधिक जटिल है - केवल यह दिखाने के लिए कि वहाँ एक पुस्तकालय है।

हम और क्या महत्वपूर्ण देखते हैं? कोड को पैकेजों में व्यवस्थित किया गया है। और पैकेज को अपने कोड में उपयोग करने के लिए, आपको इसे आयात निर्देश का उपयोग करके आयात करना होगा - यह भी महत्वपूर्ण है। हम शुरू करते हैं - यह काम करता है। महान!

आइए कुछ अधिक जटिल प्रयास करें: नमस्ते दुनिया, लेकिन अब यह एक http सर्वर है। हम यहां क्या दिलचस्प देखते हैं?

सबसे पहले, फ़ंक्शन एक पैरामीटर के रूप में कार्य करता है। इसका मतलब यह है कि हमारा कार्य "प्रथम श्रेणी के नागरिक" का है और आप इसके साथ कार्यात्मक शैली में कई दिलचस्प चीजें कर सकते हैं। हम आगे अप्रत्याशित देखते हैं: आयात निर्देश सीधे GitHub रिपॉजिटरी को संदर्भित करता है। यह सही है, ऐसा ही है - इसके अलावा, इसे इसी तरह किया जाना चाहिए।

गो में, एक पैकेज का सार्वभौमिक पहचानकर्ता उसके भंडार का यूआरएल है। एक विशेष गोगेट उपयोगिता है जो सभी निर्भरताओं के लिए जाती है, उन्हें डाउनलोड करती है, उन्हें इंस्टॉल करती है, उन्हें संकलित करती है, और यदि आवश्यक हो तो उपयोग के लिए तैयार करती है। वहीं, Goget html-meta के बारे में जानता है। तदनुसार, आप एक http निर्देशिका रख सकते हैं, जिसमें आपके विशिष्ट भंडार के लिंक होंगे (उदाहरण के लिए, हम करते हैं)।

हम और क्या देखते हैं? नियमित लाइब्रेरी में Http और Json। जाहिर है, आत्मनिरीक्षण - प्रतिबिंब है, जिसका उपयोग एन्कोडिंग / जेसन में किया जाना चाहिए, क्योंकि हम इसके लिए कुछ मनमानी वस्तु को प्रतिस्थापित करते हैं।

हम इसे चलाते हैं और देखते हैं कि हमारे पास उपयोगी कोड की 20 लाइनें हैं जो संकलित करती हैं, चलाती हैं और मशीन का वर्तमान औसत लोड (जिस मशीन पर यह चल रही है) देता है।
जो हम यहां तुरंत देख सकते हैं उसमें से और क्या महत्वपूर्ण है? यह एक स्थिर बाइनरी (बाइनरी) में संकलित होता है। इस बाइनरी में कोई निर्भरता नहीं है, कोई लाइब्रेरी नहीं है! इसे किसी भी सिस्टम में कॉपी किया जा सकता है, तुरंत चलाया जा सकता है और यह काम करेगा।

चल रहा है।

जाओ: तरीके और इंटरफेस

गो के पास तरीके हैं. आप किसी भी कस्टम प्रकार के लिए एक विधि घोषित कर सकते हैं। इसके अलावा, यह आवश्यक रूप से एक संरचना नहीं है, लेकिन किसी प्रकार का उपनाम हो सकता है। आप N32 के लिए एक उपनाम घोषित कर सकते हैं और कुछ उपयोगी करने के लिए इसके तरीके लिख सकते हैं।

और यहीं पर हम पहली बार स्तब्ध हो जाते हैं... पता चलता है कि गो में ऐसी कोई कक्षाएं नहीं हैं। जो लोग गो को जानते हैं वे कह सकते हैं कि इसमें प्रकार का समावेशन है, लेकिन यह पूरी तरह से अलग है। जितनी जल्दी डेवलपर इसे विरासत के रूप में सोचना बंद कर दे, उतना बेहतर होगा। गो में कोई वर्ग नहीं है, और कोई विरासत भी नहीं है।

सवाल! दुनिया की जटिलता को प्रदर्शित करने के लिए Google के नेतृत्व में लेखकों की कंपनी ने हमें क्या दिया? हमें इंटरफ़ेस दिए गए हैं!

इंटरफ़ेस एक विशेष प्रकार है जो आपको सरल विधियाँ, विधि हस्ताक्षर लिखने की अनुमति देता है। इसके अलावा, कोई भी प्रकार जिसके लिए ये विधियाँ मौजूद हैं (निष्पादित हैं) इस इंटरफ़ेस के अनुरूप होंगी। इसका मतलब यह है कि आप बस एक प्रकार के लिए, दूसरे के लिए संबंधित फ़ंक्शन लिख सकते हैं (जो उस इंटरफ़ेस प्रकार से मेल खाता है)। इसके बाद, इस इंटरफ़ेस के प्रकार का एक वेरिएबल घोषित करें और इनमें से किसी भी ऑब्जेक्ट को इसमें असाइन करें।

कट्टर प्रशंसकों के लिए, मैं कह सकता हूं कि इस वेरिएबल में वास्तव में दो पॉइंटर्स होंगे: एक डेटा के लिए, दूसरा एक विशेष डिस्क्रिप्टर टेबल के लिए जो इस विशेष प्रकार के लिए विशिष्ट है, इस प्रकार के इंटरफ़ेस के लिए। यानी कंपाइलर लिंकिंग के समय डिस्क्रिप्टर की ऐसी टेबल बनाता है।

और निस्संदेह, गो में शून्यता के संकेत हैं। शब्द इंटरफ़ेस {} (दो घुंघराले ब्रेसिज़ के साथ) एक चर है जो आपको सिद्धांत रूप में किसी भी वस्तु को इंगित करने की अनुमति देता है।
अब तक, सब कुछ क्रम में है, सब कुछ परिचित है। कोई आश्चर्य की बात नहीं.

जाओ: गोरोइन्स

अब हम उस चीज़ पर आते हैं जिसमें हमारी रुचि है: हल्की प्रक्रियाएं - गो शब्दावली में गोरोइन्स (गोरोइन्स)।

सबसे पहले, वे वास्तव में हल्के वजन (2 Kb से कम) हैं।
दूसरे, ऐसे गोरोइन बनाने की लागत नगण्य है: आप प्रति सेकंड उनमें से एक हजार बना सकते हैं - कुछ नहीं होगा।
उन्हें अपने स्वयं के शेड्यूलर द्वारा सेवा प्रदान की जाती है, जो बस नियंत्रण को एक गोरोइन से दूसरे में स्थानांतरित करता है।
इस मामले में, नियंत्रण निम्नलिखित मामलों में स्थानांतरित किया जाता है:
- यदि कोई गो स्टेटमेंट सामने आता है (यदि गोरोइनट अगला गोरोइन शुरू करता है);
- यदि कोई अवरुद्ध इनपुट/आउट कॉल सक्षम है;
- यदि कचरा संग्रहण शुरू हो गया है;
- यदि चैनलों के साथ कुछ ऑपरेशन शुरू किया गया है।

यानी, जब भी कोई गो प्रोग्राम कंप्यूटर पर चलाया जाता है, तो यह सिस्टम में कोर की संख्या का पता लगाता है, आवश्यकतानुसार उतने थ्रेड शुरू करता है (सिस्टम में कितने कोर हैं, या आपने इसे कितने बताए हैं)। तदनुसार, शेड्यूलर प्रत्येक कोर में इन सभी ऑपरेटिंग सिस्टम थ्रेड्स पर निष्पादन के इन हल्के थ्रेड्स को चलाएगा।

यह ध्यान दिया जाना चाहिए कि यह लोहे का उपयोग करने का सबसे प्रभावी तरीका है। हमने जो दिखाया है उसके अलावा हम और भी बहुत कुछ करते हैं। उदाहरण के लिए, हम डीपीआई सिस्टम बनाते हैं जो एक इकाई में 40 गीगाबिट की सेवा की अनुमति देता है (इन पंक्तियों में क्या होता है इसके आधार पर)।

वहां, गो से पहले भी, हमने इसी कारण से बिल्कुल उसी योजना का उपयोग किया था: क्योंकि यह आपको प्रोसेसर कैश के इलाके को बचाने की अनुमति देता है, ओएस संदर्भ स्विच की संख्या को काफी कम करता है (जिसमें बहुत लंबा समय भी लगता है)। मैं दोहराता हूं: यह लोहे का उपयोग करने का सबसे प्रभावी तरीका है।

यह सरल 21-पंक्ति वाला उदाहरण एक उदाहरण है जो केवल इको-सर्वर करता है। साथ ही, ध्यान दें कि सर्व फ़ंक्शन बेहद सरल है, यह रैखिक है। कोई कॉलबैक नहीं है, परेशान होने और सोचने की कोई ज़रूरत नहीं है... आप बस पढ़ें और लिखें!

उसी समय, यदि आप पढ़ते और लिखते हैं, तो इसे वास्तव में ब्लॉक करना चाहिए - जब निष्पादन फिर से संभव हो जाता है तो इस गोरोइन को बस कतारबद्ध किया जाता है और शेड्यूलर द्वारा लिया जाता है। यानी, यह सरल कोड उतने कनेक्शनों के लिए इको सर्वर के रूप में कार्य कर सकता है जितने इस मशीन पर ओएस अनुमति देगा।

बहुत जल्द जारी रखा जाएगा...

कुछ विज्ञापन 🙂

हमारे साथ रहने के लिए धन्यवाद। क्या आप हमारे लेख पसंद करते हैं? अधिक रोचक सामग्री देखना चाहते हैं? आदेश देकर या मित्रों को अनुशंसा करके हमारा समर्थन करें, डेवलपर्स के लिए क्लाउड VPS $4.99 से शुरू, प्रवेश स्तर के सर्वरों का एक अनूठा एनालॉग, जिसका आविष्कार हमने आपके लिए किया था: VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps के बारे में पूरी सच्चाई $19 से या सर्वर कैसे साझा करें? (RAID1 और RAID10 के साथ उपलब्ध, 24 कोर तक और 40GB DDR4 तक)।

एम्स्टर्डम में इक्विनिक्स टियर IV डेटा सेंटर में Dell R730xd 2x सस्ता है? केवल यहां 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 टीवी $199 से नीदरलैंड में! डेल R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $99 से! के बारे में पढ़ा इन्फ्रास्ट्रक्चर कॉर्प का निर्माण कैसे करें। एक पैसा के लिए 730 यूरो मूल्य के डेल R5xd E2650-4 v9000 सर्वर के उपयोग के साथ वर्ग?

स्रोत: www.habr.com

एलेक्सी नैडेनोव। आईटूलैब्स। गो (गोलंग) फ़ोन प्लेटफ़ॉर्म पर विकास का मामला। भाग ---- पहला