একটি ক্লাস্টারের জন্য কীভাবে আপনার নিজের অটোস্কেলার তৈরি করবেন

হ্যালো! আমরা মানুষকে বড় ডেটা নিয়ে কাজ করার প্রশিক্ষণ দিই। নিজস্ব ক্লাস্টার ছাড়া বড় ডেটাতে একটি শিক্ষামূলক প্রোগ্রাম কল্পনা করা অসম্ভব, যার উপর সমস্ত অংশগ্রহণকারী একসাথে কাজ করে। এই কারণে, আমাদের প্রোগ্রামে সর্বদা এটি থাকে 🙂 আমরা এটির কনফিগারেশন, টিউনিং এবং প্রশাসনে নিযুক্ত থাকি এবং ছেলেরা সরাসরি সেখানে MapReduce চাকরি চালু করে এবং স্পার্ক ব্যবহার করে।

এই পোস্টে আমরা আপনাকে বলব কিভাবে আমরা ক্লাউড ব্যবহার করে আমাদের নিজস্ব অটোস্কেলার লিখে অসম ক্লাস্টার লোডিংয়ের সমস্যা সমাধান করেছি। Mail.ru ক্লাউড সলিউশন.

সমস্যা

আমাদের ক্লাস্টার একটি সাধারণ মোডে ব্যবহার করা হয় না. নিষ্পত্তি অত্যন্ত অসম. উদাহরণস্বরূপ, ব্যবহারিক ক্লাস আছে, যখন 30 জন এবং একজন শিক্ষক ক্লাস্টারে যান এবং এটি ব্যবহার করা শুরু করেন। অথবা আবার, সময়সীমার আগে এমন কিছু দিন আছে যখন লোড অনেক বেড়ে যায়। বাকি সময় ক্লাস্টারটি আন্ডারলোড মোডে কাজ করে।

সমাধান #1 হল এমন একটি ক্লাস্টার রাখা যা পিক লোড সহ্য করবে, কিন্তু বাকি সময় নিষ্ক্রিয় থাকবে।

সমাধান # 2 হল একটি ছোট ক্লাস্টার রাখা, যেখানে আপনি ক্লাসের আগে এবং পিক লোডের সময় ম্যানুয়ালি নোড যোগ করেন।

সমাধান #3 হল একটি ছোট ক্লাস্টার রাখা এবং একটি অটোস্কেলার লিখতে হবে যা ক্লাস্টারের বর্তমান লোড নিরীক্ষণ করবে এবং বিভিন্ন API ব্যবহার করে ক্লাস্টার থেকে নোডগুলি যোগ ও অপসারণ করবে।

এই পোস্টে আমরা সমাধান #3 সম্পর্কে কথা বলব। এই অটোস্কেলার অভ্যন্তরীণ বিষয়গুলির পরিবর্তে বাহ্যিক কারণগুলির উপর অত্যন্ত নির্ভরশীল এবং প্রদানকারীরা প্রায়শই এটি প্রদান করে না। আমরা Mail.ru ক্লাউড সলিউশন ক্লাউড অবকাঠামো ব্যবহার করি এবং MCS API ব্যবহার করে একটি অটোস্কেলার লিখেছি। এবং যেহেতু আমরা ডেটার সাথে কীভাবে কাজ করতে হয় তা শিখিয়েছি, তাই আমরা দেখানোর সিদ্ধান্ত নিয়েছি যে আপনি কীভাবে আপনার নিজের উদ্দেশ্যে একটি অনুরূপ অটোস্কেলার লিখতে পারেন এবং এটি আপনার ক্লাউডের সাথে ব্যবহার করতে পারেন।

পূর্বশর্ত

প্রথমত, আপনার একটি Hadoop ক্লাস্টার থাকতে হবে। উদাহরণস্বরূপ, আমরা HDP বিতরণ ব্যবহার করি।

আপনার নোডগুলি দ্রুত যোগ এবং সরানোর জন্য, আপনার অবশ্যই নোডগুলির মধ্যে ভূমিকাগুলির একটি নির্দিষ্ট বিতরণ থাকতে হবে।

1. মাস্টার নোড। ঠিক আছে, বিশেষ করে কিছু ব্যাখ্যা করার দরকার নেই: ক্লাস্টারের প্রধান নোড, যার উপর, উদাহরণস্বরূপ, স্পার্ক ড্রাইভার চালু হয়, যদি আপনি ইন্টারেক্টিভ মোড ব্যবহার করেন।
2. তারিখ নোড. এটি সেই নোড যেখানে আপনি HDFS-এ ডেটা সঞ্চয় করেন এবং যেখানে গণনা করা হয়।
3. কম্পিউটিং নোড। এটি এমন একটি নোড যেখানে আপনি HDFS-এ কিছু সঞ্চয় করেন না, কিন্তু যেখানে গণনা হয়।

গুরুত্বপূর্ণ পয়েন্ট. তৃতীয় ধরনের নোডের কারণে অটোস্কেলিং ঘটবে। আপনি যদি দ্বিতীয় প্রকারের নোডগুলি নেওয়া এবং যোগ করা শুরু করেন, প্রতিক্রিয়ার গতি খুব কম হবে - ডিকমিশন এবং রিকমিট করতে আপনার ক্লাস্টারে ঘন্টা লাগবে৷ এটি, অবশ্যই, আপনি অটোস্কেলিং থেকে যা আশা করেন তা নয়। যে, আমরা প্রথম এবং দ্বিতীয় ধরনের নোড স্পর্শ না. তারা একটি ন্যূনতম কার্যকর ক্লাস্টার প্রতিনিধিত্ব করবে যা প্রোগ্রামের সময়কাল জুড়ে বিদ্যমান থাকবে।

সুতরাং, আমাদের অটোস্কেলার পাইথন 3 এ লেখা আছে, ক্লাস্টার পরিষেবাগুলি পরিচালনা করতে Ambari API ব্যবহার করে, ব্যবহার করে Mail.ru ক্লাউড সলিউশন থেকে API মেশিন শুরু এবং বন্ধ করার জন্য (MCS)।

সমাধান আর্কিটেকচার

1. মডিউল autoscaler.py. এটিতে তিনটি শ্রেণী রয়েছে: 1) Ambari এর সাথে কাজ করার জন্য ফাংশন, 2) MCS এর সাথে কাজ করার জন্য ফাংশন, 3) অটোস্ক্যালারের যুক্তির সাথে সরাসরি সম্পর্কিত ফাংশন।
2. লিপি observer.py. মূলত এটি বিভিন্ন নিয়ম নিয়ে গঠিত: কখন এবং কোন মুহুর্তে অটোস্কেলার ফাংশনগুলিকে কল করতে হবে৷
3. কনফিগারেশন ফাইল config.py. এটিতে রয়েছে, উদাহরণস্বরূপ, অটোস্কেলিংয়ের জন্য অনুমোদিত নোডগুলির একটি তালিকা এবং অন্যান্য পরামিতি যা প্রভাবিত করে, উদাহরণস্বরূপ, একটি নতুন নোড যুক্ত হওয়ার মুহুর্ত থেকে কতক্ষণ অপেক্ষা করতে হবে। ক্লাস শুরুর জন্য টাইমস্ট্যাম্পও রয়েছে, যাতে ক্লাসের আগে সর্বাধিক অনুমোদিত ক্লাস্টার কনফিগারেশন চালু করা হয়।

আসুন এখন প্রথম দুটি ফাইলের ভিতরের কোডের টুকরোগুলো দেখি।

1. Autoscaler.py মডিউল

অম্বরী ক্লাস

এটি একটি ক্লাস ধারণকারী কোড একটি টুকরা মত দেখায় কি Ambari:

class Ambari:
    def __init__(self, ambari_url, cluster_name, headers, auth):
        self.ambari_url = ambari_url
        self.cluster_name = cluster_name
        self.headers = headers
        self.auth = auth

    def stop_all_services(self, hostname):
        url = self.ambari_url + self.cluster_name + '/hosts/' + hostname + '/host_components/'
        url2 = self.ambari_url + self.cluster_name + '/hosts/' + hostname
        req0 = requests.get(url2, headers=self.headers, auth=self.auth)
        services = req0.json()['host_components']
        services_list = list(map(lambda x: x['HostRoles']['component_name'], services))
        data = {
            "RequestInfo": {
                "context":"Stop All Host Components",
                "operation_level": {
                    "level":"HOST",
                    "cluster_name": self.cluster_name,
                    "host_names": hostname
                },
                "query":"HostRoles/component_name.in({0})".format(",".join(services_list))
            },
            "Body": {
                "HostRoles": {
                    "state":"INSTALLED"
                }
            }
        }
        req = requests.put(url, data=json.dumps(data), headers=self.headers, auth=self.auth)
        if req.status_code in [200, 201, 202]:
            message = 'Request accepted'
        else:
            message = req.status_code
        return message

উপরে, একটি উদাহরণ হিসাবে, আপনি ফাংশন বাস্তবায়ন দেখতে পারেন stop_all_services, যা পছন্দসই ক্লাস্টার নোডে সমস্ত পরিষেবা বন্ধ করে দেয়।

ক্লাসের প্রবেশ পথে Ambari আপনি পাস:

• ambari_url, উদাহরণস্বরূপ, মত 'http://localhost:8080/api/v1/clusters/',
• cluster_name - আমবাড়িতে আপনার ক্লাস্টারের নাম,
• headers = {'X-Requested-By': 'ambari'}
• এবং ভিতরে auth এখানে Ambari এর জন্য আপনার ব্যবহারকারীর নাম এবং পাসওয়ার্ড: auth = ('login', 'password').

ফাংশনটি নিজেই REST API-এর মাধ্যমে Ambari-তে কয়েকটি কল ছাড়া আর কিছুই নয়। যৌক্তিক দৃষ্টিকোণ থেকে, আমরা প্রথমে একটি নোডে চলমান পরিষেবাগুলির একটি তালিকা পাই এবং তারপর একটি প্রদত্ত ক্লাস্টারে, একটি প্রদত্ত নোডে, তালিকা থেকে রাজ্যে পরিষেবাগুলি স্থানান্তর করতে বলি৷ INSTALLED. সমস্ত পরিষেবা চালু করার জন্য ফাংশন, রাজ্যে নোড স্থানান্তর করার জন্য Maintenance ইত্যাদি দেখতে একই রকম - এগুলি API এর মাধ্যমে কয়েকটি অনুরোধ মাত্র।

ক্লাস Mcs

এটি একটি ক্লাস ধারণকারী কোড একটি টুকরা মত দেখায় কি Mcs:

class Mcs:
    def __init__(self, id1, id2, password):
        self.id1 = id1
        self.id2 = id2
        self.password = password
        self.mcs_host = 'https://infra.mail.ru:8774/v2.1'

    def vm_turn_on(self, hostname):
        self.token = self.get_mcs_token()
        host = self.hostname_to_vmname(hostname)
        vm_id = self.get_vm_id(host)
        mcs_url1 = self.mcs_host + '/servers/' + self.vm_id + '/action'
        headers = {
            'X-Auth-Token': '{0}'.format(self.token),
            'Content-Type': 'application/json'
        }
        data = {'os-start' : 'null'}
        mcs = requests.post(mcs_url1, data=json.dumps(data), headers=headers)
        return mcs.status_code

ক্লাসের প্রবেশ পথে Mcs আমরা ক্লাউডের ভিতরে প্রজেক্ট আইডি এবং ইউজার আইডি, সেইসাথে তার পাসওয়ার্ড পাস করি। কার্যরত vm_turn_on আমরা একটি মেশিন চালু করতে চাই। এখানে যুক্তি একটু বেশি জটিল। কোডের শুরুতে, তিনটি অন্যান্য ফাংশন বলা হয়: 1) আমাদের একটি টোকেন পেতে হবে, 2) আমাদের হোস্টনামটিকে এমসিএস-এ মেশিনের নামে রূপান্তর করতে হবে, 3) এই মেশিনের আইডি পেতে হবে। এর পরে, আমরা কেবল একটি পোস্ট অনুরোধ করি এবং এই মেশিনটি চালু করি।

একটি টোকেন পাওয়ার ফাংশনটি এইরকম দেখাচ্ছে:

def get_mcs_token(self):
        url = 'https://infra.mail.ru:35357/v3/auth/tokens?nocatalog'
        headers = {'Content-Type': 'application/json'}
        data = {
            'auth': {
                'identity': {
                    'methods': ['password'],
                    'password': {
                        'user': {
                            'id': self.id1,
                            'password': self.password
                        }
                    }
                },
                'scope': {
                    'project': {
                        'id': self.id2
                    }
                }
            }
        }
        params = (('nocatalog', ''),)
        req = requests.post(url, data=json.dumps(data), headers=headers, params=params)
        self.token = req.headers['X-Subject-Token']
        return self.token

অটোস্কেলার ক্লাস

এই ক্লাসে অপারেটিং লজিকের সাথে সম্পর্কিত ফাংশন রয়েছে।

এই ক্লাসের জন্য কোডের একটি অংশ দেখতে কেমন:

class Autoscaler:
    def __init__(self, ambari, mcs, scaling_hosts, yarn_ram_per_node, yarn_cpu_per_node):
        self.scaling_hosts = scaling_hosts
        self.ambari = ambari
        self.mcs = mcs
        self.q_ram = deque()
        self.q_cpu = deque()
        self.num = 0
        self.yarn_ram_per_node = yarn_ram_per_node
        self.yarn_cpu_per_node = yarn_cpu_per_node

    def scale_down(self, hostname):
        flag1 = flag2 = flag3 = flag4 = flag5 = False
        if hostname in self.scaling_hosts:
            while True:
                time.sleep(5)
                status1 = self.ambari.decommission_nodemanager(hostname)
                if status1 == 'Request accepted' or status1 == 500:
                    flag1 = True
                    logging.info('Decomission request accepted: {0}'.format(flag1))
                    break
            while True:
                time.sleep(5)
                status3 = self.ambari.check_service(hostname, 'NODEMANAGER')
                if status3 == 'INSTALLED':
                    flag3 = True
                    logging.info('Nodemaneger decommissioned: {0}'.format(flag3))
                    break
            while True:
                time.sleep(5)
                status2 = self.ambari.maintenance_on(hostname)
                if status2 == 'Request accepted' or status2 == 500:
                    flag2 = True
                    logging.info('Maintenance request accepted: {0}'.format(flag2))
                    break
            while True:
                time.sleep(5)
                status4 = self.ambari.check_maintenance(hostname, 'NODEMANAGER')
                if status4 == 'ON' or status4 == 'IMPLIED_FROM_HOST':
                    flag4 = True
                    self.ambari.stop_all_services(hostname)
                    logging.info('Maintenance is on: {0}'.format(flag4))
                    logging.info('Stopping services')
                    break
            time.sleep(90)
            status5 = self.mcs.vm_turn_off(hostname)
            while True:
                time.sleep(5)
                status5 = self.mcs.get_vm_info(hostname)['server']['status']
                if status5 == 'SHUTOFF':
                    flag5 = True
                    logging.info('VM is turned off: {0}'.format(flag5))
                    break
            if flag1 and flag2 and flag3 and flag4 and flag5:
                message = 'Success'
                logging.info('Scale-down finished')
                logging.info('Cooldown period has started. Wait for several minutes')
        return message

আমরা প্রবেশের জন্য ক্লাস গ্রহণ করি। Ambari и Mcs, নোডের একটি তালিকা যা স্কেলিং করার জন্য অনুমোদিত, সেইসাথে নোড কনফিগারেশন পরামিতি: YARN-এ নোডে বরাদ্দ মেমরি এবং cpu। এছাড়াও 2টি অভ্যন্তরীণ প্যারামিটার রয়েছে q_ram, q_cpu, যা সারি। তাদের ব্যবহার করে, আমরা বর্তমান ক্লাস্টার লোডের মান সংরক্ষণ করি। যদি আমরা দেখি যে গত 5 মিনিট ধরে ক্রমাগতভাবে লোড বৃদ্ধি পেয়েছে, তাহলে আমরা সিদ্ধান্ত নিই যে আমাদের ক্লাস্টারে +1 নোড যোগ করতে হবে। ক্লাস্টার আন্ডার ইউটিলাইজেশন স্টেটের ক্ষেত্রেও একই কথা।

উপরের কোডটি একটি ফাংশনের একটি উদাহরণ যা ক্লাস্টার থেকে একটি মেশিনকে সরিয়ে দেয় এবং ক্লাউডে এটি বন্ধ করে দেয়। প্রথম একটি ডিকমিশন আছে YARN Nodemanager, তারপর মোড চালু হয় Maintenance, তারপর আমরা মেশিনে সমস্ত পরিষেবা বন্ধ করি এবং ক্লাউডে ভার্চুয়াল মেশিন বন্ধ করি।

2. স্ক্রিপ্ট পর্যবেক্ষক.py

সেখান থেকে নমুনা কোড:

if scaler.assert_up(config.scale_up_thresholds) == True:
        hostname = cloud.get_vm_to_up(config.scaling_hosts)
        if hostname != None:
            status1 = scaler.scale_up(hostname)
            if status1 == 'Success':
                text = {"text": "{0} has been successfully scaled-up".format(hostname)}
                post = {"text": "{0}".format(text)}
                json_data = json.dumps(post)
                req = requests.post(webhook, data=json_data.encode('ascii'), headers={'Content-Type': 'application/json'})
                time.sleep(config.cooldown_period*60)

এটিতে, আমরা পরীক্ষা করি যে ক্লাস্টারের ক্ষমতা বাড়ানোর জন্য শর্ত তৈরি করা হয়েছে কিনা এবং রিজার্ভে কোনো মেশিন আছে কি না, তাদের মধ্যে একটির হোস্টনাম পান, এটি ক্লাস্টারে যোগ করুন এবং আমাদের দলের স্ল্যাকে এটি সম্পর্কে একটি বার্তা প্রকাশ করি। যার পর শুরু হয় cooldown_period, যখন আমরা ক্লাস্টার থেকে কিছু যোগ বা অপসারণ করি না, তবে কেবল লোড নিরীক্ষণ করি। যদি এটি স্থিতিশীল হয়ে থাকে এবং সর্বোত্তম লোড মানগুলির করিডোরের মধ্যে থাকে, তাহলে আমরা কেবল পর্যবেক্ষণ চালিয়ে যাই। যদি একটি নোড যথেষ্ট না হয়, তাহলে আমরা আরেকটি যোগ করি।

যে ক্ষেত্রে আমাদের সামনে একটি পাঠ আছে, আমরা ইতিমধ্যেই নিশ্চিতভাবে জানি যে একটি নোড যথেষ্ট হবে না, তাই আমরা অবিলম্বে সমস্ত বিনামূল্যের নোড শুরু করি এবং পাঠ শেষ না হওয়া পর্যন্ত তাদের সক্রিয় রাখি। এটি কার্যকলাপের টাইমস্ট্যাম্পের একটি তালিকা ব্যবহার করে ঘটে।

উপসংহার

যখন আপনি অসম ক্লাস্টার লোডিং অনুভব করেন তখন অটোস্ক্যালার সেই ক্ষেত্রেগুলির জন্য একটি ভাল এবং সুবিধাজনক সমাধান৷ আপনি একই সাথে পিক লোডের জন্য পছন্দসই ক্লাস্টার কনফিগারেশন অর্জন করেন এবং একই সাথে আন্ডারলোডের সময় এই ক্লাস্টারটি রাখবেন না, অর্থ সাশ্রয় করুন। ভাল, প্লাস এই সব আপনার অংশগ্রহণ ছাড়া স্বয়ংক্রিয়ভাবে ঘটবে. অটোস্কেলার নিজেই ক্লাস্টার ম্যানেজার এপিআই এবং ক্লাউড প্রদানকারী এপিআইকে একটি নির্দিষ্ট যুক্তি অনুসারে লেখা অনুরোধের একটি সেট ছাড়া আর কিছুই নয়। আপনার যা অবশ্যই মনে রাখা দরকার তা হল নোডের 3 প্রকারে বিভাজন, যেমনটি আমরা আগে লিখেছি। এবং আপনি খুশি হবেন.

উত্স: www.habr.com