Terraformer - কোডের অবকাঠামো

আমি আপনাকে নতুন CLI টুল সম্পর্কে বলতে চাই যা আমি একটি পুরানো সমস্যা সমাধানের জন্য লিখেছিলাম।

সমস্যা

টেরাফর্ম দীর্ঘদিন ধরে ডেভপস/ক্লাউড/আইটি সম্প্রদায়ের একটি মান। জিনিসটি কোড হিসাবে অবকাঠামো নিয়ে কাজ করার জন্য খুব সুবিধাজনক এবং দরকারী। টেরাফর্মে অনেক আনন্দের পাশাপাশি অনেক কাঁটাচামচ, ধারালো ছুরি এবং রেক রয়েছে।
টেরাফর্মের সাহায্যে নতুন জিনিস তৈরি করা এবং তারপর সেগুলি পরিচালনা, পরিবর্তন বা মুছে ফেলা খুবই সুবিধাজনক। যাদের ক্লাউডে বিশাল পরিকাঠামো আছে এবং টেরাফর্মের মাধ্যমে তৈরি হয়নি তাদের কী করা উচিত? সম্পূর্ণ ক্লাউড পুনর্লিখন এবং পুনরায় তৈরি করা একরকম ব্যয়বহুল এবং অনিরাপদ।
আমি 2টি চাকরিতে এই সমস্যার সম্মুখীন হয়েছি, সবচেয়ে সহজ উদাহরণ হল যখন আপনি টেরাফর্ম ফাইলের আকারে গিটে সবকিছু রাখতে চান, কিন্তু আপনার কাছে 250+ বালতি আছে এবং সেগুলি হাতে টেরাফর্মে লেখা অনেক বেশি।
আছে সমস্যা 2014 সাল থেকে টেরাফম যা আমদানি হবে এই আশায় 2016 সালে বন্ধ ছিল।

সাধারণভাবে, সবকিছুই কেবল ডান থেকে বামে ছবির মতো

সতর্কতা: লেখক তার অর্ধেক জীবন রাশিয়ায় থাকেন না এবং রাশিয়ান ভাষায় সামান্য লিখেছেন। বানান ভুল থেকে সাবধান।

সমাধান

1. AWS-এর জন্য প্রস্তুত-তৈরি এবং পুরানো সমাধান রয়েছে৷ টেরাফর্মিং. যখন আমি এটির মাধ্যমে আমার 250+ বালতি নেওয়ার চেষ্টা করেছি, তখন আমি বুঝতে পারি যে সেখানে সবকিছু খারাপ ছিল। AWS দীর্ঘদিন ধরে অনেক নতুন বিকল্প প্রবর্তন করছে, কিন্তু টেরাফর্মিং সেগুলি সম্পর্কে জানে না এবং সাধারণভাবে এটি রুবি টেমপ্লেট বিক্ষিপ্ত দেখাচ্ছে. দুপুর ২টার পর পাঠালাম অনুরোধ টানুন সেখানে আরও বৈশিষ্ট্য যোগ করতে এবং বুঝতে পেরেছি যে এই জাতীয় সমাধান মোটেই উপযুক্ত নয়।
কিভাবে টেরাফর্মিং কাজ করে: এটি AWS SDK থেকে ডেটা নেয় এবং একটি টেমপ্লেটের মাধ্যমে tf এবং tfstate তৈরি করে।
এখানে 3টি সমস্যা রয়েছে:
1. আপডেটে সর্বদা একটি ব্যবধান থাকবে
2. টিএফ ফাইল মাঝে মাঝে ভেঙ্গে বেরিয়ে আসে
3. tfstate টিএফ থেকে আলাদাভাবে সংগ্রহ করা হয় এবং সবসময় একত্রিত হয় না
সাধারণভাবে, একটি ফলাফল পাওয়া কঠিন যেখানে `টেরাফর্ম প্ল্যান` বলে যে কোনো পরিবর্তন নেই

2. 'টেরাফর্ম ইম্পোর্ট' হল টেরাফর্মে একটি অন্তর্নির্মিত কমান্ড। এটা কিভাবে কাজ করে?
আপনি রিসোর্সের নাম এবং প্রকার সহ একটি খালি TF ফাইল লিখুন, তারপর `terraform import` চালান এবং রিসোর্স আইডি পাস করুন। terraform প্রদানকারীর সাথে যোগাযোগ করে, ডেটা গ্রহণ করে এবং একটি tfstate ফাইল তৈরি করে।
এখানে 3টি সমস্যা রয়েছে:
1. আমরা শুধুমাত্র একটি tfstate ফাইল পাই, এবং tf খালি, আপনাকে এটি ম্যানুয়ালি লিখতে হবে বা tfstate থেকে রূপান্তর করতে হবে
2. একবারে শুধুমাত্র একটি সংস্থান নিয়ে কাজ করতে পারে এবং সমস্ত সংস্থান সমর্থন করে না৷ এবং আমি 250+ বালতি দিয়ে আবার কি করব?
3. আপনাকে সংস্থানগুলির আইডি জানতে হবে - অর্থাৎ, আপনাকে এটি কোডে মোড়ানো দরকার যা সংস্থানগুলির তালিকা পায়
সাধারণভাবে, ফলাফলটি আংশিক এবং ভালভাবে পরিমাপ করা হয় না

আমার সিদ্ধান্ত

প্রয়োজনীয়তা:
1. সম্পদের জন্য tf এবং tfstate ফাইল তৈরি করার ক্ষমতা। উদাহরণস্বরূপ, সমস্ত বালতি/নিরাপত্তা গোষ্ঠী/লোড ব্যালেন্সার ডাউনলোড করুন এবং সেই `টেরাফর্ম প্ল্যান` ফিরে এসেছে যে কোনো পরিবর্তন নেই
2. আপনার 2টি GCP + AWS ক্লাউড দরকার৷
3. গ্লোবাল সলিউশন যা প্রতিবার আপডেট করা সহজ এবং 3 দিনের কাজের জন্য প্রতিটি রিসোর্সে সময় নষ্ট করে না
4. এটিকে ওপেন সোর্স করুন - প্রত্যেকেরই একই সমস্যা রয়েছে

গো ভাষা কেন আমি এটি পছন্দ করি, এবং এটিতে HCL ফাইল তৈরি করার জন্য একটি লাইব্রেরি রয়েছে যা টেরাফর্মে ব্যবহৃত হয় + টেরাফর্মে প্রচুর কোড যা দরকারী হতে পারে

পথ

প্রথম প্রচেষ্টা
আমি একটি সাধারণ সংস্করণ দিয়ে শুরু করেছি। প্রয়োজনীয় সংস্থানের জন্য SDK-এর মাধ্যমে ক্লাউডের সাথে যোগাযোগ করা এবং এটিকে টেরাফর্মের জন্য ক্ষেত্রগুলিতে রূপান্তর করা। নিরাপত্তা গোষ্ঠীতে প্রচেষ্টাটি অবিলম্বে মারা গেছে কারণ আমি শুধুমাত্র নিরাপত্তা গোষ্ঠীকে রূপান্তর করতে 1.5 দিন পছন্দ করিনি (এবং প্রচুর সংস্থান রয়েছে)। একটি দীর্ঘ সময়ের জন্য এবং তারপর ক্ষেত্র পরিবর্তন/যোগ করা যেতে পারে

দ্বিতীয় প্রচেষ্টা
বর্ণিত ধারণার উপর ভিত্তি করে এখানে. শুধু নিন এবং tfstate কে tf এ রূপান্তর করুন। সমস্ত ডেটা সেখানে রয়েছে এবং ক্ষেত্রগুলি একই। কিভাবে অনেক সম্পদ জন্য সম্পূর্ণ tfstate পেতে?? এখানেই 'টেরাফর্ম রিফ্রেশ' কমান্ড উদ্ধারে এসেছিল। terraform tfstate-এ সমস্ত সংস্থান নেয় এবং ID দ্বারা, সেগুলির উপর ডেটা বের করে এবং tfstate-এ সবকিছু লিখে। অর্থাৎ, শুধুমাত্র নাম এবং আইডি সহ একটি খালি tfstate তৈরি করুন, `terraform refresh` চালান এবং তারপরে আমরা সম্পূর্ণ tfstate পাই। হুররে!
এখন tfstate থেকে tf-এর জন্য রূপান্তরকারী লেখার পুনরাবৃত্তিমূলক পর্নোগ্রাফি করা যাক। যারা tfstate পড়েননি তাদের জন্য এটি JSON, তবে বিশেষ।
এখানে তার গুরুত্বপূর্ণ অংশ বৈশিষ্ট্য

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

এখানে:
1. আইডি - স্ট্রিং
2. মেটাডেটা - আকার 1 এর একটি অ্যারে এবং এতে ক্ষেত্র সহ একটি অবজেক্ট যা নীচে বর্ণিত হয়েছে
3. spec - সাইজ 1 এর হ্যাশ এবং কী, এর মধ্যে মান
সংক্ষেপে, একটি মজার বিন্যাস, সবকিছুই বেশ কয়েকটি স্তরের গভীর হতে পারে

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

সাধারণভাবে, যদি কেউ একটি সাক্ষাত্কারের জন্য একটি প্রোগ্রামিং সমস্যা চান, শুধু তাদের এই কাজের জন্য একটি পার্সার লিখতে বলুন :)
বাগ ছাড়াই একটি পার্সার লেখার অনেক প্রচেষ্টার পরে, আমি এটির একটি অংশ টেরফর্ম কোডে খুঁজে পেয়েছি এবং সবচেয়ে গুরুত্বপূর্ণ অংশটি। এবং সবকিছু ঠিক কাজ বলে মনে হচ্ছে

চেষ্টা তিন
টেরাফর্ম প্রদানকারী হল বাইনারি যা ক্লাউড API-এর সাথে কাজ করার জন্য সমস্ত সংস্থান এবং যুক্তি সহ কোড ধারণ করে। প্রতিটি ক্লাউডের নিজস্ব প্রদানকারী থাকে এবং টেরাফর্ম নিজেই তাদের দুটি প্রক্রিয়ার মধ্যে RPC প্রোটোকলের মাধ্যমে কল করে।
এখন আমি সরাসরি RPC কলের মাধ্যমে terraform প্রদানকারীদের সাথে যোগাযোগ করার সিদ্ধান্ত নিয়েছি। এটি সুন্দরভাবে পরিণত হয়েছে এবং কোড পরিবর্তন না করেই টেরাফর্ম প্রদানকারীকে নতুনদের সাথে পরিবর্তন করা এবং নতুন বৈশিষ্ট্যগুলি পেতে সম্ভব করেছে৷ এটাও দেখা যাচ্ছে যে tfstate-এর সমস্ত ক্ষেত্র tf-এ থাকা উচিত নয়, কিন্তু আপনি কীভাবে খুঁজে পেতে পারেন? শুধু এই সম্পর্কে আপনার প্রদানকারী জিজ্ঞাসা করুন. তারপরে নিয়মিত অভিব্যক্তি একত্রিত করার আরেকটি পুনরাবৃত্ত পর্নোগ্রাফি শুরু হয়েছিল, tfstate এর ভিতরে সমস্ত স্তরের গভীরতার মধ্যে ক্ষেত্রগুলি অনুসন্ধান করা হয়েছিল।

শেষ পর্যন্ত, আমরা একটি দরকারী CLI টুল পেয়েছি যেটিতে সমস্ত টেরাফর্ম প্রদানকারীদের জন্য একটি সাধারণ পরিকাঠামো রয়েছে এবং আপনি সহজেই একটি নতুন যোগ করতে পারেন৷ এছাড়াও, সংস্থান যোগ করার জন্য সামান্য কোড লাগে। প্লাস সব ধরনের গুডি যেমন সম্পদের মধ্যে সংযোগ। অবশ্যই, অনেকগুলি বিভিন্ন সমস্যা ছিল যা সমস্ত বর্ণনা করা যায় না।
আমি প্রাণীটির নাম দিয়েছি টেরাফোমার।

লয়

Terrafomer ব্যবহার করে, আমরা দুটি মেঘ থেকে tf + tfstate কোডের 500-700 হাজার লাইন তৈরি করেছি। আমরা উত্তরাধিকারী জিনিসগুলি নিতে সক্ষম হয়েছি এবং কেবলমাত্র টেরাফর্মের মাধ্যমে সেগুলি স্পর্শ করতে শুরু করেছি, যেমনটি কোড ধারণা হিসাবে সেরা পরিকাঠামোতে। আপনি যখন একটি বিশাল ক্লাউড নেন এবং টেরাফর্ম কর্মী ফাইলের আকারে একটি দলের মাধ্যমে এটি গ্রহণ করেন তখন এটি কেবল জাদু। এবং তারপর গ্রেপ/প্রতিস্থাপন/গিট ইত্যাদি।

আমি চিরুনি বের করে সাজিয়ে রাখলাম, অনুমতি পেলাম। বৃহস্পতিবার (02.05.19/XNUMX/XNUMX) সবার জন্য GitHub-এ প্রকাশিত হয়েছে। github.com/GoogleCloudPlatform/terraformer
ওপেনস্ট্যাক এবং কুবারনেটের জন্য সমর্থন যোগ করার জন্য ইতিমধ্যেই 600টি তারা, 2টি পুল অনুরোধ পেয়েছে। ভাল প্রতিক্রিয়া. সাধারণভাবে, প্রকল্পটি মানুষের জন্য দরকারী
আমি প্রত্যেককে পরামর্শ দিই যারা টেরাফর্মের সাথে কাজ শুরু করতে চায় এবং এর জন্য সবকিছু আবার লিখবে না।
আমি অনুরোধ, সমস্যা, তারা টান খুশি হবে.

ডেমো


উত্স: www.habr.com