Terraformer - Infrastructure To Code

אני רוצה לספר לכם על כלי ה-CLI החדש שכתבתי כדי לפתור בעיה ישנה.

בעיה

Terraform כבר מזמן סטנדרט בקהילת Devops/Cloud/IT. הדבר מאוד נוח ושימושי להתמודדות עם תשתית כקוד. יש הרבה תענוגות ב- Terraform כמו גם מזלגות רבים, סכינים חדות ומגרפות.
עם Terraform מאוד נוח ליצור דברים חדשים ואז לנהל, לשנות או למחוק אותם. מה צריך לעשות מי שיש לו תשתית ענקית בענן ולא נוצרה דרך Terraform? שכתוב ויצירה מחדש של הענן כולו הוא איכשהו יקר ולא בטוח.
נתקלתי בבעיה הזו ב-2 עבודות, הדוגמה הכי פשוטה היא כשאתה רוצה שהכל יהיה ב-Git בצורה של קבצי terraform, אבל יש לך 250+ דליים וזה הרבה לכתוב אותם ב-terraform ביד.
יש סוגיה מאז 2014 ב-terrafom שנסגרה ב-2016 בתקווה שיהיה יבוא.

באופן כללי, הכל כמו בתמונה רק מימין לשמאל

אזהרות: המחבר אינו חי ברוסיה במשך מחצית חייו וכותב מעט ברוסית. היזהרו משגיאות כתיב.

פתרונות

1. יש פתרונות מוכנים וישנים עבור AWS טרפורמינג. כשניסיתי להעביר את 250+ הדליים שלי דרכו, הבנתי שהכל רע שם. AWS כבר מזמן מציגה הרבה אפשרויות חדשות, אבל terraforming לא יודע עליהן ובאופן כללי זה רובי התבנית נראית דלילה. אחרי 2 בלילה שלחתי משוך בקשה להוסיף שם עוד פיצ'רים והבינו שפתרון כזה לא מתאים בכלל.
איך עובד terraforming: הוא לוקח נתונים מה-AWS SDK ומייצר tf ו-tfstate באמצעות תבנית.
יש כאן 3 בעיות:
1. תמיד יהיה פיגור בעדכונים
2. קבצי TF לפעמים יוצאים שבורים
3. tfstate נאסף בנפרד מ-tf ולא תמיד מתכנס
באופן כללי, קשה להגיע לתוצאה שבה `תכנית טרפורם` אומרת שאין שינויים

2. `יבוא terraform` היא פקודה מובנית ב-terraform. איך זה עובד?
אתה כותב קובץ TF ריק עם השם והסוג של המשאב, ואז מפעיל את 'ייבוא ​​terraform' ומעביר את מזהה המשאב. terraform יוצר קשר עם הספק, מקבל את הנתונים ויוצר קובץ tfstate.
יש כאן 3 בעיות:
1. אנחנו מקבלים רק קובץ tfstate, וה-tf ריק, אתה צריך לכתוב אותו ידנית או להמיר אותו מ-tfstate
2. יכול לעבוד רק עם משאב אחד בכל פעם ואינו תומך בכל המשאבים. ומה עלי לעשות שוב עם 250+ דליים?
3. צריך לדעת את המזהה של המשאבים - כלומר צריך לעטוף אותו בקוד שמקבל את רשימת המשאבים
באופן כללי, התוצאה היא חלקית ואינה מדרגת היטב

ההחלטה שלי

דרישות:
1. יכולת ליצור קבצי tf ו-tfstate עבור משאבים. לדוגמה, הורד את כל הדליים/קבוצת האבטחה/איזון העומס ו'תוכנית terraform' החזירה שאין שינויים
2. אתה צריך 2 ענני GCP + AWS
3. פתרון גלובלי שקל לעדכן בכל פעם ולא מבזבז זמן על כל משאב במשך 3 ימי עבודה
4. הפוך את זה לקוד פתוח - לכולם יש אותה בעיה

שפת ה-Go זו הסיבה שאני אוהב אותה, ויש לה ספרייה ליצירת קבצי HCL שנמצאת בשימוש ב-terraform + הרבה קוד ב-terraform שיכול להיות שימושי

נתיב

נסיון ראשון
התחלתי עם גרסה פשוטה. יצירת קשר עם הענן דרך ה-SDK עבור המשאב הנדרש והמרתו לשדות עבור terraform. הניסיון מת מיד על קבוצת האבטחה כי לא אהבתי את 1.5 הימים להמיר רק את קבוצת האבטחה (ויש הרבה משאבים). במשך זמן רב ולאחר מכן ניתן לשנות/להוסיף שדות

נסיון שני
מבוסס על הרעיון המתואר כאן. פשוט קח והמר את tfstate ל-tf. כל הנתונים נמצאים שם והשדות זהים. איך להשיג tfstate מלא עבור משאבים רבים?? כאן הגיעה פקודת `רענון terraform` לעזרה. terraform לוקח את כל המשאבים ב-tfstate, ובאמצעות מזהה, שולף עליהם נתונים וכותב הכל ל-tfstate. כלומר, ליצור tfstate ריק עם רק שמות ומזהים, להפעיל `terraform refresh` ואז נקבל tfstates מלא. הידד!
עכשיו בואו נעשה את הפורנוגרפיה הרקורסיבית של כתיבת ממיר עבור tfstate ל-tf. למי שמעולם לא קרא את tfstate, זה JSON, אבל מיוחד.
הנה תכונות החלק החשובות שלו

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

יש:
1. מזהה - מחרוזת
2. metadata - מערך בגודל 1 ובו אובייקט עם שדות אשר מתואר להלן
3. spec - hash בגודל 1 ומפתח, ערך בו
בקיצור, פורמט מהנה, הכל יכול להיות עמוק בכמה רמות

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

באופן כללי, אם מישהו רוצה בעיית תכנות לראיון, פשוט בקש ממנו לכתוב מנתח למשימה זו :)
לאחר ניסיונות רבים לכתוב מנתח ללא באגים, מצאתי חלק ממנו בקוד ה-terraform, ואת החלק החשוב ביותר. ונראה שהכל עובד בסדר

ניסיון שלוש
ספקי terraform הם קבצים בינאריים המכילים קוד עם כל המשאבים וההיגיון לעבודה עם API של הענן. לכל ענן יש ספק משלו ו-terraform עצמה מתקשרת אליהם רק דרך פרוטוקול ה-RPC שלו בין שני תהליכים.
כעת החלטתי ליצור קשר ישירות עם ספקי terraform באמצעות שיחות RPC. זה יצא יפה ואפשר לשנות ספקי terraform לספקים חדשים יותר ולקבל תכונות חדשות מבלי לשנות את הקוד. מסתבר גם שלא כל השדות ב-tfstate צריכים להיות ב-tf, אבל איך אפשר לגלות זאת? פשוט תשאל את הספק שלך על זה. ואז החלה פורנוגרפיה רקורסיבית נוספת של הרכבת ביטויים רגולריים, חיפוש אחר שדות בתוך tfstate בכל הרמות לעומק.

בסופו של דבר, קיבלנו כלי CLI שימושי שיש לו תשתית משותפת לכל ספקי ה-terraform ואתה יכול בקלות להוסיף אחד חדש. כמו כן, הוספת משאבים דורשת מעט קוד. בנוסף כל מיני דברים טובים כמו חיבורים בין משאבים. כמובן, היו בעיות רבות ושונות שלא ניתן לתאר את כולן.
קראתי לבעל החיים Terrafomer.

סופי

באמצעות Terrafomer, יצרנו 500-700 אלף שורות של קוד tf + tfstate משני עננים. הצלחנו לקחת דברים מדור קודם ולהתחיל לגעת בהם רק דרך terraform, כמו בתשתית הטובה ביותר כרעיונות קוד. זה פשוט קסם כשאתה לוקח ענן ענק ומקבל אותו דרך צוות בצורה של קבצי עובד terraform. ואז grep/replace/git וכן הלאה.

סירקתי אותו וסידרתי אותו, קיבלתי רשות. פורסם ב-GitHub לכולם ביום חמישי (02.05.19/XNUMX/XNUMX). github.com/GoogleCloudPlatform/terraformer
כבר קיבלו 600 כוכבים, 2 בקשות משיכה להוספת תמיכה עבור openstack ו-kubernetes. משוב טוב. באופן כללי, הפרויקט שימושי עבור אנשים
אני ממליץ לכל מי שרוצה להתחיל לעבוד עם Terraform ולא לשכתב הכל בשביל זה.
אני אשמח למשוך בקשות, בעיות, כוכבים.

Демо


מקור: www.habr.com