Panduan Pemula: Mencipta Saluran Paip DevOps

Jika anda baru menggunakan DevOps, lihat panduan lima langkah ini untuk membuat saluran paip pertama anda.

DevOps стал стандартным решением для исправления медленных, разобщенных или неработоспособных процессов разработки программного обеспечения. Проблема в том что, если вы новичок в DevOps и не знаете, с чего начать, то вам может не хватать понимания этих методов. В этой статье речь пойдет об определении DevOps-конвейера, а также будет предложена инструкция по его созданию из пяти шагов. Несмотря на то, что это учебное пособие не является исчерпывающим, оно должно дать вам основу для того, чтобы начать свой путь и расширить свои познания в будущем. Но начнем с истории.

Perjalanan DevOps Saya

Saya sebelum ini bekerja di pasukan awan Kumpulan Citi membangunkan aplikasi web Infrastruktur-sebagai-Perkhidmatan (IaaS) untuk mengurus infrastruktur awan Citi, tetapi saya sentiasa berminat untuk menjadikan proses pembangunan lebih cekap dan membawa perubahan budaya yang positif kepada pasukan pembangunan. Saya menemui jawapannya dalam buku yang disyorkan oleh Greg Lavender, CTO Seni Bina dan Infrastruktur Awan di Citi. Buku itu dipanggil Projek Phoenix (Projek Phoenix), dan ia menerangkan prinsip DevOps, tetapi ia berbunyi seperti novel.

В таблице на обороте книги показано, как часто различные компании развертывают свои системы в среде для выпуска релизов:

Amazon: 23 sehari
Google: 5 500 в день
Netflix: 500 sehari
Facebook: Раз в день
Twitter: 3 kali seminggu
Типичная компания: Раз в 9 месяцев

Bagaimanakah frekuensi Amazon, Google dan Netflix boleh dilakukan? Ini kerana syarikat-syarikat ini telah memikirkan cara untuk mencipta saluran paip DevOps yang hampir sempurna.

Мы были далеки от этого, пока не внедрили DevOps в Citi. Тогда в моей команде были разные окружения, но развертывание на сервере разработки было полностью ручным. Все разработчики имели доступ только к одному серверу разработки на базе IBM WebSphere Application Server Community Edition. Проблема заключалась в том, что сервер выключался всякий раз, когда несколько пользователей одновременно пытались выполнить развертывание, поэтому разработчики должны были сообщать друг другу о своих намерениях, что было довольно болезненно. Кроме того, существовали проблемы с низкоуровневым тестовым покрытием кода, громоздкими процессами ручного развертывания и отсутствием возможности отслеживать развертывание кода, связанного с определенной задачей или пользовательской историей.

Saya menyedari bahawa sesuatu perlu dilakukan dan menemui rakan sekerja yang berfikiran sama. Kami memutuskan untuk bekerjasama dalam membina saluran paip DevOps awal - dia menyediakan mesin maya Tomcat dan pelayan aplikasi semasa saya bekerja pada Jenkins, menyepadukan Atlassian Jira dan BitBucket, dan bekerja pada liputan kod ujian. Projek sampingan ini sangat berjaya: kami hampir mengautomasikan sepenuhnya banyak proses, mencapai hampir 100% masa beroperasi pada pelayan pembangunan kami, menyediakan penjejakan dan liputan ujian yang lebih baik bagi kod, dan menambah keupayaan untuk memautkan cawangan Git kepada isu atau penggunaan Jira. Kebanyakan alatan yang kami gunakan untuk membina saluran paip DevOps kami adalah sumber terbuka.

Sekarang saya faham betapa mudahnya saluran paip DevOps kami: kami tidak menggunakan sambungan seperti fail Jenkins atau Ansible. Walau bagaimanapun, saluran paip mudah ini berfungsi dengan baik, mungkin disebabkan oleh prinsip Pareto (juga dikenali sebagai peraturan 80/20).

Краткое введение в DevOps и пайплайн CI/CD

Jika anda bertanya kepada beberapa orang, "Apakah itu DevOps?", anda mungkin akan mendapat beberapa jawapan yang berbeza. DevOps, seperti Agile, telah berkembang untuk menjangkau banyak disiplin yang berbeza, tetapi kebanyakan orang akan bersetuju dengan beberapa perkara: DevOps ialah amalan pembangunan perisian atau kitaran hayat pembangunan perisian (SDLC) yang prinsip utamanya mengubah budaya di mana pembangun dan bukan pembangun wujud dalam persekitaran di mana:

Автоматизированы операции, которые ранее выполнялись вручную;
Каждый делает то, что умеет лучше всего;
Bilangan pelaksanaan dalam tempoh masa tertentu meningkat; Peningkatan throughput;
Peningkatan fleksibiliti pembangunan.

Хотя наличие правильных программных инструментов — не единственное, что нужно для создания среды DevOps, некоторые инструменты необходимы. Ключевой инструмент – непрерывная интеграция и непрерывное развертывание (CI/CD). В этом конвейере среды имеют различные стадии (например, DEV, INT, TST, QA, UAT, STG, PROD), многие операции автоматизированы, а разработчики могут писать высококачественный код, добиваться гибкости разработки и высокой частоты развертываний.

В этой статье описывается пятиэтапный подход к созданию DevOps-конвейера, аналогичного изображенному на следующей диаграмме, с использованием инструментов с открытым исходным кодом.

Langkah 1: Kaedah CI/CD

Первое, что вам нужно – инструмент для CI/CD. Jenkins, инструмент с открытым исходным кодом, основанный на Java, и распространяемый по лицензии MIT, является тем средством, которое популяризировало направление DevOps и стало стандартом де-факто.

Jadi apa itu Jenkins? Anggap ia sebagai sejenis alat kawalan jauh universal ajaib yang boleh bercakap dan mengatur pelbagai perkhidmatan dan alatan. Dengan sendirinya, alat CI/CD seperti Jenkins tidak berguna, tetapi ia menjadi lebih berkuasa apabila ia menyambung kepada alat dan perkhidmatan yang berbeza.

Jenkins hanyalah salah satu daripada banyak alatan CI/CD sumber terbuka yang boleh anda gunakan untuk membina saluran paip DevOps anda.

Jenkins: Creative Commons and MIT
Travis CI: MIT
CruiseControl: BSD
Buildbot: GPL
Apache Gump: Apache 2.0
Cabie: GNU

Inilah rupa proses DevOps dengan alat CI/CD:

Anda mempunyai alat CI/CD yang dijalankan pada localhost anda, tetapi tidak banyak yang boleh anda lakukan pada masa ini. Mari kita beralih ke peringkat seterusnya dalam perjalanan DevOps.

Шаг 2: Управление системами контроля исходного кода

Лучший (и, возможно, самый простой) способ проверить, что ваш инструмент CI/CD может творить магию – интегрироваться с инструментом контроля исходного кода (SCM). Зачем вам нужен контроль над исходным кодом? Предположим, вы разрабатываете приложение. Всякий раз, когда вы создаете приложение, вы программируете, и неважно, используете вы Java, Python, C++, Go, Ruby, JavaScript или какой-нибудь из газиллионов языков программирования. Код, который вы пишете называется исходным кодом. В начале, особенно когда вы работаете в одиночку, вероятно, можно поместить все в локальную директорию. Но когда проект становится больше, и вы приглашаете других людей к сотрудничеству, вам нужен способ предотвращения конфликтов при эффективном обмене модификациями. Вам также нужен способ восстановления предыдущих версий, потому что создание бекапов и копирование/вставка в них уже устаревает. Вам (и вашим товарищам по команде) нужно что-то получше.

Di sinilah kawalan kod sumber menjadi hampir satu keperluan. Alat ini menyimpan kod anda dalam repositori, menjejaki versi dan menyelaras kerja peserta projek.

Хотя существует множество инструментов контроля исходного кода, Git является стандартом, и это верно. Я настоятельно рекомендую использовать Git, хотя, если угодно, есть и другие варианты с открытым исходным кодом.

Git: GPLv2 и LGPL v2.1
Subversion: Apache 2.0
Sistem Versi Serentak (CVS): GNU
Vesta: LGPL
Mercurial: GNU GPL v2+

Так выглядит DevOps-пайплайн с добавлением средств контроля исходного кода.

Инструмент CI/CD может автоматизировать процессы проверки, получения исходного кода и сотрудничества между членами. Неплохо? Но как сделать из этого работающее приложение, чтобы миллиарды людей могли его использовать и оценить?

Langkah 3: Cipta Alat Automasi Binaan

Отлично! Вы можете проверять код и вносить изменения в систему контроля исходного кода, а также приглашать своих друзей к сотрудничеству в разработке. Но вы еще не создали приложение. Чтобы сделать веб-приложение, его нужно скомпилировать и упаковать в развертываемый пакетный формат или запустить в виде исполняемого файла. (Обратите внимание, что интерпретируемый язык программирования, такой как JavaScript или PHP, не нуждается в компиляции).

Воспользуйтесь инструментом автоматизации сборки. Независимо от того, какой инструмент автоматизации сборки вы решите использовать, все они преследуют одну и ту же цель: собрать исходный код в какой-нибудь желаемый формат и автоматизировать задачу по очистке, компиляции, тестированию и развертыванию в определенной среде. Инструменты для сборки будут различаться в зависимости от вашего языка программирования, но вот некоторые общие варианты с открытым исходным кодом.

nama
Lesen
Bahasa pengaturcaraan

Maven
Apache 2.0
Java

Semut
Apache 2.0
Java

Gradle
Apache 2.0
Java

Bazel
Apache 2.0
Java

Membuat
GNU
N / A

Grunt
MIT
JavaScript

Gulp
MIT
JavaScript

Pembina
Apache
Ruby

Rake
MIT
Ruby

AAP
GNU
Python

SCON
MIT
Python

BitBake
GPLv2
Python

Kek
MIT
C#

ASDF
Ekspatriat (MIT)
LISP

Cabal
BSD
Haskell

Здорово! Вы можете поместить файлы конфигурации инструмента автоматизации сборки в систему управления исходным кодом и позволить вашему инструменту CI/CD собрать все воедино.

Semuanya baik-baik saja, bukan? Tetapi di mana untuk menggunakan aplikasi anda?

Шаг 4: Сервер для веб-приложений

Buat masa ini, anda mempunyai fail berpakej yang boleh sama ada boleh laku atau boleh dipasang. Untuk mana-mana aplikasi benar-benar berguna, ia mesti menyediakan beberapa jenis perkhidmatan atau antara muka, tetapi anda memerlukan bekas untuk mengehoskan aplikasi anda.

Сервер для веб-приложений представляет собой именно такой контейнер. Сервер обеспечивает среду, в которой может быть определена логика развертываемого пакета. Также сервер предоставляет интерфейс и предлагает веб-сервисы, открывая сокеты для внешнего мира. Вам нужен HTTP-сервер, а также некоторая среда (например, виртуальная машина) для его установки. А пока, давайте предположим, что вы узнаете об этом дальше (хотя я расскажу о контейнерах ниже).

Существует несколько серверов для веб-приложений с открытым исходным кодом.

nama
Lesen
Bahasa pengaturcaraan

Tomcat
Apache 2.0
Java

Jetty
Apache 2.0
Java

WildFly
GNU Lesser Public
Java

GlassFish
CDDL & GNU Kurang Awam
Java

Django
3-Fasal BSD
Python

Puting beliung
Apache 2.0
Python

gunicorn
MIT
Python

Python
MIT
Python

Rails
MIT
Ruby

Node.js
MIT
Javascript

Saluran paip DevOps anda hampir sedia untuk digunakan. Syabas!

Хотя на этом можно остановиться и заниматься интеграцией самостоятельно, качество кода – важная вещь для разработчика приложений, и об этом нужно беспокоиться.

Langkah 5: Liputan Ujian Kod

Melaksanakan ujian boleh menjadi satu lagi keperluan yang sukar, tetapi pembangun mesti menangkap sebarang pepijat dalam aplikasi lebih awal dan meningkatkan kualiti kod untuk memastikan pengguna akhir berpuas hati. Nasib baik, terdapat banyak alat sumber terbuka untuk menguji kod anda dan membuat cadangan untuk meningkatkan kualitinya. Apa yang lebih baik ialah kebanyakan alat CI/CD boleh menyambung kepada alatan ini dan mengautomasikan proses.

Ujian kod terdiri daripada dua bahagian: rangka kerja ujian kod yang membantu anda menulis dan menjalankan ujian, dan alat cadangan yang membantu anda meningkatkan kualiti kod anda.

Sistem ujian kod

nama
Lesen
Bahasa pengaturcaraan

JUnit
Lesen Awam Gerhana
Java

EasyMock
Apache
Java

mockito
MIT
Java

PowerMock
Apache 2.0
Java

Pytest
MIT
Python

Hipotesis
Mozilla
Python

Toksik
MIT
Python

Системы рекомендаций по улучшению кода

nama
Lesen
Bahasa pengaturcaraan

Liputan
GNU
Java

CodeCover
Eclipse Public (EPL)
Java

Coverage.py
Apache 2.0
Python

Emma
Common Public License
Java

JaCoCo
Lesen Awam Gerhana
Java

Hipotesis
Mozilla
Python

Toksik
MIT
Python

Jasmine
MIT
JavaScript

Karma
MIT
JavaScript

Mocha
MIT
JavaScript

isyarat
MIT
JavaScript

Обратите внимание, что большинство инструментов и фреймворков, упомянутых выше, написаны для Java, Python и JavaScript, поскольку C++ и C# являются проприетарными языками программирования (хотя GCC и имеет открытый исходный код).

Теперь, когда вы реализовали инструменты покрытия кода тестами, ваш DevOps-пайплайн должен быть похож на диаграмму, показанную в начале этого руководства.

Langkah Tambahan

Kontena

Как я уже говорил, вы можете размещать свой сервер на виртуальной машине или сервере, но контейнеры являются популярным решением.

Что такое контейнеры? Краткое объяснение заключается в том, что виртуальная машина нуждается в огромном объеме памяти операционной системы, превышающем размер приложения, в то время как контейнеру нужно всего лишь несколько библиотек и конфигураций для запуска приложения. Очевидно, что у виртуальной машины все еще существуют важные области применения, но контейнер – это легкое решение для хостинга приложения, в том числе сервера приложений.

Walaupun terdapat pilihan kontena lain, yang paling popular ialah Docker dan Kubernetes.

Docker: Apache 2.0
Kubernetes: Apache 2.0

Alat automasi perantaraan

Saluran paip DevOps kami tertumpu terutamanya pada penciptaan dan penggunaan aplikasi kolaboratif, tetapi terdapat banyak perkara lain yang boleh dilakukan dengan alat DevOps. Salah satunya ialah penggunaan alat Infrastruktur sebagai Kod (IaC), yang juga dikenali sebagai alat automasi middleware. Alat ini membantu mengautomasikan pemasangan, pengurusan dan tugas lain untuk perisian tengah. Jadi, sebagai contoh, alat automasi boleh mengekstrak aplikasi seperti pelayan aplikasi web, pangkalan data dan alat pemantauan dengan konfigurasi yang betul dan menggunakan ia ke pelayan aplikasi.

Вот несколько инструментов промежуточной автоматизации с открытым исходным кодом:

Ansible: GNU Public
SaltStack: Apache 2.0
Chef: Apache 2.0
Puppet: Apache или GPL

Ketahui butiran tentang cara mendapatkan profesion yang dicari dari awal atau Naik Tahap dari segi kemahiran dan gaji dengan mengikuti kursus dalam talian berbayar dari SkillFactory:

• Kursus DevOps (12 bulan)

lebih banyak kursus

• Kursus Pembelajaran Mesin (12 minggu)
• Mengajar profesion Sains Data dari awal (12 bulan)
• Profesion penganalisis di mana-mana peringkat permulaan (9 bulan)
• Python untuk Kursus Pembangunan Web (9 bulan)

Usefull

• 450 Kursus Ivy League Percuma
• Aliran dalam Sains Data 2020
• Sains Data sudah mati. Hidup Sains Perniagaan
• Sains Data tentang Steroid: Pengenalan kepada Kepintaran Keputusan
• Projek Sains Data yang paling berjaya dan paling memalukan: Cambridge Analytica

Sumber: www.habr.com