Без рекомендованого трирічного практичного досвіду
*Примітка: статтю присвячено сертифікаційному екзамену Google Cloud Professional Data Engineer, який був актуальним до 29 березня 2019 р. Після цього відбулися деякі зміни — вони описані в розділі «Додатково»*
Толстовка Google: є. Серйозний вираз обличчя: є. Фото з відеоверсії цієї статті .
Хочете роздобути нову толстовку, як у мене на фото?
Або, може, вас цікавить сертифікат і ви намагаєтеся зрозуміти, як його отримати?
За останні кілька місяців я пройшов кілька курсів і паралельно працював з Google Cloud для підготовки до іспиту Professional Data Engineer. Потім я пішов на іспит і склав його. За кілька тижнів прибула толстовка, але сертифікат прийшов швидше.
У цій статті будуть наведені деякі відомості, які можуть бути корисними, і кроки, які я зробив для отримання сертифіката Google Cloud Professional Data Engineer.
Перекладено у
Навіщо потрібно отримати сертифікат Google Cloud Professional Data Engineer?
Дані оточують нас, вони всюди. Тому сьогодні потрібні фахівці, які знають як створювати системи, здатні обробляти та використовувати дані. А Google Cloud надає інфраструктуру для побудови цих систем.
Якщо ви вже маєте навички використання Google Cloud, як продемонструвати їх майбутньому роботодавцю або клієнту? Зробити це можна двома способами: маючи портфоліо проектів або пройшовши сертифікацію.
Сертифікат каже потенційним клієнтам та роботодавцям, що у вас є певні навички і що ви доклали зусиль, щоб отримати їхнє офіційне підтвердження.
Про це йдеться і в офіційному описі іспиту.
Продемонструйте своє вміння проектувати та створювати системи обробки даних та моделі машинного навчання на платформі Google Cloud.
Якщо відповідних навичок у вас ще немає, під час вивчення навчальних матеріалів для сертифікації ви дізнаєтеся про все необхідне про те, як за допомогою Google Cloud створювати системи обробки даних найвищого рівня.
Кому потрібно отримати сертифікат Google Cloud Professional Data Engineer?
Ви бачили цифри – сфера хмарних технологій зростає, вони з нами надовго. Якщо ви не знайомі зі статистикою, просто повірте: хмари зараз на підйомі.
Якщо ви вже працюєте спеціалістом з обробки або аналізу даних, інженером з машинного навчання або хочете перейти у сферу обробки даних, то сертифікація Google Cloud Professional Data Engineer — те, що вам потрібно.
Вміння користуватися хмарними технологіями стає обов'язковою вимогою для всіх фахівців, які працюють із даними.
Чи потрібний сертифікат, щоб бути професіоналом у обробці, аналізі даних чи машинному навчанні?
Ні.
Можна використовувати Google Cloud для роботи з рішеннями щодо обробки даних без сертифіката.
Сертифікат - лише один із способів підтвердження наявних у вас навичок.
Скільки це коштує?
Вартість проходження іспиту – 200 доларів США. Якщо ви його завалите, доведеться платити знову.
Крім того, доведеться витратитися на підготовчі курси та користування самою платформою.
Витрати на роботу з платформою – це плата за використання сервісів Google Cloud. Якщо ви її активний користувач, вам це добре відомо. Якщо ви новачок і тільки починаєте вивчати навчальні матеріали, описані в цій статті, можна створити обліковий запис Google Cloud і зробити все необхідне, вклавшись у 300 доларів, які Google зараховує на рахунок під час реєстрації.
До вартості курсів ми перейдемо буквально за мить.
Скільки діє сертифікат?
Два роки. Після закінчення цього терміну іспит потрібно складати знову.
А оскільки Google Cloud постійно розвивається, цілком імовірно, що зміняться і вимоги до сертифікації (таке сталося саме тоді, коли я почав писати статтю).
Що потрібно для підготовки до іспиту?
Для сертифікації професійного рівня Google рекомендує мати більше трьох років досвіду роботи в галузі та більше року у розробці та управлінні рішеннями з використанням GCP.
У мене з цього нічого не було.
Відповідний досвід був близько шести місяців у кожному випадку.
Щоб заповнити прогалину, я скористався кількома навчальними інтернет-ресурсами.
Які курси я пройшов?
Якщо ваш випадок схожий на мій і ви не відповідаєте вимогам, що рекомендуються, то для підвищення власного рівня можна пройти деякі курси з наведених далі.
Саме їх я використав під час підготовки до сертифікації. Вони перераховані у порядку проходження.
По кожному я вказав вартість, терміни та корисність для складання сертифікаційного іспиту.
Деякі з класних навчальних інтернет-ресурсів, які я використав для підвищення власних навичок перед іспитом — по порядку: , , .
Вартість: 49 $ на місяць (після 7-денного безкоштовного пробного періоду).
Час: 1-2 місяці, понад 10 годин на тиждень.
Корисність: 8 із 10.
Курс на платформі Coursera розроблено у співпраці з Google Cloud.
Він розбитий на п'ять вкладених курсів, кожен з яких — близько 10 годин навчального часу на тиждень.
Якщо ви не знайомі з обробкою даних у Google Cloud, ця спеціалізація дасть вам необхідні навички. Ви маєте виконати ряд практичних вправ, використовуючи ітеративну платформу під назвою QwikLabs. Перед цим будуть лекції фахівців, які використовують Google Cloud, про те, як застосовувати різні сервіси, такі як Google BigQuery, Cloud Dataproc, Dataflow і Bigtable.
Вартість: безкоштовно.
Час: 1 тиждень, 4-6 годин.
Корисність: 4 із 10.
Низька оцінка корисності не означає, що курс загалом марний - це зовсім не так. Єдина причина, через яку така низька оцінка, полягає в тому, що він не орієнтований на сертифікацію Professional Data Engineer (що можна зрозуміти з назви).
Я пройшов його, щоб освіжити знання після проходження спеціалізації Coursera, оскільки я використовував Google Cloud у деяких обмежених випадках.
Якщо ви раніше працювали з іншим постачальником хмарних послуг або ніколи не використовували Google Cloud, можливо, цей курс буде корисним: це відмінне введення в платформу Google Cloud в цілому.
Вартість: 49 $ на місяць (після 7-денного безкоштовного пробного періоду).
Час: 1–4 тижні, понад 4 години на тиждень.
Корисність: 10 із 10.
Склавши іспит і поміркувавши про пройдені курси, я можу сказати, що найбільш корисним був саме Linux Academy Google Certified Professional Data Engineer.
Відеоуроки, а також (відмінний безкоштовний навчальний ресурс, що надається разом з курсом) і тренувальні іспити роблять цей курс одним з найкращих колись пройдених мною.
Я навіть рекомендував його як довідковий матеріал у нотатках у Слаку для команди після іспиту.
Нотатки у Слаці
• Деякі питання на іспиті не висвітлювалися ні в курсі Linux Academy, ні в A Cloud Guru, ні в іспитах Google Cloud Practice (чого слід очікувати).
• В одному питанні був граф із точок даних. Запитувалося, яким рівнянням їх можна згрупувати (наприклад, cos(X) або X²+Y²).
• Обов'язково знати різницю між Dataflow, Dataproc, Datastore, Bigtable, BigQuery, Pub/Sub та розуміти, як їх можна використовувати.
• Два конкретні приклади на іспиті – такі ж, як були на тренувальних, хоча під час іспиту я не читав їх взагалі (самих питань виявилося достатньо для відповіді).
• Корисно знати базовий синтаксис SQL-запитів, особливо для BigQuery.
• Тренувальні іспити в курсах Linux Academy та GCP дуже схожі за стилем на питання в іспиті — їх варто пройти кілька разів, щоб знайти власні слабкі місця.
• Потрібно пам'ятати, що Dataproc працює з Hadoop, Іскритися, Вулик и Свині.
• Потік даних працює з Промінь Apache.
• Хмарний ключ - це БД, спочатку розроблена для хмари, вона сумісна з ACID і працює у будь-якій точці світу.
• Корисно знати назви «старих» — еквівалентів реляційних та нереляційних баз даних (наприклад, MongoDB, Cassandra).
• Ролі IAM у сервісів трохи різняться, проте непогано було б розуміти, як поділити для користувачів можливості бачити дані та проектувати робочі процеси (наприклад, у ролі Dataflow Worker можна проектувати робочі процеси, але не можна бачити дані).
Поки що цього, мабуть, достатньо. Кожен іспит проходитиме по-своєму. Курс Linux Academy надасть 80% необхідних знань.
Вартість: безкоштовно.
Час: 1-2 години.
Корисність: 5 із 10.
Ці відео рекомендувалися на форумах A Cloud Guru. Багато хто з них не пов'язаний із сертифікацією Professional Data Engineer, тому я просто вибрав ті, назва сервісів в яких здалася мені знайомою.
При проходженні курсу деякі послуги можуть здатися складними, тому було приємно подивитися, як конкретний сервіс описувався лише за хвилину.
Вартість: 49 $ за сертифікат або безкоштовно (без сертифікату).
Час: 1–2 тижні, понад шість годин на тиждень.
Корисність: не оцінювалася.
Я знайшов цей ресурс за день до дати іспиту. Пройти його часу не вистачило — звідси відсутність оцінки корисності.
Однак, переглянувши сторінку курсу, можу сказати, що це чудовий ресурс, на якому можна повторити все, що ви дізналися про Data Engineering в Google Cloud, і знайти свої слабкі місця.
Я розповів про цей курс одному із колег, який готується до сертифікації.
Вартість: безкоштовно.
Час: невідомо.
Корисність: не оцінювалася.
Ще один ресурс, на який я натрапив після іспиту. Виглядає він всеосяжно, але виклад досить короткий. Крім того, він безкоштовний. До нього можна звертатися між тренувальними іспитами і навіть після сертифікації, щоб освіжити знання.
Що я робив після курсів?
Наближаючись до завершення курсів, я забронював іспит із повідомленням за тиждень.
Наявність останнього терміну — чудова мотивація для того, щоб провести ревізію засвоєного.
Я кілька разів пройшов тренувальні іспити Linux Academy та Google Cloud, доки не почав стабільно набирати більше 95%.
Перше складання тренувального іспиту Linux Academy з результатом понад 90%.
Тести для кожної із платформ схожі; я записував і розбирав питання, в яких постійно помилявся, — це допомогло усунути слабкі місця.
Під час власне іспиту темою була розробка систем обробки даних у Google Cloud на двох прикладах (з 29 березня 2019 р. зміст іспиту змінився). Весь іспит були питання з кількома варіантами відповіді.
Проходження іспиту зайняло дві години, він здався мені приблизно на 20% складнішим, ніж знайомі мені тренувальні іспити.
Проте останні — дуже цінний ресурс.
Що б я змінив, якби здавав іспит знову?
Більше тренувальних іспитів. Більше практичних знань.
Звичайно, завжди можна підготуватися ще трохи краще.
У рекомендованих вимогах зазначено більше трьох років досвіду використання GCP, чого я не мав — тому довелося мати справу з тим, що було.
Додатково
Іспит оновився 29 березня. Матеріали у статті, як і раніше, дадуть хорошу основу для підготовки, проте важливо відзначити деякі зміни.
Розділи іспиту Google Cloud Professional Data Engineer ()
1. Проектування систем обробки даних.
2. Побудова та підтримка структур даних та баз даних.
3. Аналіз даних та підключення машинного навчання.
4. Моделювання бізнес-процесів для аналізу та оптимізації.
5. Забезпечення надійності.
6. Візуалізація даних та підтримка прийняття рішень.
7. Проектування з упором на безпеку та відповідність вимогам.
Розділи іспиту Google Cloud Professional Data Engineer ()
1. Проектування систем обробки даних.
2. Побудова та експлуатація систем обробки даних.
3. Експлуатація моделей машинного навчання (більшість змін відбулася тут) [НОВЕ].
4. Забезпечення якості рішень.
У версії 2 розділи 1, 2, 4 та 6 версії 1 об'єднані у розділи 1 та 2, розділи 5 та 7 – у розділ 4. Розділ 3 у версії 2 був розширений і тепер охоплює нові можливості машинного навчання в Google Cloud.
Ці зміни відбулися зовсім недавно, тому багато навчальних матеріалів оновитися не встигли.
Однак, якщо скористатися матеріалами зі статті, цього має бути достатньо, щоб покрити 70% потрібних знань. Я також самостійно ознайомився з наступними темами (вони з'явилися в другій версії іспиту):
- (обладнання, розроблене Google спеціально для машинного навчання).
Як можна бачити, оновлення іспиту пов'язане насамперед із можливостями машинного навчання у Google Cloud.
Доповнення від 29.04.2019. Я отримав повідомлення від викладача курсу Linux Academy (Matthew Ulasien).
Просто для довідки: ми плануємо оновити курс Data Engineer в Linux Academy і відобразити в ньому нові цілі десь із середини або кінця травня.
Після іспиту
Пройшовши іспит, ви отримаєте результат «здано» або «не сдано». На тренувальних іспитах радять прагнути мінімум 70%, тому я націлився на 90%.
Після успішного складання іспиту вам на електронну пошту прийде код активації разом із офіційним сертифікатом Google Cloud Professional Data Engineer. Вітаю!
Код активації можна використовувати в ексклюзивному магазині Google Cloud Professional Data Engineer, в якому можна непогано поживитись: там є футболки, рюкзаки та толстовки (до моменту здачі чогось може не бути в наявності). Я вибрав толстовку.
Отримавши сертифікат, можна демонструвати свої навички (офіційно) і повернутися до роботи, яка виходить у вас найкраще, — побудови систем.
Побачимося за два роки — на повторній сертифікації.
P. S. Велике спасибі чудовим викладачам вищевказаних курсів та за надання ресурсів та часу для навчання та підготовки до іспиту.
Про перекладача
Переклад статті виконано в Alconost.
Alconost займається , 70 мов. Перекладачі-носія мови, лінгвістичне тестування, хмарна платформа з API, безперервна локалізація, менеджери проектів 24/7, будь-які формати рядкових ресурсів.
Ми також робимо - для сайтів, що продають, іміджеві, рекламні, навчальні, тизери, експлейнери, трейлери для Google Play та App Store.
→
Джерело: habr.com