Без рэкамендуемага трохгадовага практычнага вопыту
*Заўвага: артыкул прысвечаны сертыфікацыйнаму іспыту Google Cloud Professional Data Engineer, які быў актуальны да 29 сакавіка 2019 г. Пасля гэтага адбыліся некаторыя змены - яны апісаны ў раздзеле «Дадаткова»*
Талстоўка Google: ёсць. Сур'ёзны выраз твару: ёсць. Фота з відэаверсіі гэтага артыкула .
Жадаеце займець новенькую талстоўцы, як у мяне на фота?
Ці, можа, вас цікавіць сертыфікат і вы спрабуеце зразумець, як яго атрымаць?
За апошнія некалькі месяцаў я прайшоў некалькі курсаў і паралельна працаваў з Google Cloud - для падрыхтоўкі да іспыту Professional Data Engineer. Затым я пайшоў на іспыт і здаў яго. Праз некалькі тыдняў прыбыла талстоўка - але сертыфікат прыйшоў хутчэй.
У гэтым артыкуле будуць прыведзены некаторыя звесткі, якія могуць аказацца карыснымі, і крокі, якія я зрабіў для атрымання сертыфіката Google Cloud Professional Data Engineer.
Перакладзена ў
Навошта трэба атрымаць сертыфікат Google Cloud Professional Data Engineer?
Дадзеныя атачаюць нас, яны паўсюль. Таму сёння запатрабаваны спецыялісты, якія ведаюць як ствараць сістэмы, здольныя апрацоўваць і выкарыстоўваць даныя. А Google Cloud дае інфраструктуру для пабудовы гэтых сістэм.
Калі ў вас ужо ёсць навыкі выкарыстання Google Cloud, як прадэманстраваць іх будучаму працадаўцу ці кліенту? Зрабіць гэта можна двума спосабамі: маючы партфоліё праектаў або прайшоўшы сертыфікацыю.
Сертыфікат кажа патэнцыйным кліентам і працадаўцам, што ў вас ёсць пэўныя навыкі і што вы прыклалі намаганні, каб атрымаць іх афіцыйнае пацвярджэнне.
Пра гэта гаворыцца і ў афіцыйным апісанні іспыту.
Прадэманструйце сваё ўменне праектаваць і ствараць сістэмы апрацоўкі дадзеных і мадэлі машыннага навучання на платформе Google Cloud.
Калі адпаведных навыкаў у вас яшчэ няма, то пры вывучэнні навучальных матэрыялаў для сертыфікацыі вы даведаецеся ўсё неабходнае пра тое, як з дапамогай Google Cloud ствараць сістэмы апрацоўкі даных найвышэйшага ўзроўню.
Каму трэба атрымаць сертыфікат Google Cloud Professional Data Engineer?
Вы бачылі лічбы - сфера хмарных тэхналогій расце, яны з намі надоўга. Калі вы не знаёмыя са статыстыкай, проста паверце: «аблокі» зараз на ўздыме.
Калі вы ўжо працуеце адмыслоўцам па апрацоўцы ці аналізу дадзеных, інжынерам па машынным навучанні ці жадаеце перайсці ў сферу апрацоўкі дадзеных, то сертыфікацыя Google Cloud Professional Data Engineer - тое, што вам трэба.
Уменне карыстацца хмарнымі тэхналогіямі становіцца абавязковым патрабаваннем для ўсіх спецыялістаў, якія працуюць з дадзенымі.
Ці патрэбен сертыфікат, каб быць прафесіяналам у апрацоўцы, аналізе дадзеных або машынным навучанні?
Няма.
Можна выкарыстоўваць Google Cloud для працы з рашэннямі па апрацоўцы дадзеных, не маючы сертыфіката.
Сертыфікат - толькі адзін са спосабаў пацверджання наяўных у вас навыкаў.
Колькі гэта каштуе?
Кошт праходжання іспыту - 200 даляраў ЗША. Калі вы яго заваліце, давядзецца плаціць зноў.
Акрамя таго, давядзецца патраціцца на падрыхтоўчыя курсы і карыстанне самой платформай.
Выдаткі на працу з платформай - гэта плата за выкарыстанне сэрвісаў Google Cloud. Калі вы яе актыўны карыстач, вам пра гэта добра вядома. Калі вы пачатковец і толькі пачынаеце вывучаць навучальныя матэрыялы, апісаныя ў гэтым артыкуле, можна стварыць уліковы запіс Google Cloud і зрабіць усё неабходнае, уклаўшыся ў 300 даляраў, якія Google залічае на рахунак пры рэгістрацыі.
Да кошту курсаў мы пяройдзем літаральна праз імгненне.
Колькі дзейнічае сертыфікат?
Два гады. Па заканчэнні гэтага тэрміна іспыт трэба здаваць зноў.
А паколькі Google Cloud стала развіваецца, цалкам верагодна, што зменяцца і патрабаванні да сертыфікацыі (такое здарылася якраз тады, калі я пачаў пісаць артыкул).
Што трэба для падрыхтоўкі да іспыту?
Для сертыфікацыі прафесійнага ўзроўню Google рэкамендуе мець больш за тры гады вопыту работы ў галіны і больш за год у распрацоўцы і кіраванні рашэннямі з выкарыстаннем GCP.
У мяне нічога з гэтага не было.
Адпаведны досвед быў каля шасці месяцаў у кожным выпадку.
Каб папоўніць прабел, я скарыстаўся некалькімі навучальнымі інтэрнэт-рэсурсамі.
Якія курсы я прайшоў?
Калі ваш выпадак падобны на мой і вы не адпавядаеце рэкамендаваным патрабаванням, то для павышэння ўласнага ўзроўню можна прайсці некаторыя курсы з прыведзеных далей.
Менавіта іх я выкарыстоўваў пры падрыхтоўцы да сертыфікацыі. Яны пералічаны ў парадку праходжання.
Па кожным я паказаў кошт, тэрміны і карыснасць для здачы сертыфікацыйнага іспыту.
Некаторыя з класных навучальных інтэрнэт-рэсурсаў, выкарыстаныя мной для павышэння ўласных навыкаў перад іспытам - па парадку: , , .
Кошт: 49 $ у месяц (пасля 7-дзённага бясплатнага выпрабавальнага перыяду).
Час: 1-2 месяцы, больш за 10 гадзін у тыдзень.
Карыснасць: 8 з 10.
Курс на платформе Coursera распрацаваны ў супрацоўніцтве з Google Cloud.
Ён разбіты на пяць укладзеных курсаў, кожны з якіх - гэта каля 10 гадзін навучальнага часу ў тыдзень.
Калі вы не знаёмыя з апрацоўкай дадзеных у Google Cloud, гэтая спецыялізацыя як раз дасць вам неабходныя навыкі. Вам трэба будзе выканаць шэраг практычных практыкаванняў, выкарыстоўваючы ітэратыўную платформу пад назвай QwikLabs. Перад гэтым будуць лекцыі спецыялістаў, якія выкарыстоўваюць Google Cloud, аб тым, як прымяняць розныя сэрвісы, такія як Google BigQuery, Cloud Dataproc, Dataflow і Bigtable.
Кошт: бясплатна.
Час: 1 тыдзень, 4-6 гадзін.
Карыснасць: 4 з 10.
Нізкая ацэнка карыснасці не азначае, што курс у цэлым бескарысны - гэта зусім не так. Адзіная прычына, па якой ацэнка такая нізкая, складаецца ў тым, што ён не арыентаваны на сертыфікацыю Professional Data Engineer (што можна зразумець з назвы).
Я прайшоў яго, каб асвяжыць веды пасля праходжання спецыялізацыі Coursera, паколькі я выкарыстоўваў Google Cloud ў некаторых абмежаваных выпадках.
Калі вы раней працавалі з іншым пастаўшчыком хмарных паслуг або ніколі не выкарыстоўвалі Google Cloud, магчыма, гэты курс вам будзе карысны: гэта выдатнае ўвядзенне ў платформу Google Cloud у цэлым.
Кошт: 49 $ у месяц (пасля 7-дзённага бясплатнага выпрабавальнага перыяду).
Час: 1-4 тыдні, больш за 4 гадзіны на тыдзень.
Карыснасць: 10 з 10.
Здаўшы іспыт і паразважаўшы аб пройдзеных курсах, я магу сказаць, што найболей карысным быў менавіта Linux Academy Google Certified Professional Data Engineer.
Відэаурокі, а таксама (выдатны бясплатны навучальны рэсурс, які прадстаўляецца разам з курсам) і трэніровачныя іспыты робяць гэты курс адным з лепшых калі-небудзь пройдзеных мной.
Я нават рэкамендаваў яго ў якасці даведачнага матэрыялу ў нататках у Слаку для каманды пасля іспыту.
Нататкі ў Слаку
• Некаторыя пытанні на іспыце не асвятляліся ні ў курсе Linux Academy, ні ў A Cloud Guru, ні ў іспытах Google Cloud Practice (чаго трэба было чакаць).
• У адным пытанні быў граф з кропак дадзеных. Пыталася, якім раўнаннем іх можна згрупаваць (напрыклад, cos(X) або X²+Y²).
• Абавязкова ведаць адрозненні паміж Dataflow, Dataproc, Datastore, Bigtable, BigQuery, Pub/Sub і разумець, як іх можна выкарыстоўваць.
• Два канкрэтныя прыклады на іспыце - такія ж, як былі на трэніровачных, хоць падчас іспыту я не чытаў іх наогул (самых пытанняў аказалася дастаткова для адказу).
• Карысна ведаць базавы сінтаксіс SQL-запытаў, асабліва для пытанняў па BigQuery.
• Трэніровачныя іспыты ў курсах Linux Academy і GCP вельмі падобныя па стылі на пытанні ў іспыце - іх варта прайсці некалькі разоў, каб знайсці ўласныя слабыя месцы.
• Трэба памятаць, што Dataproc працуе з Hadoop, Іскрыцца, Вулей и Свінні.
• Паток дадзеных працуе з Apache Прамень.
• Воблачны гаечны ключ - гэта БД, першапачаткова распрацаваная для аблокі, яна сумяшчальная з ACID і працуе ў любым пункце свету.
• Карысна ведаць назвы "дзядкоў" - эквівалентаў рэляцыйных і нерэляцыйных баз дадзеных (напрыклад, MongoDB, Cassandra).
• Ролі IAM у сэрвісаў крыху адрозніваюцца, аднак нядрэнна было б разумець, як падзяліць для карыстальнікаў магчымасці бачыць дадзеныя і праектаваць працоўныя працэсы (напрыклад, у ролі Dataflow Worker можна праектаваць працоўныя працэсы, але нельга бачыць дадзеныя).
Пакуль што гэтага, мабыць, дастаткова. Кожны іспыт будзе праходзіць па-свойму. Курс Linux Academy дасць 80% неабходных ведаў.
Кошт: бясплатна.
Час: 1-2 гадзіны.
Карыснасць: 5 з 10.
Гэтыя відэа рэкамендаваліся на форумах A Cloud Guru. Многія з іх не звязаны з сертыфікацыяй Professional Data Engineer, таму я проста абраў тыя, назва сэрвісаў у якіх здалося мне знаёмым.
Пры праходжанні курса некаторыя сэрвісы могуць падацца складанымі, таму было прыемна паглядзець, як канкрэтны сэрвіс апісваўся ўсяго за хвіліну.
Кошт: 49 $ за сертыфікат або бясплатна (без сертыфіката).
Час: 1-2 тыдні, больш за шэсць гадзін у тыдзень.
Карыснасць: не ацэньвалася.
Я знайшоў гэты рэсурс за дзень да прызначанай даты іспыту. Прайсці яго часу не хапіла - адсюль і адсутнасць ацэнкі карыснасці.
Аднак прагледзеўшы аглядную старонку курса, магу сказаць, што гэта выдатны рэсурс, на якім можна паўтарыць усё, што вы даведаліся пра Data Engineering у Google Cloud, і знайсці свае слабыя месцы.
Я расказаў пра гэты курс аднаму з калегаў, які рыхтуецца да сертыфікацыі.
Кошт: бясплатна.
Час: невядома.
Карыснасць: не ацэньвалася.
Яшчэ адзін рэсурс, на які я натрапіў пасля іспыту. Выглядае ён усёабдымна, але пераказ даволі кароткі. Акрамя таго, ён бясплатны. Да яго можна звяртацца паміж трэніровачнымі іспытамі і нават пасля сертыфікацыі - каб асвяжыць веды.
Што я рабіў пасля курсаў?
Набліжаючыся да завяршэння курсаў, я забраніраваў экзамен з апавяшчэннем за тыдзень.
Наяўнасць крайняга тэрміну - выдатная матывацыя для таго, каб правесці рэвізію засвоенага.
Я некалькі разоў прайшоў трэніровачныя іспыты Linux Academy і Google Cloud, пакуль не пачаў стабільна набіраць больш за 95%.
Першая здача трэніровачнага іспыту Linux Academy з вынікам больш за 90%.
Тэсты для кожнай з платформаў падобныя; я запісваў і разбіраў пытанні, у якіх увесь час памыляўся - гэта дапамагло ўхіліць слабыя месцы.
Падчас уласна іспыту тэмай была распрацоўка сістэм апрацоўкі дадзеных у Google Cloud на двух прыкладах (з 29 сакавіка 2019 г. змест іспыту змяніўся). Увесь іспыт былі пытанні з некалькімі варыянтамі адказу.
Праходжанне іспыту заняло дзве гадзіны, ён здаўся мне прыкладна на 20% складаней, чым знаёмыя мне трэніровачныя іспыты.
Тым не менш, апошнія - вельмі каштоўны рэсурс.
Што б я змяніў, калі б здаваў іспыт зноў?
Больш трэніровачных іспытаў. Больш практычных ведаў.
Вядома, заўсёды можна падрыхтавацца яшчэ крышачку лепш.
У рэкамендаваных патрабаваннях паказана больш за тры гады досведу выкарыстання GCP, чаго ў мяне не было — таму прыйшлося мець справу з тым, што было.
Дадаткова
Экзамен абнавіўся 29 сакавіка. Матэрыялы ў артыкуле па-ранейшаму дадуць добрую аснову для падрыхтоўкі, аднак важна адзначыць некаторыя змены.
Часткі іспыту Google Cloud Professional Data Engineer ()
1. Праектаванне сістэм апрацоўкі даных.
2. Пабудова і падтрымка структур даных і баз даных.
3. Аналіз даных і падключэнне машыннага навучання.
4. Мадэляванне бізнес-працэсаў для аналізу і аптымізацыі.
5. Забеспячэнне надзейнасці.
6. Візуалізацыя дадзеных і падтрымка прыняцця рашэнняў.
7. Праектаванне з упорам на бяспеку і адпаведнасць патрабаванням.
Часткі іспыту Google Cloud Professional Data Engineer ()
1. Праектаванне сістэм апрацоўкі даных.
2. Пабудова і эксплуатацыя сістэм апрацоўкі даных.
3. Эксплуатацыя мадэляў машыннага навучання (большасць змен адбылося тут) [НОВЫ].
4. Забеспячэнне якасці рашэнняў.
У версіі 2 раздзелы 1, 2, 4 і 6 версіі 1 аб'яднаны ў раздзелы 1 і 2, раздзелы 5 і 7 — у раздзел 4. Раздзел 3 у версіі 2 быў пашыраны і зараз ахоплівае ўсе новыя магчымасці машыннага навучання ў Google Cloud.
Гэтыя змены адбыліся зусім нядаўна, таму многія навучальныя матэрыялы абнавіцца не паспелі.
Аднак, калі скарыстацца матэрыяламі з артыкула, гэтага павінна быць дастаткова, каб пакрыць 70% патрэбных ведаў. Я б таксама самастойна азнаёміўся з наступнымі тэмамі (яны з'явіліся ў другой версіі іспыту):
- (абсталяванне, распрацаванае кампаніяй Google спецыяльна для машыннага навучання).
Як можна бачыць, абнаўленне іспыту звязана ў першую чаргу з магчымасцямі машыннага навучання ў Google Cloud.
Дадатак ад 29.04.2019. Я атрымаў паведамленне ад выкладчыка курса Linux Academy (Matthew Ulasien).
Проста для даведкі: мы плануем абнавіць курс Data Engineer у Linux Academy і адлюстраваць у ім новыя мэты – дзесьці з сярэдзіны ці канца траўня.
Пасля іспыту
Прайшоўшы іспыт, вы атрымаеце вынік "здадзена" ці "не здадзена". На трэніровачных іспытах раяць імкнуцца да мінімум 70%, таму я нацэліўся на 90%.
Пасля паспяховай здачы іспыту вам на электронную пошту прыйдзе код актывацыі разам з афіцыйным сертыфікатам Google Cloud Professional Data Engineer. Віншую!
Код актывацыі можна выкарыстоўваць у эксклюзіўным краме Google Cloud Professional Data Engineer, у якім можна нядрэнна пажывіцца: там ёсць футболкі, заплечнікі і талстоўкі (да моманту здачы чагосьці можа не быць у наяўнасці). Я абраў талстоўцы.
Атрымаўшы сертыфікат, можна дэманстраваць свае навыкі (афіцыйна) і вярнуцца да працы, якая атрымліваецца ў вас лепш за ўсё, - пабудове сістэм.
Убачымся праз два гады - на паўторнай сертыфікацыі.
P. S. Вялікі дзякуй выдатным выкладчыкам вышэйзгаданых курсаў і за прадастаўленне рэсурсаў і часу для навучання і падрыхтоўкі да іспыту.
Аб перакладчыку
Пераклад артыкула выкананы ў Alconost.
Alconost займаецца , на 70 моў. Перакладчыкі-носьбіты мовы, лінгвістычнае тэсціраванне, хмарная платформа з API, бесперапынная лакалізацыя, менеджэры праектаў 24/7, любыя фарматы радковых рэсурсаў.
Мы таксама робім — для сайтаў, якія прадаюць, іміджавыя, рэкламныя, навучальныя, цізеры, эксплэйнеры, трэйлеры для Google Play і App Store.
→
Крыніца: habr.com