Би Google Cloud-ийн мэргэжлийн мэдээллийн инженерийн гэрчилгээ олгох шалгалтанд хэрхэн тэнцсэн

Зөвлөмж болгож буй 3 жилийн практик туршлагагүйгээр

Хичээл эхлэхийг хүлээж байна "Өгөгдлийн инженер", бид та бүхэнтэй ирээдүйн дата инженерүүдэд хэрэг болохуйц маш сонирхолтой түүхийн орчуулгыг хуваалцахыг хүсч байна. Яв!

Би Google Cloud-ийн мэргэжлийн мэдээллийн инженерийн гэрчилгээ олгох шалгалтанд хэрхэн тэнцсэн
Google Hoodie: Өмссөн. Ажлын ноцтой царайны илэрхийлэл: одоо байна. Энэ нийтлэлийн видео хувилбараас авсан зураг YouTube-ийн.

Анхаарна уу. Энэ нийтлэл нь 29 оны 2019-р сарын XNUMX-нд болох Google Cloud мэргэжлийн мэдээллийн инженерийн гэрчилгээ олгох шалгалтын тухай юм. Энэ өдрөөс хойш зарим өөрчлөлт гарсан. Би тэдгээрийг Нэмэлт хэсэгт оруулсан.

Тэгэхээр та миний нүүрэн дээрх шиг шинэ юүдэнтэй цамц авахыг хүсч байна уу? Эсвэл гэрчилгээ авахаар төлөвлөж байна уу? Google Cloud-н мэргэжлийн мэдээллийн инженер мөн үүнийг яаж хийхээ гайхаж байна.

Сүүлийн хэдэн сарын турш би мэргэжлийн мэдээллийн инженерийн шалгалтанд бэлдэхийн тулд Google Cloud ашиглахын зэрэгцээ курст суусан. Тэгээд давах гэж оролдоод тэнцсэн. Тэгээд хэдэн долоо хоногийн дараа миний юүдэнтэй цамц ирлээ. Сертификат илүү хурдан ирсэн.

Энэ нийтлэлд таны мэдэхийг хүсэж болох хэд хэдэн зүйл болон Google Cloud мэргэжлийн мэдээллийн инженерийн гэрчилгээ авахын тулд хийсэн алхмуудыг жагсаах болно.

Та яагаад Google Cloud-ийн мэргэжлийн мэдээллийн инженерийн гэрчилгээтэй болохыг хүсэж байна вэ?

Өгөгдөл хаа сайгүй байдаг. Мэдээллийг боловсруулж, ашиглах боломжтой системийг хэрхэн бүтээхийг мэдэх нь эрэлт хэрэгцээтэй байдаг. Google Cloud нь эдгээр системийг бий болгох дэд бүтцийг бий болгодог.

Та Google Cloud ашиглах ур чадвартай байж магадгүй, гэхдээ та үүнийг ирээдүйн ажил олгогч эсвэл үйлчлүүлэгчид хэрхэн харуулах вэ? Төслийн багц эсвэл гэрчилгээжүүлэх гэсэн хоёр арга бий.

Энэхүү гэрчилгээ нь ирээдүйн үйлчлүүлэгчид болон ажил олгогчдод "Би ур чадвартай, магадлан итгэмжлэгдсэн байхын тулд хүчин чармайлт гаргасан" гэж хэлдэг.

Google-ийн товч тайлбар нь үүнийг нэгтгэн харуулж байна.

Google Cloud Platform дээр өгөгдөл боловсруулах системийг зохион бүтээх, бүтээх, мөн машин сургалтын загвар бүтээх чадвараа харуул.

Хэрэв танд ур чадвар байхгүй бол гэрчилгээ олгох сургалтын материалд хамрагдсанаар Google Cloud дээр дэлхийн жишигт нийцсэн мэдээллийн системийг хэрхэн бүтээх талаар бүгдийг мэдэж авна гэсэн үг.

Хэн Google Cloud-ийн мэргэжлийн мэдээллийн инженерийн гэрчилгээтэй болохыг хүсэх вэ?

Та тоонуудыг харсан. Үүл нэмэгдэж байна. Энэ нь аль хэдийн энд байгаа бөгөөд хаашаа ч явахгүй. Хэрэв та тоог хараахан харж амжаагүй бол надад итгээрэй, үүл нэмэгдэж байна.

Хэрэв та аль хэдийн өгөгдөл судлаач, өгөгдлийн инженер, өгөгдлийн шинжээч, машин сургалтын инженер эсвэл өгөгдлийн ертөнцөд карьер хайж байгаа бол Google Cloud Мэргэжлийн Дата Инженерийн гэрчилгээ нь танд зориулагдсан болно.

Үүлэн ажиллах чадвар нь аливаа өгөгдөлд суурилсан байрлалд тавигдах шаардлага болж байна.

Сайн дата инженер/мэдээлэл судлаач/машин сургалтын инженер болохын тулд танд гэрчилгээ хэрэгтэй юу?

Үгүй

Та Google Cloud-ийг гэрчилгээгүйгээр дата шийдэлд ашиглах боломжтой хэвээр байна.

Сертификат бол одоо байгаа ур чадварыг баталгаажуулах нэг арга юм.

Хэр их үнэтэй вэ?

Шалгалтын хураамж 200 доллар. Хэрэв та бүтэлгүйтвэл дахин оролдохын тулд дахин төлөх шаардлагатай болно.

Сургалтын курс, платформыг ашиглахтай холбоотой зардал гарч болзошгүй.

Платформын зардал нь Google Cloud үйлчилгээг ашигласны төлбөр юм. Хэрэв та боловсронгуй хэрэглэгч бол та үүнийг аль хэдийн мэддэг болсон. Хэрэв тийм биш бол та энэ нийтлэл дэх зааварчилгааг дөнгөж эхэлж байгаа бол та шинэ Google Cloud бүртгэл үүсгэж бүртгүүлэхдээ Google-ийн санал болгож буй 300 ам.долларт багтах боломжтой.

Хэсэг хугацааны дараа бид сургалтын үнэд хүрнэ.

Баталгаажуулалт хэр удаан хүчинтэй вэ?

2 жил. Үүний дараа та дахин шалгалт өгөх шаардлагатай болно.

Google Cloud өдөр бүр хөгжиж байгаа тул гэрчилгээнд шаардагдах зүйл өөрчлөгдөх магадлалтай (би олж мэдсэнээр энэ нийтлэлийг бичиж эхлэхэд аль хэдийн өөрчлөгдсөн байсан).

Шалгалтанд бэлдэхэд юу хэрэгтэй вэ?

Google нь мэргэжлийн түвшний гэрчилгээ авахын тулд GCP ашиглан салбарын 3+ жилийн туршлага, 1+ жил шийдэл боловсруулж, удирдахыг зөвлөж байна.

Надад дээрх зүйлсийн аль нь ч байгаагүй.

Хамгийн ихдээ 6 сар холбогдох туршлагатай. Дутлаа нөхөхийн тулд би онлайн сургалтын эх сурвалжуудыг хослуулан ашигласан.

Би ямар сургалтанд хамрагдсан бэ?

Хэрэв та надтай адилхан бөгөөд санал болгож буй шаардлага хангаагүй бол мэргэшлээ дээшлүүлэхийн тулд дараах сургалтуудын заримыг үзэж болно.

Дараах хичээлүүд бол миний гэрчилгээ авахад бэлдэж байсан хичээлүүд юм. Тэдгээрийг дуусгах дарааллаар жагсаав.

Би гэрчилгээ олгох шалгалт өгөх зардал, цаг хугацаа, ашиг тусыг тус бүрээр нь жагсаасан.

Би Google Cloud-ийн мэргэжлийн мэдээллийн инженерийн гэрчилгээ олгох шалгалтанд хэрхэн тэнцсэн

Шалгалт өгөхөөс өмнө ур чадвараа дээшлүүлэхэд ашигласан зарим гайхалтай онлайн эх сурвалжууд. Дарааллаар нь: Үүл гуру, Линукс Академи и Coursera.

Coursera-аас Google Cloud платформ дээрх мэдээллийн инженерчлэл

зардал: $49/сар (7 хоногийн үнэгүй туршилтын дараа)
Цаг хугацаа: 1-2 сар, долоо хоногт 10+ цаг
Хэрэглээ: 8 / 10

Coursera-аас Google Cloud платформ дээрх мэдээллийн инженерчлэл Google Cloud-тай хамтран бүтээсэн.

Энэ нь таван дэд хичээлд хуваагддаг бөгөөд тус бүрдээ долоо хоногт ойролцоогоор 10 цаг хичээл заадаг.

Хэрэв та Google Клоуд мэдээллийн шинжлэх ухаанд шинээр суралцаж байгаа бол энэ мэргэшил таныг 0-ээс 1-р түвшинд хүргэх болно. Та QwikLabs хэмээх давталттай платформ ашиглан хэд хэдэн практик дасгалуудыг хийх болно. Үүний өмнө Google Cloud-ийн мэргэжилтнүүдээс Google BigQuery, Cloud Dataproc, Dataflow, Bigtable зэрэг олон төрлийн үйлчилгээг хэрхэн ашиглах талаар лекц уншина.

Google Cloud Platform-д Cloud Guru-г танилцуулж байна

зардал: үнэгүй
Цаг хугацаа: 1 долоо хоног, 4-6 цаг
Хэрэглээ: 4 / 10

Ашигтай байдлын бага оноог курс нь ашиггүй гэдгийг харуулж болохгүй. Энэ үнэнээс хол байна. Энэ нь доогуур оноо авсан цорын ганц шалтгаан нь Мэргэжлийн мэдээллийн инженерийн гэрчилгээнд төвлөрсөнгүй (нэрээр нь хэлж болно).

Coursera мэргэшлийг дүүргэсний дараа би Google Cloud-ийг зөвхөн тусгай зориулалтын хэрэглээнд зориулж ашигласан тул энэ сургалтыг дахин давтах гэж үзсэн.

Хэрэв та өөр үүлэн үйлчилгээ үзүүлэгчээс ирсэн эсвэл өмнө нь Google Cloud ашиглаж байгаагүй бол энэ сургалтанд хамрагдахыг хүсч болно. Энэ бол ерөнхийдөө Google Cloud Platform-ийн гайхалтай танилцуулга юм.

Линукс академийн Google-ийн мэргэшсэн мэргэжлийн мэдээллийн инженер

зардал: $49/сар (7 хоногийн үнэгүй туршилтын дараа)
Цаг хугацаа: 1–4 долоо хоног, долоо хоногт 4+ цаг
Хэрэглээ: 10 / 10

Шалгалтаа өгч, авсан хичээлүүдээ эргэцүүлсний дараа хамгийн их тустай зүйл байсан Линукс академийн Google-ийн мэргэшсэн мэргэжлийн мэдээллийн инженер.

Мөн видео Data Dossier цахим ном (Хичээлийн хамт ирдэг үнэгүй сургалтын маш сайн эх сурвалж) болон дадлагын шалгалтууд нь энэ хичээлийг миний ашиглаж байсан хамгийн шилдэг сургалтын эх сурвалжуудын нэг болгосон.

Би үүнийг шалгалтын дараа багт зарим Slack тэмдэглэлд лавлагаа болгон санал болгосон.

Slack дахь тэмдэглэл

  • Шалгалтын зарим зүйл Линукс Академи, Cloud Guru эсвэл Google Клоуд Практикийн аль алинд нь шалгалтанд ороогүй байсан (хүлээгдэж буй)
  • Та тэдгээрийг аль тэгшитгэлээр (жишээ нь cos(X) эсвэл X² + Y²) бүлэглэх тухай өгөгдлийн цэгүүдийн график бүхий 1 асуулт.
  • Dataflow, Dataproc, Datastore, Bigtable, BigQuery, Pub/Sub хоёрын ялгаа, тэдгээрийг хэрхэн ашиглах талаар мэдэх нь зайлшгүй юм.
  • Шалгалтанд хамрагдсан судалгааны хоёр жишээ нь практик хичээлүүдийнхтэй яг адилхан байсан ч шалгалтын үеэр би эдгээр судалгааг огт дурдаагүй (асуултууд хангалттай ойлголт өгсөн).
  • SQL асуулгын үндсэн синтаксийг мэдэх нь ялангуяа BigQuery асуултуудад маш хэрэгтэй.
  • Линукс Академи болон GCP-ээс олгодог дадлагын шалгалтууд нь шалгалтын асуултуудтай маш төстэй бөгөөд би эдгээр асуултуудыг хэд хэдэн удаа судалж, таны сул талыг олж мэдэхэд ашиглах болно.
  • Dataproc-д туслах бяцхан зөвлөгөө: "Dataproc матар ба Hadoop заан төлөвлөж байна Spark гал, тогооч а Зөгий of Гахай" {Матар Dataproc болон заан Hadoop гал гаргахаар төлөвлөж байна (Spark - оч, гал асаах - гал гаргах) ба сүрэг бэлтгэх (Зөгий) гахай (Гахай)} (Dataproc нь Hadoop, Spark, Hive болон Pig-тэй харьцдаг)
  • «Дата урсгал урсгал юм Beam гэрлийн" {Дата урсгал Энэ бол одоогийн туяа (Beam) light} (Dataflow нь Apache Beam-тэй харьцдаг)
  • "Хүн бүр дэлхий даяар а-тай холбоотой байж болно сайн хийсэн ACID угаасан Түлхүүр" {Хэн ч дэлхий даяар цэвэршүүлсэн хүчилтэй харьцах боломжтой (ХҮЧИЛ) сайн түлхүүртэй (Spanner)} (Cloud Spanner нь үүлийг устгахад зориулагдсан мэдээллийн сан бөгөөд ACID-д нийцсэн бөгөөд дэлхий даяар ашиглах боломжтой)
  • Харьцангуй болон хамааралгүй мэдээллийн сангийн сонгодог хувилбаруудын нэрийг мэдэх нь ашигтай байж болох юм (жишээлбэл, MongoDB, Cassandra)
  • IAM-ийн үүрэг нь үйлчилгээ бүрийн хувьд арай өөр байдаг ч ажлын урсгалыг төлөвлөх чадваргүй (жишээ нь, "Өгөгдлийн урсгалын ажилтан" үүрэг нь ажлын урсгалыг зохион бүтээх боломжтой боловч өгөгдлийг харах боломжгүй) хэрэглэгчдийг өгөгдлийг харах чадвараас хэрхэн салгах талаар ойлгоход тустай. )

Энэ нь одоохондоо хангалттай байх. Шалгалт бүрт миль өөр өөр байх магадлалтай. Линукс Академийн сургалт нь танд мэдлэгийн 80% өгөх болно.

Google Cloud 1 минутын видео

зардал: үнэгүй
Цаг хугацаа: 1-2 цаг
Хэрэглээ: 5 / 10

Тэднийг Cloud Guru форум дээр санал болгосон. Тэдгээрийн ихэнх нь Мэргэжлийн мэдээллийн инженерийн гэрчилгээтэй холбоогүй байсан ч би тохирох цөөн хэдэн зүйлийг сонгосон.

Зарим үйлчилгээнүүдийг курсээр дамжуулан удирдахад хэцүү мэт санагдаж болох тул нэг минутын дотор тодорхой үйлчилгээг тайлбарлахыг сонсоход таатай байлаа.

Cloud мэргэжлийн мэдээллийн инженерийн шалгалтанд бэлдэж байна

зардал: Сертификат бүрт 49 доллар эсвэл үнэ төлбөргүй (сертификатгүй)
Цаг хугацаа: 1-2 долоо хоног, долоо хоногт 6+ цаг
Хэрэглээ: Н / А

Би шалгалтаа өгөхөөс өмнөх өдөр энэ эх сурвалжийг олсон. Цагийн хязгаарлалт, тиймээс ашиг тусын үнэлгээ дутмаг байсан тул би үүнийг дуусгаж чадаагүй.

Гэсэн хэдий ч, сургалтын тойм хуудас дээр үндэслэн энэ нь Google Cloud дээр дата инженерийн талаар сурсан бүх зүйлээ нэгтгэж, сул талыг тодруулахад маш сайн эх сурвалж юм шиг харагдаж байна.

Би энэ сургалтыг гэрчилгээ олгохоор бэлтгэж байгаа нэг хамт олондоо эх сурвалж болгон санал болгосон.

Google Data Engineering Cheat Sheet by Meverik Lin

зардал: үнэгүй
Цаг хугацаа: Н / А
Хэрэглээ: Н / А

Энэ бол шалгалтын дараа олж мэдсэн өөр нэг эх сурвалж байсан. Миний бодлоор энэ нь цогц, гэхдээ нэгэн зэрэг товч юм. Дээрээс нь үнэгүй. Үүнийг дадлагын шалгалтын хооронд уншихад эсвэл гэрчилгээ авсны дараа ч мэдлэгээ дээшлүүлэхэд ашиглаж болно.

Хичээлийн дараа би юу хийсэн бэ?

Хичээл дуусах дөхөж байхад би долоо хоногийн өмнө шалгалтаа захиалсан.
Эцсийн хугацаатай байх нь сурсан зүйлээ бататгах сайхан сэдэл юм.

Би Линукс Академи болон Google Cloud-ийн дадлага шалгалтыг олон удаа өгсөн бөгөөд бүр 95% + нарийвчлалтайгаар бөглөх боломжтой болсон.

Би Google Cloud-ийн мэргэжлийн мэдээллийн инженерийн гэрчилгээ олгох шалгалтанд хэрхэн тэнцсэн
Линукс академийн дадлагын шалгалтанд анх удаа 90%-иас дээш оноо авч тэнцсэн.

Платформ бүрийн тестүүд ижил төстэй боловч би байнга андуурч байсан асуултуудыг даван туулж, яагаад буруу болсныг бичих нь миний сул талуудыг чангалахад тусалсан гэдгийг олж мэдсэн.

Миний авсан шалгалтын сэдэв болгон Google Cloud дээр дата системийг хөгжүүлэх хоёр жишээ судалгааны төслийг ашигласан (энэ нь 29 оны 2019-р сарын XNUMX-нөөс хойш өөрчлөгдсөн). Мөн энэ нь бүхэлдээ олон сонголттой байсан.

Энэ нь надад 2 цаг орчим зарцуулсан. Мөн энэ нь миний өгсөн шалгалтуудаас 20% илүү хэцүү байсан.

Би дадлагын шалгалтын үнэ цэнийг хангалттай илэрхийлж чадахгүй байна.

Хэрэв би дахиад очвол юуг өөрчлөх вэ?

Илүү олон дадлагын шалгалт. Илүү практик мэдлэг.

Мэдээжийн хэрэг, танд илүү их бэлтгэл хийх боломжтой.

Зөвлөмж болгож буй шаардлагад GCP-ийг 3-аас дээш жил ашиглах шаардлагатай. Гэхдээ надад тийм зүйл байгаагүй болохоор өөрт байгаа зүйлээ шийдэх хэрэгтэй болсон.

Үүнээс гадна

Шалгалтыг гуравдугаар сарын 29-нд шинэчилсэн. Энэ өгүүлэлд танилцуулсан материал нь сайн үндэс суурь хэвээр байгаа боловч зарим өөрчлөлтийг тэмдэглэх нь чухал юм.

Google Cloud мэргэжлийн мэдээллийн инженерийн шалгалтын өөр өөр хэсгүүд (хувилбар 1)

  1. Мэдээлэл боловсруулах системийн дизайн
  2. Бүтэц, мэдээллийн санг бий болгох, дэмжих.
  3. Өгөгдлийн шинжилгээ ба машин сургалтын холболт
  4. Шинжилгээ, оновчтой болгоход зориулсан бизнесийн үйл явцын загварчлал
  5. Найдвартай байдлыг хангах
  6. Өгөгдлийн дүрслэл, бодлогын дэмжлэг
  7. Аюулгүй байдал, дагаж мөрдөхийн тулд дизайн хийх

Google Cloud мэргэжлийн мэдээллийн инженерийн шалгалтын өөр өөр хэсгүүд (хувилбар 2)

  1. Мэдээлэл боловсруулах системийн дизайн
  2. Мэдээлэл боловсруулах системийг барих, ажиллуулах
  3. Машин сургалтын загваруудыг ажиллуулах (ихэнх өөрчлөлт энд гарсан) [ШИНЭ]
  4. Шийдлийн чанарыг баталгаажуулах

2-р хувилбар нь 1-р хувилбарын 2, 4, 6, 1-р хэсгүүдийг 1, 2-т нэгтгэсэн. Мөн 5-р хувилбараас 7, 1-г 4-р хэсэг болгон нэгтгэсэн. Мөн 3-р хувилбарын 2-р хэсгийг Google Cloud-ын бүх шинэ машиныг хамрахаар өргөтгөсөн. суралцах чадвар.

Эдгээр өөрчлөлтүүд маш сүүлийн үед хийгдсэн тул сургалтын хэрэглэгдэхүүнийг шинэчлэх боломж байгаагүй.

Гэсэн хэдий ч, энэ өгүүллийг унших нь танд хэрэгтэй зүйлийн 70% -ийг хангахад хангалттай байх ёстой. Би үүнийг дараах асуултуудын талаархи таны хийсэн зарим судалгаатай хослуулах болно (эдгээрийг шалгалтын хоёр дахь хувилбарт танилцуулсан).

Таны харж байгаагаар хамгийн сүүлийн үеийн шалгалтын шинэчлэлт нь Google Cloud-ийн ML чадавхид төвлөрчээ.

Шинэчлэлт 29/04/2019: Линукс Академийн курсын багш Мэттью Уласейн илгээсэн мессеж.
Зөвхөн лавлагаа болгох үүднээс бид Линукс Академийн өгөгдлийн инженерийн хичээлийг XNUMX-р сарын дунд/сүүлээс эхлэн шинэ чиглэлүүдийг тусгах гэж байна.

Шалгалтын дараа

Шалгалт өгөхдөө зөвхөн тэнцсэн эсвэл тэнцээгүй дүн хүлээн авна. Би хамгийн багадаа 70%-ийг зорь гэж зөвлөдөг болохоор практикийн шалгалтанд хамгийн багадаа 90%-ийг зорьсон.

Тэнцсэний дараа та Google Cloud Мэргэжлийн Дата Инженерийн албан ёсны гэрчилгээний хамт имэйлээр эргүүлэн авах код хүлээн авах болно. Баяр хүргэе!

Та эргүүлэн авах кодыг Google Cloud Professional Data Engineer-ийн онцгой дэлгүүрт ашиглаж болно.SWAG). Подволк, үүргэвч, юүдэнтэй цамцнууд байдаг (та тэнд очиход нөөцөөс ялгаатай байж болно). Би юүдэнтэй цамц сонгосон.

Одоо та гэрчилгээ авсан тул ур чадвараа (албан ёсоор) харуулж, хамгийн сайн хийдэг зүйлээ хийж, бүтээн байгуулалтад эргэн орох боломжтой.

Хоёр жилийн дараа дахин гэрчилгээ авахаар уулзъя.

Жич: Хэрэв танд асуулт байгаа бол эсвэл ямар нэгэн зүйлийн талаар тодруулга авахыг хүсвэл надаас олж болно Twitter и LinkedIn. Дээр YouTube-ийн Энэ нийтлэлийн видео хувилбар бас бий.
PPS: Дээрх бүх сургалтанд хамрагдсан бүх гайхалтай багш нарт маш их баярлалаа Макс Келсен Суралцах, шалгалтанд бэлтгэхэд шаардагдах нөөц, цагийг хангасан.

Сургалтын дараа төгсөгчдийг хүлээж буй сургалтын хөтөлбөр, онлайн форматын онцлог, ур чадвар, чадамж, хэтийн төлөвийн талаар илүү ихийг мэдэхийг хүссэн хүн бүрийг бид таныг урьж байна. Нээлттэй өдөр, өнөөдөр 20.00 цагт болох юм.

Эх сурвалж: www.habr.com

сэтгэгдэл нэмэх