طبق آمار Statista، تا سال 2025 حجم بازار کلان داده به 175 زتابایت در مقایسه با 41 زتابایت در سال 2019 افزایش خواهد یافت.). برای به دست آوردن شغل در این زمینه، باید نحوه کار با داده های بزرگ ذخیره شده در فضای ابری را بدانید. Cloud4Y فهرستی از 12 دوره رایگان و رایگان مهندسی داده را گردآوری کرده است که دانش شما را در این زمینه گسترش می دهد و می تواند نقطه شروع خوبی در مسیر شما به سمت گواهینامه های ابری باشد.
پیش گفتار
مهندس داده چیست؟ این شخصی است که مسئول ایجاد و نگهداری معماری داده در یک پروژه علم داده است. مسئولیت ها ممکن است شامل اطمینان از جریان روان داده بین سرور و برنامه، یکپارچه سازی نرم افزار مدیریت داده جدید، بهبود فرآیندهای داده های اساسی و ایجاد خطوط لوله داده باشد.
تعداد زیادی فناوری و ابزار وجود دارد که یک مهندس داده برای کار با محاسبات ابری، انبارهای داده، ETL (استخراج، تبدیل، بارگذاری) و غیره باید بر آنها مسلط باشد. بنابراین یک مهندس داده باید به طور منظم دانش خود را دوباره پر کند. لیست ما شامل دوره هایی برای مبتدیان و متخصصان با تجربه است. آنچه برای شما مناسب است را انتخاب کنید.
1. گواهینامه نانودرجه مهندسی داده ()
شما یاد خواهید گرفت که چگونه مدل های داده طراحی کنید، انبارهای داده و دریاچه های داده ایجاد کنید، خطوط لوله داده را خودکار کنید و با آرایه های مجموعه داده کار کنید. در پایان برنامه، با انجام پروژه Capstone، مهارت های جدید خود را آزمایش خواهید کرد.
مدت: 5 ماه، 5 ساعت در هفته
زبان: انگلیسی
قیمت: $ 1695
سطح: اولیه
2. تبدیل شدن به یک گواهینامه مهندس داده ()
از پایه درس می دهند. می توانید با استفاده از سخنرانی ها و پروژه های عملی برای کار بر روی مهارت های خود قدم به قدم پیشرفت کنید. در پایان آموزش، شما آماده کار با ML و داده های بزرگ خواهید بود. توصیه می شود حداقل در حداقل سطح پایتون را بدانید.
مدت: 8 ماه، 10 ساعت در هفته
زبان: انگلیسی
قیمت؟؟؟؟
سطح: اولیه
3. تبدیل شدن به یک مهندس داده: تسلط بر مفاهیم ()
شما مهارت های مهندسی داده و DevOps را توسعه خواهید داد، نحوه ایجاد برنامه های Big Data، ایجاد خطوط لوله داده، پردازش برنامه ها را در زمان واقعی با استفاده از Hazelcast و پایگاه داده یاد خواهید گرفت..
مدت: بستگی به شما
زبان: انگلیسی
قیمت: ماه اول - رایگان
سطح: اولیه
4. دوره های مهندسی داده ()
در اینجا یک سری برنامه وجود دارد که شما را با مهندسی داده آشنا می کند و به شما یاد می دهد که چگونه راه حل های تحلیلی را توسعه دهید. دوره ها بر اساس سطح دشواری به دسته بندی تقسیم می شوند، بنابراین می توانید با توجه به سطح تجربه خود یکی را انتخاب کنید. در طول آموزش استفاده از Spark، Hadoop، Azure و مدیریت داده های شرکت را یاد خواهید گرفت.
مدت: بستگی به شما
زبان: انگلیسی
قیمت: بستگی به رشته انتخابی دارد
سطح: مبتدی متوسط پیشرفته
5. مهندس داده ()
اگر تجربه ای با پایتون دارید و می خواهید دانش خود را عمیق تر کنید و شغلی به عنوان دانشمند داده ایجاد کنید، ارزش گذراندن این دوره را دارد. شما یاد خواهید گرفت که چگونه خطوط لوله داده را با استفاده از پایتون و پانداها بسازید، مجموعه داده های بزرگ را پس از تمیز کردن، تبدیل و اعتبارسنجی در پایگاه داده Postgres بارگیری کنید.
مدت: بستگی به شما
زبان: انگلیسی
قیمت: بستگی به فرم اشتراک دارد
سطح: مبتدی، متوسط
6. مهندسی داده با Google Cloud ()
این دوره به شما کمک می کند تا مهارت هایی را که برای ایجاد یک شغل در کلان داده ها نیاز دارید، به دست آورید. به عنوان مثال، کار با BigQuery، Spark. دانشی را که برای آماده شدن برای گواهینامه Google Cloud Professional Data Engineer که در صنعت به رسمیت شناخته شده است، کسب خواهید کرد.
مدت: 4 ماه
زبان: انگلیسی
قیمت: فعلا رایگان
سطح: مبتدی، متوسط
7. مهندسی داده، کلان داده در پلتفرم Google Cloud ()
یک دوره جالب که دانش عملی سیستم های پردازش داده در GCP را ارائه می دهد. در طول کلاس، نحوه طراحی سیستم ها را قبل از شروع فرآیند توسعه یاد خواهید گرفت. علاوه بر این، داده‌های ساختاریافته و بدون ساختار را تجزیه و تحلیل می‌کنید، مقیاس خودکار را اعمال می‌کنید و از تکنیک‌های ML برای استخراج اطلاعات استفاده می‌کنید.
مدت: 3 ماه
زبان: انگلیسی
قیمت: فعلا رایگان
سطح: مبتدی، متوسط
8. UC San Diego: Big Data Specialization ()
این دوره مبتنی بر استفاده از چارچوب Hadoop و Spark و استفاده از این تکنیک های کلان داده در فرآیند ML است. شما اصول استفاده از Hadoop را با MapReduce، Spark، Pig و Hive خواهید آموخت. یاد بگیرید که چگونه مدل های پیش بینی بسازید و از تجزیه و تحلیل گراف برای مدل سازی مسائل استفاده کنید. توجه داشته باشید که این دوره نیازی به تجربه برنامه نویسی ندارد.
مدت: 8 ماه 10 ساعت در هفته
زبان: انگلیسی
قیمت: فعلا رایگان
سطح: اولیه
9. رام کردن داده های بزرگ با آپاچی اسپارک و پایتون ()
شما یاد خواهید گرفت که چگونه از ساختار جریان و فریم های داده در Spark3 استفاده کنید و درک درستی از نحوه استفاده از سرویس Elastic MapReduce آمازون برای کار با خوشه Hadoop خود به دست خواهید آورد. یاد بگیرید که مشکلات را در تجزیه و تحلیل داده های بزرگ شناسایی کنید و درک کنید که چگونه کتابخانه های GraphX با تجزیه و تحلیل شبکه کار می کنند و چگونه می توانید از MLlib استفاده کنید.
مدت: بستگی به شما
زبان: انگلیسی
قیمت: از 800 روبل تا 149,99 دلار (بسته به شانس شما)
سطح: مبتدی، متوسط
10. برنامه PG در مهندسی داده های بزرگ ()
این دوره به شما درک درستی از نحوه کار Aadhaar، نحوه شخصی سازی فید اخبار توسط فیس بوک و نحوه استفاده از مهندسی داده به طور کلی می دهد. موضوعات کلیدی پردازش داده ها (از جمله پردازش بلادرنگ)، MapReduce، تجزیه و تحلیل داده های بزرگ خواهد بود.
مدت: 11 ماه
زبان: انگلیسی
قیمت: حدود 3000 دلار
سطح: اولیه
11. حرفه دانشمند داده ()
شما برنامه نویسی در پایتون را یاد خواهید گرفت، چارچوب های آموزش شبکه های عصبی Tensorflow و Keras را مطالعه خواهید کرد. بر پایگاه داده های MongoDB، PostgreSQL، SQLite3 تسلط داشته باشید، یاد بگیرید که با کتابخانه های Pandas، NumPy و Matpotlib کار کنید.
مدت: 300 ساعت آموزش
زبان: روسی
قیمت: شش ماه اول رایگان، سپس 3900 روبل در ماه
سطح: اولیه
12. Data Engineer 7.0 ()
شما یک مطالعه عمیق در مورد کافکا، HDFS، ClickHouse، Spark، Airflow، معماری لامبدا و معماری کاپا دریافت خواهید کرد. شما یاد خواهید گرفت که چگونه ابزارها را به یکدیگر متصل کنید، خطوط لوله را تشکیل دهید، یک راه حل پایه به دست آورید. برای مطالعه، حداقل دانش پایتون 3 مورد نیاز است.
مدت: 21 درس، 7 هفته
زبان: روسی
قیمت: از 60 تا 000 روبل
سطح: اولیه
اگر می خواهید یک دوره خوب دیگر را به لیست اضافه کنید، می توانید اشتراک خود را در نظرات یا در PM لغو کنید. ما پست را به روز خواهیم کرد.
چه چیز دیگری می توانید در وبلاگ بخوانید؟
→
→
→
→
→
مشترک ما شوید -کانال تا مطلب بعدی را از دست ندهید. ما بیش از دو بار در هفته نمی نویسیم و فقط به صورت تجاری. همچنین یادآور می شویم که در تاریخ 21 اردیبهشت ساعت 15:00 (به وقت مسکو) برگزار خواهیم کرد با موضوع "امنیت اطلاعات کسب و کار هنگام کار از راه دور." اگر می خواهید بدانید که چگونه از اطلاعات حساس و شرکتی در هنگام کار کارکنان از خانه محافظت کنید، ثبت نام کنید!
منبع: www.habr.com