در هشت سال گذشته من به عنوان مدیر پروژه کار کرده ام (من در محل کار کد نمی نویسم) که طبیعتاً بر پشتوانه فناوری من تأثیر منفی می گذارد. تصمیم گرفتم شکاف فناوری خود را کم کنم و حرفه مهندس داده را بگیرم. مهارت اصلی یک مهندس داده توانایی طراحی، ساخت و نگهداری انبارهای داده است.
من یک برنامه آموزشی تهیه کردم، فکر می کنم نه تنها برای من مفید خواهد بود. این طرح بر دوره های خودآموز متمرکز است. اولویت با دوره های رایگان به زبان روسی است.
بخش ها:
- الگوریتم ها و ساختارهای داده بخش کلید. آن را بیاموزید و هر چیز دیگری نیز کار خواهد کرد. مهم است که کد را به دست بگیرید و از ساختارها و الگوریتم های اولیه استفاده کنید.
- پایگاه داده ها و انبارهای داده، هوش تجاری. ما از الگوریتم ها به سمت ذخیره سازی و پردازش داده ها حرکت می کنیم.
- Hadoop و Big Data. هنگامی که پایگاه داده در هارد دیسک گنجانده نشده است، یا زمانی که داده ها نیاز به تجزیه و تحلیل دارند، اما اکسل دیگر نمی تواند آنها را بارگذاری کند، داده های بزرگ شروع می شود. به نظر من تنها پس از مطالعه عمیق دو قسمت قبلی، لازم است به این بخش رفت.
الگوریتم ها و ساختارهای داده
در برنامه ام، یادگیری پایتون، تکرار اصول ریاضیات و الگوریتم سازی را گنجانده ام.
پایگاه داده ها و انبارهای داده، هوش تجاری
- کتاب: مارتین کلپمن - برنامه های کاربردی بسیار بارگذاری شده. برنامه نویسی، مقیاس بندی، پشتیبانی. این کتاب نحوه عملکرد مدل های مختلف داده، پیاده سازی آنها از داخل، محدودیت ها و انتخاب های بسته به کار را شرح می دهد.
موضوعات مربوط به ساخت انبارهای داده، مکعب های ETL، OLAP به شدت به ابزارها وابسته هستند، بنابراین من در این سند پیوندی به دوره ها نمی دهم. مطالعه چنین سیستم هایی هنگام کار بر روی یک پروژه خاص در یک شرکت خاص توصیه می شود. برای آشنایی با ETL می توانید امتحان کنید یا .
به نظر من، مطالعه روش مدرن طراحی Data Vault مهم است , . و بهترین راه برای یادگیری آن گرفتن و پیاده سازی آن با یک مثال ساده است. چندین نمونه اجرای Data Vault در GitHub وجود دارد . کتاب انبار داده مدرن: مدل سازی انبار داده چابک با Data Vault اثر هانس هالتگرن.
برای آشنایی با ابزارهای Business Intelligence برای کاربران نهایی، می توانید از طراح رایگان گزارش، داشبورد، انبار داده های کوچک Power BI Desktop استفاده کنید. مطالب آموزشی: , .
Hadoop و Big Data
- شما باید با پیاده سازی مستقل MapReduce بدون کتابخانه های شخص ثالث شروع کنید. این امکان درک بهتر پیاده سازی های چند رشته ای را در آینده فراهم می کند. یک مثال عالی در پایتون توضیح داده شده است .
نتیجه
هر چیزی که یاد می گیرید را نمی توان در محل کار به کار برد. بنابراین، شما نیاز به یک پروژه فارغ التحصیلی دارید که در آن سعی کنید دانش جدید را به کار ببرید.
هیچ موضوعی مرتبط با تجزیه و تحلیل داده ها و یادگیری ماشینی در طرح وجود ندارد. این بیشتر در مورد حرفه دانشمند داده صدق می کند. همچنین هیچ موضوعی مربوط به ابرهای AWS، Azure وجود ندارد. این تم ها به شدت به انتخاب پلتفرم وابسته هستند.
سوالات جامعه:
برنامه تسطیح من چقدر مناسب است؟ چه چیزی را حذف یا اضافه کنیم؟
چه پروژه ای را به عنوان پایان نامه پیشنهاد می کنید؟
منبع: www.habr.com