ืืืงืฆืืขืืช ืฉื ืืืขื ื ืชืื ืื ืืืื ืืก ื ืชืื ืื ืืืืืืืื ืืขืชืื ืงืจืืืืช. ืืื ืืืจื ืืฉ ืืช ืืกืคืฆืืคืืืช ืฉืื ืืขืืืื ืขื ื ืชืื ืื, ืืืจืืช ืฉืื ืืช ืื ืืชืื ืฉืืื ืืจืขืืื ืฉืื ื ืฉื ืืืื ืืืืื ืฆืจืื ืืขืกืืง ืืืืื ืืืง ืืขืืืื, ืืื ืืื ืืืช ืืฉ ืืช ืืืจืืฉืืช ืฉืื.
ืืืื ื ืืื ืื ืืืืื ืืื ืืืืืืื ืืืื, ืืืื ืืขืืืช ืขืกืงืืืช ืื ืคืืชืจืื, ืืืื ืืืฉืืจืื ืืฉ ืืื ืืืื ืื ืืจืืืืืื. ืืืืืจ ืืชืืจืจ ืืืืื, ืื ืืืืงื ื ืืืชื ืืฉื ื ืคืจืกืืืื.
ืืืืืจ ืืจืืฉืื, ืืื ื ืืจืกืืืืื, ืจืืฉ ืืคืงืืืื "
ืืืฆื ืืชืคืงืืืื ืฉื ืืืื ืืกืื ืืืืืขื ืื ืฉืื ืื
ืืื ืืก ื ืชืื ืื ืืื ืืืืื ืฉืืฆื ืืื ืืคืชื, ืืืืง ืืชืืืง ืชืฉืชืืช ื ืชืื ืื: ืืกืื ื ืชืื ืื, ืืขืจืืืช ืืืกืื ืืขืืืื ืืืื ื. ืืฆื ืฉื ื, ืื ืื ืฉืื ืงื ื"ืืกืจืง" ื ืชืื ืื ืืฉืืืืฉื ืฉื ืื ืืืกืืื ืืืืขื ื ื ืชืื ืื, ืืืืืจ ืืืฆืจ ืฆืื ืืจืืช ืืขืืืื ื ืชืื ืื.
Data Scientist ืืืฆืจ ืืืืื ืืืืืื ืืืืืื (ืืืืจืื) ืชืื ืฉืืืืฉ ืืืืืืจืืชืืื ืฉื ืืืืืช ืืืื ื ืืจืฉืชืืช ืขืฆืืืืช, ืขืืืจ ืืขืกืงืื ืืืฆืื ืืคืืกืื ื ืกืชืจืื, ืืืืืช ืืชืคืชืืืืืช ืืืืืขื ืชืืืืืื ืขืกืงืืื ืืจืืืืื.
ืืืืื ืืขืืงืจื ืืื ืืืขื ื ืชืื ืื ืืืื ืืก ื ืชืื ืื ืืื ืฉืืืจื ืืื ืืฉ ืืื ืืืจืืช ืฉืื ืืช. ืฉื ืืื ืคืืขืืื ืืืืืื ืฉืื ืชืื ืื ืืืื ื ืืืฉืื ืืืืืืชืืื. ืืื ืืืขื ื ืชืื ืื ืืืฆื ืชืฉืืืืช ืืฉืืืืชืื ืืืืื ืืฉืขืจืืช ืืืขืจืืช ืืงืืืืืืช ืฉื ื ืชืื ืื (ืืืืืื, ืืืืกืก ืขื Hadoop), ืืืื ืืก ื ืชืื ืื ืืืฆืจ ืฆืื ืืจ ืืฉืืจืืช ืืืืืจืืชื ืืืืืช ืืืื ื ืฉื ืืชื ืขื ืืื ืืืขื ื ืชืื ืื ืืืฉืืื Spark ืืชืื ืืืชื ืืขืจืืช ืืงืืืืืืช.
ืืื ืืก ื ืชืื ืื ืืืื ืขืจื ืืขืกืง ืขื ืืื ืขืืืื ืืืืง ืืฆืืืช. ืืฉืืืชื ืืื ืืฉืืฉ ืืืงืฉืจ ืืฉืื ืืื ืืฉืชืชืคืื ืฉืื ืื: ืืืคืชืืื ืืขื ืฆืจืื ื ืืืืื ืขืกืงืืื, ืืืืืืื ืืช ืืคืจืืืืงืืืืืืช ืฉื ืื ืืืกืืื, ืืฉืืืืง ืืืืฆืจ ืืขื BI.
ืืืืคื, Data Scientist ืืืงื ืืืง ืคืขืื ืืืกืืจืืืื ืฉื ืืืืจื ืืืคืืง ืชืืื ืืช, ืงืืืช ืืืืืืช, ืืืืขืช ืืืืืจืืชืื ืืืืืืฆืื, ืืืืืื ืืืฆืืจืช ืขืจื ืืื ืชืื ืื.
ืืขืืืื ืขื ื ืชืื ืื ืืคืืคื ืืขืงืจืื ื-GIGO (garbage in - garbage out): ืื ืื ืืืกืืื ืืืืขื ื ื ืชืื ืื ืืชืืืืื ืขื ื ืชืื ืื ืื ืืืื ืื ืืขืืืืื ืืืืืช ืฉืืืืื, ืื ืืชืืฆืืืช ืืคืืื ืืืืฆืขืืช ืืืืืจืืชืื ืื ืืชืื ืืืชืืืืืื ืืืืชืจ ืืืื ืฉืืืืืช.
ืืื ืืกื ื ืชืื ืื ืคืืชืจืื ืืขืื ืื ืขื ืืื ืื ืืืช ืฆืื ืืจืืช ืืขืืืื, ื ืืงืื ืืืืจืช ื ืชืื ืื ืืืืคืฉืจืื ืืืืขื ื ื ืชืื ืื ืืขืืื ืขื ื ืชืื ืื ืืืืืืช ืืืืื.
ืืฉื ื ืืืื ืจืืื ืืฉืืง ืืขืืืื ืขื ื ืชืื ืื ืืืืกืื ืื ืฉืื: ืืืืคืขืช ืื ืชืื ืื ืืขื ืืคืื ืืขื ืืืฉืืืจื ืืืืจืงืืืจืืื. ืืืฉืื ืฉืืืืืื ืืืฉืชืืฉ ืืื ืชืชืงืื ืขื ืืื ืืื ืืก - ืื ืืืื ืฉืื ืืืคื ืชื, ืืื ืืืื ืฉืืื ืืืืช ืืขืืืจ ืืขืืืืชื ืฉื ืืฉืชืชืคืื ืืืจืื ืืชืืืื.
ืืืืคื ืงืื ืื ืฆืืื ืื: ืื ืืืจื ืฆืจืืื ืืืฆืืจ ืงืฉืจืื ืืื BI ื-ETL - ืืขืื ืช ื ืชืื ืื ืืขืืืื ืืืืืช, ืื ื ืืกืืก ืืกืืจืชื ืืืคืืกื ืฉืืืชื ืืื ืืก ื ืชืื ืื ืืฆืืจื ืืืชืืืื (ืืื ืื ืืฉ ืื ืืจืืืืงื ืืฆืืืช).
ืืืจืืืช ืฉื ืืื ืืก ื ืชืื ืื
- ืคืืชืื, ืืงืื ืืชืืืืงื ืฉื ืชืฉืชืืช ืขืืืื ื ืชืื ืื.
- ืืืคืื ืืฉืืืืืช ืืืฆืืจืช ืฆืื ืืจืืช ืขืืืื ื ืชืื ืื ืืืื ืื.
- ืืืืช ื ืชืื ืื ืื ืืืื ืื ืืืงืืจืืช ืืื ืืืื ืฉืื ืื ืืฆืืจื ืื ืืืฆื ืืขืืืืช ืืื ืืืกืืื.
- ืืชื ืืืืฆืืช ืืฉืืคืืจ ืขืงืืืืช ืืืืืืช ืื ืชืื ืื.
- ืืชื ืืชืืืืงื ืฉื ืืจืืืืงืืืจืช ืื ืชืื ืื ืืืฉืืฉืื ืืืขื ื ื ืชืื ืื ืืื ืชืื ื ืชืื ืื.
- ืขืื ืืืืกื ื ืชืื ืื ืืืืคื ืขืงืื ืืืขืื ืืืฉืืื ืืืืืจ ืฉื ืขืฉืจืืช ืื ืืืืช ืฉืจืชืื.
- ืืขืจื ืืช ืืคืฉืจืืช ืืืื ืืืช ืฉื ืืืื ืืืฆืืจืช ืืจืืืืงืืืจืืช ืคืฉืืืืช ืื ืืืงืืช ืฉืืืืืืช ืืฉืจืื ืืคืจืขื.
- ืืงืจื ืืชืืืื ืืชืืจืืื ื ืชืื ืื ืืืขืจืืืช ื ืืืืช (ืืืืจืช ื ืืืืจ ืืืชืจืืืช).
ืงืืืืช ืืชืืืืช ื ืืกืคืช ืืชืื ืืกืืื Data Engineer - ืืื ืืก ML. ืืงืืฆืืจ, ืืื ืืกืื ืืื ืืชืืืื ืืืืืช ืืืืืื ืฉื ืืืืืช ืืืื ื ืืืืฉืื ืืฉืืืืฉ ืชืขืฉืืืชื. ืืขืชืื ืงืจืืืืช, ืืืื ืฉืืชืงืื ืืืืขื ื ืชืื ืื ืืื ืืืง ืืืืงืจ ืืืืชืื ืฉืื ืืขืืื ืืชื ืื ืืืืื.
ืืืจืืืช ืฉื ืืืขื ื ืชืื ืื
- ืืืืืฅ ืชืืื ืืช ืื ืชืื ืื ืืื ืืืืฉื ืืืืืจืืชืืื ืฉื ืืืืืช ืืืื ื.
- ืฉืืืืฉ ืืืื ืืืืืช ืืืื ื ืฉืื ืื ืืื ืืืืืช ืืืกืืื ืืคืืกืื ืื ืชืื ืื.
- ืฉืืคืืจ ืืืืฆืืขืื ืืืืืืง ืฉื ืืืืืจืืชืื ืืืืืช ืืืื ื ืขื ืืื ืืืื ืื ืขืืื ืืืืคืืืืืืฆืื ืฉื ืืืืืืจืืชืืื.
- ืืืืืฉ ืืฉืขืจืืช "ืืืงืืช" ืืืชืื ืืืกืืจืืืืืช ืืืืจื ืฉืืฉ ืืืืื.
ืื Data Engineer ืืื Data Scientist ืืืืงืื ืชืจืืื ืืืืฉืืช ืืคืืชืื ืชืจืืืช ื ืชืื ืื, ืฉืืืืฆืขืืชื ืืืจื ืืืืื ืืืืฆืจ ืจืืืืื ื ืืกืคืื ืื ืืืคืืืช ืขืืืืืช.
ืขื ืืืื ืฉืคืืช ืืืืื ืขืืืืื ืืื ืืกืื ืืืืขื ืื?
ืืืื, ืืฆืืคืืืช ืืืืขื ื ื ืชืื ืื ืืฉืชื ื. ืืขืืจ, ืืื ืืกืื ืืกืคื ืฉืืืืชืืช SQL ืืืืืืช, ืืชืื ืืื ืืช ืืช MapReduce ืืขืืืื ื ืชืื ืื ืืืืฆืขืืช ืืืื ืืืื Informatica ETL, Pentaho ETL, Talend.
ืืฉื ืช 2020, ืืืืื ืื ืืืื ืืืกืชืืจ ืืื ืืืข ืฉื Python ืืืื ืืืฉืื ืืืืจื ืืื (ืืืืืื, Airflow), ืืื ื ืฉื ืขืงืจืื ืืช ืืขืืืื ืขื ืคืืืคืืจืืืช ืขื ื (ืฉืืืืฉ ืืื ืืื ืืืกืื ืืืืืจื, ืชืื ืฉืืืจื ืขื ืขืงืจืื ืืช ืืืืื).
SAP, Oracle, MySQL, Redis ืื ืืืื ืืกืืจืชืืื ืืืื ืืกื ื ืชืื ืื ืืืืจืืช ืืืืืืช. ืื ืืืืื, ืืื ืืขืืืช ืฉื ืืจืืฉืืื ืืช ืืื ืื ืื ืืืืื ืฉืืืืืื ืืขืืื ืืืชื ืืืืื ื ืจืง ืืคืจืืืงืืื ืชืขืฉืืืชืืื. ืืื ืขื ืืืช, ืืฉื ื ืืืืจื ืืืื ืืื ืืืช ืืืืืช Postgres - ืืื ืืื ืืืช ืืืชืืืื ืื ืจืง ืืืืืื.
ืืืืื ื ืืืกืืืจืืช, ืืงืฉืืช ื-Java ื-Scala ื ืืฆืืืช ืืขืชืื ืงืจืืืืช, ืื ืื ืืื ืฉืืืื ืืืืืืืช ืืืืืฉืืช ืืชืคืชืืืช, ืืฉืคืืช ืืืื ื ืืืืืช ืืจืงืข.
ืขื ืืืช, ืืืจืืงืืจ BigData: Hadoop, Spark ืืฉืืจ ืื ืืืืืช ืื ืืืจ ืื ืชื ืื ืืืงืื ืืืื ืืก ื ืชืื ืื, ืืื ืกืื ืฉื ืืืื ืืคืชืจืื ืืขืืืช ืฉืื ื ืืชื ืืคืชืืจ ืขื ืืื ETL ืืกืืจืชื.
ืืืืื ืืื ืฉืืจืืชืื ืืฉืืืืฉ ืืืืื ืืื ืืืืขืช ืืฉืคื ืื ืื ืืชืืืื (ืืืฉื Hadoop ืืื ืืืืขืช Java), ืืื ืืชื ืฉืืจืืชืื ืืืื ืื ืืขืืืื ื ืชืื ืื ืกืืจืืืื ื (ืืืืื ืงืืื ืื ืืืืื ืชืืื ืืช ืืืืืืื). ).
ืคืชืจืื ืืช ืชืขืฉืืืชืืื ืฉื SAS ื-SPSS ืื ืคืืคืืืจืืื, ืืขืื ืฉ-Tableau, Rapidminer, Stata ืื'ืืืื ื ืืฆืืื ืืฉืืืืฉ ื ืจืื ืื ืขื ืืื ืืืขื ื ื ืชืื ืื ืืืฉืืืืช ืืงืืืืืช.
ืืืืืืช ืืื ืืช ืฆืื ืืจืืช ืืขืฆืื ืืืคืืขื ืืื ืืืกืืื ืืืืืขื ื ื ืชืื ืื ืจืง ืืคื ื ืืื ืฉื ืื: ืืืฉื, ืืืจ ืืคืฉืจ ืืฉืืื ื ืชืื ืื ืืืืกืื ืืืืกืก PostgreSQL ืืืืฆืขืืช ืกืงืจืืคืืื ืคืฉืืืื ืืืกืืช.
ืืืจื ืืื, ืืฉืืืืฉ ืืฆืื ืืจืืช ืืืืื ื ื ืชืื ืื ืืฉืืืืื ื ืืชืจ ืืืืจืืืชื ืฉื ืืื ืืกื ื ืชืื ืื. ืืื ืืืื, ืืืืื ืฉื ืืืืืื ืืฆืืจืช T ืขื ืืืืืืช ืจืืืืช ืืชืืืืื ืงืฉืืจืื ืืืงื ืืชืืื, ืื ืืืืื ืืคืืฉืืื ืื ืืืื.
ืืืืข ืืื ืืก ื ืชืื ืื ืืืืขื ื ืชืื ืื ืขืืืืื ืืื
ืขื ืืื ืขืืืื ืฆืืืื ืขื ืืื ืืกืื, ืืืขื ื ื ืชืื ืื ืืืืืื ืืืชืืงื ืืฆื ืืืืงืจื, ืืืืฆืืจ ืืืืืจืืชืืื ืฉื ืืืืืช ืืืื ื ืืืื ืื ืืืืฆืืจ.
ืืืื ืืกืื ืฆืจืืืื ืืืชืืงื ืืืจืืื, ืืฉืืืืฉ ืืืืจ ืื ืชืื ืื ืืืืืืื ืฉืฆืื ืืจืืช ืืงืื ืืืคืื ืฉื ืื ืชืื ืื ืืื ืคืจืืืงื ืื ืคืจื ืชืืืืื ืืช ืืืจืืืืงืืืจื ืืืืืืืืช.
ืืคืจืืช ืืืจืืืช ืื ืืืืืื ืขืงืืืืช ืืื ืฆืืืชืื ืืขืืืืื ืขื ืคืจืืืงืืื ืฉืื ืื ืฉื ืืืืืช ืืืื ื.
ืฉืืชืืฃ ืคืขืืื ืขืืืจ ืืืฆืืจ ืืืฆืจืื ืืืฉืื ืืืขืืืืช. ืืืืืจืืช ืืืืืืืช ืืืฉืืืช ืืืืฆืขืืช ืืืืื ืืื ืืฆืืจืช ืฉืืจืืช ืืืืื (ืืืกืื ืขืืืื ืื ืืื ืืืจืฆืื ืฉื ืืืืืช ืืืืื ืื) ืืืื ืืืฉืื ืื ืฆืืจื ืื ืคืจืืืงื ืกืคืฆืืคื (ืฆืื ืืจ ืืชืืื ืืืืืื, ืืืืืจ ืืงืืจืืช ืืืฆืื ืืื).
ืขืืืื ืฆืืืื ืขื ืืืขื ื ื ืชืื ืื ืืื ืืืกืืื ืขืืืจืช ืืืื ืืกืื ืืคืชื ืืืืื ืืืืช ืื ืืืืืืช ืืืืงืจืืืช ืืื ืืืชืื ืงืื ืืื ืืืชืจ. ืฉืืชืืฃ ืืืืข ืืื ืืฉืชืืฉื ืืืกื ืื ืืืื ื ืชืื ืื ืืฉืชืคืจ, ืื ืฉืืืคื ืคืจืืืงืืื ืืืจืืืื ืืืชืจ ืืืกืคืง ืชืืฆืืืช ืื ืืช ืงืืืื ืืืชืจ ืืืืื ืืจืื.
ืืืืจืืช ืฉืืืจืชื ืืคืชื ืชืจืืืช ืฉื ืขืืืื ืขื ื ืชืื ืื ืืื ืืืช ืชืืืืืื ืขืกืงืืื ืขื ืคืืื, Data Scientist ื-Data Engineer ืืฉืืืืื ืื ืืช ืื ืืืืฆืจืื ืืขืจืืช ื ืืชืื ื ืชืื ืื ืืืื.
ืืืืืจ ืืื ื ืืืจ ืขื ืืืื ืกืื ืฉื ืืฉืืื ืฆืจืื ืืืืืช ืืืื ืืก ื ืชืื ืื ืืืืขื ื ื ืชืื ืื, ืืืื ืืืืื ืืืืช ืื ืฆืจืืืื ืืคืชื ืืืืฆื ืืฉืืง ืขืืื.
ืืขืืจืื ื ืืืืืืื
ืื ืืชื ืืกืชืื ืขื ืืืงืฆืืข ืฉื ืืื ืืก ื ืชืื ืื ืื ืืืขื ื ืชืื ืื, ืื ื ืืืืื ืื ืืืชื ืืืืื ืืช ืชืืื ืืืช ืืงืืจืก ืฉืื ื:
- ืืงืฆืืข"
ืืื ืืก ื ืชืื ืื ". - ืืงืฆืืข"
ืืืขื ื ืชืื ืื ".
ืืงืืจ: www.habr.com