Hari ini hanya orang yang tidak mempunyai hubungan luar dengan dunia luar yang tidak pernah mendengar tentang data besar. Mengenai HabrΓ©, topik analisis Data Besar dan topik berkaitan adalah popular. Tetapi bagi bukan pakar yang ingin menumpukan diri mereka kepada kajian Data Besar, tidak selalunya jelas tentang prospek kawasan ini, di mana analitik Data Besar boleh digunakan dan perkara yang boleh diharap oleh penganalisis yang baik. Mari cuba fikirkan.
Jumlah maklumat yang dijana oleh manusia meningkat setiap tahun. Menjelang 2020, jumlah data yang disimpan akan meningkat kepada 40-44 zettabait (1 ZB ~ 1 bilion GB). Menjelang 2025 - sehingga lebih kurang 400 zettabait. Sehubungan itu, mengurus data berstruktur dan tidak berstruktur menggunakan teknologi moden adalah bidang yang menjadi semakin penting. Kedua-dua syarikat individu dan seluruh negara berminat dengan data besar.
Ngomong-ngomong, semasa perbincangan tentang ledakan maklumat dan kaedah memproses data yang dijana manusia, istilah Data Besar timbul. Adalah dipercayai bahawa ia pertama kali dicadangkan pada tahun 2008 oleh editor jurnal Nature, Clifford Lynch.
Sejak itu, pasaran Data Besar telah meningkat setiap tahun sebanyak beberapa puluh peratus. Dan trend ini, menurut pakar, akan berterusan. Oleh itu, mengikut anggaran syarikat pada 2021, jumlah pasaran analitik data besar global akan meningkat kepada $67,2 bilion. Pertumbuhan tahunan akan menjadi kira-kira 35,9%.
Mengapa kita memerlukan analisis data besar?
Ia membolehkan anda mengenal pasti maklumat yang sangat berharga daripada set data berstruktur atau tidak berstruktur. Terima kasih kepada ini, perniagaan boleh, sebagai contoh, mengenal pasti arah aliran, meramal prestasi pengeluaran dan mengoptimumkan kosnya sendiri. Adalah jelas bahawa untuk mengurangkan kos, syarikat bersedia untuk melaksanakan penyelesaian terkini.
Teknologi dan kaedah analisis yang digunakan untuk menganalisis Data Besar:
- Perlombongan Data;
- penyumberan ramai;
- percampuran dan penyepaduan data;
- pembelajaran mesin;
- rangkaian saraf tiruan;
- pengecaman corak;
- analisis ramalan;
- pemodelan simulasi;
- analisis spatial;
- Analisis statistik;
- visualisasi data analisis.
Analisis Data Besar di dunia
Analitis data besar kini digunakan oleh lebih daripada 50% syarikat di seluruh dunia. Walaupun pada hakikatnya pada tahun 2015 angka ini hanya 17%. Big Data paling aktif digunakan oleh syarikat yang beroperasi dalam sektor telekomunikasi dan perkhidmatan kewangan. Kemudian ada syarikat yang pakar dalam teknologi penjagaan kesihatan. Penggunaan minimum analisis Data Besar dalam syarikat pendidikan: dalam kebanyakan kes, wakil bidang ini mengumumkan hasrat mereka untuk menggunakan teknologi dalam masa terdekat.
Di Amerika Syarikat, analisis Big Data digunakan paling aktif: lebih daripada 55% syarikat daripada pelbagai bidang bekerja dengan teknologi ini. Di Eropah dan Asia, permintaan untuk analisis data besar tidak jauh lebih rendah - kira-kira 53%.
Dan bagaimana dengan Rusia?
Menurut penganalisis IDC,. Pertumbuhan pasaran untuk penyelesaian sedemikian di Eropah Tengah dan Timur agak aktif, angka ini meningkat sebanyak 11% setiap tahun. Menjelang 2022, ia akan mencapai $5,4 bilion dari segi kuantitatif.
Dalam banyak cara, perkembangan pesat pasaran ini adalah disebabkan oleh pertumbuhan kawasan ini di Rusia. Pada 2018, hasil daripada penjualan penyelesaian yang berkaitan di Persekutuan Rusia berjumlah 40% daripada jumlah pelaburan dalam teknologi pemprosesan Data Besar di seluruh rantau.
Di Persekutuan Rusia, syarikat dari sektor perbankan dan awam, industri telekomunikasi dan industri membelanjakan paling banyak untuk pemprosesan Data Besar.
Apakah yang dilakukan oleh Penganalisis Data Besar dan berapa pendapatannya di Rusia?
Seorang penganalisis data besar bertanggungjawab untuk memeriksa sejumlah besar maklumat, kedua-dua separa berstruktur dan tidak berstruktur. Untuk organisasi perbankan ini adalah urus niaga, untuk pengendali - panggilan dan trafik, dalam runcit - lawatan dan pembelian pelanggan. Seperti yang dinyatakan di atas, analisis Data Besar membolehkan kami menemui hubungan antara pelbagai faktor dalam "sejarah maklumat mentah", contohnya, proses pengeluaran atau tindak balas kimia. Berdasarkan data analisis, pendekatan dan penyelesaian baharu dibangunkan dalam pelbagai bidang - daripada pembuatan kepada perubatan.
Kemahiran yang diperlukan untuk penganalisis Data Besar:
- Keupayaan untuk memahami dengan cepat ciri-ciri dalam kawasan yang analisis sedang dijalankan, dan untuk melibatkan diri dalam aspek kawasan yang dikehendaki. Ini mungkin peruncitan, industri minyak dan gas, perubatan, dsb.
- Pengetahuan tentang kaedah analisis data statistik, pembinaan model matematik (rangkaian saraf, rangkaian Bayesian, pengelompokan, regresi, faktor, varians dan analisis korelasi, dsb.).
- Dapat mengekstrak data daripada sumber yang berbeza, mengubahnya untuk analisis dan memuatkannya ke dalam pangkalan data analisis.
- Mahir dalam SQL.
- Pengetahuan bahasa Inggeris pada tahap yang mencukupi untuk membaca dokumentasi teknikal dengan mudah.
- Pengetahuan Python (sekurang-kurangnya asas), Bash (sangat sukar untuk dilakukan tanpanya dalam proses kerja), ditambah lagi adalah wajar untuk mengetahui asas Java dan Scala (diperlukan untuk penggunaan aktif Spark, salah satu daripada rangka kerja paling popular untuk bekerja dengan data besar).
- Keupayaan untuk bekerja dengan Hadoop.
Nah, berapakah pendapatan penganalisis Data Besar?
Pakar Data Besar kini kekurangan bekalan; permintaan melebihi bekalan. Ini kerana perniagaan semakin memahami: pembangunan memerlukan teknologi baharu, dan pembangunan teknologi memerlukan pakar.
Jadi, Saintis Data dan Analitis Data di Amerika Syarikat menurut agensi pengambilan Glassdoor. Gaji purata pakar ini di Amerika bermula dari $100 ribu setahun.
Di Rusia, pakar pembelajaran mesin menerima dari 130 hingga 300 ribu rubel sebulan, penganalisis data besar - dari 73 hingga 200 ribu rubel sebulan. Semuanya bergantung pada pengalaman dan kelayakan. Sudah tentu, terdapat kekosongan dengan gaji yang lebih rendah, dan yang lain dengan yang lebih tinggi. Permintaan maksimum untuk penganalisis data besar di Moscow dan St. Petersburg. Moscow, yang tidak menghairankan, menyumbang kira-kira 50% daripada kekosongan aktif (mengikut hh.ru). Lebih kurang permintaan di Minsk dan Kyiv. Perlu diingat bahawa beberapa kekosongan menawarkan waktu yang fleksibel dan kerja jauh. Tetapi secara amnya, syarikat memerlukan pakar yang bekerja di pejabat.
Dari masa ke masa, kita boleh menjangkakan peningkatan dalam permintaan untuk penganalisis Data Besar dan wakil kepakaran berkaitan. Seperti yang dinyatakan di atas, kekurangan kakitangan dalam sektor teknologi tidak dibatalkan. Tetapi, sudah tentu, untuk menjadi penganalisis Data Besar, anda perlu belajar dan bekerja, meningkatkan kedua-dua kemahiran yang disenaraikan di atas dan kemahiran tambahan. Salah satu peluang untuk memulakan laluan penganalisis Data Besar ialah dan cuba tangan anda bekerja dengan data besar.
Sumber: www.habr.com