{"id":89206,"date":"2020-07-20T07:41:57","date_gmt":"2020-07-20T05:41:57","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/chto-mozhet-pojti-ne-tak-s-data-science-sbor-dannyh"},"modified":"2020-07-20T07:41:57","modified_gmt":"2020-07-20T05:41:57","slug":"chto-mozhet-pojti-ne-tak-s-data-science-sbor-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/chto-mozhet-pojti-ne-tak-s-data-science-sbor-dannyh","title":{"rendered":"Qu'est-ce qui pourrait mal se passer avec la Data Science ? Collecte de donn\u00e9es","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Qu'est-ce<\/a><\/noindex>
\nAujourd'hui, il existe 100500 cours sur le Data Science et il est bien connu que le plus d'argent dans ce domaine provient justement des cours de Data Science (pourquoi creuser quand on peut vendre des pelles ?). Le principal inconv\u00e9nient de ces cours est qu'ils n'ont rien \u00e0 voir avec le travail r\u00e9el : personne ne vous fournira des donn\u00e9es propres, trait\u00e9es au format souhait\u00e9. Et quand vous terminez un cours et commencez \u00e0 r\u00e9soudre un probl\u00e8me r\u00e9el, de nombreux nuances \u00e9mergent.<\/p>\n

C'est pourquoi nous commen\u00e7ons une s\u00e9rie de notes intitul\u00e9e \u00ab Qu'est-ce qui peut mal tourner avec le Data Science \u00bb, bas\u00e9es sur des \u00e9v\u00e9nements r\u00e9els qui se sont produits avec moi, mes amis et coll\u00e8gues. Nous allons examiner \u00e0 travers des exemples concrets des t\u00e2ches typiques en Data Science : comment cela se passe r\u00e9ellement. Commen\u00e7ons aujourd'hui par la t\u00e2che de collecte de donn\u00e9es.<\/p>\n

Et le premier obstacle que rencontrent les gens en commen\u00e7ant \u00e0 travailler avec des donn\u00e9es r\u00e9elles est justement la collecte de ces donn\u00e9es pertinentes. Le message cl\u00e9 de cet article :<\/p>\n

Nous sous-estimons syst\u00e9matiquement le temps, les ressources et les efforts n\u00e9cessaires \u00e0 la collecte, au nettoyage et \u00e0 la pr\u00e9paration des donn\u00e9es.<\/b><\/p><\/blockquote>\n

\nEt surtout, nous discuterons de ce qu'il faut faire pour \u00e9viter cela.<\/p>\n

Selon diff\u00e9rentes estimations, le nettoyage, la transformation, le traitement des donn\u00e9es, l'ing\u00e9nierie des caract\u00e9ristiques, etc., prennent 80 \u00e0 90 % du temps, tandis que l'analyse ne repr\u00e9sente que 10 \u00e0 20 %, alors que tout le mat\u00e9riel \u00e9ducatif se concentre exclusivement sur l'analyse.<\/p>\n

Analysons, \u00e0 titre d'exemple, une t\u00e2che analytique simple en trois variantes et voyons quelles peuvent \u00eatre les \u00ab circonstances aggravantes \u00bb.<\/p>\n

Et pour l'exemple, nous allons encore examiner de telles variations de la t\u00e2che de collecte de donn\u00e9es et de comparaison entre communaut\u00e9s pour :<\/p>\n

    \n
  1. Deux sous-reddits Reddit<\/li>\n
  2. Deux sections de Habr<\/li>\n
  3. Deux groupes Odnoklassniki<\/li>\n<\/ol>\n

    <\/a><\/noindex><\/p>\n

    Approche conditionnelle en th\u00e9orie<\/h2>\n

    \nOuvrir le site et lire des exemples, si c'est clair, consacrer quelques heures \u00e0 lire, quelques heures \u00e0 coder selon les exemples et \u00e0 d\u00e9boguer. Ajouter plusieurs heures pour la collecte. Pr\u00e9voir quelques heures suppl\u00e9mentaires (multiplier par deux et ajouter N heures).<\/p>\n

    Point cl\u00e9 : l'estimation temporelle repose sur des hypoth\u00e8ses et des conjectures sur le temps que cela prendra.<\/b><\/p>\n

    Commencer l'analyse temporelle n\u00e9cessite d'\u00e9valuer les param\u00e8tres suivants pour la t\u00e2che conditionnelle d\u00e9crite ci-dessus :<\/p>\n