{"id":89206,"date":"2020-07-20T07:41:57","date_gmt":"2020-07-20T05:41:57","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/chto-mozhet-pojti-ne-tak-s-data-science-sbor-dannyh"},"modified":"2020-07-20T07:41:57","modified_gmt":"2020-07-20T05:41:57","slug":"chto-mozhet-pojti-ne-tak-s-data-science-sbor-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/chto-mozhet-pojti-ne-tak-s-data-science-sbor-dannyh","title":{"rendered":"Wat kan er misgaan met Data Science? Gegevensverzameling","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Wat<\/a><\/noindex>
\nTegenwoordig zijn er 100500 cursussen in Data Science en het is al lang bekend dat je het meeste geld kunt verdienen in Data Science met cursussen in Data Science (waarom graven als je schoppen kunt verkopen?). Het grootste nadeel van deze cursussen is dat ze niets te maken hebben met het echte werk: niemand zal je schone, verwerkte gegevens in het juiste formaat geven. En wanneer je van de cursussen komt en echte problemen begint op te lossen, komen er veel nuances naar boven.<\/p>\n

Daarom beginnen we een serie artikelen \"Wat kan er misgaan met Data Science\", gebaseerd op echte gebeurtenissen die mij, mijn vrienden en collega's zijn overkomen. We zullen typische Data Science-taken aan de hand van echte voorbeelden analyseren: hoe het er in werkelijkheid aan toe gaat. We beginnen vandaag met de taak van gegevensverzameling.<\/p>\n

En het eerste waar mensen over struikelen wanneer ze met echte gegevens gaan werken, is de eigenlijke verzameling van de relevante gegevens. De belangrijkste boodschap van dit artikel is:<\/p>\n

We onderschatten systematisch de tijd, middelen en moeite die nodig zijn voor het verzamelen, opschonen en voorbereiden van gegevens.<\/b><\/p><\/blockquote>\n

\nEn bovenal, we zullen bespreken wat je kunt doen om dit te voorkomen.<\/p>\n

Volgens verschillende schattingen nemen opschoning, transformatie, data processing, feature engineering, enz. 80-90% van de tijd in beslag, terwijl analyse slechts 10-20% vergt, terwijl praktisch al het studiemateriaal zich uitsluitend richt op analyse.<\/p>\n

Laten we een typische analytische taak in drie varianten bekijken en zien welke \"verzwarende omstandigheden\" er zijn.<\/p>\n

En als voorbeeld zullen we wederom vergelijkbare variaties van de gegevensverzamelingstaak en het vergelijken van gemeenschappen bekijken voor:<\/p>\n

    \n
  1. Twee subreddits van Reddit<\/li>\n
  2. Twee secties van Habr<\/li>\n
  3. Twee groepen van Odnoklassniki<\/li>\n<\/ol>\n

    <\/a><\/noindex><\/p>\n

    De hypothetische aanpak in theorie<\/h2>\n

    \nOpen de website en lees bijvoorbeeld de voorbeelden. Als het begrijpelijk is, plan dan een paar uur in voor het lezen, een paar uur voor de code op basis van de voorbeelden en debugging. Voeg een paar uur toe voor de verzameling. Voeg een paar uur extra toe (vermenigvuldig met twee en tel N uren erbij op).<\/p>\n

    Het belangrijkste punt is: de tijdsinschatting is gebaseerd op aannames en gissingen over hoeveel tijd dit zal kosten.<\/b><\/p>\n

    Begin met het analyseren van de tijd door de volgende parameters voor de hypothetische taak hierboven te schatten:<\/p>\n