{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Avons-nous besoin d'un lac de donn\u00e9es ? Que faire du stockage de donn\u00e9es ?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Cet article est la traduction de mon article sur Medium \u2014 Introduction au Data Lake<\/a><\/noindex>, qui a \u00e9t\u00e9 plut\u00f4t populaire, probablement en raison de sa simplicit\u00e9. C'est pourquoi j'ai d\u00e9cid\u00e9 de l'\u00e9crire en fran\u00e7ais et d'y ajouter quelques \u00e9l\u00e9ments, afin que le grand public, qui n'est pas expert en donn\u00e9es, puisse comprendre ce qu'est un entrep\u00f4t de donn\u00e9es (DW), et ce qu'est un Data Lake, ainsi que leur coexistence. <\/p>\n

Pourquoi ai-je voulu \u00e9crire sur le Data Lake ? Je travaille dans le domaine des donn\u00e9es et de l'analytique depuis plus de 10 ans, et aujourd'hui je travaille pr\u00e9cis\u00e9ment avec des Big Data chez Amazon Alexa AI \u00e0 Cambridge, pr\u00e8s de Boston, bien que je vive \u00e0 Victoria, sur l'\u00eele de Vancouver, et que je me rende souvent \u00e0 Boston, Seattle, et Vancouver, et parfois m\u00eame \u00e0 Moscou pour des conf\u00e9rences. De plus, de temps en temps j'\u00e9cris, mais principalement en anglais, ayant d\u00e9j\u00e0 r\u00e9dig\u00e9 plusieurs livres<\/a><\/noindex>, et j'ai \u00e9galement le besoin de partager les tendances en mati\u00e8re d'analytique en Am\u00e9rique du Nord, et j'\u00e9cris parfois sur Telegram<\/a><\/noindex>.<\/p>\n

J'ai toujours travaill\u00e9 avec des entrep\u00f4ts de donn\u00e9es, et depuis 2015, je suis fortement impliqu\u00e9 avec Amazon Web Services, et en g\u00e9n\u00e9ral je me suis tourn\u00e9 vers l'analytique dans le cloud (AWS, Azure, GCP). J'ai observ\u00e9 l'\u00e9volution des solutions d'analytique depuis 2007 et j'ai m\u00eame travaill\u00e9 pour un fournisseur d'entrep\u00f4ts de donn\u00e9es, Teradata, en l'impl\u00e9mentant au Sberbank, c'est \u00e0 ce moment-l\u00e0 que le Big Data a \u00e9merg\u00e9 avec Hadoop. Tout le monde a commenc\u00e9 \u00e0 dire que l'\u00e8re des entrep\u00f4ts \u00e9tait r\u00e9volue et que tout le monde \u00e9tait d\u00e9sormais sur Hadoop, puis on a commenc\u00e9 \u00e0 parler de Data Lake, encore une fois en affirmant que l'entrep\u00f4t de donn\u00e9es \u00e9tait bel et bien fini. Mais heureusement (peut-\u00eatre pour certains, malheureusement pour ceux qui gagnaient beaucoup d'argent en configurant Hadoop), l'entrep\u00f4t de donn\u00e9es n'a pas disparu.
\n<\/a><\/noindex>
\nDans cet article, nous allons explorer ce qu'est un Data Lake. Cet article s'adresse aux personnes qui ont peu ou pas d'exp\u00e9rience avec les entrep\u00f4ts de donn\u00e9es.<\/p>\n

\"Avons-nous
\n
\nSur l'image se trouve le lac de Bled, l'un de mes lacs pr\u00e9f\u00e9r\u00e9s, bien que je n'y sois all\u00e9 qu'une seule fois, mais je m'en souviens toute ma vie. Mais nous allons parler d'un autre type de lac \u2014 du Data Lake. Peut-\u00eatre que beaucoup d'entre vous ont d\u00e9j\u00e0 entendu parler de ce terme, mais une nouvelle d\u00e9finition ne fera de mal \u00e0 personne.<\/p>\n

Tout d'abord, voici les d\u00e9finitions les plus populaires du Data Lake :<\/p>\n

\"un d\u00e9p\u00f4t de fichiers de tous types de donn\u00e9es brutes, accessibles pour analyse par quiconque dans l'organisation\" \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u00abSi vous pensez que le lac de donn\u00e9es est comme une bouteille d'eau \u2014 purifi\u00e9e, emball\u00e9e et conditionn\u00e9e pour un usage pratique, alors le lac de donn\u00e9es est un grand r\u00e9servoir d'eau \u00e0 l'\u00e9tat naturel. Les utilisateurs peuvent puiser de l'eau, plonger en profondeur, explorer\u00bb \u2014 James Dickson. <\/p><\/blockquote>\n

Nous savons maintenant avec certitude que le lac de donn\u00e9es est li\u00e9 \u00e0 l'analyse ; il nous permet de stocker de grands volumes de donn\u00e9es dans leur forme originale et nous offre un acc\u00e8s n\u00e9cessaire et pratique aux donn\u00e9es.<\/p>\n

J'aime souvent simplifier les choses. Si je peux expliquer un terme complexe avec des mots simples, cela signifie que j'ai compris son fonctionnement et son utilit\u00e9. Un jour, alors que je fouillais dans les photos de mon iPhone, cela m'a frapp\u00e9 : c'est un v\u00e9ritable lac de donn\u00e9es, j'ai m\u00eame r\u00e9alis\u00e9 une diapositive pour des conf\u00e9rences :<\/p>\n

\"Avons-nous
\n
\nC'est tr\u00e8s simple. Nous prenons une photo avec le t\u00e9l\u00e9phone, la photo est sauvegard\u00e9e sur le t\u00e9l\u00e9phone et peut \u00eatre sauvegard\u00e9e dans iCloud (un stockage dans le cloud). De plus, le t\u00e9l\u00e9phone collecte des m\u00e9tadonn\u00e9es de la photo : ce qui est repr\u00e9sent\u00e9, la g\u00e9olocalisation, l'heure. En cons\u00e9quence, nous pouvons utiliser l'interface pratique de l'iPhone pour retrouver notre photo, et nous pouvons m\u00eame voir des indicateurs, par exemple, quand je cherche des photos avec le mot feu (fire), je trouve 3 photos de feux de camp. Pour moi, c'est comme un outil de Business Intelligence qui fonctionne tr\u00e8s rapidement et efficacement. <\/p>\n

Et bien s\u00fbr, nous ne devons pas oublier la s\u00e9curit\u00e9 (autorisation et authentification), sinon nos donn\u00e9es pourraient facilement devenir accessibles au public. Il y a beaucoup de nouvelles concernant de grandes entreprises et des startups dont les donn\u00e9es ont \u00e9t\u00e9 rendues publiques en raison de la n\u00e9gligence des d\u00e9veloppeurs et du non-respect de r\u00e8gles simples.<\/p>\n

M\u00eame une image simple nous aide \u00e0 comprendre ce qu'est un lac de donn\u00e9es, ses diff\u00e9rences par rapport \u00e0 un entrep\u00f4t de donn\u00e9es traditionnel et ses principaux \u00e9l\u00e9ments :<\/p>\n

    \n
  1. Chargement des donn\u00e9es <\/b>(Ingestion) \u2014 un composant cl\u00e9 du lac de donn\u00e9es. Les donn\u00e9es peuvent entrer dans l'entrep\u00f4t de deux mani\u00e8res \u2014 par batch (chargement par intervalles) et par streaming (flux de donn\u00e9es).<\/li>\n
  2. Stockage de fichiers<\/b> (Storage) \u2014 le principal composant du lac de donn\u00e9es. Nous avons besoin que le stockage soit facilement \u00e9volutif, extr\u00eamement fiable et \u00e0 faible co\u00fbt. Par exemple, dans AWS, c'est S3.<\/li>\n
  3. Catalogue et Recherche<\/b> (Catalogue et recherche) \u2014 pour \u00e9viter les marais de donn\u00e9es (c'est lorsqu'on regroupe toutes les donn\u00e9es en un seul endroit, rendant leur exploitation impossible), nous devons cr\u00e9er une couche de m\u00e9tadonn\u00e9es pour classer les donn\u00e9es, afin que les utilisateurs puissent facilement trouver les informations n\u00e9cessaires \u00e0 leur analyse. De plus, on peut utiliser des solutions de recherche suppl\u00e9mentaires, comme ElasticSearch. La recherche aide l'utilisateur \u00e0 trouver les donn\u00e9es requises via une interface conviviale.<\/li>\n
  4. Traitement<\/b> (Processus) \u2014 cette \u00e9tape est responsable du traitement et de la transformation des donn\u00e9es. Nous pouvons transformer les donn\u00e9es, modifier leurs structures, les nettoyer et bien plus encore. <\/li>\n
  5. S\u00e9curit\u00e9<\/b> (S\u00e9curit\u00e9) \u2014 il est important de consacrer du temps \u00e0 la conception de la s\u00e9curit\u00e9 de la solution. Par exemple, le chiffrement des donn\u00e9es pendant le stockage, le traitement et le chargement. Il est essentiel d'utiliser des m\u00e9thodes d'authentification et d'autorisation. En conclusion, un outil d'audit est n\u00e9cessaire.<\/li>\n<\/ol>\n

    \nD'un point de vue pratique, nous pouvons caract\u00e9riser un lac de donn\u00e9es par trois attributs :<\/p>\n

      \n
    1. Collectez et stockez tout ce que vous voulez<\/b> \u2014 un lac de donn\u00e9es contient toutes les donn\u00e9es, qu'elles soient brutes et non trait\u00e9es sur n'importe quelle p\u00e9riode, ou des donn\u00e9es trait\u00e9es\/nettoy\u00e9es.<\/li>\n
    2. Analyse approfondie<\/b> \u2014 un lac de donn\u00e9es permet aux utilisateurs d'explorer et d'analyser les donn\u00e9es.<\/li>\n
    3. Acc\u00e8s flexible<\/b> \u2014 un lac de donn\u00e9es offre un acc\u00e8s flexible \u00e0 diverses donn\u00e9es et diff\u00e9rents sc\u00e9narios.<\/li>\n<\/ol>\n

      \nNous pouvons maintenant discuter de la diff\u00e9rence entre un entrep\u00f4t de donn\u00e9es et un lac de donn\u00e9es. Les gens demandent souvent :<\/p>\n