de serveurs<\/a>, ainsi que dans HDFS.<\/p>\nDans chaque transformation bas\u00e9e sur le mod\u00e8le par d\u00e9faut, il est possible de cr\u00e9er son propre script en langage PDL, qui ressemble un peu \u00e0 un shell. <\/p>\n
\u00c0 l'aide du langage PDL, vous pouvez \u00e9tendre la fonctionnalit\u00e9 des transformations et, en particulier, g\u00e9n\u00e9rer dynamiquement (pendant l'ex\u00e9cution) des fragments de code arbitraires en fonction des param\u00e8tres d'ex\u00e9cution.<\/p>\n
De plus, Ab Initio a une bonne int\u00e9gration avec l'OS via le shell. En particulier, dans Sberbank, il utilise linux ksh. Il est possible d'\u00e9changer des variables avec le shell et de les utiliser comme param\u00e8tres de graphiques. Il est possible d'appeler l'ex\u00e9cution des graphiques Ab Initio depuis le shell et de g\u00e9rer Ab Initio.<\/p>\n
En plus d'Ab Initio GDE, plusieurs autres produits sont inclus dans la livraison. Il existe son propre syst\u00e8me Co>Operation avec la pr\u00e9tention d'\u00eatre un syst\u00e8me d'exploitation. Il existe Control>Center, o\u00f9 l'on peut programmer et surveiller les flux de chargement. Il existe des produits pour le d\u00e9veloppement \u00e0 un niveau plus \u00e9l\u00e9mentaire que celui permis par Ab Initio GDE.<\/p>\n
Description du cadre MDW et des travaux pour son ajustement \u00e0 GreenPlum<\/h3>\n \nAvec ses produits, le fournisseur livre le produit MDW (Metadata Driven Warehouse), qui est un configurateur de graphiques destin\u00e9 \u00e0 aider dans des t\u00e2ches typiques de remplissage des entrep\u00f4ts de donn\u00e9es ou des data vaults.<\/p>\n
Il contient des parseurs de m\u00e9tadonn\u00e9es sp\u00e9cifiques au projet et des g\u00e9n\u00e9rateurs de code pr\u00eats \u00e0 l'emploi.<\/p>\n
Dans les cas de Hive et de RDBMS, des graphes diff\u00e9rents sont g\u00e9n\u00e9r\u00e9s pour la mise \u00e0 jour initiale et incr\u00e9mentale des donn\u00e9es.<\/p>\n
Dans le cas de Hive, les donn\u00e9es re\u00e7ues de la delta sont combin\u00e9es par un Ab Initio Join avec les donn\u00e9es qui \u00e9taient dans la table avant la mise \u00e0 jour. Les chargeurs de donn\u00e9es dans MDW (tant dans Hive que dans RDBMS) ins\u00e8rent non seulement de nouvelles donn\u00e9es de la delta, mais \u00e9galement ferment les p\u00e9riodes de validit\u00e9 des donn\u00e9es, selon les cl\u00e9s primaires par lesquelles la delta a \u00e9t\u00e9 re\u00e7ue. De plus, il faut r\u00e9\u00e9crire la partie des donn\u00e9es qui n'a pas chang\u00e9. Mais cela est n\u00e9cessaire, car il n'y a pas d'op\u00e9rations de suppression ou de mise \u00e0 jour dans Hive.<\/p>\n
Ainsi, nous sommes arriv\u00e9s \u00e0 la conclusion que dans le cas de Hive, MDW doit opter pour la r\u00e9\u00e9criture de toute la table, car Hive ne dispose pas de fonction de mise \u00e0 jour. Rien de mieux que la r\u00e9\u00e9criture compl\u00e8te des donn\u00e9es lors de la mise \u00e0 jour n'a \u00e9t\u00e9 imagin\u00e9. En revanche, dans le cas des RDBMS, les cr\u00e9ateurs du produit ont jug\u00e9 n\u00e9cessaire de confier la connexion et la mise \u00e0 jour des tables \u00e0 l'utilisation de SQL.<\/p>\n
Pour le projet chez Sberbank, nous avons cr\u00e9\u00e9 une nouvelle impl\u00e9mentation r\u00e9utilisable du chargeur de base de donn\u00e9es pour GreenPlum. Cela a \u00e9t\u00e9 fait sur la base de la version g\u00e9n\u00e9r\u00e9e par MDW pour Teradata. C'est Teradata, et non Oracle, qui convenait le mieux, car elle est \u00e9galement un syst\u00e8me MPP. Les m\u00e9thodes de fonctionnement ainsi que la syntaxe de Teradata et GreenPlum se sont av\u00e9r\u00e9es proches.<\/p>\n
Les exemples critiques de diff\u00e9rences entre diff\u00e9rents SGBD pour MDW sont les suivants. Dans GreenPlum, contrairement \u00e0 Teradata, lors de la cr\u00e9ation de tables, il faut \u00e9crire la clause<\/p>\n
distributed by<\/code><\/pre>\n\nDans Teradata, on \u00e9crit<\/p>\n
supprimer <table> tout<\/code><\/pre>\n\n, et dans GreenPlum, on \u00e9crit<\/p>\n
supprimer de <table><\/code><\/pre>\n\nDans Oracle, \u00e0 des fins d'optimisation, on \u00e9crit<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, alors que dans Teradata et GreenPlum, on \u00e9crit<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nNous notons \u00e9galement que pour le fonctionnement d'Ab Initio avec GreenPlum, il a fallu installer le client GreenPlum sur tous les n\u0153uds du cluster Ab Initio. Cela est d\u00fb au fait que nous nous sommes connect\u00e9s \u00e0 GreenPlum simultan\u00e9ment depuis tous les n\u0153uds de notre cluster. Pour que la lecture de GreenPlum soit parall\u00e8le et que chaque flux parall\u00e8le d'Ab Initio lise sa portion de donn\u00e9es de GreenPlum, il a fallu inclure dans la section \u00ab where \u00bb des requ\u00eates SQL une construction comprise par Ab Initio<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\net d\u00e9finir la valeur de cette construction en pr\u00e9cisant un param\u00e8tre de la transformation lisant depuis la base de donn\u00e9es<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, qui se compile en quelque chose comme<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, c'est-\u00e0-dire qu'il faut indiquer \u00e0 GreenPlum un filtre explicite pour chaque partition. Pour d'autres bases de donn\u00e9es (Teradata, Oracle), Ab Initio peut effectuer ce parall\u00e9lisme automatiquement.<\/p>\n
Caract\u00e9ristiques comparatives de la performance d'Ab Initio avec Hive et GreenPlum<\/h3>\n \n\u00c0 Sberbank, une exp\u00e9rience a \u00e9t\u00e9 r\u00e9alis\u00e9e pour comparer les performances des graphes g\u00e9n\u00e9r\u00e9s par MDW appliqu\u00e9s \u00e0 Hive et \u00e0 GreenPlum. Dans le cadre de l'exp\u00e9rience, dans le cas de Hive, il y avait 5 n\u0153uds sur le m\u00eame cluster que celui d'Ab Initio, tandis que pour GreenPlum, il y avait 4 n\u0153uds sur un cluster s\u00e9par\u00e9. Cela signifie que Hive avait un certain avantage sur GreenPlum en termes de mat\u00e9riel.<\/p>\n
Deux paires de graphes ex\u00e9cutant la m\u00eame t\u00e2che de mise \u00e0 jour des donn\u00e9es dans Hive et dans GreenPlum ont \u00e9t\u00e9 examin\u00e9es. Les graphes g\u00e9n\u00e9r\u00e9s par le configurateur MDW ont \u00e9t\u00e9 lanc\u00e9s :<\/p>\n
\nchargement initial + chargement incr\u00e9mentiel de donn\u00e9es g\u00e9n\u00e9r\u00e9es al\u00e9atoirement dans la table Hive<\/li>\n chargement initial + chargement incr\u00e9mentiel de donn\u00e9es g\u00e9n\u00e9r\u00e9es al\u00e9atoirement dans une table \u00e9quivalente de GreenPlum<\/li>\n<\/ul>\n\nDans les deux cas (Hive et GreenPlum), nous avons lanc\u00e9 des chargements \u00e0 10 flux parall\u00e8les sur le m\u00eame cluster Ab Initio. Les donn\u00e9es interm\u00e9diaires pour les calculs Ab Initio ont \u00e9t\u00e9 enregistr\u00e9es dans HDFS (en termes d'Ab Initio, un MFS layout utilisant HDFS a \u00e9t\u00e9 utilis\u00e9). Une ligne de donn\u00e9es g\u00e9n\u00e9r\u00e9es al\u00e9atoirement occupait dans les deux cas 200 octets.<\/p>\n
Le r\u00e9sultat est le suivant :<\/p>\n
Hive :<\/b><\/p>\n
Chargement initial dans Hive<\/b><\/p>\n
Lignes ins\u00e9r\u00e9es
Dur\u00e9e du chargement initial
Chargement incr\u00e9mental dans Hive<\/b><\/p>\n
Nombre de lignes pr\u00e9sentes dans
Nombre de lignes delta appliqu\u00e9es \u00e0
Dur\u00e9e du chargement incr\u00e9mental2 541<\/b><\/p>\n
\nGreenPlum :<\/b><\/p>\n
Chargement initial dans GreenPlum<\/b><\/p>\n
Lignes ins\u00e9r\u00e9es
Dur\u00e9e du chargement initial
Chargement incr\u00e9mental dans GreenPlum<\/b><\/p>\n
Nombre de lignes pr\u00e9sentes dans
Nombre de lignes delta appliqu\u00e9es \u00e0
Dur\u00e9e du chargement incr\u00e9mental321<\/b><\/p>\n
\nNous constatons que la vitesse du chargement initial tant dans Hive que dans GreenPlum d\u00e9pend lin\u00e9airement du volume de donn\u00e9es et en raison de mat\u00e9riaux informatiques sup\u00e9rieurs, elle est un peu plus rapide pour Hive que pour GreenPlum.<\/p>\n
Le chargement incr\u00e9mental dans Hive d\u00e9pend \u00e9galement lin\u00e9airement du volume des donn\u00e9es d\u00e9j\u00e0 charg\u00e9es dans la table cible et se fait assez lentement \u00e0 mesure que le volume augmente. Cela est d\u00fb \u00e0 la n\u00e9cessit\u00e9 de r\u00e9\u00e9crire enti\u00e8rement la table cible. Cela signifie qu'appliquer de petites modifications \u00e0 de grandes tables n'est pas une tr\u00e8s bonne option d'utilisation pour Hive.<\/p>\n
En revanche, le chargement incr\u00e9mental dans GreenPlum d\u00e9pend peu du volume des donn\u00e9es d\u00e9j\u00e0 pr\u00e9sentes dans la table cible et se fait assez rapidement. Cela a \u00e9t\u00e9 rendu possible gr\u00e2ce aux jointures SQL et \u00e0 l'architecture de GreenPlum, qui permet l'op\u00e9ration de suppression.<\/p>\n
Ainsi, GreenPlum int\u00e8gre le delta via la m\u00e9thode delete+insert, tandis qu'il n'y a pas d'op\u00e9rations de suppression ou de mise \u00e0 jour dans Hive, donc tout l'ensemble de donn\u00e9es devait \u00eatre r\u00e9\u00e9crit enti\u00e8rement lors de la mise \u00e0 jour incr\u00e9mentale. La comparaison des cellules en gras est particuli\u00e8rement r\u00e9v\u00e9latrice, car elle correspond aux cas d'utilisation les plus courants pour des chargements gourmands en ressources. Nous voyons que GreenPlum a remport\u00e9 ce test face \u00e0 Hive par un facteur de 8.<\/p>\n
Fonctionnement d'Ab Initio avec GreenPlum en mode Near Real Time<\/h3>\n \nDans cette exp\u00e9rience, nous allons tester la capacit\u00e9 d'Ab Initio \u00e0 mettre \u00e0 jour la table GreenPlum avec des lots de donn\u00e9es g\u00e9n\u00e9r\u00e9s al\u00e9atoirement dans un mode proche du temps r\u00e9el. Nous consid\u00e9rerons la table GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, sur laquelle nous allons travailler.<\/p>\n
Nous utiliserons trois graphes Ab Initio pour travailler avec elle :<\/p>\n
1) Graph Create_test_data.mp \u2013 cr\u00e9e 10 flux parall\u00e8les de fichiers de donn\u00e9es dans HDFS contenant 6 000 000 de lignes. Les donn\u00e9es sont al\u00e9atoires, leur structure est organis\u00e9e pour l'insertion dans notre table.<\/p>\n
\ng\u00e9n\u00e9rer 6 000 000 de lignes de test<\/li>\n effectuer un chargement initial en ins\u00e9rant 6 000 000 de lignes de test dans une table vide<\/li>\n r\u00e9p\u00e9ter 5 fois le chargement incr\u00e9mental\n\ng\u00e9n\u00e9rer 6 000 000 de lignes de test<\/li>\n effectuer une insertion incr\u00e9mentale de 6 000 000 de lignes de test dans la table (les anciennes donn\u00e9es se voient attribuer un temps d'expiration valid_to_ts et des donn\u00e9es plus r\u00e9centes avec la m\u00eame cl\u00e9 primaire sont ins\u00e9r\u00e9es).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nCe sc\u00e9nario \u00e9mule le mode de fonctionnement r\u00e9el d'un syst\u00e8me commercial \u2013 un volume suffisant de nouvelles donn\u00e9es appara\u00eet en temps r\u00e9el et est imm\u00e9diatement int\u00e9gr\u00e9 dans GreenPlum.<\/p>\n
Voyons maintenant le journal de l'ex\u00e9cution du sc\u00e9nario :<\/p>\n
D\u00e9marrer Create_test_data.input.pset \u00e0 2020-06-04 11:49:11
Voici le tableau obtenu :<\/p>\n
Graphique
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nNous voyons que 6 000 000 lignes d'incr\u00e9ment sont trait\u00e9es en 3 minutes, ce qui est assez rapide.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Conclusion<\/h2>\n \nActuellement, Ab Initio est utilis\u00e9 \u00e0 Sberbank pour construire une couche s\u00e9mantique unique de donn\u00e9es (ESS). Ce projet implique la cr\u00e9ation d'une version unique de l'\u00e9tat de diverses entit\u00e9s m\u00e9tier bancaires. Les informations proviennent de diverses sources, dont les r\u00e9pliques sont pr\u00e9par\u00e9es sur Hadoop. En fonction des besoins de l'entreprise, un mod\u00e8le de donn\u00e9es est pr\u00e9par\u00e9 et les transformations de donn\u00e9es sont d\u00e9crites. Ab Initio charge les informations dans l'ESS, et les donn\u00e9es charg\u00e9es non seulement repr\u00e9sentent un int\u00e9r\u00eat pour les affaires elles-m\u00eames, mais servent aussi de source pour la construction de vitrines de donn\u00e9es. La fonctionnalit\u00e9 du produit permet d'utiliser divers syst\u00e8mes comme r\u00e9cepteurs (Hive, Greenplum, Teradata, Oracle), ce qui donne la possibilit\u00e9 de pr\u00e9parer les donn\u00e9es pour l'entreprise dans les diff\u00e9rents formats requis sans trop d'efforts.<\/p>\n
Les capacit\u00e9s d'Ab Initio sont vastes, par exemple, le cadre MDW inclus permet de construire l'historique technique et commercial des donn\u00e9es 'pr\u00eats \u00e0 l'emploi'. Pour les d\u00e9veloppeurs, Ab Initio offre la possibilit\u00e9 de 'ne pas r\u00e9inventer la roue', mais d'utiliser de nombreux composants fonctionnels existants, qui sont en fait des biblioth\u00e8ques n\u00e9cessaires lors du travail avec les donn\u00e9es.<\/p>\n
L'auteur est un expert de la communaut\u00e9 professionnelle de Sberbank SberProfi DWH\/BigData. La communaut\u00e9 professionnelle SberProfi DWH\/BigData est responsable du d\u00e9veloppement des comp\u00e9tences dans des domaines tels que l'\u00e9cosyst\u00e8me Hadoop, Teradata, Oracle DB, GreenPlum, ainsi que dans les outils BI tels que Qlik, SAP BO, Tableau, etc.<\/p><\/blockquote>\n
Source : habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t