విశ్లేషణాత్మక ప్లాట్‌ఫారమ్‌లలో తక్కువ-కోడ్ యొక్క అప్లికేషన్

ప్రియమైన పాఠకులారా, మంచి రోజు!

మేధోపరంగా లోడ్ చేయబడిన సర్వీస్ డెలివరీ మోడల్ లేదా సాంకేతికంగా సంక్లిష్టమైన ఉత్పత్తులను రూపొందించడం ఆధారంగా వ్యాపారం చేసే ఏదైనా కంపెనీకి త్వరగా లేదా తర్వాత డేటాను సేకరించడం మరియు విశ్లేషించడం కోసం IT ప్లాట్‌ఫారమ్‌లను రూపొందించే పని జరుగుతుంది. విశ్లేషణాత్మక ప్లాట్‌ఫారమ్‌లను నిర్మించడం సంక్లిష్టమైన మరియు సమయం తీసుకునే పని. అయితే, ఏదైనా పనిని సరళీకృతం చేయవచ్చు. ఈ వ్యాసంలో నేను విశ్లేషణాత్మక పరిష్కారాలను రూపొందించడంలో సహాయపడటానికి తక్కువ-కోడ్ సాధనాలను ఉపయోగించడంలో నా అనుభవాన్ని పంచుకోవాలనుకుంటున్నాను. నియోఫ్లెక్స్ సంస్థ యొక్క బిగ్ డేటా సొల్యూషన్స్ దిశలో అనేక ప్రాజెక్ట్‌ల అమలు సమయంలో ఈ అనుభవం పొందబడింది. 2005 నుండి, నియోఫ్లెక్స్ యొక్క బిగ్ డేటా సొల్యూషన్స్ డైరెక్షన్ డేటా గిడ్డంగులు మరియు సరస్సులను నిర్మించడం, సమాచార ప్రాసెసింగ్ వేగాన్ని ఆప్టిమైజ్ చేయడంలో సమస్యలను పరిష్కరించడం మరియు డేటా నాణ్యత నిర్వహణ కోసం ఒక పద్దతిపై పని చేయడం వంటి సమస్యలతో వ్యవహరిస్తోంది.

బలహీనంగా మరియు/లేదా బలంగా నిర్మాణాత్మకంగా ఉన్న డేటా యొక్క స్పృహతో కూడబెట్టడాన్ని ఎవరూ నివారించలేరు. బహుశా మేము చిన్న వ్యాపారాల గురించి మాట్లాడుతున్నాము కూడా. అన్నింటికంటే, వ్యాపారాన్ని స్కేలింగ్ చేసేటప్పుడు, మంచి వ్యాపారవేత్త లాయల్టీ ప్రోగ్రామ్‌ను అభివృద్ధి చేయడంలో సమస్యలను ఎదుర్కొంటారు, విక్రయ పాయింట్ల ప్రభావాన్ని విశ్లేషించాలని కోరుకుంటారు, లక్ష్య ప్రకటనల గురించి ఆలోచిస్తారు మరియు దానితో పాటు ఉత్పత్తుల కోసం డిమాండ్‌తో అబ్బురపడతారు. . మొదటి ఉజ్జాయింపుకు, సమస్య "మోకాలిపై" పరిష్కరించబడుతుంది. కానీ వ్యాపారం పెరుగుతున్న కొద్దీ, విశ్లేషణాత్మక వేదికపైకి రావడం ఇప్పటికీ అనివార్యం.

అయితే, ఏ సందర్భంలో డేటా అనలిటిక్స్ టాస్క్‌లు "రాకెట్ సైన్స్" క్లాస్ సమస్యలుగా అభివృద్ధి చెందుతాయి? బహుశా మేము నిజంగా పెద్ద డేటా గురించి మాట్లాడుతున్నప్పుడు.
రాకెట్ సైన్స్‌ను సులభతరం చేయడానికి, మీరు ఏనుగు ముక్కను ముక్కగా తినవచ్చు.

మీ అప్లికేషన్‌లు/సేవలు/సూక్ష్మసేవలు మరింత వివిక్తంగా మరియు స్వయంప్రతిపత్తితో ఉంటే, మీకు, మీ సహోద్యోగులకు మరియు మొత్తం వ్యాపారానికి ఏనుగును జీర్ణించుకోవడం అంత సులభం అవుతుంది.

DevOps టీమ్‌ల ఇంజినీరింగ్ అభ్యాసాల ఆధారంగా ల్యాండ్‌స్కేప్‌ను పునర్నిర్మించిన మా క్లయింట్‌లందరూ దాదాపుగా ఈ పోస్ట్‌లేట్‌కి వచ్చారు.

కానీ "ప్రత్యేకమైన, ఏనుగు" ఆహారంతో కూడా, IT ల్యాండ్‌స్కేప్ యొక్క "ఓవర్‌సాచురేషన్"కి మంచి అవకాశం ఉంది. ఈ సమయంలో ఆపడం, ఊపిరి పీల్చుకోవడం మరియు వైపు చూడటం విలువ తక్కువ-కోడ్ ఇంజనీరింగ్ ప్లాట్‌ఫారమ్.

చాలా మంది డెవలపర్‌లు తక్కువ-కోడ్ సిస్టమ్‌ల యొక్క UI ఇంటర్‌ఫేస్‌లలో నేరుగా కోడ్ రాయడం నుండి "డ్రాగింగ్" బాణాల వైపు వెళ్ళేటప్పుడు వారి కెరీర్‌లో డెడ్ ఎండ్ అవుతుందని భయపడుతున్నారు. కానీ యంత్ర పరికరాల ఆగమనం ఇంజనీర్ల అదృశ్యానికి దారితీయలేదు, కానీ వారి పనిని కొత్త స్థాయికి తీసుకువచ్చింది!

ఎందుకో తెలుసుకుందాం.

లాజిస్టిక్స్, టెలికాం ఇండస్ట్రీ, మీడియా రీసెర్చ్, ఫైనాన్షియల్ సెక్టార్‌లో డేటా విశ్లేషణ ఎల్లప్పుడూ క్రింది ప్రశ్నలతో ముడిపడి ఉంటుంది:

• స్వయంచాలక విశ్లేషణ వేగం;
• ప్రధాన డేటా ఉత్పత్తి ప్రవాహాన్ని ప్రభావితం చేయకుండా ప్రయోగాలు చేసే సామర్థ్యం;
• సిద్ధం చేసిన డేటా యొక్క విశ్వసనీయత;
• ట్రాకింగ్ మరియు సంస్కరణను మార్చండి;
• డేటా రుజువు, డేటా వంశం, CDC;
• ఉత్పత్తి వాతావరణానికి కొత్త ఫీచర్లను వేగంగా డెలివరీ చేయడం;
• మరియు అపఖ్యాతి పాలైనది: అభివృద్ధి మరియు మద్దతు ఖర్చు.

అంటే, ఇంజనీర్లు భారీ సంఖ్యలో ఉన్నత-స్థాయి పనులను కలిగి ఉన్నారు, తక్కువ-స్థాయి అభివృద్ధి పనులపై వారి స్పృహను క్లియర్ చేయడం ద్వారా మాత్రమే తగినంత సామర్థ్యంతో పూర్తి చేయవచ్చు.

డెవలపర్‌లు కొత్త స్థాయికి వెళ్లడానికి ముందస్తు అవసరాలు వ్యాపారం యొక్క పరిణామం మరియు డిజిటలైజేషన్. డెవలపర్ యొక్క విలువ కూడా మారుతోంది: వ్యాపారం ఆటోమేటెడ్ అనే భావనలలో మునిగిపోయే డెవలపర్‌ల గణనీయమైన కొరత ఉంది.

తక్కువ-స్థాయి మరియు ఉన్నత-స్థాయి ప్రోగ్రామింగ్ భాషలతో సారూప్యతను గీయండి. తక్కువ-స్థాయి భాషల నుండి ఉన్నత స్థాయికి మారడం అనేది "హార్డ్‌వేర్ భాషలో ప్రత్యక్ష ఆదేశాలు" నుండి "ప్రజల భాషలో ఆదేశాలు" వైపుకు మారడం. అంటే, సంగ్రహణ యొక్క కొంత పొరను జోడించడం. ఈ సందర్భంలో, ఉన్నత-స్థాయి ప్రోగ్రామింగ్ భాషల నుండి తక్కువ-కోడ్ ప్లాట్‌ఫారమ్‌లకు పరివర్తన అనేది "వ్యక్తుల భాషలో ఆదేశాలు" నుండి "వ్యాపార భాషలో ఆదేశాలు" వైపుకు మారడం. ఈ వాస్తవాన్ని చూసి బాధపడే డెవలపర్‌లు ఉన్నట్లయితే, శ్రేణి సార్టింగ్ ఫంక్షన్‌లను ఉపయోగించే జావా స్క్రిప్ట్ పుట్టిన క్షణం నుండి వారు బాధపడి ఉండవచ్చు. మరియు ఈ విధులు, అదే ఉన్నత-స్థాయి ప్రోగ్రామింగ్ యొక్క ఇతర మార్గాల ద్వారా హుడ్ కింద సాఫ్ట్‌వేర్ అమలును కలిగి ఉంటాయి.

అందువల్ల, తక్కువ-కోడ్ అనేది మరొక స్థాయి సంగ్రహణ యొక్క రూపమే.

తక్కువ కోడ్‌ని ఉపయోగించి అనువర్తిత అనుభవం

తక్కువ-కోడ్ యొక్క అంశం చాలా విస్తృతమైనది, కానీ ఇప్పుడు నేను మా ప్రాజెక్ట్‌లలో ఒకదాని ఉదాహరణను ఉపయోగించి "తక్కువ-కోడ్ భావనల" యొక్క ఆచరణాత్మక అనువర్తనం గురించి మాట్లాడాలనుకుంటున్నాను.

నియోఫ్లెక్స్ యొక్క బిగ్ డేటా సొల్యూషన్స్ విభాగం వ్యాపారం యొక్క ఆర్థిక రంగంలో మరింత ప్రత్యేకతను కలిగి ఉంది, డేటా గిడ్డంగులు మరియు సరస్సులను నిర్మించడం మరియు వివిధ రిపోర్టింగ్‌లను ఆటోమేట్ చేయడం. ఈ సముచితంలో, తక్కువ-కోడ్ వాడకం చాలా కాలంగా ప్రమాణంగా మారింది. ఇతర తక్కువ-కోడ్ సాధనాల్లో, మేము ETL ప్రక్రియలను నిర్వహించడానికి సాధనాలను పేర్కొనవచ్చు: ఇన్ఫర్మాటికా పవర్ సెంటర్, IBM డేటాస్టేజ్, పెంటాహో డేటా ఇంటిగ్రేషన్. లేదా ఒరాకిల్ అపెక్స్, ఇది డేటాను యాక్సెస్ చేయడానికి మరియు సవరించడానికి ఇంటర్‌ఫేస్‌ల వేగవంతమైన అభివృద్ధికి పర్యావరణంగా పనిచేస్తుంది. ఏది ఏమైనప్పటికీ, తక్కువ-కోడ్ డెవలప్‌మెంట్ సాధనాల ఉపయోగం ఎల్లప్పుడూ విక్రేతపై స్పష్టమైన ఆధారపడటంతో వాణిజ్య సాంకేతికత స్టాక్‌పై అధిక లక్ష్యంతో కూడిన అప్లికేషన్‌లను రూపొందించడాన్ని కలిగి ఉండదు.

తక్కువ-కోడ్ ప్లాట్‌ఫారమ్‌లను ఉపయోగించి, మీరు డేటా స్ట్రీమ్‌ల ఆర్కెస్ట్రేషన్‌ను నిర్వహించవచ్చు, డేటా సైన్స్ ప్లాట్‌ఫారమ్‌లను సృష్టించవచ్చు లేదా ఉదాహరణకు, డేటా నాణ్యతను తనిఖీ చేయడానికి మాడ్యూల్‌లను కూడా నిర్వహించవచ్చు.

తక్కువ-కోడ్ డెవలప్‌మెంట్ సాధనాలను ఉపయోగించడంలో అనుభవానికి అనువర్తిత ఉదాహరణలలో ఒకటి, రష్యన్ మీడియా రీసెర్చ్ మార్కెట్‌లోని నాయకులలో ఒకరైన నియోఫ్లెక్స్ మరియు మీడియాస్కోప్ మధ్య సహకారం. ప్రకటనకర్తలు, ఇంటర్నెట్ ప్లాట్‌ఫారమ్‌లు, టీవీ ఛానెల్‌లు, రేడియో స్టేషన్‌లు, అడ్వర్టైజింగ్ ఏజెన్సీలు మరియు బ్రాండ్‌లు ప్రకటనలను కొనుగోలు చేయడం మరియు వారి మార్కెటింగ్ కమ్యూనికేషన్‌లను ప్లాన్ చేయడం వంటి వాటి ఆధారంగా డేటాను తయారు చేయడం ఈ సంస్థ యొక్క వ్యాపార లక్ష్యాలలో ఒకటి.

మీడియా పరిశోధన అనేది సాంకేతికంగా లోడ్ చేయబడిన వ్యాపార ప్రాంతం. వీడియో సీక్వెన్స్‌లను గుర్తించడం, వీక్షణను విశ్లేషించే పరికరాల నుండి డేటాను సేకరించడం, వెబ్ వనరులపై కార్యాచరణను కొలవడం - ఇవన్నీ కంపెనీకి పెద్ద ఐటి సిబ్బంది మరియు విశ్లేషణాత్మక పరిష్కారాలను రూపొందించడంలో అపారమైన అనుభవం ఉందని సూచిస్తుంది. కానీ సమాచారం మొత్తంలో ఘాతాంక పెరుగుదల, దాని మూలాధారాల సంఖ్య మరియు వైవిధ్యం IT డేటా పరిశ్రమను నిరంతరం పురోగమించేలా చేస్తుంది. ఇప్పటికే పనిచేస్తున్న మీడియాస్కోప్ విశ్లేషణాత్మక ప్లాట్‌ఫారమ్‌ను స్కేలింగ్ చేయడానికి సులభమైన పరిష్కారం IT సిబ్బందిని పెంచడం. కానీ మరింత సమర్థవంతమైన పరిష్కారం అభివృద్ధి ప్రక్రియను వేగవంతం చేయడం. ఈ దిశలో దారితీసే దశల్లో ఒకటి తక్కువ-కోడ్ ప్లాట్‌ఫారమ్‌లను ఉపయోగించడం.

ప్రాజెక్ట్ ప్రారంభించిన సమయంలో, కంపెనీ ఇప్పటికే పని చేసే ఉత్పత్తి పరిష్కారాన్ని కలిగి ఉంది. అయినప్పటికీ, MSSQLలో పరిష్కారం యొక్క అమలు ఆమోదయోగ్యమైన అభివృద్ధి వ్యయాన్ని కొనసాగిస్తూ స్కేలింగ్ కార్యాచరణ కోసం అంచనాలను పూర్తిగా అందుకోలేకపోయింది.

మా ముందు ఉన్న పని నిజంగా ప్రతిష్టాత్మకమైనది - నియోఫ్లెక్స్ మరియు మీడియాస్కోప్ ప్రారంభ తేదీ మొదటి త్రైమాసికంలో MVP విడుదలకు లోబడి ఒక సంవత్సరం లోపు పారిశ్రామిక పరిష్కారాన్ని రూపొందించాలి.

తక్కువ-కోడ్ కంప్యూటింగ్ ఆధారంగా కొత్త డేటా ప్లాట్‌ఫారమ్‌ను నిర్మించడానికి హడూప్ టెక్నాలజీ స్టాక్ పునాదిగా ఎంపిక చేయబడింది. parquet ఫైల్‌లను ఉపయోగించి డేటా నిల్వ కోసం HDFS ప్రమాణంగా మారింది. ప్లాట్‌ఫారమ్‌లో ఉన్న డేటాను యాక్సెస్ చేయడానికి, హైవ్ ఉపయోగించబడింది, దీనిలో అందుబాటులో ఉన్న అన్ని స్టోర్ ఫ్రంట్‌లు బాహ్య పట్టికల రూపంలో ప్రదర్శించబడతాయి. కాఫ్కా మరియు అపాచీ నిఫైని ఉపయోగించి స్టోరేజ్‌లోకి డేటాను లోడ్ చేయడం అమలు చేయబడింది.

ఈ కాన్సెప్ట్‌లోని లోవ్-కోడ్ సాధనం విశ్లేషణాత్మక ప్లాట్‌ఫారమ్‌ను నిర్మించడంలో అత్యంత శ్రమతో కూడుకున్న పనిని ఆప్టిమైజ్ చేయడానికి ఉపయోగించబడింది - డేటా గణన యొక్క పని.

డేటా మ్యాపింగ్ కోసం తక్కువ-కోడ్ డేటాగ్రామ్ సాధనం ప్రధాన విధానంగా ఎంపిక చేయబడింది. నియోఫ్లెక్స్ డేటాగ్రామ్ పరివర్తనలు మరియు డేటా ప్రవాహాలను అభివృద్ధి చేయడానికి ఒక సాధనం.
ఈ సాధనాన్ని ఉపయోగించి, మీరు స్కాలా కోడ్‌ను మాన్యువల్‌గా వ్రాయకుండా చేయవచ్చు. మోడల్ డ్రైవెన్ ఆర్కిటెక్చర్ విధానాన్ని ఉపయోగించి స్కాలా కోడ్ స్వయంచాలకంగా రూపొందించబడుతుంది.

ఈ విధానం యొక్క స్పష్టమైన ప్రయోజనం అభివృద్ధి ప్రక్రియను వేగవంతం చేయడం. అయితే, వేగంతో పాటు, క్రింది ప్రయోజనాలు కూడా ఉన్నాయి:

• మూలాలు/గ్రహీతల కంటెంట్ మరియు నిర్మాణాన్ని వీక్షించడం;
• వ్యక్తిగత ఫీల్డ్‌లకు (వంశపారంపర్య) డేటా ఫ్లో వస్తువుల మూలాన్ని గుర్తించడం;
• ఇంటర్మీడియట్ ఫలితాల వీక్షణతో పరివర్తనల పాక్షిక అమలు;
• సోర్స్ కోడ్‌ను సమీక్షించడం మరియు అమలు చేయడానికి ముందు దాన్ని సర్దుబాటు చేయడం;
• పరివర్తనల స్వయంచాలక ధ్రువీకరణ;
• ఆటోమేటిక్ డేటా డౌన్‌లోడ్ 1లో 1.

రూపాంతరాలను రూపొందించడానికి తక్కువ-కోడ్ పరిష్కారాలలోకి ప్రవేశించడానికి అవరోధం చాలా తక్కువగా ఉంది: డెవలపర్ SQL గురించి తెలుసుకోవాలి మరియు ETL సాధనాలతో పనిచేసిన అనుభవం కలిగి ఉండాలి. పదం యొక్క విస్తృత అర్థంలో కోడ్-ఆధారిత పరివర్తన జనరేటర్లు ETL సాధనాలు కాదని పేర్కొనడం విలువ. తక్కువ-కోడ్ సాధనాలు వాటి స్వంత కోడ్ అమలు వాతావరణాన్ని కలిగి ఉండకపోవచ్చు. అంటే, తక్కువ-కోడ్ సొల్యూషన్‌ను ఇన్‌స్టాల్ చేయడానికి ముందు కూడా క్లస్టర్‌లో ఉన్న వాతావరణంలో ఉత్పత్తి చేయబడిన కోడ్ అమలు చేయబడుతుంది. మరియు ఇది తక్కువ-కోడ్ కర్మకు బహుశా మరొక ప్లస్. తక్కువ-కోడ్ బృందంతో సమాంతరంగా, "క్లాసిక్" బృందం కార్యాచరణను అమలు చేసే పని చేయగలదు, ఉదాహరణకు, స్వచ్ఛమైన స్కాలా కోడ్‌లో. ఉత్పత్తిలో రెండు బృందాల నుండి మెరుగుదలలను తీసుకురావడం సులభం మరియు అతుకులుగా ఉంటుంది.

తక్కువ-కోడ్‌తో పాటు, నో-కోడ్ పరిష్కారాలు కూడా ఉన్నాయని గమనించడం విలువైనదే. మరియు వారి కోర్ వద్ద, ఇవి విభిన్న విషయాలు. తక్కువ-కోడ్ డెవలపర్‌ని రూపొందించిన కోడ్‌తో మరింత జోక్యం చేసుకోవడానికి అనుమతిస్తుంది. డేటాగ్రామ్ విషయంలో, రూపొందించబడిన స్కాలా కోడ్‌ను వీక్షించడం మరియు సవరించడం సాధ్యమవుతుంది; నో-కోడ్ అటువంటి అవకాశాన్ని అందించకపోవచ్చు. ఈ వ్యత్యాసం పరిష్కారం యొక్క వశ్యత పరంగా మాత్రమే కాకుండా, డేటా ఇంజనీర్ల పనిలో సౌకర్యం మరియు ప్రేరణ పరంగా కూడా చాలా ముఖ్యమైనది.

సొల్యూషన్ ఆర్కిటెక్చర్

డేటా గణన కార్యాచరణను అభివృద్ధి చేసే వేగాన్ని ఆప్టిమైజ్ చేసే సమస్యను పరిష్కరించడానికి తక్కువ-కోడ్ సాధనం ఎలా సహాయపడుతుందో ఖచ్చితంగా గుర్తించడానికి ప్రయత్నిద్దాం. మొదట, సిస్టమ్ యొక్క ఫంక్షనల్ ఆర్కిటెక్చర్ చూద్దాం. ఈ సందర్భంలో ఒక ఉదాహరణ మీడియా పరిశోధన కోసం డేటా ఉత్పత్తి నమూనా.

మా విషయంలో డేటా మూలాలు చాలా భిన్నమైనవి మరియు విభిన్నమైనవి:

• పీపుల్ మీటర్లు (టీవీ మీటర్లు) అనేది టెలివిజన్ ప్యానెల్ ప్రతివాదుల నుండి వినియోగదారు ప్రవర్తనను చదివే సాఫ్ట్‌వేర్ మరియు హార్డ్‌వేర్ పరికరాలు - అధ్యయనంలో పాల్గొనే ఇంట్లో ఎవరు, ఎప్పుడు మరియు ఏ టీవీ ఛానెల్ వీక్షించారు. సరఫరా చేయబడిన సమాచారం మీడియా ప్యాకేజీ మరియు మీడియా ఉత్పత్తికి లింక్ చేయబడిన ప్రసార వీక్షణ విరామాల స్ట్రీమ్. డేటా లేక్‌లోకి లోడ్ అయ్యే దశలో ఉన్న డేటాను డెమోగ్రాఫిక్ లక్షణాలు, జియోస్ట్రాటిఫికేషన్, టైమ్ జోన్ మరియు నిర్దిష్ట మీడియా ఉత్పత్తి యొక్క టెలివిజన్ వీక్షణను విశ్లేషించడానికి అవసరమైన ఇతర సమాచారంతో సుసంపన్నం చేయవచ్చు. తీసుకున్న కొలతలు ప్రకటనల ప్రచారాలను విశ్లేషించడానికి లేదా ప్లాన్ చేయడానికి, ప్రేక్షకుల కార్యాచరణ మరియు ప్రాధాన్యతలను అంచనా వేయడానికి మరియు ప్రసార నెట్‌వర్క్‌ను కంపైల్ చేయడానికి ఉపయోగించవచ్చు;
• టెలివిజన్ ప్రసారాలను ప్రసారం చేయడానికి మరియు ఇంటర్నెట్‌లో వీడియో రిసోర్స్ కంటెంట్ వీక్షణను కొలవడానికి పర్యవేక్షణ వ్యవస్థల నుండి డేటా రావచ్చు;
• సైట్-కేంద్రీకృత మరియు వినియోగదారు-కేంద్రీకృత మీటర్లతో సహా వెబ్ వాతావరణంలో కొలిచే సాధనాలు. డేటా లేక్ కోసం డేటా ప్రొవైడర్ పరిశోధన బార్ బ్రౌజర్ యాడ్-ఆన్ మరియు అంతర్నిర్మిత VPNతో మొబైల్ అప్లికేషన్ కావచ్చు.
• ఆన్‌లైన్ ప్రశ్నాపత్రాలను పూరించే ఫలితాలు మరియు కంపెనీ సర్వేలలో టెలిఫోన్ ఇంటర్వ్యూల ఫలితాలను ఏకీకృతం చేసే సైట్‌ల నుండి కూడా డేటా రావచ్చు;
• భాగస్వామి కంపెనీల లాగ్‌ల నుండి సమాచారాన్ని డౌన్‌లోడ్ చేయడం ద్వారా డేటా సరస్సు యొక్క అదనపు సుసంపన్నత సంభవించవచ్చు.

మూలాధార వ్యవస్థల నుండి ముడి డేటా యొక్క ప్రాథమిక దశలోకి లోడ్ అవుతున్నట్లుగా అమలు చేయడం వివిధ మార్గాల్లో నిర్వహించబడుతుంది. ఈ ప్రయోజనాల కోసం తక్కువ-కోడ్ ఉపయోగించినట్లయితే, మెటాడేటా ఆధారంగా స్క్రిప్ట్‌లను లోడ్ చేయడం స్వయంచాలకంగా సాధ్యమవుతుంది. ఈ సందర్భంలో, మ్యాపింగ్‌లను లక్ష్యంగా చేసుకోవడానికి మూలాన్ని అభివృద్ధి చేసే స్థాయికి వెళ్లవలసిన అవసరం లేదు. ఆటోమేటిక్ లోడింగ్‌ని అమలు చేయడానికి, మేము మూలానికి కనెక్షన్‌ని ఏర్పాటు చేయాలి, ఆపై లోడ్ చేయవలసిన ఎంటిటీల జాబితాను లోడింగ్ ఇంటర్‌ఫేస్‌లో నిర్వచించాలి. HDFSలోని డైరెక్టరీ నిర్మాణం స్వయంచాలకంగా సృష్టించబడుతుంది మరియు సోర్స్ సిస్టమ్‌లోని డేటా నిల్వ నిర్మాణానికి అనుగుణంగా ఉంటుంది.

అయితే, ఈ ప్రాజెక్ట్ సందర్భంలో, మీడియాస్కోప్ సంస్థ ఇప్పటికే స్వతంత్రంగా Nifi + కాఫ్కా కలయికను ఉపయోగించి ఇలాంటి సేవను ఉత్పత్తి చేసే పనిని ప్రారంభించినందున తక్కువ-కోడ్ ప్లాట్‌ఫారమ్ యొక్క ఈ లక్షణాన్ని ఉపయోగించకూడదని మేము నిర్ణయించుకున్నాము.

ఈ సాధనాలు పరస్పరం మార్చుకోలేవు, కానీ పరిపూరకరమైనవి అని వెంటనే సూచించడం విలువ. Nifi మరియు Kafka ప్రత్యక్ష (Nifi -> Kafka) మరియు రివర్స్ (Kafka -> Nifi) కనెక్షన్‌లో పని చేయగలవు. మీడియా పరిశోధన వేదిక కోసం, బండిల్ యొక్క మొదటి వెర్షన్ ఉపయోగించబడింది.

మా విషయంలో, NayFiకి సోర్స్ సిస్టమ్‌ల నుండి వివిధ రకాల డేటాను ప్రాసెస్ చేయడం మరియు వాటిని కాఫ్కా బ్రోకర్‌కు పంపడం అవసరం. ఈ సందర్భంలో, PublishKafka Nifi ప్రాసెసర్‌లను ఉపయోగించి నిర్దిష్ట కాఫ్కా అంశానికి సందేశాలు పంపబడ్డాయి. ఈ పైప్‌లైన్‌ల ఆర్కెస్ట్రేషన్ మరియు నిర్వహణ దృశ్య ఇంటర్‌ఫేస్‌లో నిర్వహించబడుతుంది. Nifi సాధనం మరియు Nifi + కాఫ్కా కలయికను అభివృద్ధి చేయడానికి తక్కువ-కోడ్ విధానం అని కూడా పిలుస్తారు, ఇది బిగ్ డేటా టెక్నాలజీలలోకి ప్రవేశించడానికి తక్కువ అవరోధాన్ని కలిగి ఉంటుంది మరియు అప్లికేషన్ అభివృద్ధి ప్రక్రియను వేగవంతం చేస్తుంది.

ప్రాజెక్ట్ అమలులో తదుపరి దశ వివరణాత్మక డేటాను ఒకే సెమాంటిక్ లేయర్ ఆకృతికి తీసుకురావడం. ఒక ఎంటిటీ చారిత్రక లక్షణాలను కలిగి ఉంటే, ప్రశ్నలోని విభజన సందర్భంలో గణన నిర్వహించబడుతుంది. ఎంటిటీ చారిత్రాత్మకమైనది కానట్లయితే, ఐచ్ఛికంగా ఆబ్జెక్ట్ యొక్క మొత్తం కంటెంట్‌లను తిరిగి లెక్కించడం లేదా ఈ వస్తువును తిరిగి లెక్కించడానికి పూర్తిగా నిరాకరించడం (మార్పుల కొరత కారణంగా) సాధ్యమవుతుంది. ఈ దశలో, అన్ని ఎంటిటీల కోసం కీలు రూపొందించబడతాయి. కీలు మాస్టర్ ఆబ్జెక్ట్‌లకు సంబంధించిన Hbase డైరెక్టరీలలో నిల్వ చేయబడతాయి, ఇవి విశ్లేషణాత్మక ప్లాట్‌ఫారమ్‌లోని కీలు మరియు మూల వ్యవస్థల నుండి కీల మధ్య అనురూప్యతను కలిగి ఉంటాయి. అణు ఎంటిటీల ఏకీకరణ అనేది విశ్లేషణాత్మక డేటా యొక్క ప్రాథమిక గణన ఫలితాలతో సుసంపన్నతతో కూడి ఉంటుంది. డేటా గణన కోసం ఫ్రేమ్‌వర్క్ స్పార్క్. తక్కువ కోడ్ డేటాగ్రామ్ సాధనం నుండి మ్యాపింగ్‌ల ఆధారంగా ఒకే సెమాంటిక్స్‌కు డేటాను తీసుకురావడానికి వివరించిన కార్యాచరణ కూడా అమలు చేయబడింది.

లక్ష్య నిర్మాణానికి వ్యాపార వినియోగదారుల కోసం డేటాకు SQL యాక్సెస్ అవసరం. ఈ ఎంపిక కోసం హైవ్ ఉపయోగించబడింది. మీరు తక్కువ-కోడ్ సాధనంలో “రిజిస్ట్రీ హైవ్ టేబుల్” ఎంపికను ప్రారంభించినప్పుడు వస్తువులు స్వయంచాలకంగా హైవ్‌లో నమోదు చేయబడతాయి.

గణన ప్రవాహ నియంత్రణ

వర్క్‌ఫ్లో ఫ్లో డిజైన్‌లను రూపొందించడానికి డేటాగ్రామ్‌కు ఇంటర్‌ఫేస్ ఉంది. Oozie షెడ్యూలర్‌ని ఉపయోగించి మ్యాపింగ్‌లను ప్రారంభించవచ్చు. స్ట్రీమ్ డెవలపర్ ఇంటర్‌ఫేస్‌లో, సమాంతర, సీక్వెన్షియల్ లేదా ఎగ్జిక్యూషన్-ఆధారిత డేటా ట్రాన్స్‌ఫార్మేషన్‌ల కోసం స్కీమ్‌లను సృష్టించడం సాధ్యమవుతుంది. షెల్ స్క్రిప్ట్‌లు మరియు జావా ప్రోగ్రామ్‌లకు మద్దతు ఉంది. Apache Livy సర్వర్‌ని ఉపయోగించడం కూడా సాధ్యమే. అపాచీ లివీ డెవలప్‌మెంట్ ఎన్విరాన్‌మెంట్ నుండి నేరుగా అప్లికేషన్‌లను అమలు చేయడానికి ఉపయోగించబడుతుంది.

కంపెనీ ఇప్పటికే దాని స్వంత ప్రాసెస్ ఆర్కెస్ట్రేటర్‌ని కలిగి ఉన్నట్లయితే, ఇప్పటికే ఉన్న ఫ్లోలో మ్యాపింగ్‌లను పొందుపరచడానికి REST APIని ఉపయోగించడం సాధ్యమవుతుంది. ఉదాహరణకు, PLSQL మరియు Kotlinలో వ్రాసిన ఆర్కెస్ట్రేటర్‌లలో స్కాలాలోని మ్యాపింగ్‌లను పొందుపరచడంలో మాకు చాలా విజయవంతమైన అనుభవం ఉంది. తక్కువ-కోడ్ సాధనం యొక్క REST API మ్యాపింగ్ డిజైన్ ఆధారంగా ఎక్జిక్యూటబుల్ ఇయర్‌ని రూపొందించడం, మ్యాపింగ్‌కు కాల్ చేయడం, మ్యాపింగ్‌ల క్రమాన్ని కాల్ చేయడం మరియు మ్యాపింగ్‌లను అమలు చేయడానికి URLకి పారామితులను పంపడం వంటి కార్యకలాపాలను కలిగి ఉంటుంది.

ఊజీతో పాటు, ఎయిర్‌ఫ్లో ఉపయోగించి గణన ప్రవాహాన్ని నిర్వహించడం సాధ్యమవుతుంది. బహుశా నేను ఓజీ మరియు ఎయిర్‌ఫ్లో మధ్య పోలికపై ఎక్కువ కాలం ఉండను, కానీ మీడియా రీసెర్చ్ ప్రాజెక్ట్‌లో పని చేసే సందర్భంలో, ఎంపిక ఎయిర్‌ఫ్లోకు అనుకూలంగా ఉందని చెబుతాను. ఈసారి ప్రధాన వాదనలు ఉత్పత్తిని అభివృద్ధి చేస్తున్న మరింత చురుకైన సంఘం మరియు మరింత అభివృద్ధి చెందిన ఇంటర్‌ఫేస్ + API.

గాలి ప్రవాహం కూడా మంచిది ఎందుకంటే ఇది గణన ప్రక్రియలను వివరించడానికి ప్రియమైన పైథాన్‌ను ఉపయోగిస్తుంది. మరియు సాధారణంగా, చాలా ఓపెన్ సోర్స్ వర్క్‌ఫ్లో మేనేజ్‌మెంట్ ప్లాట్‌ఫారమ్‌లు లేవు. ప్రక్రియల అమలును ప్రారంభించడం మరియు పర్యవేక్షించడం (గాంట్ చార్ట్‌తో సహా) ఎయిర్‌ఫ్లో యొక్క కర్మకు పాయింట్లను మాత్రమే జోడిస్తుంది.

తక్కువ-కోడ్ సొల్యూషన్ మ్యాపింగ్‌లను ప్రారంభించడం కోసం కాన్ఫిగరేషన్ ఫైల్ ఫార్మాట్ స్పార్క్-సబ్మిట్‌గా మారింది. ఇది రెండు కారణాల వల్ల జరిగింది. ముందుగా, స్పార్క్-సమర్పణ కన్సోల్ నుండి నేరుగా jar ఫైల్‌ను అమలు చేయడానికి మిమ్మల్ని అనుమతిస్తుంది. రెండవది, ఇది వర్క్‌ఫ్లోను కాన్ఫిగర్ చేయడానికి అవసరమైన మొత్తం సమాచారాన్ని కలిగి ఉంటుంది (ఇది డాగ్‌ను రూపొందించే స్క్రిప్ట్‌లను వ్రాయడాన్ని సులభతరం చేస్తుంది).
మా విషయంలో ఎయిర్‌ఫ్లో వర్క్‌ఫ్లో అత్యంత సాధారణ అంశం SparkSubmitOperator.

SparkSubmitOperator జాడిలను అమలు చేయడానికి మిమ్మల్ని అనుమతిస్తుంది - వాటి కోసం ముందుగా రూపొందించిన ఇన్‌పుట్ పారామితులతో ప్యాక్ చేయబడిన డేటాగ్రామ్ మ్యాపింగ్‌లు.

ప్రతి ఎయిర్‌ఫ్లో టాస్క్ ప్రత్యేక థ్రెడ్‌లో నడుస్తుందని మరియు ఇతర పనుల గురించి ఏమీ తెలియదని పేర్కొనడం విలువ. అందువల్ల, DummyOperator లేదా BranchPythonOperator వంటి నియంత్రణ ఆపరేటర్‌లను ఉపయోగించి టాస్క్‌ల మధ్య పరస్పర చర్య నిర్వహించబడుతుంది.

కలిసి చూస్తే, కాన్ఫిగరేషన్ ఫైల్‌ల సార్వత్రికీకరణతో (డాగ్‌ని ఏర్పరుస్తుంది) డేటాగ్రామ్ తక్కువ-కోడ్ సొల్యూషన్‌ను ఉపయోగించడం వలన డేటా లోడింగ్ ఫ్లోలను అభివృద్ధి చేసే ప్రక్రియ గణనీయమైన త్వరణం మరియు సరళీకరణకు దారితీసింది.

షోకేస్ లెక్కలు

బహుశా విశ్లేషణాత్మక డేటా ఉత్పత్తిలో అత్యంత మేధోపరంగా లోడ్ చేయబడిన దశ షోకేస్‌లను నిర్మించే దశ. పరిశోధనా సంస్థ యొక్క డేటా లెక్కింపు ప్రవాహాలలో ఒకదాని సందర్భంలో, ఈ దశలో, డేటా రిఫరెన్స్ ప్రసారానికి తగ్గించబడుతుంది, సమయ మండలాల కోసం ఖాతా దిద్దుబాట్లను పరిగణనలోకి తీసుకుంటుంది మరియు ప్రసార గ్రిడ్‌కు లింక్ చేయబడుతుంది. స్థానిక ప్రసార నెట్‌వర్క్ (స్థానిక వార్తలు మరియు ప్రకటనలు) కోసం సర్దుబాటు చేయడం కూడా సాధ్యమే. ఇతర విషయాలతోపాటు, వీక్షణ విరామాల విశ్లేషణ ఆధారంగా మీడియా ఉత్పత్తుల యొక్క నిరంతర వీక్షణ యొక్క విరామాలను ఈ దశ విచ్ఛిన్నం చేస్తుంది. తక్షణమే, వీక్షణ విలువలు వాటి ప్రాముఖ్యత (దిద్దుబాటు కారకం యొక్క గణన) గురించి సమాచారం ఆధారంగా "బరువు" చేయబడతాయి.

షోకేస్‌లను సిద్ధం చేయడంలో ఒక ప్రత్యేక దశ డేటా ధ్రువీకరణ. ధ్రువీకరణ అల్గోరిథం అనేక గణిత శాస్త్ర నమూనాల వినియోగాన్ని కలిగి ఉంటుంది. అయినప్పటికీ, తక్కువ-కోడ్ ప్లాట్‌ఫారమ్‌ను ఉపయోగించడం వలన సంక్లిష్టమైన అల్గారిథమ్‌ను అనేక ప్రత్యేక దృశ్యమానంగా చదవగలిగే మ్యాపింగ్‌లుగా విభజించవచ్చు. మ్యాపింగ్‌లలో ప్రతి ఒక్కటి ఇరుకైన పనిని నిర్వహిస్తుంది. ఫలితంగా, డేటా తయారీ దశల యొక్క ఇంటర్మీడియట్ డీబగ్గింగ్, లాగింగ్ మరియు విజువలైజేషన్ సాధ్యమవుతుంది.

ధృవీకరణ అల్గారిథమ్‌ను క్రింది ఉప దశల్లోకి విడదీయాలని నిర్ణయించబడింది:

• 60 రోజుల పాటు ప్రాంతంలోని అన్ని నెట్‌వర్క్‌లను వీక్షించే ప్రాంతంలో టీవీ నెట్‌వర్క్ వీక్షణ డిపెండెన్సీల రిగ్రెషన్‌లను రూపొందించడం.
• అన్ని రిగ్రెషన్ పాయింట్లు మరియు లెక్కించిన రోజు కోసం విద్యార్థి అవశేషాల గణన (రిగ్రెషన్ మోడల్ ద్వారా అంచనా వేయబడిన వాటి నుండి వాస్తవ విలువల విచలనాలు).
• క్రమరహిత ప్రాంత-నెట్‌వర్క్ జతల ఎంపిక, ఇక్కడ సెటిల్‌మెంట్ రోజు యొక్క విద్యార్థి బ్యాలెన్స్ ప్రమాణాన్ని మించిపోయింది (ఆపరేషన్ సెట్టింగ్‌ల ద్వారా పేర్కొనబడింది).
• రీజియన్‌లోని నెట్‌వర్క్‌ను చూసిన ప్రతి ప్రతివాది కోసం క్రమరహిత ప్రాంతం-TV నెట్‌వర్క్ జతల కోసం సరిదిద్దబడిన విద్యార్థి అవశేషాలను తిరిగి లెక్కించడం, నమూనా నుండి ఈ ప్రతివాదిని వీక్షణను మినహాయించినప్పుడు ఈ ప్రతివాది యొక్క సహకారాన్ని (విద్యార్థి అవశేషాలలో మార్పు మొత్తం) నిర్ణయిస్తుంది. .
• మినహాయించడం వల్ల పేడే యొక్క స్టూడెయిజ్డ్ బ్యాలెన్స్‌ను సాధారణ స్థితికి తీసుకువచ్చే అభ్యర్థుల కోసం శోధించండి.

పై ఉదాహరణ, డేటా ఇంజనీర్ తన మనస్సులో ఇప్పటికే చాలా ఎక్కువగా ఉన్నారనే పరికల్పనను నిర్ధారిస్తుంది... మరియు, ఇది నిజంగా "ఇంజనీర్" అయితే "కోడర్" కాకపోతే, అతను తక్కువ-కోడ్ సాధనాలను ఉపయోగిస్తున్నప్పుడు వృత్తిపరమైన క్షీణత భయం చివరకు వెనక్కి తగ్గాలి.

తక్కువ కోడ్ ఇంకా ఏమి చేయగలదు?

స్కాలాలో మాన్యువల్‌గా కోడ్‌ని వ్రాయాల్సిన అవసరం లేకుండా బ్యాచ్ మరియు స్ట్రీమ్ డేటా ప్రాసెసింగ్ కోసం తక్కువ-కోడ్ సాధనం యొక్క అప్లికేషన్ యొక్క పరిధి అంతం కాదు.

డేటాలేక్ అభివృద్ధిలో తక్కువ కోడ్‌ని ఉపయోగించడం ఇప్పటికే మనకు ప్రమాణంగా మారింది. హడూప్ స్టాక్ ఆధారంగా పరిష్కారాలు RDBMS ఆధారంగా క్లాసిక్ DWHల అభివృద్ధి మార్గాన్ని అనుసరిస్తాయని మనం బహుశా చెప్పవచ్చు. హడూప్ స్టాక్‌లోని తక్కువ-కోడ్ సాధనాలు డేటా ప్రాసెసింగ్ పనులు మరియు తుది BI ఇంటర్‌ఫేస్‌లను నిర్మించే పని రెండింటినీ పరిష్కరించగలవు. అంతేకాకుండా, BI అంటే డేటా యొక్క ప్రాతినిధ్యాన్ని మాత్రమే కాకుండా, వ్యాపార వినియోగదారులచే దాని సవరణను కూడా సూచిస్తుందని గమనించాలి. ఆర్థిక రంగం కోసం విశ్లేషణాత్మక ప్లాట్‌ఫారమ్‌లను నిర్మించేటప్పుడు మేము తరచుగా ఈ కార్యాచరణను ఉపయోగిస్తాము.

ఇతర విషయాలతోపాటు, తక్కువ-కోడ్ మరియు ప్రత్యేకించి, డేటాగ్రామ్ ఉపయోగించి, డేటా స్ట్రీమ్ ఆబ్జెక్ట్‌ల మూలాన్ని అణుశక్తితో వ్యక్తిగత ఫీల్డ్‌లకు (వంశం) ట్రాక్ చేయడంలో సమస్యను పరిష్కరించడం సాధ్యమవుతుంది. దీన్ని చేయడానికి, తక్కువ-కోడ్ సాధనం అపాచీ అట్లాస్ మరియు క్లౌడెరా నావిగేటర్‌తో ఇంటర్‌ఫేస్‌ను అమలు చేస్తుంది. ముఖ్యంగా, డెవలపర్ అట్లాస్ డిక్షనరీలలో ఆబ్జెక్ట్‌ల సెట్‌ను నమోదు చేయాలి మరియు మ్యాపింగ్‌లను రూపొందించేటప్పుడు రిజిస్టర్డ్ ఆబ్జెక్ట్‌లను సూచించాలి. డేటా యొక్క మూలాన్ని ట్రాక్ చేయడం లేదా ఆబ్జెక్ట్ డిపెండెన్సీలను విశ్లేషించడం కోసం మెకానిజం గణన అల్గారిథమ్‌లకు మెరుగుదలలు చేయడానికి అవసరమైనప్పుడు చాలా సమయాన్ని ఆదా చేస్తుంది. ఉదాహరణకు, ఫైనాన్షియల్ స్టేట్‌మెంట్‌లను సిద్ధం చేస్తున్నప్పుడు, శాసనపరమైన మార్పుల కాలాన్ని మరింత సౌకర్యవంతంగా జీవించడానికి ఈ ఫీచర్ మిమ్మల్ని అనుమతిస్తుంది. అన్నింటికంటే, వివరణాత్మక పొర యొక్క వస్తువుల సందర్భంలో ఇంటర్-ఫారమ్ డిపెండెన్స్‌ని మనం ఎంత బాగా అర్థం చేసుకుంటే, అంత తక్కువగా మనం "ఆకస్మిక" లోపాలను ఎదుర్కొంటాము మరియు రీవర్క్‌ల సంఖ్యను తగ్గిస్తాము.

డేటా నాణ్యత & తక్కువ కోడ్

మీడియాస్కోప్ ప్రాజెక్ట్‌లో తక్కువ-కోడ్ సాధనం ద్వారా అమలు చేయబడిన మరొక పని డేటా నాణ్యత తరగతి టాస్క్. పరిశోధనా సంస్థ ప్రాజెక్ట్ కోసం డేటా ధృవీకరణ పైప్‌లైన్ అమలు యొక్క ప్రత్యేకత ప్రధాన డేటా గణన ప్రవాహం యొక్క పనితీరు మరియు వేగంపై ప్రభావం లేకపోవడం. స్వతంత్ర డేటా ధృవీకరణ ప్రవాహాలను ఆర్కెస్ట్రేట్ చేయడానికి, ఇప్పటికే తెలిసిన Apache Airflow ఉపయోగించబడింది. డేటా ఉత్పత్తి యొక్క ప్రతి దశ సిద్ధంగా ఉన్నందున, DQ పైప్‌లైన్ యొక్క ప్రత్యేక భాగం సమాంతరంగా ప్రారంభించబడింది.

విశ్లేషణాత్మక ప్లాట్‌ఫారమ్‌లో డేటా ప్రారంభించిన క్షణం నుండి దాని నాణ్యతను పర్యవేక్షించడం మంచి పద్ధతిగా పరిగణించబడుతుంది. మెటాడేటా గురించిన సమాచారాన్ని కలిగి ఉంటే, ప్రాథమిక లేయర్‌లోకి సమాచారం ప్రవేశించిన క్షణం నుండి ప్రాథమిక షరతులకు అనుగుణంగా మేము తనిఖీ చేయవచ్చు - శూన్య, పరిమితులు, విదేశీ కీలు కాదు. డేటాగ్రామ్‌లోని డేటా నాణ్యత కుటుంబం యొక్క స్వయంచాలకంగా రూపొందించబడిన మ్యాపింగ్‌ల ఆధారంగా ఈ కార్యాచరణ అమలు చేయబడుతుంది. ఈ సందర్భంలో కోడ్ ఉత్పత్తి కూడా మోడల్ మెటాడేటాపై ఆధారపడి ఉంటుంది. మీడియాస్కోప్ ప్రాజెక్ట్‌లో, ఎంటర్‌ప్రైజ్ ఆర్కిటెక్ట్ ఉత్పత్తి యొక్క మెటాడేటాతో ఇంటర్‌ఫేస్ నిర్వహించబడింది.

ఎంటర్‌ప్రైజ్ ఆర్కిటెక్ట్‌తో తక్కువ-కోడ్ సాధనాన్ని జత చేయడం ద్వారా, కింది తనిఖీలు స్వయంచాలకంగా రూపొందించబడ్డాయి:

• "శూన్యం కాదు" మాడిఫైయర్‌తో ఫీల్డ్‌లలో "శూన్య" విలువల ఉనికిని తనిఖీ చేస్తోంది;
• ప్రాథమిక కీ యొక్క నకిలీల ఉనికిని తనిఖీ చేయడం;
• ఎంటిటీ యొక్క విదేశీ కీని తనిఖీ చేయడం;
• ఫీల్డ్‌ల సెట్ ఆధారంగా స్ట్రింగ్ యొక్క ప్రత్యేకతను తనిఖీ చేస్తోంది.

డేటా లభ్యత మరియు విశ్వసనీయత యొక్క మరింత క్లిష్టమైన తనిఖీల కోసం, స్కాలా ఎక్స్‌ప్రెషన్‌తో మ్యాపింగ్ సృష్టించబడింది, ఇది జెప్పెలిన్ వద్ద విశ్లేషకులు తయారుచేసిన బాహ్య స్పార్క్ SQL చెక్ కోడ్‌ను ఇన్‌పుట్‌గా తీసుకుంటుంది.

వాస్తవానికి, చెక్‌ల ఆటోమేటిక్ జనరేషన్ క్రమంగా సాధించబడాలి. వివరించిన ప్రాజెక్ట్ యొక్క ఫ్రేమ్‌వర్క్‌లో, దీనికి ముందు ఈ క్రింది దశలు ఉన్నాయి:

• DQ జెప్పెలిన్ నోట్‌బుక్‌లలో అమలు చేయబడింది;
• DQ మ్యాపింగ్‌లో నిర్మించబడింది;
• ఒక ప్రత్యేక సంస్థ కోసం మొత్తం చెక్‌లను కలిగి ఉన్న ప్రత్యేక భారీ మ్యాపింగ్‌ల రూపంలో DQ;
• మెటాడేటా మరియు వ్యాపార తనిఖీల గురించి సమాచారాన్ని ఇన్‌పుట్‌గా అంగీకరించే యూనివర్సల్ పారామిటరైజ్డ్ DQ మ్యాపింగ్‌లు.

పారామీటర్ చేయబడిన చెక్ సేవను సృష్టించడం యొక్క ప్రధాన ప్రయోజనం ఉత్పత్తి వాతావరణానికి కార్యాచరణను అందించడానికి తీసుకునే సమయాన్ని తగ్గించడం. కొత్త నాణ్యత తనిఖీలు డెవలప్‌మెంట్ మరియు టెస్టింగ్ ఎన్విరాన్‌మెంట్‌ల ద్వారా పరోక్షంగా కోడ్‌ని బట్వాడా చేసే క్లాసిక్ నమూనాను దాటవేయగలవు:

• EAలో మోడల్ సవరించబడినప్పుడు అన్ని మెటాడేటా తనిఖీలు స్వయంచాలకంగా రూపొందించబడతాయి;
• డేటా లభ్యత తనిఖీలు (ఒక సమయంలో ఏదైనా డేటా ఉనికిని నిర్ణయించడం) ఆబ్జెక్ట్‌ల సందర్భంలో డేటా యొక్క తదుపరి భాగం కనిపించే అంచనా సమయాన్ని నిల్వ చేసే డైరెక్టరీ ఆధారంగా రూపొందించబడుతుంది;
• వ్యాపార డేటా ధ్రువీకరణ తనిఖీలు జెప్పెలిన్ నోట్‌బుక్‌లలోని విశ్లేషకులచే సృష్టించబడతాయి. అక్కడ నుండి అవి నేరుగా ఉత్పత్తి వాతావరణంలోని DQ మాడ్యూల్ సెటప్ టేబుల్‌లకు పంపబడతాయి.

స్క్రిప్ట్‌లను నేరుగా ఉత్పత్తికి రవాణా చేయడం వల్ల ఎటువంటి ప్రమాదాలు లేవు. సింటాక్స్ లోపంతో కూడా, ఒక తనిఖీని చేయడంలో విఫలమవ్వడం మాకు ప్రమాదకరం, ఎందుకంటే డేటా లెక్కింపు ప్రవాహం మరియు నాణ్యత తనిఖీ ప్రయోగ ప్రవాహం ఒకదానికొకటి వేరు చేయబడతాయి.

సారాంశంలో, DQ సేవ శాశ్వతంగా ఉత్పత్తి వాతావరణంలో అమలవుతోంది మరియు తదుపరి డేటా కనిపించే క్షణంలో దాని పనిని ప్రారంభించడానికి సిద్ధంగా ఉంది.

ముగింపుకు బదులుగా

తక్కువ కోడ్‌ని ఉపయోగించడం వల్ల కలిగే ప్రయోజనం స్పష్టంగా ఉంది. డెవలపర్‌లు మొదటి నుండి అప్లికేషన్‌ను అభివృద్ధి చేయవలసిన అవసరం లేదు. మరియు అదనపు పనుల నుండి విముక్తి పొందిన ప్రోగ్రామర్ ఫలితాలను వేగంగా ఉత్పత్తి చేస్తుంది. వేగం, ఆప్టిమైజేషన్ సమస్యలను పరిష్కరించడానికి అదనపు సమయాన్ని ఖాళీ చేస్తుంది. అందువలన, ఈ సందర్భంలో, మీరు మెరుగైన మరియు వేగవంతమైన పరిష్కారాన్ని పరిగణించవచ్చు.

వాస్తవానికి, తక్కువ-కోడ్ సర్వరోగ నివారిణి కాదు, మరియు మేజిక్ దాని స్వంతదానిపై జరగదు:

• తక్కువ-కోడ్ పరిశ్రమ "బలవంతం" దశ గుండా వెళుతోంది మరియు ఇంకా ఏకరీతి పారిశ్రామిక ప్రమాణాలు లేవు;
• అనేక తక్కువ-కోడ్ పరిష్కారాలు ఉచితం కాదు మరియు వాటిని కొనుగోలు చేయడం అనేది ఒక స్పృహతో కూడిన దశగా ఉండాలి, వాటిని ఉపయోగించడం వల్ల కలిగే ఆర్థిక ప్రయోజనాలపై పూర్తి విశ్వాసంతో చేయాలి;
• చాలా తక్కువ-కోడ్ పరిష్కారాలు ఎల్లప్పుడూ GIT/SVNతో బాగా పని చేయవు. లేదా ఉత్పత్తి చేయబడిన కోడ్ దాచబడి ఉంటే అవి ఉపయోగించడానికి అసౌకర్యంగా ఉంటాయి;
• నిర్మాణాన్ని విస్తరించేటప్పుడు, తక్కువ-కోడ్ పరిష్కారాన్ని మెరుగుపరచడం అవసరం కావచ్చు - ఇది తక్కువ-కోడ్ పరిష్కారం యొక్క సరఫరాదారుపై “అటాచ్‌మెంట్ మరియు డిపెండెన్స్” ప్రభావాన్ని రేకెత్తిస్తుంది.
• తగిన స్థాయి భద్రత సాధ్యమవుతుంది, అయితే ఇది చాలా శ్రమతో కూడుకున్నది మరియు తక్కువ-కోడ్ సిస్టమ్ ఇంజిన్‌లలో అమలు చేయడం కష్టం. తక్కువ-కోడ్ ప్లాట్‌ఫారమ్‌లను వాటి ఉపయోగం నుండి ప్రయోజనాలను కోరుకునే సూత్రంపై మాత్రమే ఎంచుకోవాలి. ఎంచుకునేటప్పుడు, సంస్థ యొక్క మొత్తం IT ల్యాండ్‌స్కేప్ స్థాయికి గుర్తింపు డేటాను యాక్సెస్ కంట్రోల్ మరియు డెలిగేషన్/ఎక్స్కలేషన్ కోసం ఫంక్షనాలిటీ లభ్యత గురించి ప్రశ్నలు అడగడం విలువ.

అయినప్పటికీ, ఎంచుకున్న సిస్టమ్ యొక్క అన్ని లోపాలు మీకు తెలిసినట్లయితే, మరియు దాని ఉపయోగం నుండి ప్రయోజనాలు, అయితే, ఆధిపత్య మెజారిటీలో ఉంటే, అప్పుడు భయపడకుండా చిన్న కోడ్‌కు వెళ్లండి. అంతేకాకుండా, దానికి పరివర్తన అనివార్యం - ఏదైనా పరిణామం అనివార్యం.

తక్కువ-కోడ్ ప్లాట్‌ఫారమ్‌లో ఒక డెవలపర్ తన పనిని ఇద్దరు డెవలపర్‌ల కంటే తక్కువ-కోడ్ లేకుండా వేగంగా చేస్తే, ఇది కంపెనీకి అన్ని విధాలుగా మంచి ప్రారంభాన్ని ఇస్తుంది. "సాంప్రదాయ" సాంకేతికతలలో కంటే తక్కువ-కోడ్ పరిష్కారాలలోకి ప్రవేశించడానికి థ్రెషోల్డ్ తక్కువగా ఉంటుంది మరియు ఇది సిబ్బంది కొరత సమస్యపై సానుకూల ప్రభావాన్ని చూపుతుంది. తక్కువ-కోడ్ సాధనాలను ఉపయోగిస్తున్నప్పుడు, ఫంక్షనల్ బృందాల మధ్య పరస్పర చర్యను వేగవంతం చేయడం మరియు డేటా సైన్స్ పరిశోధన యొక్క ఎంచుకున్న మార్గం యొక్క ఖచ్చితత్వం గురించి వేగంగా నిర్ణయాలు తీసుకోవడం సాధ్యపడుతుంది. తక్కువ-స్థాయి ప్లాట్‌ఫారమ్‌లు సంస్థ యొక్క డిజిటల్ పరివర్తనను నడపగలవు ఎందుకంటే ఉత్పత్తి చేయబడిన పరిష్కారాలను సాంకేతికత లేని నిపుణులు (ముఖ్యంగా వ్యాపార వినియోగదారులు) అర్థం చేసుకోగలరు.

మీకు కఠినమైన గడువులు, లోడ్ చేయబడిన వ్యాపార తర్కం, సాంకేతిక నైపుణ్యం లేకపోవడం మరియు మీరు మార్కెట్‌కి మీ సమయాన్ని వేగవంతం చేయాల్సిన అవసరం ఉన్నట్లయితే, మీ అవసరాలను తీర్చడానికి తక్కువ-కోడ్ ఒక మార్గం.

సాంప్రదాయ అభివృద్ధి సాధనాల యొక్క ప్రాముఖ్యతను తిరస్కరించడం లేదు, కానీ అనేక సందర్భాల్లో, తక్కువ-కోడ్ పరిష్కారాలను ఉపయోగించడం అనేది పరిష్కరించబడే పనుల సామర్థ్యాన్ని పెంచడానికి ఉత్తమ మార్గం.

మూలం: www.habr.com