እነዚህ ሁለት የውሂብ ሳይንስ buzzwords ብዙ ሰዎችን ግራ ያጋባሉ። የመረጃ ማውጣቱ ብዙውን ጊዜ መረጃን እንደ ማውጣት እና እንደ ማግኘት በተሳሳተ መንገድ ይገነዘባል ፣ ግን እውነታው የበለጠ የተወሳሰበ ነው። በዚህ ልኡክ ጽሁፍ ላይ ማይኒንግ ነጥብ እናድርግ እና በዳታ ማይኒንግ እና በዳታ ማውጣት መካከል ያለውን ልዩነት እንወቅ።
የውሂብ ማዕድን ምንድን ነው?
የውሂብ ማዕድን, ተብሎም ይጠራል የውሂብ ጎታ እውቀት ግኝት (KDD)የተደበቁ ንድፎችን ወይም አዝማሚያዎችን ለማግኘት እና ዋጋቸውን ለማውጣት ብዙ ጊዜ ትላልቅ የውሂብ ስብስቦችን በስታቲስቲክስ እና በሂሳብ ዘዴዎች ለመተንተን ጥቅም ላይ የሚውል ዘዴ ነው።
በመረጃ ማዕድን ምን ሊደረግ ይችላል?
ሂደቱን አውቶማቲክ በማድረግ, የውሂብ ጎታዎችን ማሰስ እና የተደበቁ ንድፎችን ውጤታማ በሆነ መንገድ ማግኘት ይችላል. ለንግድ ድርጅቶች፣ የውሂብ ማውጣት ብዙ ጊዜ በመረጃ ውስጥ ቅጦችን እና ግንኙነቶችን ለማግኘት እና የተሻሉ የንግድ ውሳኔዎችን ለማድረግ ይጠቅማል።
የመተግበሪያ ምሳሌዎች
በ1990ዎቹ የመረጃ ማውጣቱ ከተስፋፋ በኋላ በችርቻሮ፣ በፋይናንስ፣ በጤና አጠባበቅ፣ በትራንስፖርት፣ በቴሌኮሚኒኬሽን፣ በኢ-ኮሜርስ እና በመሳሰሉት ሰፊ ኢንዱስትሪዎች ውስጥ ያሉ ኩባንያዎች በመረጃ ላይ የተመሰረተ መረጃ ለማግኘት የመረጃ ማዕድን ዘዴዎችን መጠቀም ጀመሩ። የውሂብ ማዕድን ደንበኞችን ለመከፋፈል፣ ማጭበርበርን ለመለየት፣ ሽያጮችን ለመተንበይ እና ሌሎችንም ሊያግዝ ይችላል።
- የደንበኛ ክፍፍል
የደንበኞችን መረጃ በመተንተን እና የታለሙ ደንበኞችን ባህሪያት በመለየት ኩባንያዎች ወደ ተለየ ቡድን ሊመድቧቸው እና ፍላጎታቸውን የሚያሟሉ ልዩ ቅናሾችን ማቅረብ ይችላሉ። - የገበያ ቅርጫት ትንተና
ይህ ዘዴ የተወሰኑ የምርት ቡድኖችን ከገዙ የተለየ የቡድን ምርቶችን የመግዛት ዕድላቸው ከፍተኛ ነው በሚለው ጽንሰ-ሐሳብ ላይ የተመሰረተ ነው. አንድ ታዋቂ ምሳሌ፡- አባቶች ለልጆቻቸው ዳይፐር ሲገዙ ከዳይፐር ጋር አብረው ቢራ ይገዛሉ። - የሽያጭ ትንበያ
ከገበያ ቅርጫት ትንተና ጋር ተመሳሳይ ሊመስል ይችላል፣ ነገር ግን በዚህ ጊዜ የመረጃ ትንተና ደንበኛው ወደፊት መቼ እንደገና ምርት እንደሚገዛ ለመተንበይ ይጠቅማል። ለምሳሌ, አንድ አሰልጣኝ ለ 9 ወራት ሊቆይ የሚገባውን ፕሮቲን ይገዛል. ይህንን ፕሮቲን የሚሸጠው ሱቅ አሰልጣኝ በድጋሜ እንዲገዙት በ9 ወራት ውስጥ አዲስ ለመልቀቅ አቅዷል። - ማጭበርበርን መለየት
የውሂብ ማውጣት ማጭበርበርን ለመለየት ሞዴሎችን በመገንባት ላይ ያግዛል. የተጭበረበሩ እና እውነተኛ ሪፖርቶችን ናሙናዎችን በመሰብሰብ ንግዶች የትኞቹ ግብይቶች አጠራጣሪ እንደሆኑ የመወሰን ስልጣን ተሰጥቷቸዋል። - በምርት ውስጥ ስርዓተ-ጥለት መለየት
በማኑፋክቸሪንግ ኢንዱስትሪ ውስጥ, የውሂብ ማዕድን በምርት አርክቴክቸር, በመገለጫ እና በደንበኞች ፍላጎቶች መካከል ያለውን ግንኙነት በመለየት ስርዓቶችን ለመንደፍ ለማገዝ ይጠቅማል. የመረጃ ማውጣቱ የምርት ልማት ጊዜዎችን እና ወጪዎችን መተንበይ ይችላል።
እና እነዚህ ለመረጃ ማዕድን አጠቃቀም ጥቂቶቹ ናቸው።
የውሂብ ማውጣት ደረጃዎች
የውሂብ ማዕድን ንድፎችን ለመገምገም እና በመጨረሻም እሴትን ለማውጣት መረጃን የመሰብሰብ፣ የመምረጥ፣ የማጽዳት፣ የመቀየር እና የማውጣት አጠቃላይ ሂደት ነው።
በአጠቃላይ ፣ አጠቃላይ የውሂብ ማውጣት ሂደት በ 7 ደረጃዎች ሊጠቃለል ይችላል-
- የውሂብ ማጽዳት
በገሃዱ ዓለም፣ መረጃ ሁልጊዜ አይጸዳውም እና አይዋቀርም። ብዙውን ጊዜ ጫጫታ, ያልተሟሉ እና ስህተቶችን ሊይዙ ይችላሉ. የውሂብ ማውጣት ውጤቱ ትክክለኛ መሆኑን ለማረጋገጥ በመጀመሪያ መረጃውን ማጽዳት ያስፈልግዎታል. አንዳንድ የጽዳት ዘዴዎች የጎደሉትን ዋጋዎች መሙላት, አውቶማቲክ እና በእጅ መቆጣጠሪያዎች, ወዘተ. - የውሂብ ውህደት
ይህ ከተለያዩ ምንጮች የተገኙ መረጃዎች የሚወጡበት፣ የሚጣመሩበት እና የሚዋሃዱበት ደረጃ ነው። ምንጮች ዳታቤዝ፣ የጽሑፍ ፋይሎች፣ የተመን ሉሆች፣ ሰነዶች፣ ባለ ብዙ ዳይሜንሽን ዳታሴቶች፣ ኢንተርኔት እና የመሳሰሉት ሊሆኑ ይችላሉ። - የውሂብ ናሙና
አብዛኛውን ጊዜ በመረጃ ማዕድን ውስጥ ሁሉም የተቀናጀ ውሂብ አያስፈልግም. ዳታ ናሙና ከትልቅ ዳታቤዝ ጠቃሚ መረጃ ብቻ ተመርጦ የሚወጣበት ደረጃ ነው። - የውሂብ መቀየር
መረጃው ከተመረጠ በኋላ ለማዕድን ተስማሚ ወደሆኑ ቅጾች ይቀየራል. ይህ ሂደት መደበኛነት, ማሰባሰብ, አጠቃላይ, ወዘተ. - ማዕድን ማውጣት
እዚህ በጣም አስፈላጊው የውሂብ ማዕድን ክፍል ይመጣል - በውስጣቸው ቅጦችን ለማግኘት ብልህ ዘዴዎችን በመጠቀም። ሂደቱ ወደ ኋላ መመለስ፣ ምደባ፣ ትንበያ፣ ስብስብ፣ የማህበር ትምህርት እና ሌሎችንም ያካትታል። - ሞዴል ግምገማ
ይህ እርምጃ ጠቃሚ ሊሆኑ የሚችሉ፣ ለመረዳት ቀላል የሆኑ ንድፎችን እና መላምቶችን የሚደግፉ ንድፎችን ለመለየት ያለመ ነው። - የእውቀት ውክልና
በመጨረሻው ደረጃ, የተገኘው መረጃ የእውቀት ውክልና እና የእይታ ዘዴዎችን በመጠቀም ማራኪ በሆነ መንገድ ቀርቧል.
የውሂብ ማዕድን ጉዳቶች
- ጊዜ እና ጉልበት ትልቅ ኢንቨስትመንት
የመረጃ ማውጣቱ ረጅም እና ውስብስብ ሂደት ስለሆነ፣ ከምርታማ እና ከሰለጠኑ ሰዎች ብዙ ስራ ይጠይቃል። የውሂብ ሳይንቲስቶች ኃይለኛ የመረጃ ማምረቻ መሳሪያዎችን መጠቀም ይችላሉ, ነገር ግን ውሂቡን ለማዘጋጀት እና ውጤቱን ለመረዳት ባለሙያዎች ያስፈልጋቸዋል. በውጤቱም, ሁሉንም መረጃዎች ለማስኬድ የተወሰነ ጊዜ ሊወስድ ይችላል. - የውሂብ ግላዊነት እና ደህንነት
የመረጃ ማውጣቱ የደንበኞችን መረጃ በገበያ ዘዴዎች ስለሚሰበስብ የተጠቃሚን ግላዊነት ሊጥስ ይችላል። በተጨማሪም ጠላፊዎች በመረጃ ማምረቻ ስርዓቶች ውስጥ የተከማቸውን መረጃ ማግኘት ይችላሉ. ይህ ለደንበኛ ውሂብ ደህንነት ስጋት ይፈጥራል። የተሰረቀው መረጃ አላግባብ ጥቅም ላይ ከዋለ በቀላሉ ሌሎችን ሊጎዳ ይችላል።
ከዚህ በላይ ያለው የመረጃ ማዕድን አጭር መግቢያ ነው። አስቀድሜ እንደገለጽኩት የመረጃ ማውጣቱ መረጃን የመሰብሰብ እና የማዋሃድ ሂደትን ያካትታል, ይህም መረጃን የማውጣት ሂደት (መረጃ ማውጣትን) ያካትታል. በዚህ አጋጣሚ የመረጃ ማውጣቱ የረዥም ጊዜ የዳታ ማውጣት ሂደት አካል ሊሆን ይችላል ብሎ በእርግጠኝነት መናገር አይቻልም።
ዳታ ማውጣት ምንድነው?
በተጨማሪም "የድር ዳታ ማዕድን" እና "ድር መቧጨር" በመባልም ይታወቃሉ, ይህ ሂደት መረጃን ከ (በተለምዶ ያልተዋቀሩ ወይም በደንብ ያልተዋቀሩ) የውሂብ ምንጮችን ወደ ማእከላዊ ቦታዎች የማውጣት እና በአንድ ቦታ ለማከማቻ ወይም ለቀጣይ ሂደት ማእከላዊ ማድረግ ነው. በተለይ ያልተዋቀሩ የመረጃ ምንጮች ድረ-ገጾች፣ ኢሜል፣ ሰነዶች፣ ፒዲኤፍ ፋይሎች፣ የተቃኙ ጽሁፍ፣ ዋና ፍሬም ዘገባዎች፣ ሪል ፋይሎች፣ ማስታወቂያዎች እና የመሳሰሉትን ያካትታሉ። የተማከለ ማከማቻ አካባቢያዊ፣ ደመና ወይም ድብልቅ ሊሆን ይችላል። የውሂብ ማውጣት ሂደትን ወይም በኋላ ላይ ሊከሰቱ የሚችሉ ሌሎች ትንታኔዎችን እንደማያካትት ማስታወስ አስፈላጊ ነው.
በዳታ ማውጣት ምን ማድረግ ይቻላል?
በመሠረቱ, የውሂብ ማውጣት ዓላማዎች በ 3 ምድቦች ይከፈላሉ.
- መዝገብ ቤት
የውሂብ ማውጣት መረጃዎችን ከአካላዊ ቅርጸቶች እንደ መጽሐፍት፣ ጋዜጦች፣ ደረሰኞች ወደ ዲጂታል ቅርጸቶች ለምሳሌ ለማከማቻ ወይም ለመጠባበቂያ ክምችት ሊለውጥ ይችላል። - የውሂብ ቅርጸቱን መቀየር
አሁን ካለህበት ጣቢያ ወደ አዲስ በመገንባት ላይ ያለ ውሂብ ማዛወር ስትፈልግ ከራስህ ጣቢያ በማውጣት መረጃ መሰብሰብ ትችላለህ። - የውሂብ ትንተና
የተወሰደውን መረጃ የበለጠ መተንተንና ማስተዋል የተለመደ ነው። ይህ ከመረጃ ማዕድን ማውጣት ጋር ተመሳሳይ ሊመስል ይችላል፣ ነገር ግን መረጃ ማውጣት የውሂብ ማውጣት ግብ እንጂ የእሱ አካል እንዳልሆነ ያስታውሱ። ከዚህም በላይ መረጃው በተለየ መንገድ ይተነተናል. አንድ ምሳሌ የመስመር ላይ መደብር ባለቤቶች የውድድር ስልቶችን በቅጽበት ለመከታተል እንደ Amazon ካሉ የኢ-ኮሜርስ ጣቢያዎች የምርት መረጃን ይጎትቱታል። እንደ ዳታ ማውጣት፣ መረጃ ማውጣት ብዙ ጥቅሞች ያሉት አውቶማቲክ ሂደት ነው። ቀደም ባሉት ጊዜያት ሰዎች ከአንድ ቦታ ወደ ሌላ ቦታ ቀድተው መረጃን በእጅ ይለጥፉ ነበር ይህም ብዙ ጊዜ የሚወስድ ነበር። የውሂብ ማውጣት መሰብሰብን ያፋጥናል እና የተገኘውን መረጃ ትክክለኛነት በእጅጉ ያሻሽላል።
የውሂብ ማውጣትን የመጠቀም አንዳንድ ምሳሌዎች
ከመረጃ ማውጣቱ ጋር በሚመሳሰል መልኩ የመረጃ ማውጣቱ በተለያዩ ኢንዱስትሪዎች ውስጥ በስፋት ጥቅም ላይ ይውላል. ከኢ-ኮሜርስ የዋጋ ቁጥጥር በተጨማሪ የመረጃ ማዕድን በራስዎ ምርምር፣ የዜና ማሰባሰብ፣ ግብይት፣ ሪል እስቴት፣ ጉዞ እና ቱሪዝም፣ ማማከር፣ ፋይናንስ እና ሌሎችም ሊረዳ ይችላል።
- መሪ ትውልድ
ኩባንያዎች መረጃን ከማውጫ ማውጫዎች: Yelp, Crunchbase, Yellowpages ማውጣት እና ለንግድ ልማት አመራር ማመንጨት ይችላሉ. ከቢጫ ገፆች እንዴት ውሂብ ማውጣት እንደሚቻል ለማወቅ ከዚህ በታች ያለውን ቪዲዮ ማየት ይችላሉ። . - የይዘት እና የዜና ድምር
የይዘት ማሰባሰብያ ድረ-ገጾች መደበኛ የውሂብ ምግቦችን ከበርካታ ምንጮች መቀበል እና ጣቢያዎቻቸውን ወቅታዊ ማድረግ ይችላሉ። - የስሜት ትንተና
እንደ ኢንስታግራም እና ትዊተር ካሉ ማህበራዊ አውታረ መረቦች ግምገማዎችን፣ አስተያየቶችን እና ምስክርነቶችን ካወጡ በኋላ ባለሙያዎች መሰረታዊ አመለካከቶችን መተንተን እና የምርት ስም፣ ምርት ወይም ክስተት እንዴት እንደሚታይ ግንዛቤዎችን ማግኘት ይችላሉ።
የውሂብ ማውጣት ደረጃዎች
የውሂብ ማውጣት የኢቲኤል (Extract, Transform, Load: Extract, Transform, Load) እና ELT (Extract, Load, and Transform) የመጀመሪያ ደረጃ ነው. ETL እና ELT ራሳቸው የሙሉ የውሂብ ውህደት ስትራቴጂ አካል ናቸው። በሌላ አነጋገር መረጃን ማውጣት የማውጫቸው አካል ሊሆን ይችላል።
ማውጣት, መለወጥ, መጫን
የመረጃ ማውጣቱ ሁሉንም መረጃዎችን ከብዙ መረጃዎች ማውጣት ቢሆንም፣ መረጃ ማውጣት በጣም አጭር እና ቀላል ሂደት ነው። ወደ ሶስት ደረጃዎች ሊቀንስ ይችላል.
- የውሂብ ምንጭ መምረጥ
እንደ ድር ጣቢያ ካሉ ውሂብ ለማውጣት የሚፈልጉትን ምንጭ ይምረጡ። - የውሂብ መሰብሰብ
የ"GET" ጥያቄ ወደ ጣቢያው ይላኩ እና የተገኘውን የኤችቲኤምኤል ሰነድ እንደ ፓይዘን፣ ፒኤችፒ፣ አር፣ Ruby፣ ወዘተ የመሳሰሉ የፕሮግራም አወጣጥ ቋንቋዎችን በመጠቀም ይተንትኑት። - የውሂብ ማከማቻ
ለወደፊቱ ጥቅም ላይ እንዲውል ውሂቡን ወደ የእርስዎ አካባቢያዊ የውሂብ ጎታ ወይም የደመና ማከማቻ ያስቀምጡ። መረጃ ማውጣት የምትፈልግ ልምድ ያለው ፕሮግራመር ከሆንክ ከላይ ያሉት እርምጃዎች ቀላል ሊመስሉህ ይችላሉ። ነገር ግን፣ ፕሮግራመር ካልሆኑ፣ አቋራጭ መንገድ አለ - እንደ ዳታ ማውጣት መሳሪያዎች ይጠቀሙ . የውሂብ ማስወጫ መሳሪያዎች፣ ልክ እንደ ዳታ ማዕድን መሳሪያዎች፣ ሃይልን ለመቆጠብ እና የውሂብ ሂደትን ለሁሉም ሰው ቀላል ለማድረግ የተነደፉ ናቸው። እነዚህ መሳሪያዎች ኢኮኖሚያዊ ብቻ ሳይሆን ለጀማሪዎች ተስማሚ ናቸው. ተጠቃሚዎች በደቂቃዎች ውስጥ ውሂብ እንዲሰበስቡ፣ በደመና ውስጥ እንዲያከማቹ እና ወደ ብዙ ቅርጸቶች እንዲልኩ ያስችላቸዋል፡- Excel፣ CSV፣ HTML፣ JSON፣ ወይም በጣቢያው ላይ ወዳለ የውሂብ ጎታዎች በኤፒአይ።
የውሂብ ማውጣት ጉዳቶች
- የአገልጋይ ብልሽት
በትልቅ ደረጃ መረጃን ሲያወጡ የዒላማው ጣቢያ የድር አገልጋይ ከመጠን በላይ ሊጫን ይችላል ይህም ወደ አገልጋይ ውድቀት ሊያመራ ይችላል. ይህ የጣቢያውን ባለቤት ፍላጎት ይጎዳል። - በአይፒ እገዳ
አንድ ሰው ብዙ ጊዜ ውሂብ ሲሰበስብ ድረ-ገጾች የአይ ፒ አድራሻቸውን ማገድ ይችላሉ። መገልገያው የአይፒ አድራሻን ሙሉ በሙሉ ማገድ ወይም ውሂቡ ያልተሟላ በማድረግ መዳረሻን ሊገድብ ይችላል። መረጃን ለማምጣት እና እገዳን ለማስቀረት, በመጠኑ ፍጥነት ማድረግ እና አንዳንድ ፀረ-ማገድ ዘዴዎችን መተግበር ያስፈልግዎታል. - ከህግ ጋር የተያያዙ ችግሮች
ህጋዊነትን በተመለከተ መረጃን ከድሩ ማውጣት ወደ ግራጫ ቦታ ይወድቃል። እንደ ሊንክዲን እና ፌስቡክ ያሉ ዋና ዋና ገፆች በአጠቃቀም ውል ውስጥ ማንኛውም አውቶማቲክ መረጃን ማውጣት የተከለከለ መሆኑን በግልፅ ይናገራሉ። በቦት እንቅስቃሴዎች ምክንያት በኩባንያዎች መካከል ብዙ ክሶች ነበሩ።
በመረጃ ማዕድን ማውጣት እና በመረጃ ማውጣት መካከል ያሉ ቁልፍ ልዩነቶች
- የመረጃ ማውጣቱ በመረጃ ቋቶች ውስጥ የእውቀት ግኝት ተብሎም ይጠራል ፣ የእውቀት ማውጣት ፣ የውሂብ / ስርዓተ-ጥለት ትንተና ፣ መረጃ መሰብሰብ። የውሂብ ማውጣት ከድር መረጃ ማውጣት ፣ የድረ-ገጽ ቅኝት ፣ መረጃ መሰብሰብ እና የመሳሰሉት ጋር በተለዋዋጭነት ጥቅም ላይ ይውላል።
- የመረጃ ማውጣቱ ጥናት ባብዛኛው በተዋቀረ መረጃ ላይ የተመሰረተ ሲሆን የመረጃ ማውጣቱ አብዛኛውን ጊዜ ካልተዋቀሩ ወይም በደንብ ካልተዋቀሩ ምንጮች ይስባል።
- የመረጃ ማውጣት ግብ መረጃን ለመተንተን የበለጠ ጠቃሚ እንዲሆን ማድረግ ነው. የውሂብ ማውጣት ማለት ወደ አንድ ቦታ መሰብሰብ ወይም ማቀናበር ነው.
- በመረጃ ማውጣቱ ላይ ያለው ትንተና ቅጦችን ወይም አዝማሚያዎችን ለመለየት በሂሳብ ዘዴዎች ላይ የተመሰረተ ነው. የውሂብ ማውጣት ምንጮችን ለማለፍ በፕሮግራም አወጣጥ ቋንቋዎች ወይም የውሂብ ማውጣት መሳሪያዎች ላይ የተመሰረተ ነው.
- የመረጃ ማውጣቱ አላማ ከዚህ ቀደም ያልታወቁ ወይም ችላ የተባሉ እውነታዎችን ለማግኘት ሲሆን መረጃ ማውጣት ግን ያለውን መረጃ ይመለከታል።
- የመረጃ ማውጣቱ የበለጠ ውስብስብ እና ሰዎችን ለማሰልጠን ትልቅ መዋዕለ ንዋይ ይፈልጋል። መረጃን በትክክለኛው መሳሪያ ማውጣት እጅግ በጣም ቀላል እና ወጪ ቆጣቢ ሊሆን ይችላል።
ጀማሪዎች በመረጃ ውስጥ ግራ እንዳይጋቡ እናግዛቸዋለን። በተለይ ለ habravchans የማስተዋወቂያ ኮድ አዘጋጅተናል HABR, በባነር ላይ ለተጠቀሰው ቅናሽ ተጨማሪ የ 10% ቅናሽ.
ተጨማሪ ኮርሶች
ተለይተው የቀረቡ ጽሑፎች
ምንጭ: hab.com