በታህሳስ ወር መጀመሪያ ላይ አንድ ገዳይ ስህተት ሰርቼ እንደ ገንቢ በህይወቴ ላይ ለውጥ አመጣሁ እና በድርጅቱ ውስጥ ወደ ዳታ ኢንጂነሪንግ (DE) ቡድን ተዛወርኩ። በዚህ ጽሑፍ ውስጥ በDE ቡድን ውስጥ በሠራሁባቸው ሁለት ወራት ውስጥ ያደረግኳቸውን አንዳንድ አስተያየቶችን አካፍላለሁ።
ለምን የውሂብ ምህንድስና?
ወደ DE የእኔ ጉዞ የጀመረው በ2019 ክረምት ሲሆን እኛ ስንሆን ነው። እንሂድ እና እዚያ መገለጥ አገኘሁ። በርዕሱ ላይ ፍላጎት ማሳየት ጀመርኩ, ስልተ ቀመሮችን እና እንዲያውም ስለእነሱ , እና ከዚያም ስለ ትግበራው ወሰን አሰብኩ እና በኩባንያችን ውስጥ ያለው ተግባራዊ መተግበሪያ የውሂብ ጎታዎች መሰራጨቱን በፍጥነት አወቀ.
ቡድናችን በትክክል ምን ያደርጋል? እኛ፣ ልክ እንደ ሁሉም ፋሽን ወንዶች እና ሴቶች ልጆች፣ በመረጃ የሚመራ ኩባንያ መሆን እንፈልጋለን። እና ይህ እንዲቻል ቢያንስ አስተማማኝ የማከማቻ ቦታ መገንባት አለብን, ይህም ኩባንያው የሚፈልገውን ማንኛውንም ሪፖርት ለመገንባት ሊያገለግል ይችላል. ነገር ግን በጣም አስፈላጊው ነገር በዚህ ማከማቻ ውስጥ ያለው መረጃ መታመን አለበት. በተጨማሪም, እነዚህን መረጃዎች በመጠቀም, የስርዓቱን ሁኔታ በጊዜ መመለስ መቻል አለብዎት t. ይህ ሁሉ ደፋር በሆነ አዲስ በማይክሮ ሰርቪስ ዓለም ውስጥ በመኖራችን የተወሳሰበ ነው ፣ እና ይህ ርዕዮተ ዓለም እያንዳንዱ አገልግሎት የራሱ አነስተኛ ተግባራትን እንደሚተገበር ፣ የውሂብ ጎታው የራሱ ንግድ ነው ፣ እና ቢያንስ በየቀኑ ሊሰርዘው ይችላል ፣ ግን በ በተመሳሳይ ጊዜ የአገልግሎቱን ሁኔታ ለመቀበል እና ለማስኬድ መቻል አለብን.
በመረጃ የተደገፈ መሆን ከፈለግክ መጀመሪያ የክስተት Driven ሁን
በጣም ቀላል አይደለም. ክስተቶች የተለያዩ ናቸው፣ እና ገንቢ እና የውሂብ መሐንዲሱ በተለየ መልኩ ይመለከቷቸዋል። ስለ ክስተቶች ማውራት ለተለየ መጣጥፍ ርዕስ ነው ፣ ስለዚህ ወደ እሱ አልገባም። በተጨማሪም, እንዲህ ዓይነቱ ጽሑፍ ቀድሞውኑ አለው አንድ የተወሰነ ማርቲን ፎለር ፣ ሎሬሎቹን አልወስድም ፣ እሱ ታዋቂ ይሁን።
በአጠቃላይ, ብዙ የሚታሰብበት ነገር አለ እና ለዚህ ነው ይህ አካባቢ ማራኪ ነው. ልክ እንደዚያው ሆኖ በእኛ ኩባንያ ውስጥ የውሂብ መሐንዲስ ኢቲኤል/ኤልቲ ቧንቧዎችን ከሚጽፍ ሰው የበለጠ የኃላፊነት ቦታ ነው (እነዚህ አህጽሮተ ቃላት ምን ማለት እንደሆነ ካላወቁ ወደዚህ ይምጡ) . እንደ አውድ ማስታወቂያ).
የማከማቻ አርክቴክቸርን፣ የመረጃ ሞዴሊንግን፣ ከመረጃ ደህንነት ጋር የተያያዙ ጉዳዮችን እና የቧንቧ መስመሮቹን እራሳቸው እንጋፈጣለን። በተጨማሪም በአንድ በኩል የእኛ መገኘታችን ለምርት ገንቢዎች በጣም ሸክም እንዳልሆነ እና አዳዲስ ባህሪያትን ወደ ስርዓቱ ስንቆርጥ በሚፈለገው መጠን በተቻለ መጠን ትኩረታቸውን እንዲከፋፍሉ ማድረግ አለብን, በሌላ በኩል ደግሞ እኛ ለተንታኞች እና ለ BI ቡድን በማከማቻ መረጃ ውስጥ በተመጣጣኝ ሁኔታ ማቅረብ አለባቸው። እንደዛ ነው የምንኖረው።
ከዕድገት ሲሸጋገሩ ችግሮች
በመጀመሪያው የሥራ ቀን፣ ላካፍላችሁ የምፈልጋቸው በርካታ ችግሮች አጋጥመውኛል።
1. በመጀመሪያ ያየሁት የቱሊንግ እና አንዳንድ ልምዶች አለመኖር ነው. ለምሳሌ የኮድ ሽፋንን ከፈተናዎች ጋር እንውሰድ። በልማት ውስጥ በመቶዎች የሚቆጠሩ የሙከራ ማዕቀፎች አሉን። ከውሂብ ጋር ሲሰሩ, ሁሉም ነገር የበለጠ የተወሳሰበ ነው. አዎ, በፈተና መረጃ ላይ የ ETL ቧንቧዎችን መሞከር እንችላለን, ነገር ግን ሁሉንም ነገር በእጅ ማድረግ እና ለእያንዳንዱ የተለየ ጉዳይ መፍትሄ መፈለግ አለብን. በውጤቱም, የፈተና ሽፋን በጣም የከፋ ነው. እንደ እድል ሆኖ፣ በክትትል እና በምዝግብ ማስታወሻዎች ውስጥ ሌላ የግብረ-መልስ ንብርብር አለ ፣ ግን ይህ አስቀድሞ በንቃት ሳይሆን ፣ የሚያበሳጭ እና የማያስደስት ምላሽ እንድንሰጥ ይፈልጋል።
2. ዓለም ከ DE እይታ አንፃር ተራ ምርት ገንቢ የሚመስለው በጭራሽ አይደለም (በእርግጥ አንባቢው እንደዚህ አይደለም ፣ እና እሱ ሁሉንም ነገር ያውቃል ፣ ግን እኔ አላውቅም ነበር እና አሁን እያሽከረከርኩ ነው ። ወደላይ)። እንደ ገንቢ፣ የራሴን ማይክሮ ሰርቪስ እፈጥራለሁ፣ ውሂቡን [በመረጡት ዳታቤዝ] ውስጥ አስገባለሁ፣ ስቴቴን እዚያ አስቀምጣለሁ፣ የሆነ ነገር በመታወቂያ አግኝ እና ጥሩ ነው። አገልግሎቱ ቀርፋፋ ነው፣ ትዕዛዞች ግራ የሚያጋቡ ናቸው፣ ያ ብቻ ነው። ግዛቴን በሌላ አገልግሎት እንድፈልግ ይጠይቁኛል፣ ስለዚህ አንድ ክስተት ወደ አንዳንድ RabbitMQ እጥላለሁ እና ያ ነው። እና እዚህ እንደገና ከላይ የተገለጹትን ክስተቶች ጉዳይ እንደገና ተመለስን.
አገልግሎቱ ለስራ ማስኬጃ ስራ የሚያስፈልገው ለታሪካዊ መረጃ አይመችንም ስለዚህ የአገልግሎት ኮንትራቶችን እንደገና መስራት እና ከልማት ቡድኖች ጋር ተቀራርቦ መስራት የሚለው ጥያቄ ይጀምራል። ለመስማማት ምን ያህል ሰዓታት እንደፈጀብን እንኳን መገመት አትችልም: በኩባንያችን ውስጥ ምን አይነት የተነደፈ ክስተት ነው.
3. ከጭንቅላቱ ጋር ማሰብ ያስፈልግዎታል. አይ ፣ እኔ ገንቢዎች አያስቡም ማለቴ አይደለም (ምንም እንኳን እኔ ማን ነኝ ለሁሉም ሰው የምናገረው) ፣ በምርት ልማት ውስጥ ብዙውን ጊዜ አንድ ዓይነት ስነ-ህንፃ አለዎት ፣ እና ከጀርባው ላይ የተለያዩ ሹፌሮችን ቆርጠዋል። በእርግጥ ይህ እቅድ እና ሀሳብን ይጠይቃል, ነገር ግን ይህ የዥረት ስራ ነው, ዋናው ችግር በቀላሉ በጥሩ እና በብቃት መስራት ብቻ ነው.
ለእኛ በጣም ቀላል አይደለም ምክንያቱም የተለያዩ የስርዓት ክፍሎችን ከሞቃታማ እና ምቹ ሞኖሊት ወደ የዱር ማይክሮ ሰርቪስ ጫካ ዓለም ማስተላለፍ በጣም ቀላል አይደለም. አገልግሎቱ ክስተቶችን መናገር ሲጀምር, ማከማቻውን ለመሙላት አመክንዮውን እንደገና ማጤን አለብዎት, ምክንያቱም መረጃው አሁን የተለየ ይመስላል. እዚህ እንደ ገንቢ ሳይሆን እንደ ዳታ መሐንዲስ ብዙ እና በደንብ ማሰብ የሚያስፈልግበት ነው። ቀናትን በማስታወሻ ደብተር እና እስክሪብቶ ወይም በቦርዱ ላይ ካለው ምልክት ጋር ሲያሳልፉ የተለመደ ታሪክ ነው። በጣም ከባድ ነው, ማሰብ አልወድም, ማምረትንም እወዳለሁ.
4. ምናልባት በጣም አስፈላጊው ነገር መረጃ ነው. እውቀት ሲጎድለን ምን እናደርጋለን? መደራረብን የተናገረው ማነው? ይህንን ሰው ከክፍሉ ያውጡት። ሰነዶችን እና በርዕሱ ላይ መጽሃፎችን እናነባለን እንዲሁም መድረኮችን ፣ ስብሰባዎችን እና ስብሰባዎችን የሚያዘጋጅ ማህበረሰብ አለ ። ሰነድ በጣም ጥሩ ነው, ግን በሚያሳዝን ሁኔታ, ያልተሟላ ሊሆን ይችላል. ኮስሞስ ዲቢን በበርካታ ፕሮጀክቶች ውስጥ እንጠቀማለን. የዚህን ምርት ሰነድ በማንበብ መልካም ዕድል። መጽሃፍት ብቸኛው መዳን ናቸው፤ እንደ እድል ሆኖ፣ አሉ እና ሊገኙ ይችላሉ፣ ብዙ መሰረታዊ እውቀቶችን ይይዛሉ እና ብዙ እና ያለማቋረጥ ማንበብ አለብዎት። ችግሩ ግን ከህብረተሰቡ ጋር ነው።
አሁን በአካባቢያችን ቢያንስ አንድ በቂ ጉባኤ ወይም ስብሰባ ማግኘት አስቸጋሪ ነው። አይ ፣ በእርግጥ ፣ ዳታ ከሚለው ቃል ጋር ብዙ ስብሰባዎች አሉ ፣ ግን ከዚህ ቃል ቀጥሎ እንደ ML ወይም AI ያሉ እንግዳ ምህፃረ ቃላት አሉ። ስለዚህ, ይህ ለእኛ አይደለም, እየተነጋገርን ያለነው የማጠራቀሚያ ተቋማትን እንዴት እንደሚገነቡ እንጂ እራሳችንን በነርቭ ሴሎች እንዴት መቀባት እንዳለብን አይደለም. እነዚህ hipsters ሁሉንም ነገር ተቆጣጠሩ. በዚህም ምክንያት ማህበረሰብ አልባ ነን። በነገራችን ላይ የውሂብ መሐንዲስ ከሆንክ እና ጥሩ ማህበረሰቦችን የምታውቅ ከሆነ በአስተያየቶቹ ውስጥ ጻፍ.
የስብሰባው መደምደሚያ እና ማስታወቂያ
ምን እንጨርሰዋለን? የመጀመሪያ ልምዴ የሚነግረኝ በዳታ መሐንዲስ ጫማ ውስጥ ያለው ስሜት ለእያንዳንዱ ገንቢ ጠቃሚ እንደሚሆን ነው። ነገሮችን በተለየ መንገድ እንድንመለከት ያስችለናል እና ገንቢዎች ውሂባቸውን እንዴት እንደሚይዙ ስናይ ዓይኖቻችን ደም ሲመቱ እንዳንደነቁ ያስችለናል። ስለዚህ, በኩባንያዎ ውስጥ DE ካለ, እነዚህን ሰዎች ብቻ ያነጋግሩ, ብዙ አዳዲስ ነገሮችን (ስለራስዎ) ይማራሉ.
እና በመጨረሻ, ማስታወቂያ. በቀን ውስጥ በርዕሳችን ላይ ስብሰባዎችን ማግኘት አስቸጋሪ ስለሆነ የራሳችንን ለማድረግ ወሰንን. ለምንድነው የባሰ ነን? እንደ እድል ሆኖ አንድ አስደናቂ ነገር አለን እና ጓደኞቻችን ከ እንደ እኛ የመረጃ መሐንዲሶች ፍትሃዊ በሆነ መልኩ ትኩረት እንደተነፈጉ የሚሰማቸው።
ይህንን እድል በመጠቀም፣ በፌብሩዋሪ 27.02.2020፣ XNUMX በዶዶ ፒዛ ቢሮ የሚካሄደውን “DE ወይም DIE” የሚል ተስፋ ሰጪ ርዕስ ይዘን ወደ መጀመሪያው የማህበረሰብ ስብሰባችን እንዲመጡ የሚያስቡ ሁሉ እጋብዛለሁ። ዝርዝሮች በ .
የሆነ ነገር ከተፈጠረ፣ እዛ እገኛለሁ፣ ስለ ገንቢዎቹ ምን ያህል እንደተሳሳትኩ በግል በፊቴ ሊነግሩኝ ይችላሉ።
ምንጭ: hab.com