ઓપન સોર્સ ડેટાહબ: LinkedIn ના મેટાડેટા શોધ અને ડિસ્કવરી પ્લેટફોર્મ

ઓપન સોર્સ ડેટાહબ: LinkedIn ના મેટાડેટા શોધ અને ડિસ્કવરી પ્લેટફોર્મ

ડેટા આધારિત નિર્ણયો લેવા માટે મોટી માત્રામાં ડેટા પર આધાર રાખતી કોઈપણ કંપની માટે તમને ઝડપથી જોઈતો ડેટા શોધવો જરૂરી છે. આ માત્ર ડેટા વપરાશકર્તાઓ (વિશ્લેષકો, મશીન લર્નિંગ ડેવલપર્સ, ડેટા વૈજ્ઞાનિકો અને ડેટા એન્જિનિયરો સહિત) ની ઉત્પાદકતાને અસર કરે છે એટલું જ નહીં, પરંતુ ગુણવત્તાયુક્ત મશીન લર્નિંગ (ML) પાઇપલાઇન પર નિર્ભર અંતિમ ઉત્પાદનો પર પણ તેની સીધી અસર પડે છે. વધુમાં, મશીન લર્નિંગ પ્લેટફોર્મને અમલમાં મૂકવા અથવા બનાવવા તરફનું વલણ સ્વાભાવિક રીતે પ્રશ્ન ઊભો કરે છે: આંતરિક રીતે સુવિધાઓ, મોડલ, મેટ્રિક્સ, ડેટાસેટ્સ વગેરે શોધવા માટેની તમારી પદ્ધતિ શું છે.

આ લેખમાં આપણે ઓપન લાયસન્સ હેઠળ ડેટા સ્ત્રોત કેવી રીતે પ્રકાશિત કર્યો તે વિશે વાત કરીશું ડેટાહબ અમારા મેટાડેટા શોધ અને શોધ પ્લેટફોર્મમાં, પ્રોજેક્ટના શરૂઆતના દિવસોથી શરૂ કરીને WhereHows. LinkedIn ઓપન સોર્સ વર્ઝનથી અલગ DataHub નું પોતાનું વર્ઝન જાળવી રાખે છે. અમે શા માટે બે અલગ-અલગ વિકાસ વાતાવરણની જરૂર છે તે સમજાવીને પ્રારંભ કરીશું, પછી ઓપન સોર્સ WhereHows નો ઉપયોગ કરવા માટેના પ્રારંભિક અભિગમોની ચર્ચા કરીશું અને DataHub ના અમારા આંતરિક (ઉત્પાદન) સંસ્કરણની પરના સંસ્કરણ સાથે સરખામણી કરીશું. GitHub. અમે બંને રિપોઝીટરીઝને સમન્વયમાં રાખવા માટે ઓપન સોર્સ અપડેટ્સ પુશ કરવા અને પ્રાપ્ત કરવા માટે અમારા નવા સ્વચાલિત ઉકેલ વિશે વિગતો પણ શેર કરીશું. છેલ્લે, અમે ઓપન સોર્સ ડેટાહબનો ઉપયોગ કેવી રીતે શરૂ કરવો તે અંગેની સૂચનાઓ આપીશું અને તેના આર્કિટેક્ચરની સંક્ષિપ્તમાં ચર્ચા કરીશું.

WhereHows હવે DataHub છે!

LinkedIn ની મેટાડેટા ટીમ અગાઉ પ્રસ્તુત ડેટાહબ (WhereHows ના અનુગામી), LinkedIn નું શોધ અને મેટાડેટા શોધ પ્લેટફોર્મ, અને તેને ખોલવાની યોજનાઓ વહેંચી. આ જાહેરાતના થોડા સમય પછી, અમે DataHub નું આલ્ફા વર્ઝન બહાર પાડ્યું અને તેને સમુદાય સાથે શેર કર્યું. ત્યારથી, અમે સતત રિપોઝીટરીમાં યોગદાન આપ્યું છે અને સૌથી વધુ વિનંતી કરેલ સુવિધાઓ ઉમેરવા અને સમસ્યાઓ ઉકેલવા માટે રસ ધરાવતા વપરાશકર્તાઓ સાથે કામ કર્યું છે. અમે હવે સત્તાવાર પ્રકાશનની જાહેરાત કરતા ખુશ છીએ GitHub પર DataHub.

ઓપન સોર્સ અભિગમો

WhereHows, ડેટા શોધવા માટેનું LinkedInનું મૂળ પોર્ટલ અને તે ક્યાંથી આવે છે, એક આંતરિક પ્રોજેક્ટ તરીકે શરૂ થયું; મેટાડેટા ટીમે તેને ખોલ્યું 2016 માં સ્રોત કોડ. ત્યારથી, ટીમે હંમેશા બે અલગ અલગ કોડબેઝ જાળવી રાખ્યા છે - એક ઓપન સોર્સ માટે અને એક LinkedIn ના આંતરિક ઉપયોગ માટે - કારણ કે LinkedIn ઉપયોગના કેસ માટે વિકસિત તમામ પ્રોડક્ટ સુવિધાઓ સામાન્ય રીતે વ્યાપક પ્રેક્ષકોને લાગુ પડતી નથી. વધુમાં, WhereHows પાસે કેટલીક આંતરિક અવલંબન (ઇન્ફ્રાસ્ટ્રક્ચર, લાઇબ્રેરીઓ વગેરે) છે જે ઓપન સોર્સ નથી. ત્યારપછીના વર્ષોમાં, WhereHows અનેક પુનરાવર્તનો અને વિકાસ ચક્રોમાંથી પસાર થયું, જેના કારણે બે કોડબેસેસને સુમેળમાં રાખવા એક મોટો પડકાર બન્યો. મેટાડેટા ટીમે આંતરિક અને ઓપન સોર્સ ડેવલપમેન્ટને સુમેળમાં રાખવાનો પ્રયાસ કરવા માટે વર્ષોથી જુદા જુદા અભિગમોનો પ્રયાસ કર્યો છે.

પ્રથમ પ્રયાસ: "પ્રથમ ઓપન સોર્સ"

અમે શરૂઆતમાં "ઓપન સોર્સ ફર્સ્ટ" ડેવલપમેન્ટ મોડલને અનુસર્યું, જ્યાં મોટા ભાગનો વિકાસ ઓપન સોર્સ રિપોઝીટરીમાં થાય છે અને આંતરિક જમાવટ માટે ફેરફારો કરવામાં આવે છે. આ અભિગમ સાથે સમસ્યા એ છે કે કોડને હંમેશા GitHub પર ધકેલવામાં આવે છે તે પહેલાં તેની આંતરિક રીતે સંપૂર્ણ સમીક્ષા કરવામાં આવે છે. જ્યાં સુધી ઓપન સોર્સ રિપોઝીટરીમાંથી ફેરફારો કરવામાં ન આવે અને નવી આંતરિક જમાવટ કરવામાં ન આવે ત્યાં સુધી, અમને કોઈ ઉત્પાદન સમસ્યાઓ મળશે નહીં. નબળી જમાવટના કિસ્સામાં, ગુનેગારને નક્કી કરવું પણ ખૂબ મુશ્કેલ હતું કારણ કે બેચમાં ફેરફારો કરવામાં આવ્યા હતા.

વધુમાં, આ મોડેલે ટીમની ઉત્પાદકતામાં ઘટાડો કર્યો હતો જ્યારે નવી સુવિધાઓ વિકસાવી હતી જેને ઝડપી પુનરાવૃત્તિઓની જરૂર હતી, કારણ કે તે તમામ ફેરફારોને પ્રથમ ઓપન સોર્સ રિપોઝીટરીમાં ધકેલવાની ફરજ પાડે છે અને પછી આંતરિક ભંડારમાં ધકેલવામાં આવે છે. પ્રક્રિયાના સમયને ઘટાડવા માટે, જરૂરી સુધારા અથવા ફેરફાર પહેલા આંતરિક રિપોઝીટરીમાં કરી શકાય છે, પરંતુ જ્યારે તે ફેરફારોને ઓપન સોર્સ રિપોઝીટરીમાં મર્જ કરવાની વાત આવી ત્યારે આ એક મોટી સમસ્યા બની ગઈ કારણ કે બે રીપોઝીટરી સુમેળની બહાર હતી.

આ મૉડલ પૂર્ણ-વિશિષ્ટ કસ્ટમ વેબ ઍપ્લિકેશનો કરતાં વહેંચાયેલ પ્લેટફોર્મ્સ, લાઇબ્રેરીઓ અથવા ઇન્ફ્રાસ્ટ્રક્ચર પ્રોજેક્ટ્સ માટે અમલમાં મૂકવું વધુ સરળ છે. વધુમાં, આ મોડેલ એવા પ્રોજેક્ટ્સ માટે આદર્શ છે કે જે ઓપન સોર્સ પહેલા દિવસથી શરૂ કરે છે, પરંતુ WhereHows સંપૂર્ણપણે આંતરિક વેબ એપ્લિકેશન તરીકે બનાવવામાં આવ્યું હતું. તમામ આંતરિક અવલંબનને સંપૂર્ણપણે દૂર કરવું ખરેખર મુશ્કેલ હતું, તેથી અમારે આંતરિક કાંટો રાખવાની જરૂર હતી, પરંતુ આંતરિક કાંટો રાખવા અને મોટાભાગે ઓપન સોર્સ વિકસાવવાથી તદ્દન કામ થયું ન હતું.

બીજો પ્રયાસ: "પ્રથમ આંતરિક"

**બીજા પ્રયાસ તરીકે, અમે "આંતરિક પ્રથમ" વિકાસ મોડેલ તરફ આગળ વધ્યા, જ્યાં મોટા ભાગનો વિકાસ ઘરની અંદર થાય છે અને ઓપન સોર્સ કોડમાં નિયમિત ધોરણે ફેરફારો કરવામાં આવે છે. જો કે આ મોડેલ અમારા ઉપયોગના કેસ માટે શ્રેષ્ઠ અનુરૂપ છે, તેમ છતાં તેમાં અંતર્ગત સમસ્યાઓ છે. ઓપન સોર્સ રિપોઝીટરીમાં તમામ તફાવતોને સીધું ધકેલવું અને પછી મર્જ તકરાર ઉકેલવાનો પ્રયાસ કરવો એ એક વિકલ્પ છે, પરંતુ તે સમય માંગી લે તેવું છે. મોટાભાગના કિસ્સાઓમાં વિકાસકર્તાઓ જ્યારે પણ તેમના કોડની સમીક્ષા કરે છે ત્યારે આ ન કરવાનો પ્રયાસ કરે છે. પરિણામે, આ ઘણી ઓછી વાર, બેચમાં કરવામાં આવશે, અને આ રીતે પછીથી મર્જ તકરારને ઉકેલવાનું વધુ મુશ્કેલ બનાવે છે.

ત્રીજી વખત તે કામ કર્યું!

ઉપર જણાવેલા બે નિષ્ફળ પ્રયાસોના પરિણામે WhereHows GitHub રીપોઝીટરી લાંબા સમય સુધી જૂની રહી. ટીમે ઉત્પાદનની વિશેષતાઓ અને આર્કિટેક્ચરમાં સુધારો કરવાનું ચાલુ રાખ્યું, જેથી LinkedIn માટે WhereHows નું આંતરિક સંસ્કરણ ઓપન સોર્સ વર્ઝન કરતાં વધુ અદ્યતન બન્યું. તેનું એક નવું નામ પણ હતું - DataHub. અગાઉના નિષ્ફળ પ્રયાસોના આધારે, ટીમે સ્કેલેબલ, લાંબા ગાળાના ઉકેલ વિકસાવવાનું નક્કી કર્યું.

કોઈપણ નવા ઓપન સોર્સ પ્રોજેક્ટ માટે, LinkedIn ની ઓપન સોર્સ ટીમ એવા ડેવલપમેન્ટ મોડલને સલાહ આપે છે અને તેને સમર્થન આપે છે જેમાં પ્રોજેક્ટના મોડ્યુલો સંપૂર્ણપણે ઓપન સોર્સમાં વિકસાવવામાં આવે છે. વર્ઝનવાળી આર્ટિફેક્ટને સાર્વજનિક રિપોઝીટરીમાં તૈનાત કરવામાં આવે છે અને પછી આંતરિક લિંક્ડઇન આર્ટિફેક્ટનો ઉપયોગ કરીને પાછા તપાસવામાં આવે છે. બાહ્ય પુસ્તકાલય વિનંતી (ELR). જેઓ ઓપન સોર્સનો ઉપયોગ કરે છે તેમના માટે આ ડેવલપમેન્ટ મોડલને અનુસરવું એ માત્ર સારું નથી, પરંતુ વધુ મોડ્યુલર, એક્સટેન્સિબલ અને પ્લગેબલ આર્કિટેક્ચરમાં પણ પરિણમે છે.

જો કે, DataHub જેવી પરિપક્વ બેક-એન્ડ એપ્લિકેશનને આ સ્થિતિમાં પહોંચવા માટે નોંધપાત્ર સમયની જરૂર પડશે. આ તમામ આંતરિક નિર્ભરતાઓને સંપૂર્ણપણે અમૂર્ત કરવામાં આવે તે પહેલાં ઓપન સોર્સિંગના સંપૂર્ણ કાર્યકારી અમલીકરણની શક્યતાને પણ બાકાત રાખે છે. એટલા માટે અમે એવા સાધનો વિકસાવ્યા છે જે અમને ઓપન સોર્સ યોગદાન વધુ ઝડપથી અને ઘણી ઓછી પીડા સાથે કરવામાં મદદ કરે છે. આ સોલ્યુશન મેટાડેટા ટીમ (ડેટાહબ ડેવલપર) અને ઓપન સોર્સ સમુદાય બંનેને લાભ આપે છે. નીચેના વિભાગો આ નવા અભિગમની ચર્ચા કરશે.

ઓપન સોર્સ પબ્લિશિંગ ઓટોમેશન

ઓપન સોર્સ ડેટાહબ માટે મેટાડેટા ટીમનો નવીનતમ અભિગમ એ એક સાધન વિકસાવવાનો છે જે આંતરિક કોડબેઝ અને ઓપન સોર્સ રિપોઝીટરીને આપમેળે સમન્વયિત કરે છે. આ ટૂલકીટની ઉચ્ચ સ્તરીય સુવિધાઓમાં નીચેનાનો સમાવેશ થાય છે:

1. લિંક્ડઇન કોડને ઓપન સોર્સમાં/માંથી સમન્વયિત કરો, સમાન rsync.
2. લાયસન્સ હેડર જનરેશન, સમાન અપાચે ઉંદર.
3. આંતરિક કમિટ લોગમાંથી ઓપન સોર્સ કમિટ લોગ્સ આપોઆપ જનરેટ કરો.
4. ઓપન સોર્સ બિલ્ડ્સને તોડતા આંતરિક ફેરફારોને અટકાવો નિર્ભરતા પરીક્ષણ.

નીચેના પેટાવિભાગો ઉપરોક્ત ઉલ્લેખિત કાર્યોની તપાસ કરશે જેમાં રસપ્રદ સમસ્યાઓ છે.

સોર્સ કોડ સિંક્રનાઇઝેશન

DataHub ના ઓપન સોર્સ વર્ઝનથી વિપરીત, જે એક જ GitHub રીપોઝીટરી છે, DataHub નું LinkedIn વર્ઝન બહુવિધ રીપોઝીટરીઝનું સંયોજન છે (જેને આંતરિક રીતે કહેવાય છે. મલ્ટિપ્રોડક્ટ્સ). DataHub ઈન્ટરફેસ, મેટાડેટા મોડલ લાઈબ્રેરી, મેટાડેટા વેરહાઉસ બેકએન્ડ સેવા અને સ્ટ્રીમિંગ જોબ્સ LinkedIn પર અલગ રીપોઝીટરીઝમાં રહે છે. જો કે, ઓપન સોર્સ યુઝર્સ માટે તેને સરળ બનાવવા માટે, અમારી પાસે DataHub ના ઓપન સોર્સ વર્ઝન માટે એક જ રીપોઝીટરી છે.

આકૃતિ 1: રીપોઝીટરીઝ વચ્ચે સુમેળ LinkedIn ડેટાહબ અને એક રીપોઝીટરી ડેટાહબ ખુલ્લા સ્ત્રોત

સ્વયંસંચાલિત બિલ્ડ, પુશ અને પુલ વર્કફ્લોને સમર્થન આપવા માટે, અમારું નવું સાધન આપમેળે દરેક સ્રોત ફાઇલને અનુરૂપ ફાઇલ-લેવલ મેપિંગ બનાવે છે. જો કે, ટૂલકીટને પ્રારંભિક રૂપરેખાંકનની જરૂર છે અને વપરાશકર્તાઓએ નીચે બતાવ્યા પ્રમાણે ઉચ્ચ-સ્તરનું મોડ્યુલ મેપિંગ પ્રદાન કરવું આવશ્યક છે.

{
  "datahub-dao": [
    "${datahub-frontend}/datahub-dao"
  ],
  "gms/impl": [
    "${dataset-gms}/impl",
    "${user-gms}/impl"
  ],
  "metadata-dao": [
    "${metadata-models}/metadata-dao"
  ],
  "metadata-builders": [
    "${metadata-models}/metadata-builders"
  ]
}

મોડ્યુલ-લેવલ મેપિંગ એ એક સરળ JSON છે જેની કી ઓપન સોર્સ રિપોઝીટરીમાં લક્ષ્ય મોડ્યુલો છે અને મૂલ્યો LinkedIn રીપોઝીટરીઝમાં સ્ત્રોત મોડ્યુલોની સૂચિ છે. ઓપન સોર્સ રિપોઝીટરીમાં કોઈપણ લક્ષ્ય મોડ્યુલને કોઈપણ સંખ્યાના સ્ત્રોત મોડ્યુલો દ્વારા ખવડાવી શકાય છે. સ્ત્રોત મોડ્યુલોમાં રીપોઝીટરીઝના આંતરિક નામો દર્શાવવા માટે, ઉપયોગ કરો શબ્દમાળા પ્રક્ષેપ બેશ શૈલીમાં. મોડ્યુલ-લેવલ મેપિંગ ફાઇલનો ઉપયોગ કરીને, સાધનો સંકળાયેલ ડિરેક્ટરીઓમાંની બધી ફાઇલોને સ્કેન કરીને ફાઇલ-લેવલ મેપિંગ ફાઇલ બનાવે છે.

{
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
  "${metadata-models}/metadata-builders/build.gradle": null,
}

ફાઇલ લેવલ મેપિંગ ટૂલ્સ દ્વારા આપમેળે બનાવવામાં આવે છે; જો કે, તે વપરાશકર્તા દ્વારા મેન્યુઅલી પણ અપડેટ કરી શકાય છે. આ ઓપન સોર્સ રિપોઝીટરીમાંની ફાઇલ સાથે LinkedIn સોર્સ ફાઇલનું 1:1 મેપિંગ છે. ફાઇલ એસોસિએશનની આ સ્વચાલિત રચના સાથે સંકળાયેલા ઘણા નિયમો છે:

• ઓપન સોર્સમાં લક્ષ્ય મોડ્યુલ માટે બહુવિધ સ્ત્રોત મોડ્યુલોના કિસ્સામાં, તકરાર ઊભી થઈ શકે છે, દા.ત. સમાન FQCN, એક કરતાં વધુ સ્ત્રોત મોડ્યુલમાં અસ્તિત્વમાં છે. સંઘર્ષ નિવારણ વ્યૂહરચના તરીકે, અમારા ટૂલ્સ "છેલ્લી એક જીત" વિકલ્પ પર ડિફોલ્ટ છે.
• "નલ" નો અર્થ છે કે સ્ત્રોત ફાઇલ ઓપન સોર્સ રીપોઝીટરીનો ભાગ નથી.
• દરેક ઓપન સોર્સ સબમિશન અથવા નિષ્કર્ષણ પછી, આ મેપિંગ આપમેળે અપડેટ થાય છે અને સ્નેપશોટ બનાવવામાં આવે છે. છેલ્લી ક્રિયા પછી સ્રોત કોડમાંથી ઉમેરાઓ અને કાઢી નાખવા માટે આ જરૂરી છે.

કમિટ લોગ બનાવી રહ્યા છીએ

ઓપન સોર્સ કમિટ માટે કમિટ લોગ્સ પણ આંતરિક રીપોઝીટરીઝના કમિટ લોગને મર્જ કરીને આપમેળે જનરેટ થાય છે. અમારા ટૂલ દ્વારા જનરેટ કરાયેલ કમીટ લોગનું માળખું બતાવવા માટે નીચે એક નમૂના કમીટ લોગ છે. કમિટ સ્પષ્ટપણે સૂચવે છે કે સ્રોત રીપોઝીટરીઝની કઈ આવૃત્તિઓ તે કમિટમાં પેક કરવામાં આવી છે અને કમિટ લોગનો સારાંશ પૂરો પાડે છે. આ એક તપાસો પ્રતિબદ્ધ અમારી ટૂલકીટ દ્વારા જનરેટ કરાયેલ કમિટ લોગના વાસ્તવિક ઉદાહરણનો ઉપયોગ કરીને.

metadata-models 29.0.0 -> 30.0.0
    Added aspect model foo
    Fixed issue bar

dataset-gms 2.3.0 -> 2.3.4
    Added rest.li API to serve foo aspect

MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0

નિર્ભરતા પરીક્ષણ

LinkedIn પાસે છે નિર્ભરતા પરીક્ષણ ઈન્ફ્રાસ્ટ્રક્ચર, જે સુનિશ્ચિત કરવામાં મદદ કરે છે કે આંતરિક મલ્ટિપ્રોડક્ટમાં ફેરફારો આશ્રિત મલ્ટિપ્રોડક્ટ્સની એસેમ્બલીને તોડે નહીં. ઓપન સોર્સ ડેટાહબ રીપોઝીટરી બહુ-ઉત્પાદન નથી, અને તે કોઈપણ મલ્ટી-પ્રોડક્ટની સીધી નિર્ભરતા હોઈ શકતી નથી, પરંતુ મલ્ટિ-પ્રોડક્ટ રેપરની મદદથી જે ઓપન સોર્સ ડેટાહબ સ્રોત કોડ મેળવે છે, અમે હજી પણ આ નિર્ભરતા પરીક્ષણનો ઉપયોગ કરી શકીએ છીએ. આ રીતે, ઓપન સોર્સ ડેટાહબ રિપોઝીટરીને ફીડ કરતા કોઈપણ મલ્ટિપ્રોડક્ટ્સમાં કોઈપણ ફેરફાર (જે પછીથી ખુલ્લી થઈ શકે છે) શેલ મલ્ટિપ્રોડક્ટમાં બિલ્ડ ઇવેન્ટને ટ્રિગર કરે છે. તેથી, કોઈપણ ફેરફાર જે રેપર ઉત્પાદન બનાવવામાં નિષ્ફળ જાય છે તે મૂળ ઉત્પાદનને પ્રતિબદ્ધ કરતા પહેલા પરીક્ષણોમાં નિષ્ફળ જાય છે અને તેને પાછું ફેરવવામાં આવે છે.

આ એક ઉપયોગી મિકેનિઝમ છે જે કોઈપણ આંતરિક પ્રતિબદ્ધતાને રોકવામાં મદદ કરે છે જે ઓપન સોર્સ બિલ્ડને તોડે છે અને પ્રતિબદ્ધ સમયે તેને શોધી કાઢે છે. આ વિના, ઓપન સોર્સ રિપોઝીટરી બિલ્ડ નિષ્ફળ થવાનું કારણ કઈ આંતરિક કમિટ છે તે નિર્ધારિત કરવું ખૂબ મુશ્કેલ હશે, કારણ કે અમે ડેટાહબ ઓપન સોર્સ રિપોઝીટરીમાં આંતરિક ફેરફારોને બેચ કરીએ છીએ.

ઓપન સોર્સ ડેટાહબ અને અમારા પ્રોડક્શન વર્ઝન વચ્ચેનો તફાવત

આ બિંદુ સુધી, અમે DataHub રિપોઝીટરીઝના બે સંસ્કરણોને સિંક્રનાઇઝ કરવા માટેના અમારા ઉકેલની ચર્ચા કરી છે, પરંતુ અમે હજુ પણ શા માટે પ્રથમ સ્થાને બે અલગ-અલગ વિકાસ પ્રવાહોની જરૂર છે તેના કારણોની રૂપરેખા આપી નથી. આ વિભાગમાં, અમે DataHub ના સાર્વજનિક સંસ્કરણ અને LinkedIn સર્વર્સ પરના ઉત્પાદન સંસ્કરણ વચ્ચેના તફાવતોને સૂચિબદ્ધ કરીશું, અને આ તફાવતોના કારણો સમજાવીશું.

વિસંગતતાનો એક સ્ત્રોત એ હકીકતથી ઉદ્દભવે છે કે અમારા ઉત્પાદન સંસ્કરણમાં એવા કોડ પર નિર્ભરતા છે જે હજી સુધી ઓપન સોર્સ નથી, જેમ કે LinkedIn's Offspring (LinkedIn નું આંતરિક નિર્ભરતા ઈન્જેક્શન ફ્રેમવર્ક). આંતરિક કોડબેઝમાં સંતાનનો વ્યાપકપણે ઉપયોગ થાય છે કારણ કે તે ગતિશીલ રૂપરેખાંકનનું સંચાલન કરવા માટેની પસંદગીની પદ્ધતિ છે. પરંતુ તે ઓપન સોર્સ નથી; તેથી અમને ઓપન સોર્સ ડેટાહબ માટે ઓપન સોર્સ વિકલ્પો શોધવાની જરૂર હતી.

અન્ય કારણો પણ છે. જેમ જેમ આપણે LinkedIn ની જરૂરિયાતો માટે મેટાડેટા મોડેલમાં એક્સ્ટેન્શન્સ બનાવીએ છીએ, આ એક્સ્ટેંશન સામાન્ય રીતે LinkedIn માટે ખૂબ જ વિશિષ્ટ હોય છે અને તે અન્ય વાતાવરણમાં સીધું લાગુ પડતું નથી. ઉદાહરણ તરીકે, અમારી પાસે સહભાગી ID અને અન્ય પ્રકારના મેળ ખાતા મેટાડેટા માટે ખૂબ જ ચોક્કસ લેબલ્સ છે. તેથી, અમે હવે આ એક્સટેન્શન્સને DataHub ના ઓપન સોર્સ મેટાડેટા મોડલમાંથી બાકાત રાખ્યા છે. અમે સમુદાય સાથે સંકળાયેલા હોઈએ છીએ અને તેમની જરૂરિયાતોને સમજીએ છીએ, અમે આ એક્સટેન્શનના સામાન્ય ઓપન સોર્સ વર્ઝન પર કામ કરીશું જ્યાં જરૂર પડશે.

ઓપન સોર્સ સમુદાય માટે ઉપયોગમાં સરળતા અને સરળ અનુકૂલન પણ DataHub ના બે સંસ્કરણો વચ્ચેના કેટલાક તફાવતોને પ્રેરિત કરે છે. સ્ટ્રીમ પ્રોસેસિંગ ઈન્ફ્રાસ્ટ્રક્ચરમાં તફાવતો આનું સારું ઉદાહરણ છે. જો કે અમારું આંતરિક સંસ્કરણ મેનેજ્ડ સ્ટ્રીમ પ્રોસેસિંગ ફ્રેમવર્કનો ઉપયોગ કરે છે, અમે ઓપન સોર્સ વર્ઝન માટે બિલ્ટ-ઇન (સ્ટેન્ડઅલોન) સ્ટ્રીમ પ્રોસેસિંગનો ઉપયોગ કરવાનું પસંદ કર્યું છે કારણ કે તે અન્ય ઇન્ફ્રાસ્ટ્રક્ચર ડિપેન્ડન્સી બનાવવાનું ટાળે છે.

તફાવતનું બીજું ઉદાહરણ એ છે કે બહુવિધ GMS ને બદલે ઓપન સોર્સ અમલીકરણમાં એક જ GMS (સામાન્યકૃત મેટાડેટા સ્ટોર) છે. GMA (સામાન્યકૃત મેટાડેટા આર્કિટેક્ચર) એ DataHub માટે બેક-એન્ડ આર્કિટેક્ચરનું નામ છે, અને GMS એ GMA ના સંદર્ભમાં મેટાડેટા સ્ટોર છે. GMA એ ખૂબ જ લવચીક આર્કિટેક્ચર છે જે તમને દરેક ડેટા કન્સ્ટ્રક્ટ (દા.ત. ડેટાસેટ્સ, યુઝર્સ વગેરે)ને તેના પોતાના મેટાડેટા સ્ટોરમાં વિતરિત કરવાની અથવા એક જ મેટાડેટા સ્ટોરમાં બહુવિધ ડેટા કન્સ્ટ્રક્ટ્સને સ્ટોર કરવાની મંજૂરી આપે છે જ્યાં સુધી રજિસ્ટ્રીમાં ડેટા સ્ટ્રક્ચર મેપિંગ શામેલ હોય. GMS અપડેટ થયેલ છે. ઉપયોગમાં સરળતા માટે, અમે એક જ GMS દાખલો પસંદ કર્યો છે જે ઓપન સોર્સ DataHub માં તમામ વિવિધ ડેટા કન્સ્ટ્રક્ટ્સને સ્ટોર કરે છે.

બે અમલીકરણો વચ્ચેના તફાવતોની સંપૂર્ણ સૂચિ નીચેના કોષ્ટકમાં આપવામાં આવી છે.

ઉત્પાદનના લક્ષણો
LinkedIn DataHub
ઓપન સોર્સ ડેટાહબ

આધારભૂત ડેટા રચનાઓ
1) ડેટાસેટ્સ 2) વપરાશકર્તાઓ 3) મેટ્રિક્સ 4) ML સુવિધાઓ 5) ચાર્ટ્સ 6) ડેશબોર્ડ્સ
1) ડેટાસેટ્સ 2) વપરાશકર્તાઓ

ડેટાસેટ્સ માટે સપોર્ટેડ મેટાડેટા સ્ત્રોતો
1) એમ્બ્રી 2) કોચબેઝ 3) ડાલિડ્સ 4) એસ્પ્રેસો 5) HDFS 6) મધપૂડો 7) કાફકા 8) MongoDB 9) MySQL 10) Oracle 11) Pinot 12) પ્રેસ્ટો 12) રહો 13) ટેરાડેટા 13) વેક્ટર 14) વેનિસ
મધપૂડો કાફકા RDBMS

પબ-સબ
LinkedIn કાફકા
સંગમિત કાફકા

સ્ટ્રીમ પ્રોસેસિંગ
વ્યવસ્થાપિત
એમ્બેડેડ (એકલોન)

ડિપેન્ડન્સી ઈન્જેક્શન અને ડાયનેમિક કન્ફિગરેશન
LinkedIn સંતાન
વસંત

બિલ્ડ ટૂલિંગ
લિગ્રેડલ (લિંક્ડઇનનું આંતરિક ગ્રેડલ રેપર)
ગ્રેડલ્યુ

સીઆઈ / સીડી
CRT (લિંક્ડઇનનું આંતરિક CI/CD)
ટ્રેવિસસીઆઈ અને ડોકર હબ

મેટાડેટા સ્ટોર્સ
વિતરિત બહુવિધ GMS: 1) ડેટાસેટ GMS 2) વપરાશકર્તા GMS 3) મેટ્રિક GMS 4) લક્ષણ GMS 5) ચાર્ટ/ડેશબોર્ડ GMS
માટે સિંગલ GMS: 1) ડેટાસેટ્સ 2) વપરાશકર્તાઓ

ડોકર કન્ટેનરમાં માઇક્રોસર્વિસિસ

Docker સાથે એપ્લિકેશન જમાવટ અને વિતરણને સરળ બનાવે છે કન્ટેનરાઇઝેશન. DataHub માં સેવાનો દરેક ભાગ ઓપન સોર્સ છે, જેમાં ઈન્ફ્રાસ્ટ્રક્ચર ઘટકો જેવા કે કાફકા, સ્થિતિસ્થાપક શોધ, neo4j и MySQL, તેની પોતાની ડોકર ઇમેજ ધરાવે છે. ડોકર કન્ટેનર ઓર્કેસ્ટ્રેટ કરવા માટે અમે ઉપયોગ કર્યો ડોકર કંપોઝ.

આકૃતિ 2: આર્કિટેક્ચર ડેટાહબ *ખુલ્લા સ્ત્રોત**

તમે ઉપરની ઇમેજમાં DataHub નું ઉચ્ચ-સ્તરનું આર્કિટેક્ચર જોઈ શકો છો. ઈન્ફ્રાસ્ટ્રક્ચર ઘટકો ઉપરાંત, તેમાં ચાર અલગ અલગ ડોકર કન્ટેનર છે:

datahub-gms: મેટાડેટા સંગ્રહ સેવા

ડેટાહબ-ફ્રન્ટએન્ડ: એપ્લિકેશન પ્લે, DataHub ઈન્ટરફેસ સેવા આપે છે.

datahub-mce-ગ્રાહક: એપ્લિકેશન કાફકા સ્ટ્રીમ્સ, જે મેટાડેટા ચેન્જ ઇવેન્ટ (MCE) સ્ટ્રીમનો ઉપયોગ કરે છે અને મેટાડેટા સ્ટોરને અપડેટ કરે છે.

datahub-mae-ગ્રાહક: એપ્લિકેશન કાફકા સ્ટ્રીમ્સ, જે મેટાડેટા ઓડિટ ઇવેન્ટ સ્ટ્રીમ (MAE) નો ઉપયોગ કરે છે અને શોધ ઇન્ડેક્સ અને ગ્રાફ ડેટાબેઝ બનાવે છે.

ઓપન સોર્સ રિપોઝીટરી દસ્તાવેજીકરણ અને મૂળ ડેટાહબ બ્લોગ પોસ્ટ વિવિધ સેવાઓના કાર્યો વિશે વધુ વિગતવાર માહિતી ધરાવે છે.

DataHub પર CI/CD ઓપન સોર્સ છે

ઓપન સોર્સ ડેટાહબ રીપોઝીટરીનો ઉપયોગ કરે છે ટ્રેવિસસીઆઈ સતત એકીકરણ માટે અને ડોકર હબ સતત જમાવટ માટે. બંને પાસે સારું GitHub એકીકરણ છે અને તે સેટ કરવા માટે સરળ છે. સમુદાય અથવા ખાનગી કંપનીઓ દ્વારા વિકસિત મોટાભાગના ઓપન સોર્સ ઈન્ફ્રાસ્ટ્રક્ચર માટે (દા.ત. સંમિશ્રિત), સમુદાય દ્વારા ઉપયોગમાં સરળતા માટે ડોકર ઇમેજ બનાવવામાં આવે છે અને ડોકર હબ પર તૈનાત કરવામાં આવે છે. ડોકર હબમાં મળેલી કોઈપણ ડોકર ઈમેજનો સરળ આદેશ સાથે સરળતાથી ઉપયોગ કરી શકાય છે ડોકર ખેંચો.

DataHub ઓપન સોર્સ રિપોઝીટરી પ્રત્યેની પ્રતિબદ્ધતા સાથે, બધી ડોકર ઈમેજીસ આપમેળે બનાવવામાં આવે છે અને "નવીનતમ" ટેગ સાથે ડોકર હબ પર જમાવવામાં આવે છે. જો ડોકર હબ કેટલાક સાથે ગોઠવેલ છે નિયમિત અભિવ્યક્તિ શાખાઓનું નામકરણ, ઓપન સોર્સ રિપોઝીટરીમાંના તમામ ટૅગ્સ પણ ડોકર હબમાં સંબંધિત ટૅગ નામો સાથે રિલીઝ કરવામાં આવે છે.

DataHub નો ઉપયોગ

DataHub સેટ કરી રહ્યું છે ખૂબ જ સરળ છે અને તેમાં ત્રણ સરળ પગલાંઓ છે:

1. ઓપન સોર્સ રિપોઝીટરીને ક્લોન કરો અને ઝડપી શરૂઆત માટે પ્રદાન કરેલ ડોકર-કંપોઝ સ્ક્રિપ્ટનો ઉપયોગ કરીને ડોકર-કંપોઝ સાથે તમામ ડોકર કન્ટેનર ચલાવો.
2. કમાન્ડ લાઇન ટૂલનો ઉપયોગ કરીને રિપોઝીટરીમાં પૂરા પાડવામાં આવેલ નમૂના ડેટાને ડાઉનલોડ કરો જે પણ પ્રદાન કરવામાં આવે છે.
3. તમારા બ્રાઉઝરમાં DataHub બ્રાઉઝ કરો.

સક્રિય રીતે ટ્રેક કરેલ ગીટર ચેટ ઝડપી પ્રશ્નો માટે પણ ગોઠવેલ છે. વપરાશકર્તાઓ GitHub રીપોઝીટરીમાં સીધા મુદ્દાઓ પણ બનાવી શકે છે. સૌથી અગત્યનું, અમે બધા પ્રતિસાદ અને સૂચનોનું સ્વાગત કરીએ છીએ અને પ્રશંસા કરીએ છીએ!

ભવિષ્યની યોજનાઓ

હાલમાં, ઓપન સોર્સ ડેટાહબ માટે દરેક ઇન્ફ્રાસ્ટ્રક્ચર અથવા માઇક્રોસર્વિસ ડોકર કન્ટેનર તરીકે બનાવવામાં આવી છે, અને સમગ્ર સિસ્ટમનો ઉપયોગ કરીને ગોઠવવામાં આવે છે. ડોકર-કંપોઝ. લોકપ્રિયતા અને વ્યાપક આપેલ છે ક્યુબર્નેટિસ, અમે નજીકના ભવિષ્યમાં કુબરનેટ્સ આધારિત સોલ્યુશન પણ પ્રદાન કરવા માંગીએ છીએ.

અમે સાર્વજનિક ક્લાઉડ સેવા પર DataHub જમાવવા માટે ટર્નકી સોલ્યુશન પ્રદાન કરવાની પણ યોજના બનાવીએ છીએ જેમ કે નીલમ, AWS અથવા Google મેઘ. LinkedIn ના Azure માં સ્થળાંતરની તાજેતરની જાહેરાતને જોતાં, આ મેટાડેટા ટીમની આંતરિક પ્રાથમિકતાઓ સાથે સંરેખિત થશે.

છેલ્લું પરંતુ ઓછામાં ઓછું નહીં, ઓપન સોર્સ સમુદાયમાં DataHub ના તમામ પ્રારંભિક અપનાવનારાઓનો આભાર કે જેમણે DataHub આલ્ફા રેટ કર્યું છે અને અમને સમસ્યાઓ ઓળખવામાં અને દસ્તાવેજીકરણને સુધારવામાં મદદ કરી છે.

સોર્સ: www.habr.com