કેવી રીતે Google ની BigQuery એ ડેટા વિશ્લેષણનું લોકશાહીકરણ કર્યું. ભાગ 1

હેલો, હેબ્ર! નવા કોર્સ સ્ટ્રીમ માટે નોંધણી અત્યારે OTUS પર ખુલ્લી છે ડેટા એન્જિનિયર. અભ્યાસક્રમની શરૂઆતની અપેક્ષાએ, અમે પરંપરાગત રીતે તમારા માટે રસપ્રદ સામગ્રીનો અનુવાદ તૈયાર કર્યો છે.

દરરોજ, વિશ્વમાં શું થઈ રહ્યું છે તે જાણવા અને તેની ચર્ચા કરવા માટે સો મિલિયનથી વધુ લોકો ટ્વિટરની મુલાકાત લે છે. દરેક ટ્વીટ અને દરેક અન્ય વપરાશકર્તા ક્રિયા એક ઇવેન્ટ જનરેટ કરે છે જે Twitter ના આંતરિક ડેટા વિશ્લેષણ માટે ઉપલબ્ધ છે. સેંકડો કર્મચારીઓ આ ડેટાનું વિશ્લેષણ કરે છે અને વિઝ્યુઅલાઈઝ કરે છે, અને તેમના અનુભવને બહેતર બનાવવો એ Twitter ડેટા પ્લેટફોર્મ ટીમ માટે ટોચની પ્રાથમિકતા છે.

અમે માનીએ છીએ કે તકનીકી કૌશલ્યની વિશાળ શ્રેણી ધરાવતા વપરાશકર્તાઓ ડેટા શોધવામાં સક્ષમ હોવા જોઈએ અને સારી રીતે પ્રદર્શન કરતા SQL-આધારિત વિશ્લેષણ અને વિઝ્યુલાઇઝેશન ટૂલ્સની ઍક્સેસ હોવી જોઈએ. આનાથી ડેટા વિશ્લેષકો અને પ્રોડક્ટ મેનેજર સહિત ઓછા ટેકનિકલ વપરાશકર્તાઓના સંપૂર્ણ નવા જૂથને ડેટામાંથી આંતરદૃષ્ટિ મેળવવાની મંજૂરી મળશે, જેનાથી તેઓ Twitter ની ક્ષમતાઓને વધુ સારી રીતે સમજી શકશે અને તેનો ઉપયોગ કરી શકશે. આ રીતે અમે Twitter પર ડેટા એનાલિટિક્સનું લોકશાહીકરણ કરીએ છીએ.

જેમ જેમ અમારા ટૂલ્સ અને આંતરિક ડેટા એનાલિટિક્સ ક્ષમતાઓમાં સુધારો થયો છે, તેમ અમે Twitter માં સુધારો જોયો છે. જો કે, હજુ પણ સુધારા માટે અવકાશ છે. સ્કેલ્ડિંગ જેવા વર્તમાન સાધનોને પ્રોગ્રામિંગ અનુભવની જરૂર છે. એસક્યુએલ-આધારિત વિશ્લેષણ સાધનો જેમ કે પ્રેસ્ટો અને વર્ટિકામાં સ્કેલ પર પ્રદર્શન સમસ્યાઓ છે. અમને તેની સતત ઍક્સેસ વિના બહુવિધ સિસ્ટમ્સમાં ડેટા વિતરિત કરવાની સમસ્યા પણ છે.

ગયા વર્ષે અમે જાહેરાત કરી હતી Google સાથે નવો સહયોગ, જેની અંદર અમે અમારા ભાગોને સ્થાનાંતરિત કરીએ છીએ ડેટા ઈન્ફ્રાસ્ટ્રક્ચર Google Cloud Platform (GCP) પર. અમે તારણ કાઢ્યું છે કે Google ક્લાઉડ સાધનો મોટી માહિતી Twitter પર એનાલિટિક્સ, વિઝ્યુલાઇઝેશન અને મશીન લર્નિંગને લોકશાહી બનાવવાની અમારી પહેલમાં અમને મદદ કરી શકે છે:

• બિગક્વેરી: SQL એન્જિન આધારિત એન્ટરપ્રાઇઝ ડેટા વેરહાઉસ ડ્રેમેલ, જે તેની ઝડપ, સરળતા અને તેનો સામનો કરવા માટે પ્રખ્યાત છે મશીન લર્નિંગ.
• ડેટા સ્ટુડિયો: Google ડૉક્સ જેવી સહયોગ સુવિધાઓ સાથેનું મોટું ડેટા વિઝ્યુલાઇઝેશન ટૂલ.

આ લેખમાં, તમે આ સાધનો સાથેના અમારા અનુભવ વિશે શીખીશું: અમે શું કર્યું, અમે શું શીખ્યા અને અમે આગળ શું કરીશું. અમે હવે બેચ અને ઇન્ટરેક્ટિવ એનાલિટિક્સ પર ધ્યાન કેન્દ્રિત કરીશું. અમે આગલા લેખમાં રીઅલ-ટાઇમ એનાલિટિક્સ વિશે ચર્ચા કરીશું.

Twitter ડેટા સ્ટોર્સનો ઇતિહાસ

BigQuery માં ડાઇવિંગ કરતા પહેલા, Twitter ડેટા વેરહાઉસિંગના ઇતિહાસને સંક્ષિપ્તમાં ગણવા યોગ્ય છે. 2011 માં, ટ્વિટર ડેટા વિશ્લેષણ વર્ટીકા અને હડુપમાં કરવામાં આવ્યું હતું. અમે MapReduce Hadoop નોકરીઓ બનાવવા માટે પિગનો ઉપયોગ કર્યો. 2012 માં, અમે પિગને સ્કેલ્ડિંગ સાથે બદલ્યું, જેમાં જટિલ પાઇપલાઇન બનાવવાની ક્ષમતા અને પરીક્ષણની સરળતા જેવા ફાયદાઓ સાથે સ્કેલા API હતી. જો કે, ઘણા ડેટા વિશ્લેષકો અને પ્રોડક્ટ મેનેજરો માટે કે જેઓ SQL સાથે કામ કરવામાં વધુ આરામદાયક હતા, તે એકદમ ઊંચું શિક્ષણ વળાંક હતું. 2016 ની આસપાસ, અમે Hadoop ડેટાના SQL ઈન્ટરફેસ તરીકે Presto નો ઉપયોગ કરવાનું શરૂ કર્યું. સ્પાર્કે પાયથોન ઈન્ટરફેસ ઓફર કર્યું છે, જે તેને એડહોક ડેટા સાયન્સ અને મશીન લર્નિંગ માટે સારી પસંદગી બનાવે છે.

2018 થી, અમે ડેટા વિશ્લેષણ અને વિઝ્યુલાઇઝેશન માટે નીચેના સાધનોનો ઉપયોગ કર્યો છે:

• ઉત્પાદન કન્વેયર્સ માટે સ્કેલ્ડિંગ
• તદર્થ ડેટા વિશ્લેષણ અને મશીન લર્નિંગ માટે સ્કેલ્ડિંગ અને સ્પાર્ક
• એડહોક અને ઇન્ટરેક્ટિવ SQL વિશ્લેષણ માટે વર્ટીકા અને પ્રેસ્ટો
• નીચા ઇન્ટરેક્ટિવ, અન્વેષણાત્મક અને સમય શ્રેણી મેટ્રિક્સમાં ઓછી વિલંબતા ઍક્સેસ માટે ડ્રુડ
• ડેટા વિઝ્યુલાઇઝેશન માટે ટેબ્લો, ઝેપ્પેલીન અને પીવોટ

અમને જાણવા મળ્યું કે જ્યારે આ સાધનો ખૂબ જ શક્તિશાળી ક્ષમતાઓ પ્રદાન કરે છે, ત્યારે અમને Twitter પર વ્યાપક પ્રેક્ષકો માટે આ ક્ષમતાઓ ઉપલબ્ધ કરાવવામાં મુશ્કેલી પડી હતી. Google Cloud સાથે અમારા પ્લેટફોર્મને વિસ્તૃત કરીને, અમે બધા Twitter માટે અમારા વિશ્લેષણ સાધનોને સરળ બનાવવા પર ધ્યાન કેન્દ્રિત કરી રહ્યાં છીએ.

Google નું BigQuery ડેટા વેરહાઉસ

Twitter પરની કેટલીક ટીમોએ તેમની કેટલીક પ્રોડક્શન પાઇપલાઇન્સમાં બિગક્વેરીનો પહેલેથી જ સમાવેશ કર્યો છે. તેમની કુશળતાનો ઉપયોગ કરીને, અમે Twitter ઉપયોગના તમામ કેસ માટે BigQuery ની ક્ષમતાઓનું મૂલ્યાંકન કરવાનું શરૂ કર્યું. અમારો ધ્યેય સમગ્ર કંપનીને BigQuery ઑફર કરવાનો હતો અને તેને ડેટા પ્લેટફોર્મ ટૂલસેટમાં માનકીકરણ અને સમર્થન આપવાનું હતું. આ ઘણા કારણોસર મુશ્કેલ હતું. અમારે ડેટાના મોટા જથ્થાને વિશ્વસનીય રીતે ઇન્જેસ્ટ કરવા, કંપની-વ્યાપી ડેટા મેનેજમેન્ટને ટેકો આપવા, યોગ્ય ઍક્સેસ નિયંત્રણો સુનિશ્ચિત કરવા અને ગ્રાહકની ગોપનીયતાને સુનિશ્ચિત કરવા માટે ઇન્ફ્રાસ્ટ્રક્ચર વિકસાવવાની જરૂર છે. અમારે સંસાધન ફાળવણી, મોનિટરિંગ અને ચાર્જબૅક્સ માટે સિસ્ટમ્સ પણ બનાવવાની હતી જેથી કરીને ટીમો BigQueryનો અસરકારક રીતે ઉપયોગ કરી શકે.

નવેમ્બર 2018માં, અમે BigQuery અને ડેટા સ્ટુડિયોનું કંપની-વ્યાપી આલ્ફા રિલીઝ રિલીઝ કર્યું. અમે ટ્વિટર કર્મચારીઓને વ્યક્તિગત ડેટા સાફ કરવા સાથે અમારી સૌથી વધુ ઉપયોગમાં લેવાતી કેટલીક સ્પ્રેડશીટ્સ ઓફર કરી છે. BigQuery નો ઉપયોગ એન્જિનિયરિંગ, ફાઇનાન્સ અને માર્કેટિંગ સહિત વિવિધ ટીમોના 250 થી વધુ વપરાશકર્તાઓ દ્વારા કરવામાં આવ્યો છે. તાજેતરમાં, તેઓ લગભગ 8k વિનંતીઓ ચલાવી રહ્યા હતા, દર મહિને લગભગ 100 PB પર પ્રક્રિયા કરી રહ્યા હતા, સુનિશ્ચિત વિનંતીઓની ગણતરી કરતા નથી. ખૂબ જ સકારાત્મક પ્રતિસાદ મળ્યા પછી, અમે આગળ વધવાનું નક્કી કર્યું અને Twitter પર ડેટા સાથે ક્રિયાપ્રતિક્રિયા કરવા માટે પ્રાથમિક સ્ત્રોત તરીકે BigQuery ઑફર કર્યું.

અહીં અમારા Google BigQuery ડેટા વેરહાઉસ આર્કિટેક્ચરનો ઉચ્ચ-સ્તરનો આકૃતિ છે.

અમે આંતરિક ક્લાઉડ રેપ્લિકેટર ટૂલનો ઉપયોગ કરીને ઑન-પ્રિમિસીસ Hadoop ક્લસ્ટરોમાંથી ડેટાને Google Cloud Storage (GCS) પર કૉપિ કરીએ છીએ. અમે પછી પાઇપલાઇન બનાવવા માટે અપાચે એરફ્લોનો ઉપયોગ કરીએ છીએ જે "bq_load» GCS માંથી BigQuery માં ડેટા લોડ કરવા માટે. અમે GCS માં Parquet અથવા Thrift-LZO ડેટાસેટ્સને પૂછવા માટે પ્રેસ્ટોનો ઉપયોગ કરીએ છીએ. BQ Blaster એ HDFS વર્ટીકા અને Thrift-LZO ડેટાસેટ્સને BigQuery માં લોડ કરવા માટેનું આંતરિક સ્કેલ્ડિંગ સાધન છે.

નીચેના વિભાગોમાં, અમે ઉપયોગમાં સરળતા, કામગીરી, ડેટા મેનેજમેન્ટ, સિસ્ટમ હેલ્થ અને ખર્ચના ક્ષેત્રોમાં અમારા અભિગમ અને કુશળતાની ચર્ચા કરીએ છીએ.

ઉપયોગમાં સરળતા

અમે જોયું કે વપરાશકર્તાઓ માટે BigQuery સાથે પ્રારંભ કરવાનું સરળ હતું કારણ કે તેને સૉફ્ટવેર ઇન્સ્ટોલેશનની જરૂર નથી અને વપરાશકર્તાઓ તેને સાહજિક વેબ ઇન્ટરફેસ દ્વારા ઍક્સેસ કરી શકે છે. જો કે, વપરાશકર્તાઓને પ્રોજેક્ટ્સ, ડેટાસેટ્સ અને કોષ્ટકો જેવા સંસાધનો સહિત GCP ની કેટલીક સુવિધાઓ અને ખ્યાલોથી પરિચિત થવાની જરૂર હતી. અમે વપરાશકર્તાઓને પ્રારંભ કરવામાં મદદ કરવા માટે શૈક્ષણિક સામગ્રી અને ટ્યુટોરિયલ્સ વિકસાવ્યા છે. મૂળભૂત સમજણ મેળવીને, વપરાશકર્તાઓને ડેટા સેટ્સ નેવિગેટ કરવાનું, સ્કીમા અને ટેબલ ડેટા જોવાનું, સરળ ક્વેરી ચલાવવાનું અને ડેટા સ્ટુડિયોમાં પરિણામોની કલ્પના કરવાનું સરળ લાગ્યું.

BigQuery માં ડેટા એન્ટ્રી માટેનો અમારો ધ્યેય એક ક્લિક સાથે HDFS અથવા GCS ડેટાસેટ્સના સીમલેસ લોડિંગને સક્ષમ કરવાનો હતો. અમે વિચાર્યું મેઘ રચયિતા (એરફ્લો દ્વારા સંચાલિત) પરંતુ અમારા ડોમેન પ્રતિબંધિત શેરિંગ સુરક્ષા મોડલને કારણે તેનો ઉપયોગ કરવામાં અસમર્થ હતા (નીચેના ડેટા મેનેજમેન્ટ વિભાગમાં આ વિશે વધુ). અમે BigQuery વર્કલોડને ગોઠવવા માટે Google ડેટા ટ્રાન્સફર સર્વિસ (DTS) નો ઉપયોગ કરવાનો પ્રયોગ કર્યો. જ્યારે ડીટીએસ સેટઅપ કરવા માટે ઝડપી હતું, તે નિર્ભરતા સાથે પાઇપલાઇન બનાવવા માટે લવચીક ન હતું. અમારા આલ્ફા રિલીઝ માટે, અમે GCE માં અમારું પોતાનું અપાચે એરફ્લો ફ્રેમવર્ક બનાવ્યું છે અને તેને ઉત્પાદનમાં ચલાવવા માટે અને વર્ટિકા જેવા વધુ ડેટા સ્ત્રોતોને સમર્થન આપવા માટે તૈયાર છીએ.

ડેટાને BigQuery માં રૂપાંતરિત કરવા માટે, વપરાશકર્તાઓ સુનિશ્ચિત ક્વેરીઝનો ઉપયોગ કરીને સરળ SQL ડેટા પાઇપલાઇન્સ બનાવે છે. નિર્ભરતા સાથે જટિલ મલ્ટી-સ્ટેજ પાઇપલાઇન્સ માટે, અમે અમારી પોતાની એરફ્લો ફ્રેમવર્ક અથવા ક્લાઉડ કંપોઝરનો ઉપયોગ કરવાની યોજના બનાવીએ છીએ મેઘ ડેટાફ્લો.

ઉત્પાદકતા

BigQuery સામાન્ય હેતુ SQL ક્વેરીઝ માટે ડિઝાઇન કરવામાં આવી છે જે મોટા પ્રમાણમાં ડેટા પર પ્રક્રિયા કરે છે. તે ટ્રાન્ઝેક્શનલ ડેટાબેઝ દ્વારા જરૂરી ઓછી વિલંબ, ઉચ્ચ થ્રુપુટ ક્વેરી માટે અથવા અમલમાં મુકવામાં આવેલા ઓછા વિલંબ સમય શ્રેણી વિશ્લેષણ માટે બનાવાયેલ નથી. અપાચે ડ્રુડ. ઇન્ટરેક્ટિવ એનાલિટિક્સ ક્વેરીઝ માટે, અમારા વપરાશકર્તાઓ એક મિનિટ કરતાં ઓછા સમયના પ્રતિભાવ સમયની અપેક્ષા રાખે છે. આ અપેક્ષાઓ પૂરી કરવા માટે અમારે BigQuery નો અમારો ઉપયોગ ડિઝાઇન કરવો પડ્યો. અમારા વપરાશકર્તાઓ માટે અનુમાનિત કામગીરી પ્રદાન કરવા માટે, અમે BigQuery કાર્યક્ષમતાનો લાભ લીધો છે, જે ગ્રાહકો માટે ફ્લેટ ફીના ધોરણે ઉપલબ્ધ છે જે પ્રોજેક્ટ માલિકોને તેમના પ્રશ્નો માટે લઘુત્તમ સ્લોટ આરક્ષિત કરવાની મંજૂરી આપે છે. સ્લોટ BigQuery એ SQL ક્વેરી ચલાવવા માટે જરૂરી કમ્પ્યુટિંગ પાવરનું એકમ છે.

અમે લગભગ 800 TB ડેટાની પ્રક્રિયા કરતી 1 થી વધુ ક્વેરીઝનું વિશ્લેષણ કર્યું અને જાણવા મળ્યું કે સરેરાશ અમલ સમય 30 સેકન્ડનો હતો. અમે એ પણ શીખ્યા કે વિવિધ પ્રોજેક્ટ્સ અને કાર્યોમાં અમારા સ્લોટના ઉપયોગ પર કામગીરી ખૂબ જ નિર્ભર છે. ઉત્પાદન ઉપયોગના કેસ અને ઓનલાઈન પૃથ્થકરણ માટે કામગીરી જાળવવા માટે અમારે અમારા ઉત્પાદન અને તદર્થ સ્લોટ રિઝર્વને સ્પષ્ટપણે દર્શાવવું પડ્યું હતું. આનાથી સ્લોટ રિઝર્વેશન અને પ્રોજેક્ટ હાયરાર્કી માટેની અમારી ડિઝાઇનને ખૂબ પ્રભાવિત કરી.

અમે અનુવાદના બીજા ભાગમાં આવતા દિવસોમાં ડેટા મેનેજમેન્ટ, કાર્યક્ષમતા અને સિસ્ટમની કિંમત વિશે વાત કરીશું, પરંતુ હવે અમે દરેકને આમંત્રિત કરીએ છીએ મફત લાઇવ વેબિનાર, જે દરમિયાન તમે કોર્સ વિશે વિગતવાર શીખી શકશો, સાથે સાથે અમારા નિષ્ણાતને પ્રશ્નો પૂછી શકશો - Egor Mateshuk (વરિષ્ઠ ડેટા એન્જિનિયર, MaximaTelecom).

વધુ વાંચો:

• ડેટા બિલ્ડ ટૂલ અથવા ડેટા વેરહાઉસ અને સ્મૂધી વચ્ચે શું સામાન્ય છે
• ડેલ્ટા લેકમાં ડાઇવ: સ્કીમા એન્ફોર્સમેન્ટ એન્ડ ઇવોલ્યુશન
• અપાચે એરો સાથે પાયથોનમાં હાઇ-સ્પીડ અપાચે પાર્કેટ

સોર્સ: www.habr.com