કેવી રીતે Google ની BigQuery એ ડેટા વિશ્લેષણનું લોકશાહીકરણ કર્યું. ભાગ 2

હેલો, હેબ્ર! નવા કોર્સ સ્ટ્રીમ માટે નોંધણી અત્યારે OTUS પર ખુલ્લી છે ડેટા એન્જિનિયર. કોર્સની શરૂઆતની અપેક્ષાએ, અમે તમારી સાથે ઉપયોગી સામગ્રી શેર કરવાનું ચાલુ રાખીએ છીએ.

ભાગ એક વાંચો

માહિતી વ્યવસ્થાપન

સ્ટ્રોંગ ડેટા ગવર્નન્સ એ ટ્વિટર એન્જિનિયરિંગનો મુખ્ય સિદ્ધાંત છે. અમે અમારા પ્લેટફોર્મમાં BigQuery લાગુ કરીએ છીએ, અમે ડેટા શોધ, ઍક્સેસ નિયંત્રણ, સુરક્ષા અને ગોપનીયતા પર ધ્યાન કેન્દ્રિત કરીએ છીએ.

ડેટા શોધવા અને મેનેજ કરવા માટે, અમે અમારા ડેટા એક્સેસ લેયરને વિસ્તરણ કર્યું છે ડીએલ) અમારા વપરાશકર્તાઓ માટે એક જ ઇન્ટરફેસ અને API પ્રદાન કરીને, ઑન-પ્રિમિસીસ અને Google ક્લાઉડ ડેટા બંને માટે સાધનો પ્રદાન કરવા. Google તરીકે ડેટા કેટલોગ સામાન્ય ઉપલબ્ધતા તરફ આગળ વધી રહી છે, અમે વપરાશકર્તાઓને કૉલમ શોધ જેવી સુવિધાઓ પ્રદાન કરવા માટે અમારા પ્રોજેક્ટ્સમાં તેનો સમાવેશ કરીશું.

BigQuery ડેટાને શેર કરવાનું અને ઍક્સેસ કરવાનું સરળ બનાવે છે, પરંતુ અમારે આના પર અમુક નિયંત્રણ રાખવાની જરૂર છે જેથી કરીને ડેટા એક્સ્ફિલ્ટેશનને અટકાવી શકાય. અન્ય સાધનોમાં, અમે બે કાર્યો પસંદ કર્યા છે:

• ડોમેન પ્રતિબંધિત શેરિંગ: બીટા સુવિધા વપરાશકર્તાઓને Twitter ની બહારના વપરાશકર્તાઓ સાથે BigQuery ડેટાસેટ્સ શેર કરતા અટકાવવા.
• VPC સેવા નિયંત્રણો: એક નિયંત્રણ જે ડેટાને બહાર કાઢવાને અટકાવે છે અને વપરાશકર્તાઓને જાણીતી IP એડ્રેસ રેન્જમાંથી BigQuery ઍક્સેસ કરવાની જરૂર છે.

અમે નીચે પ્રમાણે સુરક્ષા માટે પ્રમાણીકરણ, અધિકૃતતા અને ઓડિટીંગ (AAA) જરૂરિયાતો લાગુ કરી છે:

• પ્રમાણીકરણ: અમે એડહૉક વિનંતીઓ માટે GCP વપરાશકર્તા એકાઉન્ટ્સ અને ઉત્પાદન વિનંતીઓ માટે સેવા એકાઉન્ટ્સનો ઉપયોગ કર્યો છે.
• અધિકૃતતા: અમારે દરેક ડેટાસેટ પાસે માલિકનું સેવા ખાતું અને રીડર જૂથ હોવું જરૂરી છે.
• ઑડિટિંગ: અમે BigQuery સ્ટેકડ્રાઇવર લૉગની નિકાસ કરી, જેમાં વિગતવાર ક્વેરી એક્ઝિક્યુશન માહિતી હતી, સરળ વિશ્લેષણ માટે BigQuery ડેટાસેટમાં.

Twitter વપરાશકર્તાઓના વ્યક્તિગત ડેટાને યોગ્ય રીતે હેન્ડલ કરવામાં આવે તેની ખાતરી કરવા માટે, અમારે તમામ BigQuery ડેટાસેટ્સ રજીસ્ટર કરવા, વ્યક્તિગત ડેટાની ટીકા કરવી, યોગ્ય સંગ્રહ જાળવવો અને વપરાશકર્તાઓ દ્વારા કાઢી નાખવામાં આવેલ ડેટાને કાઢી નાખવો (સ્ક્રેપ) કરવો જોઈએ.

અમે ગૂગલ પર જોયું ક્લાઉડ ડેટા લોસ પ્રિવેન્શન API, જે સંવેદનશીલ ડેટાને વર્ગીકૃત કરવા અને સંપાદિત કરવા માટે મશીન લર્નિંગનો ઉપયોગ કરે છે, પરંતુ સચોટતાને કારણે ડેટાસેટને મેન્યુઅલી ટીકા કરવાની તરફેણમાં નિર્ણય લીધો છે. અમે કસ્ટમ એનોટેશનને વધારવા માટે ડેટા લોસ પ્રિવેન્શન API નો ઉપયોગ કરવાની યોજના બનાવીએ છીએ.

Twitter પર, અમે BigQuery માં ડેટાસેટ્સ માટે ચાર ગોપનીયતા શ્રેણીઓ બનાવી છે, જે અહીં સંવેદનશીલતાના ઉતરતા ક્રમમાં સૂચિબદ્ધ છે:

• અતિસંવેદનશીલ ડેટા સેટ ઓછામાં ઓછા વિશેષાધિકારના સિદ્ધાંતના આધારે જરૂરિયાત મુજબ ઉપલબ્ધ કરાવવામાં આવે છે. દરેક ડેટા સેટમાં વાચકોનું એક અલગ જૂથ હોય છે, અને અમે વ્યક્તિગત એકાઉન્ટ્સ દ્વારા ઉપયોગને ટ્રૅક કરીશું.
• મધ્યમ સંવેદનશીલતા ડેટાસેટ્સ (સોલ્ટેડ હેશિંગનો ઉપયોગ કરીને વન-વે ઉપનામ) વ્યક્તિગત રીતે ઓળખી શકાય તેવી માહિતી (PII) ધરાવતું નથી અને કર્મચારીઓના મોટા જૂથ માટે સુલભ છે. આ ગોપનીયતાની ચિંતાઓ અને ડેટા ઉપયોગિતા વચ્ચે સારું સંતુલન છે. આનાથી કર્મચારીઓને વિશ્લેષણ કાર્યો કરવા માટે પરવાનગી આપે છે, જેમ કે વાસ્તવિક વપરાશકર્તાઓ કોણ છે તે જાણ્યા વિના, સુવિધાનો ઉપયોગ કરનારા વપરાશકર્તાઓની સંખ્યાની ગણતરી કરવી.
• વપરાશકર્તાની ઓળખ કરતી તમામ માહિતી સાથે ઓછી સંવેદનશીલતા ડેટાસેટ્સ. ગોપનીયતાના પરિપ્રેક્ષ્યમાં આ એક સારો અભિગમ છે, પરંતુ વપરાશકર્તા-સ્તરના વિશ્લેષણ માટે તેનો ઉપયોગ કરી શકાતો નથી.
• સાર્વજનિક ડેટાસેટ્સ (Twitter ની બહાર પ્રકાશિત) બધા Twitter કર્મચારીઓ માટે ઉપલબ્ધ છે.

લોગીંગ માટે, અમે BigQuery ડેટાસેટ્સની ગણતરી કરવા અને તેમને ડેટા એક્સેસ લેયર (ડીએલ), Twitter મેટાડેટા રીપોઝીટરી. વપરાશકર્તાઓ ગોપનીયતા માહિતી સાથે ડેટાસેટ્સની ટીકા કરશે અને રીટેન્શન અવધિનો પણ ઉલ્લેખ કરશે. સફાઈ માટે, અમે બે વિકલ્પોની કામગીરી અને કિંમતનું મૂલ્યાંકન કરીએ છીએ: 1. સ્કેલ્ડિંગ જેવા ટૂલ્સનો ઉપયોગ કરીને GCS માં ડેટાસેટ્સ સાફ કરવું અને તેમને BigQuery માં લોડ કરવું; 2. BigQuery DML સ્ટેટમેન્ટનો ઉપયોગ કરવો. અમે સંભવતઃ વિવિધ જૂથો અને ડેટાની આવશ્યકતાઓને પૂર્ણ કરવા માટે બંને પદ્ધતિઓના સંયોજનનો ઉપયોગ કરીશું.

સિસ્ટમ કાર્યક્ષમતા

કારણ કે BigQuery એક સંચાલિત સેવા છે, સિસ્ટમ મેનેજમેન્ટ અથવા ડેસ્ક ફરજોમાં Twitter ની SRE ટીમને સામેલ કરવાની કોઈ જરૂર નથી. સ્ટોરેજ અને કમ્પ્યુટિંગ બંને માટે વધુ ક્ષમતા પ્રદાન કરવી સરળ હતી. અમે Google સપોર્ટ વડે ટિકિટ બનાવીને સ્લોટ રિઝર્વેશન બદલી શકીએ છીએ. અમે એવા ક્ષેત્રોને ઓળખ્યા કે જે સુધારી શકાય, જેમ કે સેલ્ફ-સર્વિસ સ્લોટ ફાળવણી અને મોનિટરિંગ માટે ડેશબોર્ડ સુધારણા, અને તે વિનંતીઓ Google ને સબમિટ કરી.

કિંમત

અમારા પ્રારંભિક વિશ્લેષણ દર્શાવે છે કે BigQuery અને Presto માટે ક્વેરી ખર્ચ સમાન સ્તર પર હતા. અમે માટે સ્લોટ ખરીદ્યા નિશ્ચિત ચુકવણીને બદલે સ્થિર માસિક ખર્ચ રાખવા માટે કિંમત માંગ પર પ્રોસેસ્ડ ડેટાના ટીબી દીઠ. આ નિર્ણય એવા વપરાશકર્તાઓના પ્રતિસાદ પર પણ આધારિત હતો જેઓ દરેક વિનંતી કરતા પહેલા ખર્ચ વિશે વિચારવા માંગતા ન હતા.

BigQuery માં ડેટા સંગ્રહિત કરવાથી GCS ખર્ચ ઉપરાંત ખર્ચ થાય છે. Scalding જેવા સાધનોને GCS માં ડેટાસેટ્સની જરૂર છે અને BigQuery ને ઍક્સેસ કરવા માટે અમારે તે જ ડેટાસેટ્સ BigQuery ફોર્મેટમાં લોડ કરવા પડ્યા કોપેસિટર. અમે BigQuery ડેટાસેટ્સ સાથે સ્કેલ્ડિંગ કનેક્શન પર કામ કરી રહ્યા છીએ જે GCS અને BigQuery બંનેમાં ડેટાસેટ્સ સ્ટોર કરવાની જરૂરિયાતને દૂર કરશે.

દુર્લભ કિસ્સાઓ માટે કે જેમાં દસ પેટાબાઇટ્સની અવારનવાર ક્વેરી જરૂરી હોય, અમે નક્કી કર્યું કે BigQuery માં ડેટાસેટ્સનો સંગ્રહ કરવો ખર્ચ-અસરકારક ન હતો અને GCS માં ડેટાસેટ્સને સીધો ઍક્સેસ કરવા માટે Presto નો ઉપયોગ કર્યો. આ કરવા માટે, અમે BigQuery બાહ્ય ડેટા સ્ત્રોતો જોઈ રહ્યા છીએ.

આગામી પગલાં

આલ્ફા રિલીઝ થયા પછી અમે BigQuery માં ઘણો રસ જોયો છે. અમે BigQuery માં વધુ ડેટાસેટ્સ અને વધુ આદેશો ઉમેરી રહ્યા છીએ. અમે BigQuery સ્ટોરેજ પર વાંચવા અને લખવા માટે Scalding જેવા ડેટા એનાલિટિક્સ ટૂલ્સ માટે કનેક્ટર્સ વિકસાવીએ છીએ. અમે BigQuery ડેટાસેટ્સનો ઉપયોગ કરીને એન્ટરપ્રાઇઝ ગુણવત્તા અહેવાલો અને નોંધો બનાવવા માટે Looker અને Apache Zeppelin જેવા સાધનો જોઈ રહ્યાં છીએ.

Google સાથેનો અમારો સહયોગ ખૂબ જ ફળદાયી રહ્યો છે અને અમને આ ભાગીદારી ચાલુ રાખવા અને વિકસાવવામાં આનંદ થાય છે. અમે અમારા પોતાના અમલીકરણ માટે Google સાથે કામ કર્યું પાર્ટનર ઇશ્યુ ટ્રેકરસીધા Google ને પ્રશ્નો મોકલવા માટે. તેમાંના કેટલાક, જેમ કે BigQuery Parquet લોડર, Google દ્વારા પહેલેથી જ અમલમાં મૂકવામાં આવ્યું છે.

અહીં Google માટે અમારી કેટલીક ઉચ્ચ પ્રાથમિકતા વિશેષતા વિનંતીઓ છે:

• LZO-થ્રીફ્ટ ફોર્મેટ માટે અનુકૂળ ડેટા રિસેપ્શન અને સપોર્ટ માટેના સાધનો.
• કલાકદીઠ વિભાજન
• ઍક્સેસ નિયંત્રણ સુધારણાઓ જેમ કે ટેબલ-, પંક્તિ- અને કૉલમ-સ્તરની પરવાનગીઓ.
• બિગક્વેરી બાહ્ય ડેટા સ્ત્રોતો Hive Metastore એકીકરણ અને LZO-થ્રીફ્ટ ફોર્મેટ માટે સપોર્ટ સાથે.
• BigQuery વપરાશકર્તા ઈન્ટરફેસમાં બહેતર ડેટા કેટલોગ એકીકરણ
• સ્લોટ ફાળવણી અને દેખરેખ માટે સ્વ-સેવા.

નિષ્કર્ષ

ડેટા એનાલિટિક્સ, વિઝ્યુલાઇઝેશન અને મશીન લર્નિંગને સુરક્ષિત રીતે લોકશાહી બનાવવું એ ડેટા પ્લેટફોર્મ ટીમ માટે ટોચની પ્રાથમિકતા છે. અમે Google BigQuery અને ડેટા સ્ટુડિયોને એવા ટૂલ્સ તરીકે ઓળખ્યા છે જે આ ધ્યેય હાંસલ કરવામાં મદદ કરી શકે છે અને ગયા વર્ષે BigQuery આલ્ફા કંપનીવ્યાપી રિલીઝ કરી છે.

અમને BigQuery માં ક્વેરી સરળ અને કાર્યક્ષમ હોવાનું જણાયું છે. અમે સરળ પાઇપલાઇન્સ માટે ડેટા ઇન્જેસ્ટ કરવા અને રૂપાંતરિત કરવા માટે Google સાધનોનો ઉપયોગ કર્યો, પરંતુ જટિલ પાઇપલાઇન્સ માટે અમારે અમારું પોતાનું એરફ્લો ફ્રેમવર્ક બનાવવું પડ્યું. ડેટા મેનેજમેન્ટ સ્પેસમાં, પ્રમાણીકરણ, અધિકૃતતા અને ઓડિટીંગ માટેની BigQueryની સેવાઓ અમારી જરૂરિયાતોને પૂર્ણ કરે છે. મેટાડેટા મેનેજ કરવા અને ગોપનીયતા જાળવવા માટે, અમને વધુ સુગમતાની જરૂર હતી અને અમારી પોતાની સિસ્ટમ્સ બનાવવાની હતી. BigQuery, એક સંચાલિત સેવા હોવાને કારણે, ઉપયોગમાં સરળ હતી. ક્વેરી ખર્ચ હાલના સાધનો જેવો જ હતો. BigQuery માં ડેટા સ્ટોર કરવા માટે GCS ખર્ચ ઉપરાંત ખર્ચ થાય છે.

એકંદરે, BigQuery સામાન્ય SQL વિશ્લેષણ માટે સારી રીતે કામ કરે છે. અમે BigQuery માં ઘણી રુચિ જોઈ રહ્યાં છીએ, અને અમે વધુ ડેટા સેટ સ્થાનાંતરિત કરવા, વધુ ટીમો લાવવા અને BigQuery સાથે વધુ પાઇપલાઇન બનાવવા માટે કામ કરી રહ્યાં છીએ. Twitter વિવિધ પ્રકારના ડેટાનો ઉપયોગ કરે છે જેને સ્કેલ્ડિંગ, સ્પાર્ક, પ્રેસ્ટો અને ડ્રુડ જેવા સાધનોના સંયોજનની જરૂર પડશે. અમે અમારા ડેટા એનાલિટિક્સ ટૂલ્સને મજબૂત કરવાનું ચાલુ રાખવા અને અમારી ઑફરનો શ્રેષ્ઠ ઉપયોગ કેવી રીતે કરવો તે અંગે અમારા વપરાશકર્તાઓને સ્પષ્ટ માર્ગદર્શન આપવાનો ઈરાદો ધરાવીએ છીએ.

કૃતજ્ઞતાના શબ્દો

હું મારા સહ-લેખકો અને ટીમના સાથીઓ, અંજુ ઝા અને વિલ પસ્કુસીનો આ પ્રોજેક્ટ પર તેમના મહાન સહયોગ અને સખત મહેનત માટે આભાર માનું છું. હું Twitter અને Google પર ઘણી ટીમોના એન્જિનિયરો અને મેનેજરોનો પણ આભાર માનું છું જેમણે અમને અને Twitter પર BigQuery વપરાશકર્તાઓને મદદ કરી જેમણે મૂલ્યવાન પ્રતિસાદ આપ્યો.

જો તમને આ સમસ્યાઓ પર કામ કરવામાં રસ હોય, તો અમારું તપાસો ખાલી જગ્યાઓ ડેટા પ્લેટફોર્મ ટીમમાં.

DWH માં ડેટા ગુણવત્તા - ડેટા વેરહાઉસ સુસંગતતા

સોર્સ: www.habr.com