API દ્વારા કંપનવિસ્તાર ડેટા પુનઃપ્રાપ્ત કરી રહ્યું છે

પરિચય

કંપનવિસ્તાર તેના સરળ ઇવેન્ટ સેટઅપ અને વિઝ્યુલાઇઝેશન લવચીકતાને કારણે ઉત્પાદન વિશ્લેષણ સાધન તરીકે ખૂબ સારી રીતે સાબિત થયું છે. અને ઘણીવાર તમારા પોતાના એટ્રિબ્યુશન મોડલ, ક્લસ્ટર વપરાશકર્તાઓ અથવા અન્ય BI સિસ્ટમમાં ડેશબોર્ડ બનાવવાની જરૂર હોય છે. કંપનવિસ્તારમાંથી કાચા ઇવેન્ટ ડેટા સાથે જ આવી છેતરપિંડી કરવી શક્ય છે. આ લેખ તમને જણાવશે કે ન્યૂનતમ પ્રોગ્રામિંગ જ્ઞાન સાથે આ ડેટા કેવી રીતે મેળવવો.

પૂર્વજરૂરીયાતો

1. કંપનવિસ્તારમાં એક પ્રોજેક્ટ જેમાં ઇવેન્ટ્સ પહેલેથી જ યોગ્ય રીતે ગોઠવેલ છે અને તેના પર આંકડા એકત્રિત કરવામાં આવે છે
2. પાયથોન ઇન્સ્ટોલ કરેલું છે (હું વર્ઝન 3.8.3 માં કામ કરું છું), જેની સાથે સંભવિત રીડર પહેલેથી જ ઓછામાં ઓછા મૂળભૂત સ્તરે કામ કરી શકે છે

સૂચનાઓ

પગલું 1. API-કી અને ગુપ્ત-કી મેળવવી

ડેટા અપલોડ કરવા માટે, તમારે પહેલા API કી અને ગુપ્ત કી મેળવવાની જરૂર છે.

તમે નીચેના માર્ગને અનુસરીને તેમને શોધી શકો છો:

1. "ડેટા મેનેજ કરો" (સ્ક્રીનની નીચે ડાબી બાજુએ સ્થિત)
2. ઇચ્છિત પ્રોજેક્ટ પસંદ કરો કે જેમાંથી ડેટા ડાઉનલોડ કરવામાં આવશે અને તેના પર જાઓ
3. ખુલતા પ્રોજેક્ટ મેનૂમાં, "પ્રોજેક્ટ સેટિંગ્સ" પસંદ કરો.
4. અમે API-કી અને સિક્રેટ-કી શબ્દમાળાઓ શોધીએ છીએ, તેમને સુરક્ષિત જગ્યાએ કૉપિ કરીને સાચવીએ છીએ.

ક્લિક કર્યા વિના, તમે લિંકને અનુસરી શકો છો, જે સામાન્ય રીતે આના જેવો દેખાય છે:
analytics.amplitude.com/$$$$$$$/manage/project/******/settings,
જ્યાં $$$$$$ એ તમારી સંસ્થાનું કંપનવિસ્તાર લૉગિન છે, ****** એ પ્રોજેક્ટ નંબર છે

પગલું 2: જરૂરી પુસ્તકાલયોની હાજરી તપાસવી

સારા સમાચાર એ છે કે તમારી પાસે લગભગ ચોક્કસપણે આ લાઇબ્રેરીઓ મૂળભૂત રીતે ઇન્સ્ટોલ કરેલી છે અથવા ડાઉનલોડ કરેલી છે, પરંતુ તમારે તપાસ કરવાની જરૂર છે. લખતી વખતે મેં ઉપયોગમાં લીધેલી લાઇબ્રેરીઓની સંપૂર્ણ સૂચિ (જ્યાં યોગ્ય હોય ત્યાં કૌંસમાં વર્ઝન સૂચવવામાં આવે છે):

1. વિનંતીઓ (2.10.0) - ડેટા પ્રાપ્ત કરવા માટે api દ્વારા વિનંતી મોકલવી
2. pandas (1.0.1) - json વાંચવું, ડેટાફ્રેમ બનાવવી અને પછી ફાઇલમાં લખવું
3. zipfile - API દ્વારા પ્રાપ્ત થયેલ આર્કાઇવમાંથી ફાઇલોને બહાર કાઢો
4. gzip - .gz માંથી json ફાઇલોને અનપેક કરી રહી છે
5. os - અનપેક્ડ આર્કાઇવમાંથી ફાઇલોની સૂચિ મેળવવી
6. સમય - વૈકલ્પિક, સ્ક્રિપ્ટનો ચાલતો સમય માપો
7. tqdm - વૈકલ્પિક, ફાઇલ પ્રક્રિયાની પ્રગતિના સરળ નિરીક્ષણ માટે

પગલું 3. ડેટા લોડિંગ સ્ક્રિપ્ટ લખવી

સંકેત: સંપૂર્ણ ડાઉનલોડ સ્ક્રિપ્ટ લેખના અંતે છે; જો તમે ઈચ્છો, તો તમે તેને તરત જ લઈ શકો છો અને જો જરૂરી હોય તો પગલું-દર-પગલાં સ્પષ્ટીકરણોનો સંદર્ભ લો.

પગલું 3.1. પુસ્તકાલયો આયાત કરી રહ્યા છીએ

અમે બીજા પગલામાં સૂચિબદ્ધ બધી લાઇબ્રેરીઓ આયાત કરીએ છીએ.

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm

પગલું 3.2. કંપનવિસ્તાર માટે વિનંતી સબમિટ કરવી

ચાલો સ્ક્રિપ્ટ એક્ઝેક્યુશનની શરૂઆત શોધીએ અને તેને વેરીએબલ a પર લખીએ.

ડેટા ડાઉનલોડ કરવા માટેના સમયગાળા માટે startdate અને enddate જવાબદાર છે અને એમ્પ્લિટ્યુડ સર્વરને મોકલવામાં આવેલી વિનંતીના ટેક્સ્ટમાં બિલ્ટ છે; તારીખ ઉપરાંત, તમે વિનંતીમાં 'T' પછી મૂલ્ય બદલીને કલાકનો પણ ઉલ્લેખ કરી શકો છો.

api_key અને secret_key પ્રથમ પગલામાં મેળવેલા મૂલ્યોને અનુરૂપ છે; સુરક્ષા કારણોસર, હું અહીં મારા પોતાના બદલે રેન્ડમ સિક્વન્સનો ઉલ્લેખ કરું છું.

a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

પગલું 3.3. ડેટા સાથે આર્કાઇવ ડાઉનલોડ કરી રહ્યું છે

અમે આર્કાઇવ માટે નામ સાથે આવીએ છીએ અને તેને ફાઇલનામ વેરીએબલમાં લખીએ છીએ. મારી સગવડ માટે, હું પીરિયડ + સૂચવે છે કે આ કંપનવિસ્તાર ડેટા છે. આગળ, અમે કંપનવિસ્તારમાંથી પ્રાપ્ત પ્રતિસાદને આર્કાઇવમાં રેકોર્ડ કરીએ છીએ.

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

પગલું 3.4. તમારા કમ્પ્યુટર પરના ફોલ્ડરમાંથી ફાઇલો પુનઃપ્રાપ્ત કરી રહ્યાં છીએ

ફાઇલો કાઢવામાં મદદ કરવા માટે ઝિપફાઇલ લાઇબ્રેરી અમલમાં આવે છે. ત્રીજી પંક્તિમાં, સાવચેત રહો અને તમારો રસ્તો લખો કે જ્યાં તમારા માટે બહાર કાઢવાનું વધુ અનુકૂળ હોય.

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

પગલું 3.5. json રૂપાંતરણ

આર્કાઇવમાંથી ફાઇલો એક્સ્ટ્રેક્ટ કર્યા પછી, તમારે json ફાઇલોને .gz ફોર્મેટમાં કન્વર્ટ કરવાની અને આગળના કામ માટે ડેટાફ્રેમમાં લખવાની જરૂર છે.

મહેરબાની કરીને નોંધ કરો કે અહીં તમારે પાથને ફરીથી તમારા પોતાના પર બદલવાની જરૂર છે, અને 000000 ને બદલે Amplitude થી તમારો પ્રોજેક્ટ નંબર લખો (અથવા મેન્યુઅલી પાથ ખોલો જ્યાં આર્કાઇવ કાઢવામાં આવ્યો હતો અને અંદરના ફોલ્ડરનું નામ જુઓ).

ક્રમમાં:

વેરીએબલ પર ડાયરેક્ટરી લખવી, ડાયરેક્ટરીમાંથી ફાઈલોની યાદી મેળવવી, tqdm યોગ્ય રીતે કામ કરવા માટે ખાલી ડેટાફ્રેમ, time.sleep(1) બનાવવી, લૂપની અંદર આપણે .gz ફાઈલો ખોલીએ છીએ અને તરત જ json વાંચવા અને ભરવા માટે pandas નો ઉપયોગ કરીએ છીએ. આપેલ ડેટાફ્રેમ.

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

પગલું 3.6. એક્સેલમાં ડેટાફ્રેમ લખવું

એક્સેલ પર અપલોડ અહીં માત્ર એક ઉદાહરણ છે. ઘણા કિસ્સાઓમાં, પાયથોનની અંદર પરિણામી ડેટા ફ્રેમ સાથે કામ કરવું અથવા ડેટાને સ્ટોરેજમાં મૂકવો વધુ અનુકૂળ છે.

તમારે અહીં તમારા પોતાના ડેટા અપલોડ પાથને પણ બદલવો પડશે.

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

પગલું 3.7. અમે સ્ક્રિપ્ટના ચાલતા સમયની ગણતરી કરીએ છીએ

ચલ b માં વર્તમાન સમયને રેકોર્ડ કરવું, તફાવત અને મિનિટની સંખ્યાની ગણતરી કરીને, કુલ મિનિટો દર્શાવે છે. આ છેલ્લું પગલું છે.

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

નિષ્કર્ષ

તમે કોષ્ટકને કૉલ કરી શકો છો અને એમ્પ્લિટ્યુડ_ડેટાફ્રેમ વેરીએબલને કૉલ કરીને તેની સાથે કામ કરવાનું શરૂ કરી શકો છો જેમાં ડેટા લખવામાં આવ્યો હતો. તેમાં લગભગ 50 કૉલમ હશે, જેમાંથી 80% કેસોમાં તમે ઉપયોગ કરશો: ઇવેન્ટ_ટાઇપ - ઇવેન્ટનું નામ, ઇવેન્ટ_પ્રોપર્ટીઝ - ઇવેન્ટ પેરામીટર્સ, ઇવેન્ટ_ટાઇમ - ઇવેન્ટ ટાઇમ, uuid - ક્લાયંટ આઈડી, user_properties - ક્લાયંટ પેરામીટર્સ, તમારે પહેલા તેમની સાથે કામ કરવાનું શરૂ કરવું જોઈએ. . અને જ્યારે તમારી પોતાની ગણતરીના આંકડાઓની સરખામણી એમ્પ્લિટ્યુડ ડેશબોર્ડના સૂચકાંકો સાથે કરો છો, ત્યારે તમારે ભૂલવું જોઈએ નહીં કે સિસ્ટમ અનન્ય ક્લાયંટ/ફનલ વગેરેની ગણતરી કરવા માટે તેની પોતાની પદ્ધતિનો ઉપયોગ કરે છે, અને આ કરતા પહેલા, તમારે ચોક્કસપણે એમ્પ્લિટ્યુડ દસ્તાવેજીકરણ વાંચવું જોઈએ.

તમારા ધ્યાન બદલ આભાર! હવે તમે Amplitude પર કાચો ઇવેન્ટ ડેટા અપલોડ કરી શકો છો અને તમારા કાર્યમાં તેનો સંપૂર્ણ ઉપયોગ કરી શકો છો.

આખી સ્ક્રિપ્ટ:

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'
api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')  
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

સોર્સ: www.habr.com