API വഴി ആംപ്ലിറ്റ്യൂഡ് ഡാറ്റ വീണ്ടെടുക്കുന്നു

ആമുഖം

എളുപ്പത്തിലുള്ള ഇവന്റ് സജ്ജീകരണവും ദൃശ്യവൽക്കരണ വഴക്കവും കാരണം ആംപ്ലിറ്റ്യൂഡ് ഒരു ഉൽപ്പന്ന അനലിറ്റിക്‌സ് ഉപകരണമായി സ്വയം തെളിയിച്ചിട്ടുണ്ട്. നിങ്ങളുടെ സ്വന്തം ആട്രിബ്യൂഷൻ മോഡൽ, ക്ലസ്റ്റർ ഉപയോക്താക്കൾ, അല്ലെങ്കിൽ മറ്റൊരു BI സിസ്റ്റത്തിൽ ഒരു ഡാഷ്‌ബോർഡ് നിർമ്മിക്കുക എന്നിവ പലപ്പോഴും ആവശ്യമാണ്. ആംപ്ലിറ്റ്യൂഡിൽ നിന്നുള്ള അസംസ്‌കൃത ഇവന്റ് ഡാറ്റ ഉപയോഗിച്ച് മാത്രമേ ഇത്തരമൊരു തട്ടിപ്പ് നടത്താൻ കഴിയൂ. കുറഞ്ഞ പ്രോഗ്രാമിംഗ് അറിവോടെ ഈ ഡാറ്റ എങ്ങനെ നേടാമെന്ന് ഈ ലേഖനം നിങ്ങളോട് പറയും.

മുൻവ്യവസ്ഥകൾ

1. ആംപ്ലിറ്റ്യൂഡിലുള്ള ഒരു പ്രോജക്റ്റ്, ഇവന്റുകൾ ഇതിനകം തന്നെ ശരിയായി കോൺഫിഗർ ചെയ്യുകയും അവയുടെ സ്ഥിതിവിവരക്കണക്കുകൾ ശേഖരിക്കുകയും ചെയ്യുന്നു
2. പൈത്തൺ ഇൻസ്‌റ്റാൾ ചെയ്‌തു (ഞാൻ 3.8.3 പതിപ്പിൽ പ്രവർത്തിക്കുന്നു), സാധ്യതയുള്ള വായനക്കാർക്ക് ഇതിനകം തന്നെ ഒരു അടിസ്ഥാന തലത്തിലെങ്കിലും പ്രവർത്തിക്കാൻ കഴിയും.

നിർദ്ദേശങ്ങൾ

ഘട്ടം 1. API-കീയും രഹസ്യ കീയും നേടുന്നു

ഡാറ്റ അപ്‌ലോഡ് ചെയ്യുന്നതിന്, നിങ്ങൾ ആദ്യം ഒരു API കീയും രഹസ്യ കീയും നേടേണ്ടതുണ്ട്.

ഇനിപ്പറയുന്ന പാത പിന്തുടർന്ന് നിങ്ങൾക്ക് അവ കണ്ടെത്താനാകും:

1. “ഡാറ്റ നിയന്ത്രിക്കുക” (സ്‌ക്രീനിന്റെ താഴെ ഇടതുവശത്ത് സ്ഥിതിചെയ്യുന്നു)
2. ഡാറ്റ ഡൗൺലോഡ് ചെയ്യേണ്ട ആവശ്യമുള്ള പ്രോജക്റ്റ് തിരഞ്ഞെടുത്ത് അതിലേക്ക് പോകുക
3. തുറക്കുന്ന പ്രോജക്റ്റ് മെനുവിൽ, "പ്രോജക്റ്റ് ക്രമീകരണങ്ങൾ" തിരഞ്ഞെടുക്കുക
4. ഞങ്ങൾ API-കീയും രഹസ്യ-കീ സ്ട്രിംഗുകളും കണ്ടെത്തി, അവ സുരക്ഷിതമായ സ്ഥലത്ത് പകർത്തി സംരക്ഷിക്കുന്നു.

ക്ലിക്ക് ചെയ്യാതെ തന്നെ, നിങ്ങൾക്ക് ലിങ്ക് പിന്തുടരാം, അത് പൊതുവെ ഇതുപോലെ കാണപ്പെടുന്നു:
analytics.amplitude.com/$$$$$$$/manage/project/******/settings,
ഇവിടെ $$$$$$ എന്നത് നിങ്ങളുടെ സ്ഥാപനത്തിന്റെ ആംപ്ലിറ്റ്യൂഡ് ലോഗിൻ ആണ്, ****** എന്നത് പ്രോജക്റ്റ് നമ്പർ ആണ്

ഘട്ടം 2: ആവശ്യമായ ലൈബ്രറികളുടെ സാന്നിധ്യം പരിശോധിക്കുന്നു

ഈ ലൈബ്രറികൾ ഡിഫോൾട്ടായി ഇൻസ്റ്റാൾ ചെയ്യുകയോ ഡൗൺലോഡ് ചെയ്യുകയോ ചെയ്തിട്ടുണ്ടെന്നതാണ് നല്ല വാർത്ത, എന്നാൽ നിങ്ങൾ പരിശോധിക്കേണ്ടതുണ്ട്. എഴുതുന്ന സമയത്ത് ഞാൻ ഉപയോഗിച്ച ലൈബ്രറികളുടെ പൂർണ്ണമായ ലിസ്റ്റ് (അനുയോജ്യമായ ഇടങ്ങളിൽ പരാൻതീസിസിലെ പതിപ്പുകൾ സൂചിപ്പിച്ചിരിക്കുന്നു):

1. അഭ്യർത്ഥനകൾ (2.10.0) - ഡാറ്റ സ്വീകരിക്കുന്നതിന് api വഴി ഒരു അഭ്യർത്ഥന അയയ്ക്കുന്നു
2. pandas (1.0.1) - json വായിക്കുക, ഒരു ഡാറ്റാഫ്രെയിം സൃഷ്ടിക്കുക, തുടർന്ന് ഒരു ഫയലിലേക്ക് എഴുതുക
3. zipfile - API വഴി ലഭിച്ച ഒരു ആർക്കൈവിൽ നിന്ന് ഫയലുകൾ എക്സ്ട്രാക്റ്റ് ചെയ്യുക
4. gzip - .gz-ൽ നിന്നുള്ള json ഫയലുകൾ അൺപാക്ക് ചെയ്യുന്നു
5. os - പായ്ക്ക് ചെയ്യാത്ത ആർക്കൈവിൽ നിന്ന് ഫയലുകളുടെ ഒരു ലിസ്റ്റ് ലഭിക്കുന്നു
6. സമയം - ഓപ്ഷണൽ, സ്ക്രിപ്റ്റിന്റെ പ്രവർത്തന സമയം അളക്കുക
7. tqdm - ഓപ്ഷണൽ, ഫയൽ പ്രോസസ്സിംഗ് പുരോഗതി എളുപ്പത്തിൽ നിരീക്ഷിക്കുന്നതിന്

ഘട്ടം 3. ഒരു ഡാറ്റ ലോഡിംഗ് സ്ക്രിപ്റ്റ് എഴുതുന്നു

സൂചന: മുഴുവൻ ഡൗൺലോഡ് സ്‌ക്രിപ്‌റ്റും ലേഖനത്തിന്റെ അവസാനത്തിലാണ്; നിങ്ങൾക്ക് വേണമെങ്കിൽ, നിങ്ങൾക്ക് അത് ഉടനടി എടുത്ത് ആവശ്യമെങ്കിൽ ഘട്ടം ഘട്ടമായുള്ള വിശദീകരണങ്ങൾ പരിശോധിക്കുക.

ഘട്ടം 3.1. ലൈബ്രറികൾ ഇറക്കുമതി ചെയ്യുന്നു

രണ്ടാം ഘട്ടത്തിൽ ലിസ്റ്റുചെയ്തിരിക്കുന്ന എല്ലാ ലൈബ്രറികളും ഞങ്ങൾ ഇറക്കുമതി ചെയ്യുന്നു.

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm

ഘട്ടം 3.2. ആംപ്ലിറ്റ്യൂഡിന് ഒരു അഭ്യർത്ഥന സമർപ്പിക്കുന്നു

നമുക്ക് സ്ക്രിപ്റ്റ് എക്സിക്യൂഷന്റെ ആരംഭം കണ്ടെത്തി അത് വേരിയബിളിലേക്ക് എഴുതാം a.

ആരംഭ തീയതിയും അവസാന തീയതിയും ഡാറ്റ ഡൗൺലോഡ് ചെയ്യുന്നതിനുള്ള കാലയളവിന് ഉത്തരവാദിയാണ്, കൂടാതെ ആംപ്ലിറ്റ്യൂഡ് സെർവറിലേക്ക് അയച്ച അഭ്യർത്ഥനയുടെ വാചകത്തിൽ അന്തർനിർമ്മിതമാണ്; തീയതിക്ക് പുറമേ, അഭ്യർത്ഥനയിലെ 'T' ന് ശേഷമുള്ള മൂല്യം മാറ്റി നിങ്ങൾക്ക് മണിക്കൂർ വ്യക്തമാക്കാനും കഴിയും.

api_key, secret_key എന്നിവ ആദ്യ ഘട്ടത്തിൽ ലഭിച്ച മൂല്യങ്ങളുമായി പൊരുത്തപ്പെടുന്നു; സുരക്ഷാ കാരണങ്ങളാൽ, എന്റേതിന് പകരം ക്രമരഹിതമായ ക്രമങ്ങൾ ഞാൻ ഇവിടെ വ്യക്തമാക്കുന്നു.

a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

ഘട്ടം 3.3. ഡാറ്റയുള്ള ഒരു ആർക്കൈവ് ഡൗൺലോഡ് ചെയ്യുന്നു

ഞങ്ങൾ ആർക്കൈവിനായി ഒരു പേര് കൊണ്ടുവന്ന് ഫയൽനാമ വേരിയബിളിലേക്ക് എഴുതുന്നു. എന്റെ സൗകര്യത്തിനായി, ഞാൻ കാലയളവ് സൂചിപ്പിക്കുന്നു + ഇത് ആംപ്ലിറ്റ്യൂഡ് ഡാറ്റയാണെന്ന് സൂചിപ്പിക്കുന്നു. അടുത്തതായി, ആംപ്ലിറ്റ്യൂഡിൽ നിന്ന് ലഭിച്ച പ്രതികരണം ഞങ്ങൾ ആർക്കൈവിലേക്ക് രേഖപ്പെടുത്തുന്നു.

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

ഘട്ടം 3.4. നിങ്ങളുടെ കമ്പ്യൂട്ടറിലെ ഒരു ഫോൾഡറിൽ നിന്ന് ഫയലുകൾ വീണ്ടെടുക്കുന്നു

ഫയലുകൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാൻ സഹായിക്കുന്നതിന് zipfile ലൈബ്രറി പ്രവർത്തിക്കുന്നു. മൂന്നാമത്തെ വരിയിൽ, ശ്രദ്ധാലുവായിരിക്കുക, എക്സ്ട്രാക്റ്റ് ചെയ്യാൻ നിങ്ങൾക്ക് കൂടുതൽ സൗകര്യപ്രദമായ പാത എഴുതുക.

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

ഘട്ടം 3.5. json പരിവർത്തനം

ആർക്കൈവിൽ നിന്ന് ഫയലുകൾ എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്‌ത ശേഷം, നിങ്ങൾ json ഫയലുകൾ .gz ഫോർമാറ്റിൽ പരിവർത്തനം ചെയ്യുകയും തുടർന്നുള്ള പ്രവർത്തനത്തിനായി ഒരു ഡാറ്റാഫ്രെയിമിലേക്ക് എഴുതുകയും വേണം.

ഇവിടെ നിങ്ങൾ പാത്ത് വീണ്ടും നിങ്ങളുടേതിലേക്ക് മാറ്റേണ്ടതുണ്ടെന്നും 000000 എന്നതിന് പകരം ആംപ്ലിറ്റ്യൂഡിൽ നിന്ന് നിങ്ങളുടെ പ്രോജക്റ്റ് നമ്പർ എഴുതേണ്ടതുണ്ടെന്നും ദയവായി ശ്രദ്ധിക്കുക (അല്ലെങ്കിൽ ആർക്കൈവ് എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്‌ത പാത സ്വമേധയാ തുറന്ന് ഉള്ളിലെ ഫോൾഡറിന്റെ പേര് നോക്കുക).

ക്രമത്തിൽ:

ഒരു വേരിയബിളിലേക്ക് ഒരു ഡയറക്‌ടറി എഴുതുക, ഒരു ഡയറക്‌ടറിയിൽ നിന്ന് ഫയലുകളുടെ ലിസ്റ്റ് നേടുക, ഒരു ശൂന്യമായ ഡാറ്റാഫ്രെയിം സൃഷ്‌ടിക്കുക, tqdm ശരിയായി പ്രവർത്തിക്കുന്നതിന് time.sleep(1), ലൂപ്പിനുള്ളിൽ ഞങ്ങൾ .gz ഫയലുകൾ തുറക്കുകയും json വായിക്കാനും പൂരിപ്പിക്കാനും ഉടൻ തന്നെ pandas ഉപയോഗിക്കുന്നു. നൽകിയിരിക്കുന്ന ഡാറ്റ ഫ്രെയിം.

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

ഘട്ടം 3.6. എക്സലിൽ ഡാറ്റഫ്രെയിം എഴുതുന്നു

എക്സലിലേക്കുള്ള അപ്‌ലോഡ് ഇവിടെ ഒരു ഉദാഹരണം മാത്രമാണ്. മിക്ക കേസുകളിലും, പൈത്തണിനുള്ളിൽ തത്ഫലമായുണ്ടാകുന്ന ഡാറ്റ ഫ്രെയിമിനൊപ്പം പ്രവർത്തിക്കുകയോ ഡാറ്റ സ്റ്റോറേജിൽ ഇടുകയോ ചെയ്യുന്നത് കൂടുതൽ സൗകര്യപ്രദമാണ്.

ഇവിടെയുള്ള ഡാറ്റ അപ്‌ലോഡ് പാത്ത് നിങ്ങളുടേതായി മാറ്റിസ്ഥാപിക്കേണ്ടതുണ്ട്.

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

ഘട്ടം 3.7. സ്ക്രിപ്റ്റിന്റെ പ്രവർത്തന സമയം ഞങ്ങൾ കണക്കാക്കുന്നു

ബി വേരിയബിളിൽ നിലവിലെ സമയം രേഖപ്പെടുത്തുന്നു, വ്യത്യാസവും മിനിറ്റുകളുടെ എണ്ണവും കണക്കാക്കുന്നു, മൊത്തം മിനിറ്റുകൾ പ്രദർശിപ്പിക്കുന്നു. ഇതാണ് അവസാന ഘട്ടം.

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

തീരുമാനം

ഡാറ്റ എഴുതിയ ആംപ്ലിറ്റ്യൂഡ്_ഡാറ്റഫ്രെയിം വേരിയബിളിലേക്ക് വിളിച്ച് നിങ്ങൾക്ക് ടേബിളിലേക്ക് വിളിച്ച് അത് ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ തുടങ്ങാം. ഇതിന് ഏകദേശം 50 കോളങ്ങൾ ഉണ്ടാകും, അതിൽ 80% കേസുകളിലും നിങ്ങൾ ഉപയോഗിക്കും: Event_type - ഇവന്റ് പേര്, Event_properties - ഇവന്റ് പാരാമീറ്ററുകൾ, Event_time - ഇവന്റ് സമയം, uuid - ക്ലയന്റ് ഐഡി, user_properties - ക്ലയന്റ് പാരാമീറ്ററുകൾ, നിങ്ങൾ ആദ്യം അവയുമായി പ്രവർത്തിക്കാൻ തുടങ്ങണം. . നിങ്ങളുടെ സ്വന്തം കണക്കുകൂട്ടലുകളിൽ നിന്നുള്ള കണക്കുകൾ ആംപ്ലിറ്റ്യൂഡ് ഡാഷ്‌ബോർഡുകളിൽ നിന്നുള്ള സൂചകങ്ങളുമായി താരതമ്യം ചെയ്യുമ്പോൾ, അദ്വിതീയ ക്ലയന്റുകൾ / ഫണലുകൾ മുതലായവ കണക്കാക്കുന്നതിന് സിസ്റ്റം അതിന്റേതായ രീതിശാസ്ത്രം ഉപയോഗിക്കുന്നുണ്ടെന്ന് നിങ്ങൾ മറക്കരുത്, ഇത് ചെയ്യുന്നതിന് മുമ്പ്, നിങ്ങൾ തീർച്ചയായും ആംപ്ലിറ്റ്യൂഡ് ഡോക്യുമെന്റേഷൻ വായിക്കണം.

നിങ്ങളുടെ ശ്രദ്ധയ്ക്ക് നന്ദി! ഇപ്പോൾ നിങ്ങൾക്ക് അസംസ്‌കൃത ഇവന്റ് ഡാറ്റ ആംപ്ലിറ്റ്യൂഡിലേക്ക് അപ്‌ലോഡ് ചെയ്യാനും നിങ്ങളുടെ ജോലിയിൽ പൂർണ്ണമായി ഉപയോഗിക്കാനും കഴിയും.

മുഴുവൻ സ്ക്രിപ്റ്റും:

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'
api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')  
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

അവലംബം: www.habr.com