Uvod
Amplitude kao alat za analizu proizvoda se pokazao veoma korisnim zahvaljujući jednostavnoj konfiguraciji događaja i fleksibilnosti vizualizacija. Često se javlja potreba za uspostavljanjem sopstvenog modela atribucije, izvođenjem klasterizacije korisnika ili izradom kontrolne table u drugom BI sistemu. Ove akcije je moguće izvesti samo uz sirove podatke o događajima iz Amplitude. Kako dobiti te podatke s minimalnim znanjem programiranja — o tome će biti reči u ovom članku.
Prekvalifikacija
- Projekat u Amplitude-u u kojem su događaji već ispravno postavljeni, i za njih se prikuplja statistika
- Instaliran python (radim na verziji 3.8.3), sa kojim potencijalni čitaoci već treba da znaju da rade barem na osnovnom nivou
Uputstvo
Korak 1. Dobijanje API ključa i secret ključa
Da biste izvezli podatke, prvo morate dobiti API ključ i secret ključ.
Možete ih pronaći tako što ćete otići na sledeći put:
- «Upravljanje podacima» (nalazi se u donjem levom delu ekrana)
- Biramo potrebni projekat iz kojeg će se iznositi podaci i prelazimo u njega
- U otvorenom meniju projekta biramo «Podešavanja projekta»
- Pronalažimo redove API ključ i secret ključ, kopiramo ih i čuvamo na sigurnom mestu.
Bez klikova, možete preći na vezu koja u opštem formatu izgleda ovako:
analytics.amplitude.com/$$$$$$$/manage/project/******/settings,
gde $$$$$$$ — login vaše organizacije u Amplitude, ****** — broj projekta
Korak 2. Provera postojanja potrebnih biblioteka
Dobra vest je da su ove biblioteke gotovo sigurno već instalirane po default-u ili preuzete, ali je potrebno proveriti. Potpuni spisak biblioteka koje koristim u trenutku pisanja članka (u zagradama su navedene verzije, gde je to primenljivo):
- requests (2.10.0) - slanje zahteva preko API za dobijanje podataka
- pandas (1.0.1) - čitanje json-a, kreiranje dataframe-a i kasnije zapisivanje u datoteku
- zipfile - izvlačenje datoteka iz arhiva dobijenog putem API-a
- gzip - raspakivanje json datoteka iz .gz
- os - dobijanje liste datoteka iz raspakovanog arhiva
- time - opciono, merenje vremena rada skripta
- tqdm - opciono, za udobno praćenje napretka obrade datoteka
Korak 3. Pisanje skripta za učitavanje podataka
Hint: kompletan skript za učitavanje se nalazi na kraju članka, ako želite možete ga odmah preuzeti i obraćati se korak po korak objašnjenjima po potrebi.
Korak 3.1. Uvoz biblioteka
Uvozimo sve biblioteke navedene u drugom koraku.
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
Korak 3.2. Slanje zahtjeva u Amplitude
Započinjemo izvođenje skripte i bilježimo u varijablu a.
startdate i enddate odgovaraju periodu za izvoz podataka i ugrađuju se u tekst poslanog zahtjeva na server Amplitude, pored datuma možete također navesti i sat, promijenite vrijednost nakon ‘T’ u zahtjevu.
api_key i secret_key odgovaraju vrijednostima dobivenim u prvom koraku, u svrhu sigurnosti ovdje navodim nasumične sekvencijalne brojeve umjesto svojih.
a = time.time()
# Parametri početnog i krajnjeg datuma
startdate = '20200627'
enddate = '20200628'
api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Slanje zahtjeva u Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Zahtjev poslan')
Korak 3.3. Preuzimanje arhive s podacima
Osmišljavamo naziv za arhivu i bilježimo u varijablu filename. Za svoju udobnost navodim period + navodim da su to podaci amplitude. Zatim bilježimo dobiveni odgovor od Amplitude u arhivu.
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')
Korak 3.4. Izdvajanje datoteka u mapi na računaru
U posao ulazi biblioteka zipfile, koja će pomoći u izdavanju datoteka. U trećem redu budite pažljivi i navedite svoj put, gdje vam je zgodnije izvršiti izdvajanje.
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
Korak 3.5. Preoblikovanje json
Nakon izdvajanja datoteka iz arhive potrebno je preoblikovati json datoteke, koje su u .gz formatu, i zapisati ih u dataframe za daljnji rad.
Obraćam pažnju na to da ovdje treba ponovo promijeniti put do svog, a umjesto 000000 napisati svoj broj projekta iz Amplitude (ili ručno otvoriti put, gdje je arhiva izdvojena, i pogledati naziv mape unutra).
Redoslijed slijedi:
Zapisivanje direktorija u varijablu, dobivanje popisa datoteka iz direktorija, stvaranje praznog dataframe-a, time.sleep(1) za ispravno funkcioniranje tqdm, unutar petlje otvaramo .gz datoteke i odmah pomažući pandas čitamo json i punimo zadani dataframe.
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
Korak 3.6. Zapisivanje dataframe u excel
Izvoz u excel ovdje je samo kao primjer. U mnogim slučajevima je praktičnije raditi s dobivenim okvirom podataka unutar python-a ili pohraniti podatke u skladište.
Također ćete morati zamijeniti put izvoza podataka ovdje do svojeg.
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
Korak 3.7. Mjerimo vrijeme izvođenja skripte
Zapisivanje trenutnog vremena u varijablu b, izračunavanje razlike i broja minuta, ispis ukupnog broja minuta. Ovo je posljednji korak.
b = time.time()
diff = b-a
minutes = diff//60
print('Izvršavanje koda je trajalo: {:.0f} minuta(na)'.format(minutes))
Zaključak
Možete pozvati tabelu i početi rad s njom pozivanjem varijable amplitude_dataframe, u koju su uneseni podaci. Imaće oko 50 kolona, od kojih ćete u 80% slučajeva koristiti: event_type — naziv događaja, event_properties — parametre događaja, event_time — vreme događaja, uuid — id klijenta, user_properties — parametre klijenta, tako da treba prvo započeti rad s njima. A kada upoređujete cifre iz vlastitih proračuna s pokazateljima iz Amplitude nadzora, ne zaboravite da sistem koristi svoju metodologiju za izračunavanje jedinstvenih klijenata/funnel itd., i pre toga se obavezno upoznajte s dokumentacijom Amplitude.
Hvala na pažnji! Sada možete izvoziti sirove podatke o događajima u Amplitude i potpuno ih koristiti u svom radu.
Celi skript:
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'
api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))
Izvor: habr.com
