Dobijanje podataka Amplitude putem API

Uvod

Amplitude kao alat za analizu proizvoda se pokazao veoma korisnim zahvaljujući jednostavnoj konfiguraciji događaja i fleksibilnosti vizualizacija. Često se javlja potreba za uspostavljanjem sopstvenog modela atribucije, izvođenjem klasterizacije korisnika ili izradom kontrolne table u drugom BI sistemu. Ove akcije je moguće izvesti samo uz sirove podatke o događajima iz Amplitude. Kako dobiti te podatke s minimalnim znanjem programiranja — o tome će biti reči u ovom članku.

Prekvalifikacija

  1. Projekat u Amplitude-u u kojem su događaji već ispravno postavljeni, i za njih se prikuplja statistika
  2. Instaliran python (radim na verziji 3.8.3), sa kojim potencijalni čitaoci već treba da znaju da rade barem na osnovnom nivou

Uputstvo

Korak 1. Dobijanje API ključa i secret ključa

Da biste izvezli podatke, prvo morate dobiti API ključ i secret ključ.

Možete ih pronaći tako što ćete otići na sledeći put:

  1. «Upravljanje podacima» (nalazi se u donjem levom delu ekrana)
  2. Biramo potrebni projekat iz kojeg će se iznositi podaci i prelazimo u njega
  3. U otvorenom meniju projekta biramo «Podešavanja projekta»
  4. Pronalažimo redove API ključ i secret ključ, kopiramo ih i čuvamo na sigurnom mestu.

Bez klikova, možete preći na vezu koja u opštem formatu izgleda ovako:
analytics.amplitude.com/$$$$$$$/manage/project/******/settings,
gde $$$$$$$ — login vaše organizacije u Amplitude, ****** — broj projekta

Korak 2. Provera postojanja potrebnih biblioteka

Dobra vest je da su ove biblioteke gotovo sigurno već instalirane po default-u ili preuzete, ali je potrebno proveriti. Potpuni spisak biblioteka koje koristim u trenutku pisanja članka (u zagradama su navedene verzije, gde je to primenljivo):

  1. requests (2.10.0) - slanje zahteva preko API za dobijanje podataka
  2. pandas (1.0.1) - čitanje json-a, kreiranje dataframe-a i kasnije zapisivanje u datoteku
  3. zipfile - izvlačenje datoteka iz arhiva dobijenog putem API-a
  4. gzip - raspakivanje json datoteka iz .gz
  5. os - dobijanje liste datoteka iz raspakovanog arhiva
  6. time - opciono, merenje vremena rada skripta
  7. tqdm - opciono, za udobno praćenje napretka obrade datoteka

Korak 3. Pisanje skripta za učitavanje podataka

Hint: kompletan skript za učitavanje se nalazi na kraju članka, ako želite možete ga odmah preuzeti i obraćati se korak po korak objašnjenjima po potrebi.

Korak 3.1. Uvoz biblioteka

Uvozimo sve biblioteke navedene u drugom koraku.

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm

Korak 3.2. Slanje zahtjeva u Amplitude

Započinjemo izvođenje skripte i bilježimo u varijablu a.

startdate i enddate odgovaraju periodu za izvoz podataka i ugrađuju se u tekst poslanog zahtjeva na server Amplitude, pored datuma možete također navesti i sat, promijenite vrijednost nakon ‘T’ u zahtjevu.

api_key i secret_key odgovaraju vrijednostima dobivenim u prvom koraku, u svrhu sigurnosti ovdje navodim nasumične sekvencijalne brojeve umjesto svojih.

a = time.time()
# Parametri početnog i krajnjeg datuma
startdate = '20200627'
enddate = '20200628'

api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Slanje zahtjeva u Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Zahtjev poslan')

Korak 3.3. Preuzimanje arhive s podacima

Osmišljavamo naziv za arhivu i bilježimo u varijablu filename. Za svoju udobnost navodim period + navodim da su to podaci amplitude. Zatim bilježimo dobiveni odgovor od Amplitude u arhivu.

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

Korak 3.4. Izdvajanje datoteka u mapi na računaru

U posao ulazi biblioteka zipfile, koja će pomoći u izdavanju datoteka. U trećem redu budite pažljivi i navedite svoj put, gdje vam je zgodnije izvršiti izdvajanje.

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

Korak 3.5. Preoblikovanje json

Nakon izdvajanja datoteka iz arhive potrebno je preoblikovati json datoteke, koje su u .gz formatu, i zapisati ih u dataframe za daljnji rad.

Obraćam pažnju na to da ovdje treba ponovo promijeniti put do svog, a umjesto 000000 napisati svoj broj projekta iz Amplitude (ili ručno otvoriti put, gdje je arhiva izdvojena, i pogledati naziv mape unutra).

Redoslijed slijedi:

Zapisivanje direktorija u varijablu, dobivanje popisa datoteka iz direktorija, stvaranje praznog dataframe-a, time.sleep(1) za ispravno funkcioniranje tqdm, unutar petlje otvaramo .gz datoteke i odmah pomažući pandas čitamo json i punimo zadani dataframe.

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

Korak 3.6. Zapisivanje dataframe u excel

Izvoz u excel ovdje je samo kao primjer. U mnogim slučajevima je praktičnije raditi s dobivenim okvirom podataka unutar python-a ili pohraniti podatke u skladište.

Također ćete morati zamijeniti put izvoza podataka ovdje do svojeg.

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

Korak 3.7. Mjerimo vrijeme izvođenja skripte

Zapisivanje trenutnog vremena u varijablu b, izračunavanje razlike i broja minuta, ispis ukupnog broja minuta. Ovo je posljednji korak.

b = time.time()
diff = b-a
minutes = diff//60
print('Izvršavanje koda je trajalo: {:.0f} minuta(na)'.format(minutes))

Zaključak

Možete pozvati tabelu i početi rad s njom pozivanjem varijable amplitude_dataframe, u koju su uneseni podaci. Imaće oko 50 kolona, od kojih ćete u 80% slučajeva koristiti: event_type — naziv događaja, event_properties — parametre događaja, event_time — vreme događaja, uuid — id klijenta, user_properties — parametre klijenta, tako da treba prvo započeti rad s njima. A kada upoređujete cifre iz vlastitih proračuna s pokazateljima iz Amplitude nadzora, ne zaboravite da sistem koristi svoju metodologiju za izračunavanje jedinstvenih klijenata/funnel itd., i pre toga se obavezno upoznajte s dokumentacijom Amplitude.

Hvala na pažnji! Sada možete izvoziti sirove podatke o događajima u Amplitude i potpuno ih koristiti u svom radu.

Celi skript:

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster