Извличане на данни за амплитудата чрез API

въведение

Amplitude се е доказал много добре като инструмент за продуктов анализ поради лесната си настройка на събития и гъвкавостта на визуализацията. И често има нужда да настроите свой собствен модел на приписване, да групирате потребители или да изградите табло за управление в друга BI система. Възможно е да се извърши такава измама само със сурови данни за събития от Amplitude. Тази статия ще ви каже как да получите тези данни с минимални познания по програмиране.

Предпоставки

1. Проект в Amplitude, в който събитията вече са конфигурирани правилно и за тях се събира статистика
2. Python е инсталиран (работя във версия 3.8.3), с който потенциалният читател вече може да работи поне на основно ниво

Инструкция

Стъпка 1. Получаване на API-ключ и секретен ключ

За да качите данни, първо трябва да получите API ключ и таен ключ.

Можете да ги намерите, като следвате следния път:

1. „Управление на данни“ (намира се в долния ляв ъгъл на екрана)
2. Изберете желания проект, от който ще се изтеглят данни, и отидете на него
3. В менюто на проекта, което се отваря, изберете „Настройки на проекта“
4. Намираме низовете на API-ключа и секретния ключ, копираме и ги запазваме на сигурно място.

Без да кликвате, можете да следвате връзката, която най-общо изглежда така:
analytics.amplitude.com/$$$$$$$/manage/project/******/settings,
където $$$$$$ е амплитудното влизане на вашата организация, ****** е номерът на проекта

Стъпка 2: Проверка на наличието на необходимите библиотеки

Добрата новина е, че почти сигурно вече имате тези библиотеки, инсталирани по подразбиране или изтеглени, но трябва да проверите. Пълният списък на библиотеките, които използвах по време на писането (версиите в скоби са посочени, където е подходящо):

1. заявки (2.10.0) - изпращане на заявка чрез api за получаване на данни
2. pandas (1.0.1) - четене на json, създаване на рамка с данни и след това запис във файл
3. zipfile - извличане на файлове от архив, получен чрез API
4. gzip - разопаковане на json файлове от .gz
5. os - получаване на списък с файлове от разопакован архив
6. време - по избор, измерване на времето за изпълнение на скрипта
7. tqdm - по избор, за лесно наблюдение на напредъка на обработката на файла

Стъпка 3. Писане на скрипт за зареждане на данни

Съвет: пълният скрипт за изтегляне е в края на статията; ако желаете, можете веднага да го вземете и да се обърнете към обясненията стъпка по стъпка, ако е необходимо.

Стъпка 3.1. Импортиране на библиотеки

Ние импортираме всички библиотеки, изброени във втората стъпка.

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm

Стъпка 3.2. Изпращане на заявка до Амплитуда

Нека открием началото на изпълнението на скрипта и го запишем в променлива a.

startdate и enddate са отговорни за периода за изтегляне на данни и са вградени в текста на изпратената заявка към сървъра на Amplitude; в допълнение към датата можете да посочите и часа, като промените стойността след 'T' в заявката.

api_key и secret_key съответстват на стойностите, получени в първата стъпка; от съображения за сигурност тук посочвам произволни последователности вместо моите собствени.

a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

Стъпка 3.3. Изтегляне на архив с данни

Измисляме име за архива и го записваме в променливата за име на файл. За мое удобство посочвам периода + посочвам, че това са амплитудни данни. След това записваме получения отговор от Amplitude в архива.

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

Стъпка 3.4. Извличане на файлове от папка на вашия компютър

Библиотеката zipfile влиза в действие, за да ви помогне да извлечете файлове. В третия ред внимавайте и запишете пътя си откъдето ви е по-удобно да извличате.

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

Стъпка 3.5. json преобразуване

След като извлечете файловете от архива, трябва да конвертирате json файлове във формат .gz и да ги запишете в рамка с данни за по-нататъшна работа.

Моля, обърнете внимание, че тук трябва отново да промените пътя на вашия собствен и вместо 000000 да напишете номера на вашия проект от Amplitude (или ръчно да отворите пътя, където е извлечен архивът, и да погледнете името на папката вътре).

По ред:

Записване на директория в променлива, получаване на списък с файлове от директория, създаване на празна рамка от данни, time.sleep(1), за да работи правилно tqdm, вътре в цикъла отваряме .gz файлове и веднага използваме pandas за четене на json и попълване дадената рамка от данни.

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

Стъпка 3.6. Писане на рамка с данни в excel

Качването в excel е само пример тук. В много случаи е по-удобно да работите с резултантния кадър с данни в Python или да поставите данните в хранилище.

Също така ще трябва да замените пътя за качване на данни тук със свой собствен.

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

Стъпка 3.7. Отчитаме времето на изпълнение на скрипта

Записване на текущото време в променливата b, изчисляване на разликата и броя на минутите, показване на общите минути. Това е последната стъпка.

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

Заключение

Можете да извикате таблицата и да започнете да работите с нея, като извикате променливата amplitude_dataframe, в която са записани данните. Ще има около 50 колони, от които в 80% от случаите ще използвате: event_type - име на събитието, event_properties - параметри на събитието, event_time - време на събитието, uuid - идентификатор на клиента, user_properties - параметри на клиента, първо трябва да започнете да работите с тях . И когато сравнявате цифри от вашите собствени изчисления с индикатори от таблата за управление на Amplitude, не трябва да забравяте, че системата използва собствена методология за изчисляване на уникални клиенти/фунии и т.н., и преди да направите това, определено трябва да прочетете документацията на Amplitude.

Благодаря за вниманието! Сега можете да качвате необработени данни за събития в Amplitude и да ги използвате напълно в работата си.

Целият скрипт:

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'
api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')  
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

Източник: www.habr.com