אחזור נתוני Amplitude באמצעות API

מבוא

Amplitude הוכיחה את עצמה היטב ככלי לניתוח מוצר הודות להגדרת האירועים הקלה שלה וגמישות ההדמיה. ולעיתים קרובות יש צורך להגדיר מודל ייחוס משלך, לאסוף משתמשים, או לבנות לוח מחוונים במערכת BI אחרת. ניתן לבצע הונאה כזו רק עם נתוני אירועים גולמיים מאמפליטוד. מאמר זה יגיד לך כיצד להשיג נתונים אלה עם ידע מינימלי בתכנות.

דרישות מוקדמות

1. פרויקט ב-Amplitude בו אירועים כבר מוגדרים כהלכה ונאספים עליהם סטטיסטיקה
2. Python מותקן (אני עובד בגרסה 3.8.3), שהקורא הפוטנציאלי כבר יכול לעבוד איתה לפחות ברמה בסיסית

הוראה

שלב 1. השגת מפתח API ומפתח סודי

כדי להעלות נתונים, תחילה עליך להשיג מפתח API ומפתח סודי.

אתה יכול למצוא אותם על ידי ביצוע הנתיב הבא:

1. "נהל נתונים" (ממוקם בפינה השמאלית התחתונה של המסך)
2. בחר את הפרויקט הרצוי ממנו יורדו הנתונים ועבור אליו
3. בתפריט הפרויקט שנפתח, בחר "הגדרות פרויקט"
4. אנו מוצאים את מחרוזות מפתח ה-API והמפתח הסודי, מעתיקים ושומרים אותם במקום בטוח.

מבלי ללחוץ, אתה יכול לעקוב אחר הקישור, שבאופן כללי נראה כך:
analytics.amplitude.com/$$$$$$$/manage/project/********/settings,
כאשר $$$$$$ הוא הכניסה לאמפליטודה של הארגון שלך, ****** הוא מספר הפרויקט

שלב 2: בדיקת נוכחות הספריות הנדרשות

החדשות הטובות הן שכמעט בוודאות שכבר התקנת את הספריות האלה כברירת מחדל או הורדה, אבל אתה צריך לבדוק. הרשימה המלאה של הספריות שבהן השתמשתי בזמן כתיבת שורות אלו (גרסאות בסוגריים מצוינות במידת הצורך):

1. בקשות (2.10.0) - שליחת בקשה דרך API לקבלת נתונים
2. pandas (1.0.1) - קריאת json, יצירת מסגרת נתונים ואז כתיבה לקובץ
3. zipfile - חלץ קבצים מארכיון שהתקבל דרך ה-API
4. gzip - פירוק קבצי json מ-.gz
5. os - קבלת רשימה של קבצים מארכיון לא ארוז
6. זמן - אופציונלי, למדוד את זמן הריצה של הסקריפט
7. tqdm - אופציונלי, לניטור קל של התקדמות עיבוד הקבצים

שלב 3. כתיבת סקריפט לטעינת נתונים

רמז: סקריפט ההורדה המלא נמצא בסוף המאמר; אם תרצה, אתה יכול מיד לקחת אותו ולהתייחס להסברים שלב אחר שלב במידת הצורך.

שלב 3.1. ייבוא ​​ספריות

אנו מייבאים את כל הספריות המפורטות בשלב השני.

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm

שלב 3.2. הגשת בקשה לאמפליטוד

בואו לזהות את תחילת ביצוע הסקריפט ונכתוב אותו למשתנה a.

startdate ו-eatte אחראים לתקופה להורדת הנתונים והם מובנים בטקסט של הבקשה שנשלחה לשרת Amplitude; בנוסף לתאריך, ניתן גם לציין את השעה על ידי שינוי הערך לאחר 'T' בבקשה.

api_key ו- secret_key תואמים לערכים שהושגו בשלב הראשון; למטרות אבטחה, אני מציין כאן רצפים אקראיים במקום שלי.

a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

שלב 3.3. הורדת ארכיון עם נתונים

נמציא שם לארכיון ונכתוב אותו למשתנה שם הקובץ. לנוחיותי, אני מציין את התקופה + מציין שמדובר בנתוני משרעת. לאחר מכן, אנו מתעדים את התגובה שהתקבלה מאמפליטוד בארכיון.

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

שלב 3.4. אחזור קבצים מתיקיה במחשב שלך

ספריית ה-zipfile נכנסת לפעולה כדי לעזור לחלץ קבצים. בשורה השלישית, היזהר ורשום את הדרך שלך היכן שיותר נוח לך לחלץ.

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

שלב 3.5. המרת json

לאחר חילוץ הקבצים מהארכיון, עליך להמיר קבצי json בפורמט .gz ולכתוב אותם לתוך Dataframe להמשך עבודה.

שימו לב שכאן עליכם לשנות שוב את הנתיב לשלך, ובמקום 000000 לכתוב את מספר הפרויקט שלכם מ-Amplitude (או לפתוח ידנית את הנתיב שבו חולץ הארכיון ולהסתכל על שם התיקיה שבתוכה).

בסדר:

כתיבת ספריה למשתנה, קבלת רשימת קבצים מספריה, יצירת Dataframe ריק, time.sleep(1) כדי ש-tqdm יעבוד כמו שצריך, בתוך הלולאה נפתח קבצי .gz ומיד משתמשים בפנדות כדי לקרוא json ולמלא מסגרת הנתונים הנתונה.

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

שלב 3.6. כתיבת Dataframe באקסל

ההעלאה ל-exel היא רק דוגמה כאן. במקרים רבים, נוח יותר לעבוד עם מסגרת הנתונים המתקבלת בתוך python או להכניס את הנתונים לאחסון.

תצטרך גם להחליף את נתיב העלאת הנתונים כאן בנתיב שלך.

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

שלב 3.7. אנו סופרים את זמן הריצה של התסריט

רישום הזמן הנוכחי במשתנה b, חישוב ההפרש ומספר הדקות, הצגת סך הדקות. זה השלב האחרון.

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

מסקנה

אתה יכול לקרוא לטבלה ולהתחיל לעבוד איתה על ידי קריאה למשתנה amplitude_dataframe שאליו נכתבו הנתונים. יהיו לו כ-50 עמודות, מתוכן ב-80% מהמקרים תשתמשו ב: event_type - event_name, event_properties - event parameters, event_time - event time, uuid - client id, user_properties - פרמטרי לקוח, כדאי להתחיל לעבוד איתם קודם. . וכאשר משווים נתונים מהחישובים שלך עם אינדיקטורים ממרכזי המחוונים של Amplitude, אסור לך לשכוח שהמערכת משתמשת במתודולוגיה משלה לחישוב לקוחות/משפכים ייחודיים וכו', ולפני שעושים זאת, כדאי בהחלט לקרוא את תיעוד Amplitude.

תודה לך על תשומת הלב! כעת אתה יכול להעלות נתוני אירועים גולמיים ל-Amplitude ולהשתמש בהם באופן מלא בעבודה שלך.

כל התסריט:

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'
api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')  
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

מקור: www.habr.com