ამპლიტუდის მონაცემების მიღება API-ით

შესავალი

ამპლიტუდამ კარგად დაამტკიცა თავი, როგორც პროდუქტის ანალიტიკის ინსტრუმენტი მისი მარტივი მოვლენის დაყენებისა და ვიზუალიზაციის მოქნილობის გამო. და ხშირად საჭიროა საკუთარი ატრიბუციის მოდელის დაყენება, მომხმარებლების კლასტერირება ან დაფის შექმნა სხვა BI სისტემაში. ასეთი თაღლითობის განხორციელება შესაძლებელია მხოლოდ Amplitude-დან მოვლენის ნედლეული მონაცემებით. ეს სტატია გეტყვით, თუ როგორ უნდა მიიღოთ ეს მონაცემები პროგრამირების მინიმალური ცოდნით.

წინაპირობები

1. პროექტი ამპლიტუდაში, რომელშიც მოვლენები უკვე სწორად არის კონფიგურირებული და მათზე სტატისტიკა გროვდება
2. დაინსტალირებულია პითონი (მე ვმუშაობ 3.8.3 ვერსიაში), რომელთანაც პოტენციურ მკითხველს უკვე შეუძლია იმუშაოს მინიმუმ საბაზისო დონეზე

ინსტრუქციის

ნაბიჯი 1. API-გასაღებისა და საიდუმლო გასაღების მიღება

მონაცემების ასატვირთად, ჯერ უნდა მიიღოთ API გასაღები და საიდუმლო გასაღები.

თქვენ შეგიძლიათ იპოვოთ ისინი შემდეგი გზით:

1. "მონაცემების მართვა" (მდებარეობს ეკრანის ქვედა მარცხენა მხარეს)
2. აირჩიეთ სასურველი პროექტი, საიდანაც ჩამოიტვირთება მონაცემები და გადადით მასზე
3. პროექტის მენიუში, რომელიც იხსნება, აირჩიეთ "პროექტის პარამეტრები"
4. ჩვენ ვპოულობთ API-გასაღებისა და საიდუმლო გასაღების სტრიქონებს, ვაკოპირებთ და ვინახავთ მათ უსაფრთხო ადგილას.

დაწკაპუნების გარეშე შეგიძლიათ მიჰყვეთ ბმულს, რომელიც ზოგადად ასე გამოიყურება:
analytics.amplitude.com/$$$$$$$$/manage/project/******/settings,
სადაც $$$$$$ არის თქვენი ორგანიზაციის ამპლიტუდის შესვლა, ****** არის პროექტის ნომერი

ნაბიჯი 2: საჭირო ბიბლიოთეკების არსებობის შემოწმება

კარგი ამბავი ის არის, რომ თქვენ უკვე გაქვთ ეს ბიბლიოთეკები ნაგულისხმევად დაინსტალირებული ან გადმოწერილი, მაგრამ თქვენ უნდა შეამოწმოთ. ბიბლიოთეკების სრული სია, რომელიც მე ვიყენებდი წერის დროს (ვერსიები ფრჩხილებში მითითებულია, სადაც საჭიროა):

1. მოთხოვნები (2.10.0) - მოთხოვნის გაგზავნა api-ს საშუალებით მონაცემების მისაღებად
2. pandas (1.0.1) - json-ის კითხვა, მონაცემთა ჩარჩოს შექმნა და შემდეგ ფაილში ჩაწერა
3. zipfile - ამოიღეთ ფაილები API-ით მიღებული არქივიდან
4. gzip - json ფაილების ამოლაგება .gz-დან
5. os - ფაილების სიის მიღება შეუფუთავი არქივიდან
6. დრო - სურვილისამებრ, გაზომეთ სკრიპტის გაშვების დრო
7. tqdm - სურვილისამებრ, ფაილის დამუშავების პროგრესის მარტივი მონიტორინგისთვის

ნაბიჯი 3. მონაცემთა ჩატვირთვის სკრიპტის დაწერა

მინიშნება: ჩამოტვირთვის სრული სკრიპტი არის სტატიის ბოლოს; სურვილის შემთხვევაში, შეგიძლიათ დაუყოვნებლივ აიღოთ იგი და საჭიროების შემთხვევაში მიმართოთ ნაბიჯ-ნაბიჯ ახსნა-განმარტებებს.

ნაბიჯი 3.1. ბიბლიოთეკების იმპორტი

ჩვენ იმპორტირებთ მეორე ეტაპზე ჩამოთვლილ ყველა ბიბლიოთეკას.

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm

ნაბიჯი 3.2. ამპლიტუდაზე მოთხოვნის გაგზავნა

მოდით აღმოვაჩინოთ სკრიპტის შესრულების დაწყება და ჩავწეროთ ცვლადში a.

დაწყების თარიღი და დასრულების თარიღი პასუხისმგებელია მონაცემების ატვირთვის პერიოდზე და ჩაშენებულია ამპლიტუდის სერვერზე გაგზავნილი მოთხოვნის ტექსტში; თარიღის გარდა, თქვენ ასევე შეგიძლიათ მიუთითოთ საათი მოთხოვნაში "T"-ის შემდეგ მნიშვნელობის შეცვლით.

api_key და secret_key შეესაბამება პირველ ეტაპზე მიღებულ მნიშვნელობებს; უსაფრთხოების მიზეზების გამო, მე ვაზუსტებ შემთხვევით მიმდევრობებს აქ ჩემის ნაცვლად.

a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

ნაბიჯი 3.3. არქივის ჩამოტვირთვა მონაცემებით

ჩვენ ვაგონებთ სახელს არქივისთვის და ვწერთ ფაილის სახელის ცვლადში. ჩემი მოხერხებულობისთვის, მე აღვნიშნავ პერიოდს + მიუთითებს, რომ ეს არის ამპლიტუდის მონაცემები. შემდეგი, ჩვენ არქივში ჩავწერთ ამპლიტუდიდან მიღებულ პასუხს.

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

ნაბიჯი 3.4. ფაილების მოძიება თქვენი კომპიუტერის საქაღალდედან

zipfile ბიბლიოთეკა მოქმედებს ფაილების ამოღებაში. მესამე სტრიქონში ფრთხილად იყავით და ჩაწერეთ თქვენი გზა, სადაც უფრო მოსახერხებელია თქვენთვის ამოღება.

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

ნაბიჯი 3.5. json კონვერტაცია

ფაილების არქივიდან ამოღების შემდეგ, თქვენ უნდა გადაიყვანოთ json ფაილები .gz ფორმატში და ჩაწეროთ ისინი მონაცემთა ჩარჩოში შემდგომი მუშაობისთვის.

გთხოვთ გაითვალისწინოთ, რომ აქ თქვენ უნდა შეცვალოთ გზა ისევ საკუთარზე და 000000-ის ნაცვლად ჩაწერეთ თქვენი პროექტის ნომერი Amplitude-დან (ან ხელით გახსენით გზა, სადაც არქივი იქნა ამოღებული და შეხედეთ შიგნით საქაღალდის სახელს).

Წესით:

დირექტორიის ჩაწერა ცვლადში, ფაილების სიის მიღება დირექტორიადან, ცარიელი მონაცემთა ჩარჩოს შექმნა, time.sleep(1) tqdm-სთვის სწორად იმუშაოს, ციკლის შიგნით ვხსნით .gz ფაილებს და მაშინვე ვიყენებთ პანდაებს json-ის წასაკითხად და შევსებისთვის. მოცემული მონაცემთა ჩარჩო.

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

ნაბიჯი 3.6. მონაცემთა ჩარჩოს ჩაწერა ექსელში

Excel-ზე ატვირთვა მხოლოდ მაგალითია აქ. ხშირ შემთხვევაში, უფრო მოსახერხებელია მუშაობა მიღებულ მონაცემთა ჩარჩოსთან პითონის შიგნით ან მონაცემების შენახვაში.

აქ ასევე მოგიწევთ მონაცემთა ატვირთვის ბილიკის შეცვლა თქვენით.

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

ნაბიჯი 3.7. ჩვენ ვითვლით სცენარის გაშვების დროს

მიმდინარე დროის ჩაწერა b ცვლადში, სხვაობის და წუთების რაოდენობის გამოთვლა, ჯამური წუთების ჩვენება. ეს არის ბოლო ნაბიჯი.

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

დასკვნა

შეგიძლიათ დარეკოთ ცხრილი და დაიწყოთ მასთან მუშაობა amplitude_dataframe ცვლადის გამოძახებით, რომელშიც ჩაწერილი იყო მონაცემები. მას ექნება დაახლოებით 50 სვეტი, რომელთაგან 80% შემთხვევაში გამოიყენებთ: event_type - მოვლენის სახელი, event_properties - ღონისძიების პარამეტრები, event_time - მოვლენის დრო, uuid - კლიენტის ID, user_properties - კლიენტის პარამეტრები, ჯერ მათთან უნდა დაიწყოთ მუშაობა. . და როდესაც ადარებთ თქვენს საკუთარ გამოთვლებს ამპლიტუდის დაფების ინდიკატორებთან, არ უნდა დაგვავიწყდეს, რომ სისტემა იყენებს თავის მეთოდოლოგიას უნიკალური კლიენტების/ძაბრების გამოსათვლელად და ა.შ. და სანამ ამას გააკეთებთ, აუცილებლად უნდა წაიკითხოთ ამპლიტუდის დოკუმენტაცია.

Გმადლობთ ყურადღებისთვის! ახლა თქვენ შეგიძლიათ ატვირთოთ მოვლენების ნედლეული მონაცემები Amplitude-ში და სრულად გამოიყენოთ ისინი თქვენს სამუშაოში.

მთელი სცენარი:

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'
api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')  
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

წყარო: www.habr.com