ດຶງຂໍ້ມູນ Amplitude ຜ່ານ API

ການນໍາສະເຫນີ

ຄວາມກວ້າງໃຫຍ່ໄດ້ພິສູດຕົວມັນເອງໄດ້ດີຫຼາຍເປັນເຄື່ອງມືການວິເຄາະຜະລິດຕະພັນເນື່ອງຈາກການຕິດຕັ້ງເຫດການທີ່ງ່າຍແລະຄວາມຍືດຫຍຸ່ນໃນການເບິ່ງເຫັນ. ແລະເລື້ອຍໆມີຄວາມຕ້ອງການທີ່ຈະຕັ້ງຄ່າຕົວແບບການໃຫ້ເຫດຜົນຂອງຕົນເອງ, ຜູ້ໃຊ້ກຸ່ມ, ຫຼືສ້າງ dashboard ໃນລະບົບ BI ອື່ນ. ມັນເປັນໄປໄດ້ທີ່ຈະປະຕິບັດການສໍ້ໂກງດັ່ງກ່າວກັບຂໍ້ມູນເຫດການດິບຈາກ Amplitude. ບົດ​ຄວາມ​ນີ້​ຈະ​ບອກ​ທ່ານ​ກ່ຽວ​ກັບ​ວິ​ທີ​ການ​ໄດ້​ຮັບ​ຂໍ້​ມູນ​ນີ້​ມີ​ຄວາມ​ຮູ້​ກ່ຽວ​ກັບ​ການ​ດໍາ​ເນີນ​ໂຄງ​ການ​ຫນ້ອຍ​.

ເງື່ອນໄຂເບື້ອງຕົ້ນ

1. ໂຄງການໃນ Amplitude ທີ່ເຫດການໄດ້ຖືກຕັ້ງຄ່າຢ່າງຖືກຕ້ອງແລ້ວແລະສະຖິຕິໄດ້ຖືກເກັບກໍາກ່ຽວກັບພວກມັນ
2. Python ຖືກຕິດຕັ້ງ (ຂ້ອຍກໍາລັງເຮັດວຽກຢູ່ໃນຮຸ່ນ 3.8.3), ເຊິ່ງຜູ້ອ່ານທີ່ມີທ່າແຮງສາມາດເຮັດວຽກໄດ້ຢ່າງຫນ້ອຍໃນລະດັບພື້ນຖານ.

ຄໍາແນະນໍາ

ຂັ້ນຕອນທີ 1. ໄດ້ຮັບ API-key ແລະ secret-key

ເພື່ອອັບໂຫລດຂໍ້ມູນ, ກ່ອນອື່ນ ໝົດ ທ່ານຕ້ອງໄດ້ຮັບລະຫັດ API ແລະລະຫັດລັບ.

ເຈົ້າສາມາດຊອກຫາພວກມັນໄດ້ໂດຍການປະຕິບັດຕາມເສັ້ນທາງຕໍ່ໄປນີ້:

1. “ຈັດການຂໍ້ມູນ” (ຢູ່ລຸ່ມຊ້າຍຂອງໜ້າຈໍ)
2. ເລືອກໂຄງການທີ່ຕ້ອງການຈາກຂໍ້ມູນທີ່ຈະດາວໂຫລດແລະໄປຫາມັນ
3. ໃນເມນູໂຄງການທີ່ເປີດ, ເລືອກ "ການຕັ້ງຄ່າໂຄງການ"
4. ພວກເຮົາຊອກຫາ API-key ແລະ secret-key strings, ຄັດລອກແລະບັນທຶກພວກມັນໄວ້ໃນບ່ອນທີ່ປອດໄພ.

ໂດຍບໍ່ມີການຄລິກໃສ່, ທ່ານສາມາດປະຕິບັດຕາມການເຊື່ອມຕໍ່, ເຊິ່ງໂດຍທົ່ວໄປເບິ່ງຄືວ່ານີ້:
analytics.amplitude.com/$$$$$$$/manage/project/******/settings,
ບ່ອນທີ່ $$$$$$ ແມ່ນການເຂົ້າສູ່ລະບົບຂອງອົງການຂອງເຈົ້າ, ****** ແມ່ນຕົວເລກໂຄງການ

ຂັ້ນຕອນທີ 2: ການກວດສອບການມີຫ້ອງສະຫມຸດທີ່ຕ້ອງການ

ຂ່າວດີແມ່ນວ່າເຈົ້າເກືອບແນ່ນອນມີຫ້ອງສະຫມຸດເຫຼົ່ານີ້ຕິດຕັ້ງໄວ້ໃນຕອນຕົ້ນຫຼືດາວໂຫລດ, ແຕ່ທ່ານຈໍາເປັນຕ້ອງກວດເບິ່ງ. ບັນຊີລາຍຊື່ເຕັມຂອງຫ້ອງສະຫມຸດທີ່ຂ້ອຍໃຊ້ໃນເວລາຂຽນ (ສະບັບໃນວົງເລັບຖືກລະບຸບ່ອນທີ່ເຫມາະສົມ):

1. requests (2.10.0) - ສົ່ງຄໍາຮ້ອງຂໍຜ່ານ api ເພື່ອຮັບຂໍ້ມູນ
2. pandas (1.0.1) - ອ່ານ json, ສ້າງ dataframe ແລະຫຼັງຈາກນັ້ນຂຽນໃສ່ໄຟລ໌
3. zipfile - ສະກັດໄຟລ໌ຈາກບ່ອນເກັບມ້ຽນທີ່ໄດ້ຮັບຜ່ານ API
4. gzip - unpacking ໄຟລ໌ json ຈາກ .gz
5. os - ໄດ້ຮັບບັນຊີລາຍຊື່ຂອງໄຟລ໌ຈາກການຮວບຮວມ unpacked
6. time - ທາງເລືອກ, ວັດແທກເວລາແລ່ນຂອງ script
7. tqdm - ທາງ​ເລືອກ​, ສໍາ​ລັບ​ການ​ຕິດ​ຕາມ​ງ່າຍ​ຂອງ​ຄວາມ​ຄືບ​ຫນ້າ​ການ​ປຸງ​ແຕ່ງ​ໄຟລ​໌​

ຂັ້ນຕອນທີ 3. ການຂຽນສະຄິບໂຫຼດຂໍ້ມູນ

ຄໍາ​ແນະ​ນໍາ​: ສະ​ຄຣິ​ບ​ການ​ດາວ​ໂຫຼດ​ຢ່າງ​ເຕັມ​ທີ່​ແມ່ນ​ຢູ່​ໃນ​ຕອນ​ທ້າຍ​ຂອງ​ບົດ​ຄວາມ​; ຖ້າ​ຫາກ​ວ່າ​ທ່ານ​ຕ້ອງ​ການ​, ທ່ານ​ສາ​ມາດ​ເອົາ​ມັນ​ທັນ​ທີ​ທັນ​ໃດ​ແລະ​ເບິ່ງ​ຄໍາ​ອະ​ທິ​ບາຍ​ເປັນ​ຂັ້ນ​ຕອນ​ຖ້າ​ຫາກ​ວ່າ​ຈໍາ​ເປັນ​.

ຂັ້ນຕອນ 3.1. ການ​ນໍາ​ເຂົ້າ​ຫ້ອງ​ສະ​ຫມຸດ​

ພວກເຮົານໍາເຂົ້າຫ້ອງສະຫມຸດທັງຫມົດທີ່ລະບຸໄວ້ໃນຂັ້ນຕອນທີສອງ.

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm

ຂັ້ນຕອນ 3.2. ສົ່ງຄໍາຮ້ອງຂໍໃຫ້ Amplitude

ຂໍໃຫ້ກວດພົບການເລີ່ມຕົ້ນຂອງການປະຕິບັດ script ແລະຂຽນມັນໃສ່ຕົວແປ a.

startdate ແລະ enddate ແມ່ນຮັບຜິດຊອບສໍາລັບໄລຍະເວລາສໍາລັບການດາວໂຫຼດຂໍ້ມູນແລະຖືກສ້າງຂຶ້ນໃນຂໍ້ຄວາມຂອງຄໍາຮ້ອງຂໍທີ່ຖືກສົ່ງໄປຫາເຄື່ອງແມ່ຂ່າຍຂອງ Amplitude; ນອກເຫນືອຈາກວັນທີ, ທ່ານຍັງສາມາດກໍານົດຊົ່ວໂມງໂດຍການປ່ຽນຄ່າຫຼັງຈາກ 'T' ໃນການຮ້ອງຂໍ.

api_key ແລະ secret_key ກົງກັບຄ່າທີ່ໄດ້ຮັບໃນຂັ້ນຕອນທໍາອິດ; ສໍາລັບເຫດຜົນດ້ານຄວາມປອດໄພ, ຂ້ອຍລະບຸລໍາດັບແບບສຸ່ມຢູ່ທີ່ນີ້ແທນທີ່ຈະເປັນຂອງຂ້ອຍເອງ.

a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'kldfg844203rkwekfjs9234'
secret_key = '094tfjdsfmw93mxwfek'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

ຂັ້ນຕອນ 3.3. ກຳລັງດາວໂຫຼດແຟ້ມຈັດເກັບດ້ວຍຂໍ້ມູນ

ພວກເຮົາມາກັບຊື່ສໍາລັບການຮວບຮວມແລະຂຽນມັນໃສ່ຕົວແປຊື່ໄຟລ໌. ເພື່ອຄວາມສະດວກຂອງຂ້ອຍ, ຂ້ອຍຊີ້ບອກໄລຍະເວລາ + ຊີ້ໃຫ້ເຫັນວ່ານີ້ແມ່ນຂໍ້ມູນຄວາມກວ້າງໄກ. ຕໍ່ໄປ, ພວກເຮົາບັນທຶກການຕອບສະຫນອງທີ່ໄດ້ຮັບຈາກ Amplitude ເຂົ້າໄປໃນບ່ອນເກັບມ້ຽນ.

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

ຂັ້ນຕອນ 3.4. ດຶງໄຟລ໌ຈາກໂຟນເດີໃນຄອມພິວເຕີຂອງທ່ານ

ຫ້ອງສະຫມຸດ zipfile ເຂົ້າມາໃນການຫຼິ້ນເພື່ອຊ່ວຍສະກັດໄຟລ໌. ໃນແຖວທີສາມ, ຈົ່ງລະມັດລະວັງແລະຂຽນລົງໃນເສັ້ນທາງຂອງເຈົ້າທີ່ມັນສະດວກກວ່າສໍາລັບທ່ານທີ່ຈະສະກັດ.

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

ຂັ້ນຕອນ 3.5. ການປ່ຽນ json

ຫຼັງຈາກສະກັດໄຟລ໌ອອກຈາກຮວບຮວມ, ທ່ານຈໍາເປັນຕ້ອງໄດ້ປ່ຽນໄຟລ໌ json ໃນຮູບແບບ .gz ແລະຂຽນພວກມັນເຂົ້າໄປໃນກອບຂໍ້ມູນເພື່ອເຮັດວຽກຕໍ່ໄປ.

ກະລຸນາສັງເກດວ່າໃນທີ່ນີ້ທ່ານຕ້ອງການປ່ຽນເສັ້ນທາງອີກເທື່ອຫນຶ່ງໃຫ້ກັບຕົວຂອງທ່ານເອງ, ແລະແທນທີ່ຈະ 000000 ຂຽນຈໍານວນໂຄງການຂອງທ່ານຈາກ Amplitude (ຫຼືດ້ວຍຕົນເອງເປີດເສັ້ນທາງທີ່ເກັບຂໍ້ມູນຖືກສະກັດແລະເບິ່ງຊື່ຂອງໂຟນເດີພາຍໃນ).

ໃນຄໍາສັ່ງ:

ການຂຽນໄດເລກະທໍລີໃຫ້ກັບຕົວແປ, ເອົາບັນຊີລາຍຊື່ຂອງໄຟລ໌ຈາກໄດເລກະທໍລີ, ສ້າງ dataframe ຫວ່າງເປົ່າ, time.sleep(1) ສໍາລັບ tqdm ເຮັດວຽກຢ່າງຖືກຕ້ອງ, ພາຍໃນ loop ພວກເຮົາເປີດໄຟລ໌ .gz ແລະທັນທີໃຊ້ pandas ເພື່ອອ່ານ json ແລະຕື່ມຂໍ້ມູນໃສ່. ກອບຂໍ້ມູນໃຫ້.

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

ຂັ້ນຕອນ 3.6. ຂຽນ dataframe ໃນ excel

ການອັບໂຫລດໄປຍັງ Excel ແມ່ນພຽງແຕ່ຕົວຢ່າງຢູ່ທີ່ນີ້. ໃນຫຼາຍໆກໍລະນີ, ມັນສະດວກກວ່າທີ່ຈະເຮັດວຽກກັບກອບຂໍ້ມູນຜົນໄດ້ຮັບພາຍໃນ python ຫຼືເອົາຂໍ້ມູນໄວ້ໃນບ່ອນເກັບມ້ຽນ.

ທ່ານຍັງຈະຕ້ອງປ່ຽນເສັ້ນທາງການອັບໂຫລດຂໍ້ມູນຢູ່ທີ່ນີ້ດ້ວຍຕົວຂອງທ່ານເອງ.

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

ຂັ້ນຕອນ 3.7. ພວກເຮົານັບເວລາແລ່ນຂອງສະຄຣິບ

ບັນທຶກເວລາປະຈຸບັນຢູ່ໃນຕົວແປ b, ການຄິດໄລ່ຄວາມແຕກຕ່າງແລະຈໍານວນນາທີ, ສະແດງຈໍານວນນາທີທັງຫມົດ. ນີ້ແມ່ນຂັ້ນຕອນສຸດທ້າຍ.

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

ສະຫລຸບ

ທ່ານສາມາດໂທຫາຕາຕະລາງແລະເລີ່ມເຮັດວຽກກັບມັນໂດຍການໂທຫາຕົວແປ amplitude_dataframe ທີ່ຂໍ້ມູນຖືກຂຽນ. ມັນຈະມີປະມານ 50 ຖັນ, ໃນນັ້ນ 80% ຂອງກໍລະນີທີ່ເຈົ້າຈະໃຊ້: event_type - event name, event_properties - event parameters, event_time - event time, uuid - client id, user_properties - client parameters, you should start work with them first. . ແລະເມື່ອປຽບທຽບຕົວເລກຈາກການຄິດໄລ່ຂອງທ່ານເອງກັບຕົວຊີ້ວັດຈາກ dashboards Amplitude, ທ່ານຕ້ອງບໍ່ລືມວ່າລະບົບການນໍາໃຊ້ວິທີການຂອງຕົນເອງສໍາລັບການຄິດໄລ່ລູກຄ້າ / funnels ເປັນເອກະລັກ, ແລະອື່ນໆ, ແລະກ່ອນທີ່ຈະດໍາເນີນການນີ້, ທ່ານຄວນອ່ານເອກະສານ Amplitude ແນ່ນອນ.

ຂອບໃຈສໍາລັບຄວາມສົນໃຈຂອງທ່ານ! ຕອນນີ້ທ່ານສາມາດອັບໂຫລດຂໍ້ມູນເຫດການດິບໃສ່ Amplitude ແລະໃຊ້ມັນຢ່າງເຕັມທີ່ໃນການເຮັດວຽກຂອງເຈົ້າ.

ສະຄຣິບທັງໝົດ:

# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'

api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')

# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
    code.write(response.content)
print('2. Архив с файлами успешно скачан')  

# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)

# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'
# Импорт библиотек
import requests
import pandas as pd
import zipfile
import gzip
import os
import time
import tqdm
from tqdm import tqdm
a = time.time()
# Параметры начальной и конечной даты
startdate = '20200627'
enddate = '20200628'
api_key = 'd988fddd7cfc0a8a'
secret_key = 'da05cf1aeb3a361a61'
# Отправление запроса в Amplitude
response = requests.get('https://amplitude.com/api/2/export?start='+startdate+'T0&end='+enddate+'T0', auth = (api_key, secret_key))
print('1. Запрос отправлен')
# Скачивание архива с данными
filename = 'period_since'+startdate+'to'+enddate+'_amplitude_data'
with open(filename + '.zip', "wb") as code:
code.write(response.content)
print('2. Архив с файлами успешно скачан')  
# Извлечение файлов в папку на компьютере
z = zipfile.ZipFile(filename + '.zip', 'r')
z.extractall(path = 'C:\Users\...\'+filename)
print('3. Архив с файлами извлечен и записан в папку ' + filename)
# Преобразование json к обычному табличному формату
directory = 'C:\Users\...\'+filename+'\000000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
with gzip.open(directory + '\' + i) as f:
add = pd.read_json(f, lines = 'True')
amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')
# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)
b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))
0000'
files = os.listdir(directory)
amplitude_dataframe = pd.DataFrame()
print('Прогресс обработки файлов:')
time.sleep(1)
for i in tqdm(files):
    with gzip.open(directory + '\' + i) as f:
        add = pd.read_json(f, lines = 'True')
    amplitude_dataframe = pd.concat([amplitude_dataframe, add])
time.sleep(1)    
print('4. JSON файлы из архива успешно преобразованы и записаны в dataframe')

# Записать полученной таблицы в Excel-файл
amplitude_dataframe.to_excel('C:\Users\...\'+filename+'.xlsx',index=False)
print('5. Dataframe успешно записан в файл ' + filename)

b = time.time()
diff = b-a
minutes = diff//60
print('Выполнение кода заняло: {:.0f} минут(ы)'.format( minutes))

ແຫຼ່ງຂໍ້ມູນ: www.habr.com