ການອັບໂຫລດບັນທຶກ PostgreSQL ຈາກ AWS cloud

ຫຼືນ້ອຍຂອງ tetrisology ນໍາໃຊ້.
ທຸກສິ່ງທຸກຢ່າງໃຫມ່ແມ່ນດີລືມເກົ່າ.
Epigraphs.

ການສ້າງບັນຫາ

ມັນເປັນສິ່ງຈໍາເປັນທີ່ຈະດາວໂຫລດໄຟລ໌ບັນທຶກ PostgreSQL ປະຈຸບັນຈາກ AWS cloud ໄປຫາເຈົ້າພາບ Linux ທ້ອງຖິ່ນເປັນໄລຍະ. ບໍ່ແມ່ນໃນເວລາທີ່ແທ້ຈິງ, ແຕ່ພວກເຮົາຈະເວົ້າວ່າ, ມີການຊັກຊ້າເລັກນ້ອຍ.
ໄລຍະເວລາດາວໂຫຼດການປັບປຸງໄຟລ໌ບັນທຶກແມ່ນ 5 ນາທີ.
ໄຟລ໌ບັນທຶກ, ໃນ AWS, ຖືກຫມຸນທຸກໆຊົ່ວໂມງ.

ເຄື່ອງມືທີ່ໃຊ້ແລ້ວ

ເພື່ອອັບໂຫລດໄຟລ໌ບັນທຶກໄປຍັງໂຮດ, script bash ຖືກໃຊ້ທີ່ເອີ້ນ API AWS "aws rds download-db-log-file-portion".

ພາລາມິເຕີ:

• --db-instance-identifier: ຊື່ instance ໃນ AWS;
• --log-file-name: ຊື່ຂອງໄຟລ໌ບັນທຶກທີ່ສ້າງຂຶ້ນໃນປັດຈຸບັນ
• --max-item: ຈຳນວນລາຍການທັງໝົດທີ່ສົ່ງຄືນໃນຜົນໄດ້ຮັບຂອງຄຳສັ່ງ.ຂະໜາດຂອງໄຟລ໌ທີ່ດາວໂຫລດມາ.
• --starting-token: ກຳລັງເລີ່ມຕົ້ນ token token

ໃນ​ກໍ​ລະ​ນີ​ໂດຍ​ສະ​ເພາະ​ນີ້​, ວຽກ​ງານ​ຂອງ​ການ​ດາວ​ໂຫຼດ​ບັນ​ທຶກ​ໄດ້​ເກີດ​ຂຶ້ນ​ໃນ​ໄລ​ຍະ​ຂອງ​ການ​ເຮັດ​ວຽກ​ກ່ຽວ​ກັບ​ການ​ ການຕິດຕາມການປະຕິບັດການສອບຖາມ PostgreSQL.

ແມ່ນແລ້ວ, ແລະພຽງແຕ່ - ເປັນວຽກທີ່ຫນ້າສົນໃຈສໍາລັບການຝຶກອົບຮົມແລະແນວພັນທີ່ເຮັດວຽກໃນເວລາເຮັດວຽກ.
ຂ້າ​ພະ​ເຈົ້າ​ຖື​ວ່າ​ບັນ​ຫາ​ໄດ້​ຮັບ​ການ​ແກ້​ໄຂ​ແລ້ວ​ໂດຍ​ຄຸນ​ນະ​ທໍາ​ຂອງ​ການ​ປົກ​ກະ​ຕິ​. ແຕ່ Google ທີ່ໄວບໍ່ໄດ້ແນະນໍາວິທີແກ້ໄຂ, ແລະບໍ່ມີຄວາມປາຖະຫນາໂດຍສະເພາະທີ່ຈະຄົ້ນຫາໃນຄວາມເລິກຫຼາຍ. ໃນກໍລະນີໃດກໍ່ຕາມ, ມັນເປັນການອອກກໍາລັງກາຍທີ່ດີ.

ການປະຕິບັດວຽກງານຢ່າງເປັນທາງການ

ໄຟລ໌ບັນທຶກສຸດທ້າຍແມ່ນຊຸດຂອງເສັ້ນຄວາມຍາວຂອງຕົວແປ. ກຣາຟຟິກ, ໄຟລ໌ບັນທຶກສາມາດສະແດງໄດ້ດັ່ງນີ້:


ມັນເຕືອນເຈົ້າກ່ຽວກັບບາງສິ່ງບາງຢ່າງແລ້ວບໍ? "tetris" ແມ່ນຫຍັງ? ແລະນີ້ແມ່ນສິ່ງທີ່.
ຖ້າພວກເຮົາເປັນຕົວແທນທາງເລືອກທີ່ເປັນໄປໄດ້ທີ່ເກີດຂື້ນໃນເວລາໂຫລດໄຟລ໌ຕໍ່ໄປໃນກາຟິກ (ສໍາລັບຄວາມງ່າຍດາຍ, ໃນກໍລະນີນີ້, ໃຫ້ເສັ້ນມີຄວາມຍາວດຽວກັນ), ພວກເຮົາໄດ້ຮັບ. ຕົວເລກ tetris ມາດຕະຖານ:

1) ໄຟລ໌ຖືກດາວໂຫຼດທັງໝົດ ແລະເປັນອັນສຸດທ້າຍ. ຂະໜາດຂອງຊິ້ນສ່ວນໃຫຍ່ກວ່າຂະໜາດໄຟລ໌ສຸດທ້າຍ:


2) ໄຟລ໌ມີການສືບຕໍ່. ຂະຫນາດຂອງ chunk ແມ່ນນ້ອຍກວ່າຂະຫນາດໄຟລ໌ສຸດທ້າຍ:


3) ໄຟລ໌ແມ່ນການສືບຕໍ່ຂອງໄຟລ໌ທີ່ຜ່ານມາແລະມີການສືບຕໍ່. ຂະຫນາດຂອງ chunk ແມ່ນຫນ້ອຍກ່ວາຂະຫນາດຂອງສ່ວນທີ່ເຫຼືອຂອງໄຟລ໌ສຸດທ້າຍ:


4​) ໄຟລ​໌​ແມ່ນ​ການ​ສືບ​ຕໍ່​ຂອງ​ໄຟລ​໌​ທີ່​ຜ່ານ​ມາ​ແລະ​ເປັນ​ທີ່​ສຸດ​. ຂະຫນາດຂອງ chunk ແມ່ນໃຫຍ່ກວ່າຂະຫນາດຂອງສ່ວນທີ່ເຫຼືອຂອງໄຟລ໌ສຸດທ້າຍ:


ວຽກງານແມ່ນເພື່ອປະກອບຮູບສີ່ຫລ່ຽມຫຼືຫຼິ້ນ Tetris ໃນລະດັບໃຫມ່.

ບັນຫາທີ່ເກີດຂື້ນໃນໄລຍະການແກ້ໄຂບັນຫາ

1) ກາວສາຍຂອງ 2 ສ່ວນ

ໂດຍທົ່ວໄປ, ບໍ່ມີບັນຫາໂດຍສະເພາະ. ວຽກງານມາດຕະຖານຈາກຫຼັກສູດການຂຽນໂປລແກລມເບື້ອງຕົ້ນ.

ຂະໜາດການໃຫ້ບໍລິການທີ່ດີທີ່ສຸດ

ແຕ່ນີ້ແມ່ນຫນ້າສົນໃຈເລັກນ້ອຍ.
ແຕ່ຫນ້າເສຍດາຍ, ບໍ່ມີວິທີທີ່ຈະໃຊ້ການຊົດເຊີຍຫຼັງຈາກປ້າຍ chunk ເລີ່ມຕົ້ນ:

ດັ່ງທີ່ທ່ານຮູ້ແລ້ວວ່າທາງເລືອກ --starting-token ຖືກນໍາໃຊ້ເພື່ອກໍານົດບ່ອນທີ່ຈະເລີ່ມຕົ້ນ paginating. ຕົວເລືອກນີ້ໃຊ້ເວລາຄ່າ String ເຊິ່ງຫມາຍຄວາມວ່າຖ້າທ່ານພະຍາຍາມເພີ່ມຄ່າຊົດເຊີຍຢູ່ທາງຫນ້າຂອງ Next Token string, ທາງເລືອກຈະບໍ່ຖືກພິຈາລະນາເປັນການຊົດເຊີຍ.

ແລະດັ່ງນັ້ນ, ທ່ານຕ້ອງໄດ້ອ່ານໃນ chunks-portions.
ຖ້າທ່ານອ່ານເປັນສ່ວນໃຫຍ່, ຈໍານວນການອ່ານຈະຫນ້ອຍ, ແຕ່ປະລິມານຈະສູງສຸດ.
ຖ້າທ່ານອ່ານໃນສ່ວນນ້ອຍໆ, ໃນທາງກົງກັນຂ້າມ, ຈໍານວນການອ່ານຈະສູງສຸດ, ແຕ່ປະລິມານຈະຫນ້ອຍ.
ດັ່ງນັ້ນ, ເພື່ອຫຼຸດຜ່ອນການສັນຈອນແລະຄວາມງາມໂດຍລວມຂອງການແກ້ໄຂ, ຂ້າພະເຈົ້າຕ້ອງໄດ້ມາກັບການແກ້ໄຂບາງຊະນິດ, ແຕ່ຫນ້າເສຍດາຍ, ມີລັກສະນະຄ້າຍຄືໄມ້ຄ້ອນຕີ.

ເພື່ອສະແດງໃຫ້ເຫັນ, ໃຫ້ພິຈາລະນາຂະບວນການດາວໂຫຼດໄຟລ໌ບັນທຶກໃນ 2 ສະບັບທີ່ງ່າຍດາຍຫຼາຍ. ຈໍານວນການອ່ານໃນທັງສອງກໍລະນີແມ່ນຂຶ້ນກັບຂະຫນາດສ່ວນ.

1​) ການ​ໂຫຼດ​ໃນ​ສ່ວນ​ຂະ​ຫນາດ​ນ້ອຍ​:


2​) ການ​ໂຫຼດ​ໃນ​ສ່ວນ​ໃຫຍ່​:


ຕາມປົກກະຕິ, ການແກ້ໄຂທີ່ດີທີ່ສຸດແມ່ນຢູ່ໃນກາງ.
ຂະຫນາດສ່ວນແມ່ນຫນ້ອຍ, ແຕ່ໃນຂະບວນການອ່ານ, ຂະຫນາດສາມາດເພີ່ມຂຶ້ນເພື່ອຫຼຸດຜ່ອນຈໍານວນການອ່ານ.

ມັນຄວນຈະສັງເກດເຫັນ ວ່າບັນຫາຂອງການເລືອກຂະຫນາດທີ່ດີທີ່ສຸດຂອງສ່ວນທີ່ອ່ານຍັງບໍ່ທັນໄດ້ຮັບການແກ້ໄຂຢ່າງສົມບູນແລະຮຽກຮ້ອງໃຫ້ມີການສຶກສາແລະການວິເຄາະທີ່ເລິກເຊິ່ງ. ບາງທີຕໍ່ມາເລັກນ້ອຍ.

ລາຍລະອຽດທົ່ວໄປຂອງການຈັດຕັ້ງປະຕິບັດ

ຕາຕະລາງການບໍລິການທີ່ໃຊ້ແລ້ວ

CREATE TABLE endpoint
(
id SERIAL ,
host text 
);

TABLE database
(
id SERIAL , 
…
last_aws_log_time text ,
last_aws_nexttoken text ,
aws_max_item_size integer 
);
last_aws_log_time — временная метка последнего загруженного лог-файла в формате YYYY-MM-DD-HH24.
last_aws_nexttoken — текстовая метка последней загруженной порции.
aws_max_item_size- эмпирическим путем, подобранный начальный размер порции.

ຂໍ້ຄວາມເຕັມຂອງສະຄິບ

download_aws_piece.sh

#!/bin/bash
#########################################################
# download_aws_piece.sh
# downloan piece of log from AWS
# version HABR
 let min_item_size=1024
 let max_item_size=1048576
 let growth_factor=3
 let growth_counter=1
 let growth_counter_max=3

 echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:''STARTED'
 
 AWS_LOG_TIME=$1
 echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:AWS_LOG_TIME='$AWS_LOG_TIME
  
 database_id=$2
 echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:database_id='$database_id
 RESULT_FILE=$3 
  
 endpoint=`psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE_DATABASE -A -t -c "select e.host from endpoint e join database d on e.id = d.endpoint_id where d.id = $database_id "`
 echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:endpoint='$endpoint
  
 db_instance=`echo $endpoint | awk -F"." '{print toupper($1)}'`
 
 echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:db_instance='$db_instance

 LOG_FILE=$RESULT_FILE'.tmp_log'
 TMP_FILE=$LOG_FILE'.tmp'
 TMP_MIDDLE=$LOG_FILE'.tmp_mid'  
 TMP_MIDDLE2=$LOG_FILE'.tmp_mid2'  
  
 current_aws_log_time=`psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -A -t -c "select last_aws_log_time from database where id = $database_id "`

 echo $(date +%Y%m%d%H%M)':      download_aws_piece.sh:current_aws_log_time='$current_aws_log_time
  
  if [[ $current_aws_log_time != $AWS_LOG_TIME  ]];
  then
    is_new_log='1'
	if ! psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -v ON_ERROR_STOP=1 -A -t -q -c "update database set last_aws_log_time = '$AWS_LOG_TIME' where id = $database_id "
	then
	  echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: FATAL_ERROR - update database set last_aws_log_time .'
	  exit 1
	fi
  else
    is_new_log='0'
  fi
  
  echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:is_new_log='$is_new_log
  
  let last_aws_max_item_size=`psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -A -t -c "select aws_max_item_size from database where id = $database_id "`
  echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: last_aws_max_item_size='$last_aws_max_item_size
  
  let count=1
  if [[ $is_new_log == '1' ]];
  then    
	echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: START DOWNLOADING OF NEW AWS LOG'
	if ! aws rds download-db-log-file-portion 
		--max-items $last_aws_max_item_size 
		--region REGION 
		--db-instance-identifier  $db_instance 
		--log-file-name error/postgresql.log.$AWS_LOG_TIME > $LOG_FILE
	then
		echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: FATAL_ERROR - Could not get log from AWS .'
		exit 2
	fi  	
  else
    next_token=`psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -v ON_ERROR_STOP=1 -A -t -c "select last_aws_nexttoken from database where id = $database_id "`
	
	if [[ $next_token == '' ]];
	then
	  next_token='0'	  
	fi
	
	echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: CONTINUE DOWNLOADING OF AWS LOG'
	if ! aws rds download-db-log-file-portion 
	    --max-items $last_aws_max_item_size 
		--starting-token $next_token 
		--region REGION 
		--db-instance-identifier  $db_instance 
		--log-file-name error/postgresql.log.$AWS_LOG_TIME > $LOG_FILE
	then
		echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: FATAL_ERROR - Could not get log from AWS .'
		exit 3
	fi       
	
	line_count=`cat  $LOG_FILE | wc -l`
	let lines=$line_count-1
	  
	tail -$lines $LOG_FILE > $TMP_MIDDLE 
	mv -f $TMP_MIDDLE $LOG_FILE
  fi
  
  next_token_str=`cat $LOG_FILE | grep NEXTTOKEN` 
  next_token=`echo $next_token_str | awk -F" " '{ print $2}' `
  
  grep -v NEXTTOKEN $LOG_FILE  > $TMP_FILE 
  
  if [[ $next_token == '' ]];
  then
	  cp $TMP_FILE $RESULT_FILE
	  
	  echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:  NEXTTOKEN NOT FOUND - FINISH '
	  rm $LOG_FILE 
	  rm $TMP_FILE
	  rm $TMP_MIDDLE
          rm $TMP_MIDDLE2	  
	  exit 0  
  else
	psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -v ON_ERROR_STOP=1 -A -t -q -c "update database set last_aws_nexttoken = '$next_token' where id = $database_id "
  fi
  
  first_str=`tail -1 $TMP_FILE`
  
  line_count=`cat  $TMP_FILE | wc -l`
  let lines=$line_count-1    
  
  head -$lines $TMP_FILE  > $RESULT_FILE

###############################################
# MAIN CIRCLE
  let count=2
  while [[ $next_token != '' ]];
  do 
    echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: count='$count
	
	echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: START DOWNLOADING OF AWS LOG'
	if ! aws rds download-db-log-file-portion 
             --max-items $last_aws_max_item_size 
             --starting-token $next_token 
             --region REGION 
             --db-instance-identifier  $db_instance 
             --log-file-name error/postgresql.log.$AWS_LOG_TIME > $LOG_FILE
	then
		echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: FATAL_ERROR - Could not get log from AWS .'
		exit 4
	fi

	next_token_str=`cat $LOG_FILE | grep NEXTTOKEN` 
	next_token=`echo $next_token_str | awk -F" " '{ print $2}' `

	TMP_FILE=$LOG_FILE'.tmp'
	grep -v NEXTTOKEN $LOG_FILE  > $TMP_FILE  
	
	last_str=`head -1 $TMP_FILE`
  
    if [[ $next_token == '' ]];
	then
	  concat_str=$first_str$last_str
	  	  
	  echo $concat_str >> $RESULT_FILE
		 
	  line_count=`cat  $TMP_FILE | wc -l`
	  let lines=$line_count-1
	  
	  tail -$lines $TMP_FILE >> $RESULT_FILE
	  
	  echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:  NEXTTOKEN NOT FOUND - FINISH '
	  rm $LOG_FILE 
	  rm $TMP_FILE
	  rm $TMP_MIDDLE
          rm $TMP_MIDDLE2	  
	  exit 0  
	fi
	
    if [[ $next_token != '' ]];
	then
		let growth_counter=$growth_counter+1
		if [[ $growth_counter -gt $growth_counter_max ]];
		then
			let last_aws_max_item_size=$last_aws_max_item_size*$growth_factor
			let growth_counter=1
		fi
	
		if [[ $last_aws_max_item_size -gt $max_item_size ]]; 
		then
			let last_aws_max_item_size=$max_item_size
		fi 

	  psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -A -t -q -c "update database set last_aws_nexttoken = '$next_token' where id = $database_id "
	  
	  concat_str=$first_str$last_str
	  	  
	  echo $concat_str >> $RESULT_FILE
		 
	  line_count=`cat  $TMP_FILE | wc -l`
	  let lines=$line_count-1
	  
	  #############################
	  #Get middle of file
	  head -$lines $TMP_FILE > $TMP_MIDDLE
	  
	  line_count=`cat  $TMP_MIDDLE | wc -l`
	  let lines=$line_count-1
	  tail -$lines $TMP_MIDDLE > $TMP_MIDDLE2
	  
	  cat $TMP_MIDDLE2 >> $RESULT_FILE	  
	  
	  first_str=`tail -1 $TMP_FILE`	  
	fi
	  
    let count=$count+1

  done
#
#################################################################

exit 0  

ຊິ້ນສ່ວນສະຄຣິບພ້ອມຄຳອະທິບາຍບາງອັນ:

ຕົວກໍານົດການປ້ອນ Script:

• ເວລາຂອງຊື່ໄຟລ໌ບັນທຶກໃນຮູບແບບ YYYY-MM-DD-HH24: AWS_LOG_TIME=$1
• ID ຖານຂໍ້ມູນ: database_id=$2
• ຊື່ໄຟລ໌ບັນທຶກທີ່ເກັບກໍາ: RESULT_FILE=$3

ເອົາເວລາຂອງໄຟລ໌ບັນທຶກທີ່ອັບໂຫລດຫຼ້າສຸດ:

current_aws_log_time=`psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -A -t -c "select last_aws_log_time from database where id = $database_id "`

ຖ້າເວລາຂອງໄຟລ໌ບັນທຶກທີ່ໂຫລດຫຼ້າສຸດບໍ່ກົງກັບພາລາມິເຕີການປ້ອນຂໍ້ມູນ, ໄຟລ໌ບັນທຶກໃຫມ່ຈະຖືກໂຫລດ:

if [[ $current_aws_log_time != $AWS_LOG_TIME  ]];
  then
    is_new_log='1'
	if ! psql -h ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -v ON_ERROR_STOP=1 -A -t -c "update database set last_aws_log_time = '$AWS_LOG_TIME' where id = $database_id "
	then
	  echo '***download_aws_piece.sh -FATAL_ERROR - update database set last_aws_log_time .'
	  exit 1
	fi
  else
    is_new_log='0'
  fi

ພວກເຮົາໄດ້ຮັບຄ່າຂອງປ້າຍຊື່ Nexttoken ຈາກໄຟລ໌ທີ່ໂຫລດ:

  next_token_str=`cat $LOG_FILE | grep NEXTTOKEN` 
  next_token=`echo $next_token_str | awk -F" " '{ print $2}' `

ສັນຍານຂອງການສິ້ນສຸດຂອງການດາວໂຫຼດແມ່ນຄ່າຫວ່າງເປົ່າຂອງ nexttoken.

ໃນ loop, ພວກເຮົານັບບາງສ່ວນຂອງໄຟລ໌, ຕາມທາງ, concatenating ສາຍແລະການເພີ່ມຂະຫນາດຂອງສ່ວນ:
ສາຍຫຼັກ

# MAIN CIRCLE
  let count=2
  while [[ $next_token != '' ]];
  do 
    echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: count='$count
	
	echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: START DOWNLOADING OF AWS LOG'
	if ! aws rds download-db-log-file-portion 
     --max-items $last_aws_max_item_size 
	 --starting-token $next_token 
     --region REGION 
     --db-instance-identifier  $db_instance 
     --log-file-name error/postgresql.log.$AWS_LOG_TIME > $LOG_FILE
	then
		echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh: FATAL_ERROR - Could not get log from AWS .'
		exit 4
	fi

	next_token_str=`cat $LOG_FILE | grep NEXTTOKEN` 
	next_token=`echo $next_token_str | awk -F" " '{ print $2}' `

	TMP_FILE=$LOG_FILE'.tmp'
	grep -v NEXTTOKEN $LOG_FILE  > $TMP_FILE  
	
	last_str=`head -1 $TMP_FILE`
  
    if [[ $next_token == '' ]];
	then
	  concat_str=$first_str$last_str
	  	  
	  echo $concat_str >> $RESULT_FILE
		 
	  line_count=`cat  $TMP_FILE | wc -l`
	  let lines=$line_count-1
	  
	  tail -$lines $TMP_FILE >> $RESULT_FILE
	  
	  echo $(date +%Y%m%d%H%M)':    download_aws_piece.sh:  NEXTTOKEN NOT FOUND - FINISH '
	  rm $LOG_FILE 
	  rm $TMP_FILE
	  rm $TMP_MIDDLE
         rm $TMP_MIDDLE2	  
	  exit 0  
	fi
	
    if [[ $next_token != '' ]];
	then
		let growth_counter=$growth_counter+1
		if [[ $growth_counter -gt $growth_counter_max ]];
		then
			let last_aws_max_item_size=$last_aws_max_item_size*$growth_factor
			let growth_counter=1
		fi
	
		if [[ $last_aws_max_item_size -gt $max_item_size ]]; 
		then
			let last_aws_max_item_size=$max_item_size
		fi 

	  psql -h MONITOR_ENDPOINT.rds.amazonaws.com -U USER -d MONITOR_DATABASE -A -t -q -c "update database set last_aws_nexttoken = '$next_token' where id = $database_id "
	  
	  concat_str=$first_str$last_str
	  	  
	  echo $concat_str >> $RESULT_FILE
		 
	  line_count=`cat  $TMP_FILE | wc -l`
	  let lines=$line_count-1
	  
	  #############################
	  #Get middle of file
	  head -$lines $TMP_FILE > $TMP_MIDDLE
	  
	  line_count=`cat  $TMP_MIDDLE | wc -l`
	  let lines=$line_count-1
	  tail -$lines $TMP_MIDDLE > $TMP_MIDDLE2
	  
	  cat $TMP_MIDDLE2 >> $RESULT_FILE	  
	  
	  first_str=`tail -1 $TMP_FILE`	  
	fi
	  
    let count=$count+1

  done

ຕໍ່ໄປແມ່ນຫຍັງ?

ດັ່ງນັ້ນ, ວຽກງານລະດັບກາງທໍາອິດ - "ດາວໂຫລດໄຟລ໌ບັນທຶກຈາກເມຄ" ຖືກແກ້ໄຂ. ຈະເຮັດແນວໃດກັບບັນທຶກທີ່ດາວໂຫລດ?
ທໍາອິດທ່ານຈໍາເປັນຕ້ອງແຍກໄຟລ໌ບັນທຶກແລະສະກັດຄໍາຮ້ອງຂໍຕົວຈິງຈາກມັນ.
ວຽກງານແມ່ນບໍ່ມີຄວາມຫຍຸ້ງຍາກຫຼາຍ. script bash ທີ່ງ່າຍທີ່ສຸດເຮັດໄດ້ດີ.
upload_log_query.sh

#!/bin/bash
#########################################################
# upload_log_query.sh
# Upload table table from dowloaded aws file 
# version HABR
###########################################################  
echo 'TIMESTAMP:'$(date +%c)' Upload log_query table '
source_file=$1
echo 'source_file='$source_file
database_id=$2
echo 'database_id='$database_id

beginer=' '
first_line='1'
let "line_count=0"
sql_line=' '
sql_flag=' '    
space=' '
cat $source_file | while read line
do
  line="$space$line"

  if [[ $first_line == "1" ]]; then
    beginer=`echo $line | awk -F" " '{ print $1}' `
    first_line='0'
  fi

  current_beginer=`echo $line | awk -F" " '{ print $1}' `

  if [[ $current_beginer == $beginer ]]; then
    if [[ $sql_flag == '1' ]]; then
     sql_flag='0' 
     log_date=`echo $sql_line | awk -F" " '{ print $1}' `
     log_time=`echo $sql_line | awk -F" " '{ print $2}' `
     duration=`echo $sql_line | awk -F" " '{ print $5}' `

     #replace ' to ''
     sql_modline=`echo "$sql_line" | sed 's/'''/''''''/g'`
     sql_line=' '

	 ################
	 #PROCESSING OF THE SQL-SELECT IS HERE
     if ! psql -h ENDPOINT.rds.amazonaws.com -U USER -d DATABASE -v ON_ERROR_STOP=1 -A -t -c "select log_query('$ip_port',$database_id , '$log_date' , '$log_time' , '$duration' , '$sql_modline' )" 
     then
        echo 'FATAL_ERROR - log_query '
        exit 1
     fi
	 ################

    fi #if [[ $sql_flag == '1' ]]; then

    let "line_count=line_count+1"

    check=`echo $line | awk -F" " '{ print $8}' `
    check_sql=${check^^}    

    #echo 'check_sql='$check_sql
    
    if [[ $check_sql == 'SELECT' ]]; then
     sql_flag='1'    
     sql_line="$sql_line$line"
	 ip_port=`echo $sql_line | awk -F":" '{ print $4}' `
    fi
  else       

    if [[ $sql_flag == '1' ]]; then
      sql_line="$sql_line$line"
    fi   
    
  fi #if [[ $current_beginer == $beginer ]]; then

done

ໃນປັດຈຸບັນທ່ານສາມາດເຮັດວຽກກັບການສອບຖາມທີ່ສະກັດຈາກໄຟລ໌ບັນທຶກ.

ແລະມີຫຼາຍຄວາມເປັນໄປໄດ້ທີ່ເປັນປະໂຫຍດ.

ຄຳຖາມທີ່ວິເຄາະແລ້ວຕ້ອງຖືກເກັບໄວ້ບ່ອນໃດບ່ອນໜຶ່ງ. ສໍາລັບການນີ້, ຕາຕະລາງການບໍລິການຖືກນໍາໃຊ້. log_query

CREATE TABLE log_query
(
   id SERIAL ,
   queryid bigint ,
   query_md5hash text not null ,
   database_id integer not null ,  
   timepoint timestamp without time zone not null,
   duration double precision not null ,
   query text not null ,
   explained_plan text[],
   plan_md5hash text  , 
   explained_plan_wo_costs text[],
   plan_hash_value text  ,
   baseline_id integer ,
   ip text ,
   port text 
);
ALTER TABLE log_query ADD PRIMARY KEY (id);
ALTER TABLE log_query ADD CONSTRAINT queryid_timepoint_unique_key UNIQUE (queryid, timepoint );
ALTER TABLE log_query ADD CONSTRAINT query_md5hash_timepoint_unique_key UNIQUE (query_md5hash, timepoint );

CREATE INDEX log_query_timepoint_idx ON log_query (timepoint);
CREATE INDEX log_query_queryid_idx ON log_query (queryid);
ALTER TABLE log_query ADD CONSTRAINT database_id_fk FOREIGN KEY (database_id) REFERENCES database (id) ON DELETE CASCADE ;

ຄຳຮ້ອງຂໍທີ່ແຍກວິເຄາະໄດ້ຖືກປະມວນຜົນໃນ plpgsql ຫນ້າ​ທີ່ "log_query".
log_query.sql

--log_query.sql
--verison HABR
CREATE OR REPLACE FUNCTION log_query( ip_port text ,log_database_id integer , log_date text , log_time text , duration text , sql_line text   ) RETURNS boolean AS $$
DECLARE
  result boolean ;
  log_timepoint timestamp without time zone ;
  log_duration double precision ; 
  pos integer ;
  log_query text ;
  activity_string text ;
  log_md5hash text ;
  log_explain_plan text[] ;
  
  log_planhash text ;
  log_plan_wo_costs text[] ; 
  
  database_rec record ;
  
  pg_stat_query text ; 
  test_log_query text ;
  log_query_rec record;
  found_flag boolean;
  
  pg_stat_history_rec record ;
  port_start integer ;
  port_end integer ;
  client_ip text ;
  client_port text ;
  log_queryid bigint ;
  log_query_text text ;
  pg_stat_query_text text ; 
BEGIN
  result = TRUE ;

  RAISE NOTICE '***log_query';
  
  port_start = position('(' in ip_port);
  port_end = position(')' in ip_port);
  client_ip = substring( ip_port from 1 for port_start-1 );
  client_port = substring( ip_port from port_start+1 for port_end-port_start-1 );

  SELECT e.host , d.name , d.owner_pwd 
  INTO database_rec
  FROM database d JOIN endpoint e ON e.id = d.endpoint_id
  WHERE d.id = log_database_id ;
  
  log_timepoint = to_timestamp(log_date||' '||log_time,'YYYY-MM-DD HH24-MI-SS');
  log_duration = duration:: double precision; 

  
  pos = position ('SELECT' in UPPER(sql_line) );
  log_query = substring( sql_line from pos for LENGTH(sql_line));
  log_query = regexp_replace(log_query,' +',' ','g');
  log_query = regexp_replace(log_query,';+','','g');
  log_query = trim(trailing ' ' from log_query);
 

  log_md5hash = md5( log_query::text );
  
  --Explain execution plan--
  EXECUTE 'SELECT dblink_connect(''LINK1'',''host='||database_rec.host||' dbname='||database_rec.name||' user=DATABASE password='||database_rec.owner_pwd||' '')'; 
  
  log_explain_plan = ARRAY ( SELECT * FROM dblink('LINK1', 'EXPLAIN '||log_query ) AS t (plan text) );
  log_plan_wo_costs = ARRAY ( SELECT * FROM dblink('LINK1', 'EXPLAIN ( COSTS FALSE ) '||log_query ) AS t (plan text) );
    
  PERFORM dblink_disconnect('LINK1');
  --------------------------
  BEGIN
	INSERT INTO log_query
	(
		query_md5hash ,
		database_id , 
		timepoint ,
		duration ,
		query ,
		explained_plan ,
		plan_md5hash , 
		explained_plan_wo_costs , 
		plan_hash_value , 
		ip , 
		port
	) 
	VALUES 
	(
		log_md5hash ,
		log_database_id , 
		log_timepoint , 
		log_duration , 
		log_query ,
		log_explain_plan , 
		md5(log_explain_plan::text) ,
		log_plan_wo_costs , 
		md5(log_plan_wo_costs::text),
		client_ip , 
		client_port		
	);
	activity_string = 	'New query has logged '||
						' database_id = '|| log_database_id ||
						' query_md5hash='||log_md5hash||
						' , timepoint = '||to_char(log_timepoint,'YYYYMMDD HH24:MI:SS');
					
	RAISE NOTICE '%',activity_string;					
					 
	PERFORM pg_log( log_database_id , 'log_query' , activity_string);  

	EXCEPTION
	  WHEN unique_violation THEN
		RAISE NOTICE '*** unique_violation *** query already has logged';
	END;

	SELECT 	queryid
	INTO   	log_queryid
	FROM 	log_query 
	WHERE 	query_md5hash = log_md5hash AND
			timepoint = log_timepoint;

	IF log_queryid IS NOT NULL 
	THEN 
	  RAISE NOTICE 'log_query with query_md5hash = % and timepoint = % has already has a QUERYID = %',log_md5hash,log_timepoint , log_queryid ;
	  RETURN result;
	END IF;
	
	------------------------------------------------
	RAISE NOTICE 'Update queryid';	
	
	SELECT * 
	INTO log_query_rec
	FROM log_query
	WHERE query_md5hash = log_md5hash AND timepoint = log_timepoint ; 
	
	log_query_rec.query=regexp_replace(log_query_rec.query,';+','','g');
	
	FOR pg_stat_history_rec IN
	 SELECT 
         queryid ,
	  query 
	 FROM 
         pg_stat_db_queries 
     WHERE  
      database_id = log_database_id AND
       queryid is not null 
	LOOP
	  pg_stat_query = pg_stat_history_rec.query ; 
	  pg_stat_query=regexp_replace(pg_stat_query,'n+',' ','g');
	  pg_stat_query=regexp_replace(pg_stat_query,'t+',' ','g');
	  pg_stat_query=regexp_replace(pg_stat_query,' +',' ','g');
	  pg_stat_query=regexp_replace(pg_stat_query,'$.','%','g');
	
	  log_query_text = trim(trailing ' ' from log_query_rec.query);
	  pg_stat_query_text = pg_stat_query; 
	
	  
	  --SELECT log_query_rec.query like pg_stat_query INTO found_flag ; 
	  IF (log_query_text LIKE pg_stat_query_text) THEN
		found_flag = TRUE ;
	  ELSE
		found_flag = FALSE ;
	  END IF;	  
	  
	  
	  IF found_flag THEN
	    
		UPDATE log_query SET queryid = pg_stat_history_rec.queryid WHERE query_md5hash = log_md5hash AND timepoint = log_timepoint ;
		activity_string = 	' updated queryid = '||pg_stat_history_rec.queryid||
		                    ' for log_query with id = '||log_query_rec.id               
		   				    ;						
	    RAISE NOTICE '%',activity_string;	
		EXIT ;
	  END IF ;
	  
	END LOOP ;
	
  RETURN result ;
END
$$ LANGUAGE plpgsql;

ໃນເວລາທີ່ການປຸງແຕ່ງ, ຕາຕະລາງການບໍລິການຖືກນໍາໃຊ້ pg_stat_db_queriesA ທີ່ປະກອບດ້ວຍພາບລວມຂອງການສອບຖາມປະຈຸບັນຈາກຕາຕະລາງ pg_stat_history (ການນໍາໃຊ້ຕາຕະລາງແມ່ນໄດ້ອະທິບາຍຢູ່ທີ່ນີ້ − ການຕິດຕາມປະສິດທິພາບຂອງຄໍາຖາມ PostgreSQL. ພາກທີ 1 - ການລາຍງານ)

TABLE pg_stat_db_queries
(
   database_id integer,  
   queryid bigint ,  
   query text , 
   max_time double precision 
);

TABLE pg_stat_history 
(
…
database_id integer ,
…
queryid bigint ,
…
max_time double precision	 , 	
…
);

ຟັງຊັນດັ່ງກ່າວອະນຸຍາດໃຫ້ທ່ານສາມາດປະຕິບັດຈໍານວນຄຸນສົມບັດທີ່ເປັນປະໂຫຍດສໍາລັບການປະມວນຜົນຄໍາຮ້ອງຂໍຈາກໄຟລ໌ບັນທຶກ. ຄື:

ໂອກາດທີ 1 - ປະຫວັດການດຳເນີນການສອບຖາມ

ເປັນປະໂຫຍດຫຼາຍສໍາລັບການເລີ່ມຕົ້ນເຫດການການປະຕິບັດ. ທໍາອິດ, ໃຫ້ຮູ້ຈັກກັບປະຫວັດສາດ - ແລະການຊ້າລົງເລີ່ມຕົ້ນເມື່ອໃດ?
ຫຼັງຈາກນັ້ນ, ອີງຕາມການຄລາສສິກ, ຊອກຫາສາເຫດພາຍນອກ. ມັນອາດຈະເປັນພຽງແຕ່ວ່າການໂຫຼດຖານຂໍ້ມູນໄດ້ເພີ່ມຂຶ້ນຢ່າງຫຼວງຫຼາຍແລະການຮ້ອງຂໍສະເພາະບໍ່ມີຫຍັງເຮັດກັບມັນ.
ເພີ່ມລາຍການໃຫມ່ໃສ່ຕາຕະລາງ log_query

  port_start = position('(' in ip_port);
  port_end = position(')' in ip_port);
  client_ip = substring( ip_port from 1 for port_start-1 );
  client_port = substring( ip_port from port_start+1 for port_end-port_start-1 );

  SELECT e.host , d.name , d.owner_pwd 
  INTO database_rec
  FROM database d JOIN endpoint e ON e.id = d.endpoint_id
  WHERE d.id = log_database_id ;
  
  log_timepoint = to_timestamp(log_date||' '||log_time,'YYYY-MM-DD HH24-MI-SS');
  log_duration = to_number(duration,'99999999999999999999D9999999999'); 

  
  pos = position ('SELECT' in UPPER(sql_line) );
  log_query = substring( sql_line from pos for LENGTH(sql_line));
  log_query = regexp_replace(log_query,' +',' ','g');
  log_query = regexp_replace(log_query,';+','','g');
  log_query = trim(trailing ' ' from log_query);
 
  RAISE NOTICE 'log_query=%',log_query ;   

  log_md5hash = md5( log_query::text );
  
  --Explain execution plan--
  EXECUTE 'SELECT dblink_connect(''LINK1'',''host='||database_rec.host||' dbname='||database_rec.name||' user=DATABASE password='||database_rec.owner_pwd||' '')'; 
  
  log_explain_plan = ARRAY ( SELECT * FROM dblink('LINK1', 'EXPLAIN '||log_query ) AS t (plan text) );
  log_plan_wo_costs = ARRAY ( SELECT * FROM dblink('LINK1', 'EXPLAIN ( COSTS FALSE ) '||log_query ) AS t (plan text) );
    
  PERFORM dblink_disconnect('LINK1');
  --------------------------
  BEGIN
	INSERT INTO log_query
	(
		query_md5hash ,
		database_id , 
		timepoint ,
		duration ,
		query ,
		explained_plan ,
		plan_md5hash , 
		explained_plan_wo_costs , 
		plan_hash_value , 
		ip , 
		port
	) 
	VALUES 
	(
		log_md5hash ,
		log_database_id , 
		log_timepoint , 
		log_duration , 
		log_query ,
		log_explain_plan , 
		md5(log_explain_plan::text) ,
		log_plan_wo_costs , 
		md5(log_plan_wo_costs::text),
		client_ip , 
		client_port		
	);

ຄຸນ​ລັກ​ສະ​ນະ #2 - ບັນ​ທຶກ​ແຜນ​ການ​ປະ​ຕິ​ບັດ​ການ​ສອບ​ຖາມ

​ໃນ​ຈຸດ​ເວລາ​ນີ້, ຄຳ​ເຫັນ​ຄັດຄ້ານ-ຊີ້​ແຈງ-​ຄວາມ​ເຫັນ​ອາດ​ຈະ​ເກີດ​ຂຶ້ນ: “ແຕ່ມີການອະທິບາຍອັດຕະໂນມັດແລ້ວ". ແມ່ນແລ້ວ, ມັນແມ່ນ, ແຕ່ສິ່ງທີ່ເປັນຈຸດຖ້າແຜນການປະຕິບັດຖືກເກັບໄວ້ໃນໄຟລ໌ບັນທຶກດຽວກັນແລະເພື່ອບັນທຶກມັນສໍາລັບການວິເຄາະຕື່ມອີກ, ທ່ານຕ້ອງແຍກໄຟລ໌ບັນທຶກ?

ຢ່າງໃດກໍຕາມ, ຂ້ອຍຕ້ອງການ:
ທໍາອິດ: ເກັບຮັກສາແຜນການປະຕິບັດໃນຕາຕະລາງການບໍລິການຂອງຖານຂໍ້ມູນການຕິດຕາມ;
ອັນທີສອງ: ສາມາດປຽບທຽບແຜນການປະຕິບັດກັບກັນແລະກັນເພື່ອໃຫ້ເຫັນທັນທີວ່າແຜນການປະຕິບັດການສອບຖາມມີການປ່ຽນແປງ.

ການຮ້ອງຂໍທີ່ມີຕົວກໍານົດການປະຕິບັດສະເພາະແມ່ນມີຢູ່. ການຮັບ ແລະເກັບຮັກສາແຜນການປະຕິບັດຂອງມັນໂດຍໃຊ້ EXPLAIN ແມ່ນວຽກປະຖົມ.
ຍິ່ງໄປກວ່ານັ້ນ, ການນໍາໃຊ້ການສະແດງອອກ (COSTS FALSE), ທ່ານສາມາດໄດ້ຮັບກອບຂອງແຜນການ, ເຊິ່ງຈະຖືກນໍາໄປໃຊ້ເພື່ອໃຫ້ໄດ້ມູນຄ່າ hash ຂອງແຜນການ, ເຊິ່ງຈະຊ່ວຍໃນການວິເຄາະຕໍ່ໄປຂອງປະຫວັດການປ່ຽນແປງຂອງແຜນການປະຕິບັດ.
ເອົາແບບແຜນປະຕິບັດ

  --Explain execution plan--
  EXECUTE 'SELECT dblink_connect(''LINK1'',''host='||database_rec.host||' dbname='||database_rec.name||' user=DATABASE password='||database_rec.owner_pwd||' '')'; 
  
  log_explain_plan = ARRAY ( SELECT * FROM dblink('LINK1', 'EXPLAIN '||log_query ) AS t (plan text) );
  log_plan_wo_costs = ARRAY ( SELECT * FROM dblink('LINK1', 'EXPLAIN ( COSTS FALSE ) '||log_query ) AS t (plan text) );
    
  PERFORM dblink_disconnect('LINK1');

ໂອກາດທີ 3 - ການນໍາໃຊ້ບັນທຶກການສອບຖາມສໍາລັບການຕິດຕາມ

ເນື່ອງຈາກຕົວວັດແທກການປະຕິບັດຖືກຕັ້ງຄ່າບໍ່ແມ່ນສໍາລັບຂໍ້ຄວາມຄໍາຮ້ອງຂໍ, ແຕ່ສໍາລັບ ID ຂອງມັນ, ທ່ານຈໍາເປັນຕ້ອງເຊື່ອມໂຍງຄໍາຮ້ອງຂໍຈາກໄຟລ໌ບັນທຶກກັບຄໍາຮ້ອງຂໍທີ່ກໍານົດຄ່າຕົວວັດແທກການປະຕິບັດ.
ດີ, ຢ່າງຫນ້ອຍເພື່ອໃຫ້ມີເວລາທີ່ແນ່ນອນຂອງການປະກົດຕົວຂອງເຫດການການປະຕິບັດ.

ດັ່ງນັ້ນ, ເມື່ອເຫດການປະຕິບັດການເກີດຂື້ນສໍາລັບ ID ການຮ້ອງຂໍ, ຈະມີການເຊື່ອມຕໍ່ກັບຄໍາຮ້ອງຂໍສະເພາະທີ່ມີຄ່າພາລາມິເຕີສະເພາະແລະເວລາປະຕິບັດທີ່ແນ່ນອນແລະໄລຍະເວລາຂອງຄໍາຮ້ອງຂໍ. ໄດ້​ຮັບ​ຂໍ້​ມູນ​ທີ່​ໄດ້​ຮັບ​ໂດຍ​ນໍາ​ໃຊ້​ພຽງ​ແຕ່​ການ​ເບິ່ງ​ pg_stat_statements - ມັນຖືກຫ້າມ.
ຊອກຫາ queryid ຂອງ query ແລະປັບປຸງການເຂົ້າມາໃນຕາຕະລາງ log_query

SELECT * 
	INTO log_query_rec
	FROM log_query
	WHERE query_md5hash = log_md5hash AND timepoint = log_timepoint ; 
	
	log_query_rec.query=regexp_replace(log_query_rec.query,';+','','g');
	
	FOR pg_stat_history_rec IN
	 SELECT 
      queryid ,
	  query 
	 FROM 
       pg_stat_db_queries 
     WHERE  
	   database_id = log_database_id AND
       queryid is not null 
	LOOP
	  pg_stat_query = pg_stat_history_rec.query ; 
	  pg_stat_query=regexp_replace(pg_stat_query,'n+',' ','g');
	  pg_stat_query=regexp_replace(pg_stat_query,'t+',' ','g');
	  pg_stat_query=regexp_replace(pg_stat_query,' +',' ','g');
	  pg_stat_query=regexp_replace(pg_stat_query,'$.','%','g');
	
	  log_query_text = trim(trailing ' ' from log_query_rec.query);
	  pg_stat_query_text = pg_stat_query; 
	  
	  --SELECT log_query_rec.query like pg_stat_query INTO found_flag ; 
	  IF (log_query_text LIKE pg_stat_query_text) THEN
		found_flag = TRUE ;
	  ELSE
		found_flag = FALSE ;
	  END IF;	  
	  
	  
	  IF found_flag THEN
	    
		UPDATE log_query SET queryid = pg_stat_history_rec.queryid WHERE query_md5hash = log_md5hash AND timepoint = log_timepoint ;
		activity_string = 	' updated queryid = '||pg_stat_history_rec.queryid||
		                    ' for log_query with id = '||log_query_rec.id		                    
		   				    ;						
					
	    RAISE NOTICE '%',activity_string;	
		EXIT ;
	  END IF ;
	  
	END LOOP ;

Afterword

ດັ່ງນັ້ນ, ວິທີການອະທິບາຍໄດ້ພົບເຫັນຄໍາຮ້ອງສະຫມັກຂອງຕົນໃນ ພັດທະນາລະບົບສໍາລັບການຕິດຕາມກວດກາການປະຕິບັດການສອບຖາມ PostgreSQL, ຊ່ວຍໃຫ້ທ່ານມີຂໍ້ມູນເພີ່ມເຕີມສໍາລັບການວິເຄາະໃນເວລາທີ່ແກ້ໄຂບັນຫາການປະຕິບັດການສອບຖາມທີ່ເກີດຂື້ນ.

ເຖິງແມ່ນວ່າ, ແນ່ນອນ, ໃນຄວາມຄິດເຫັນສ່ວນຕົວຂອງຂ້ອຍ, ມັນຍັງມີຄວາມຈໍາເປັນທີ່ຈະເຮັດວຽກກ່ຽວກັບສູດການຄິດໄລ່ສໍາລັບການເລືອກແລະການປ່ຽນແປງຂະຫນາດຂອງສ່ວນທີ່ດາວໂຫລດ. ບັນຫາຍັງບໍ່ທັນໄດ້ຮັບການແກ້ໄຂໃນກໍລະນີທົ່ວໄປ. ມັນອາດຈະເປັນທີ່ຫນ້າສົນໃຈ.

ແຕ່​ນັ້ນ​ແມ່ນ​ເລື່ອງ​ທີ່​ແຕກ​ຕ່າງ​ກັນ​ຫມົດ ...

ແຫຼ່ງຂໍ້ມູນ: www.habr.com