ืขืก ืืื 2019, ืืื ืืืจ ื ืึธื ืืึธื ื ืื ืืึธืื ืึท ื ืึธืจืืึทื ืืืืืื ื ืคึฟืึทืจ ืงืืึธืฅ ืึทืืืจืขืืึทืืืึธื ืืื Kubernetes. ืืื ืืขื ืึทืจืืืงื, ืืืจ ืืืขืื, ื ืืฆื ืืืืฉืคืืื ืคืื ืคืึทืงืืืฉ ืคืืจ, ืฆื ืืืืื ืืื ืืืขืจ ืึธื ืคึฟืจืขืื, ืคึผืจืึธืืืขืืก ืืขืคึผืืึธื ืืขืจื ืืื ืืืืขืจ ืกืึทืืืฉืึทื ื.
ืึธืืขืจ, ืขืจืฉืืขืจ, ืืื ืืืขื ืืึทืื ืึท ืจืขืืขืจืืืึทืฆืืข ืึทื ืคืึทืจืฉืืืขื ืข ืงืึทืกืืึทืืขืจื ืคึฟืึทืจืฉืืืื ืืืืขืจ ืคืึทืจืฉืืืขื ืข ืืื ืื ืืืจื ืงืึทืืขืงืืื ื ืืึธืืก:
- ืขืืขืฆืขืจ ืืืื ืฆื ืืขื ืืืืขืจืืืื ืืื ืงืึธื ืืจืึธืืืจื ืืึธืืก;
- ืขืืขืฆืขืจ - ืกืขื ืืจืึทืืืืื ืืึธืืื ื ืคืื ืื ืืื ืฆืข ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ;
- ืืื ืคึฟืึทืจ ืขืืืขืืข, ืขืก ืืื ืืขื ืื ืฆื ืืึทืืืขื ืืืืื ืึทืคึผืืึทืงืืืฉืึทื ืืึธืืก, ืขืงืกืงืืืืื ื, ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืึทืืึทื ืกืขืจื.
ืื ืืขืจ ืืื ืื ืืืจืืฉื ืื ืืื ืื ืืืขืื ืืื ืืืจ ืืืคึผืืึทืืขื ืึทื ืคืึทืจืฉืืื "ืืืืฉ ืจืฉืืืืช" ืืื ืืืึธืก ืฉืืืขืจืืงืืืื ืืืจ ืืขืคึผืืึธื ืืขืจื.
ืืขืึธืจืืข: ืืืขืื ืืึธืืื ื ืืืฉืืจืื
ืืื ืืขืจืืจืื ื ืืืืฃ ืื ืงืึทืืคึผืึธืื ืึทื ืฅ ืคืื ืึท ืืึธืืื ื ืกืืกืืขื
ืืึธืืื ื ืืื ืงืืืขื ืึท ืืึทื ื ืืืขื, ืืื ืึท ืจืขืืืืืึทื ืคืื ืืืึธืก ืืขืืึทืืึทืืึทืืืฉืื ืคึฟืึทืจ ืงืึทืืขืงืืื ื ืืื ืึทื ืึทืืืืืื ื ืืึธืืก ืืขื ืขื ืืขืืืขืืึธืคึผืขื, ืืืึธืก ืืื ืืืึธืก ืืืจ ื ืืฆื ืืืึทื ื. ืฆืืจืืง ืืื ืื 1950 ืก, ืคืึธืจืืจืึทื ืื ืืจืึธืืืืกื ืึทื ืึทื ืึทืืึธื ืคืื ื ืึธืจืืึทื ืึทืจืืึทื ืฉืจืืึทื / ืจืขืืืืืึทื ืกืืจืืื, ืืืึธืก ืืขืืึธืืคึฟื ืื ืคึผืจืึธืืจืึทืืืกื ืืืืึทื ืืืื ืคึผืจืึธืืจืึทื. ืืืก ืืขื ืขื ืืขืืืขื ืื ืขืจืฉืืข ืงืึธืืคึผืืืืขืจ ืืึธืืก ืืืึธืก ืืขืืืื ืื ืืขืื ืืจืื ืืขืจ ืคึฟืึทืจ ืคึผืจืึธืืืจืึทืืขืจื ืคืื ืืขื ืข ืฆืืื. ืืืึทื ื ืืืจ ืืขื ืืื ืืื ืืขืจ ืขืจืฉืืขืจ ืงืึธืืคึผืึธื ืขื ื ืคืื ืื ืืึธืืื ื ืกืืกืืขื - ืืงืืจ ืึธืืขืจ "ืคึผืจืึธืืืฆืืจืขืจ" ืคืื ืืึธืืก.
ืงืืืคืืืืขืจ ืืืืกื ืฉืืคื ืืื ื ืืฉื ืืขืฉืืื ืขื: ืงืืืคืืืืขืจ ื ืขืืืืึธืจืงืก ืืืื ืืื ืืืืืืื, ืื ืขืจืฉืืข ืืฉืืืืืช... ืงืืืคืืขืงืกืข ืกืืกืืขืืขื ืืืืก ืืืฉืืืื ืคืื ืขืืืืืข ืงืืืคืืืืขืจืก ืืืื ืื ืืขืืืืื ืืจืืขืื. ืืืฆื ืกืืกืืขื ืึทืืืื ืืกืืจืึทืืึธืจืก ืืขื ืขื ืืขืฆืืืื ืืขื ืฆื ืืึทืืืขื ืืึธืืก ืคืื ืขืืืขืืข ืืืฉืื ืขื, ืืื ืืื ืกืคึผืขืฆืืขื ืงืึทืกืขืก ืืื ืงืขื ืืืืื OS ืงืขืจื ืึทืจืืืงืืขื ืืื ืคืึทื ืืื ืืึทืจืคึฟื ืฆื ืคืึธืจืฉื ืึท ืกืืกืืขื ืืืจืืคืึทื. ืฆื ืืึทืฉืจืืึทืื ืกืขื ืืจืึทืืืืื ืงืืึธืฅ ืืึทืืืื ื ืกืืกืืขืืขื, ืืื ืื ืคืจื 2000 ืก ืขืก ืืื ืืจืืืก , ืืืึธืก ืกืืึทื ืืขืจืืืืื remote_syslog. ืืึธืก ืืื ืืื ืื ืื ืืขืจ ืืืืืืืง ืงืึธืืคึผืึธื ืขื ื ืืจืืืก: ืงืืึธืฅ ืงืึทืืขืงืืขืจ ืืื ืืืืขืจ ืกืืึธืจืืืืฉ.
ืืื ืื ืคืึทืจืืจืขืกืขืจื ืืื ืื ืืึทื ื ืคืื ืืึธืืก ืืื ืื ืืืืืืกืคึผืจืขื ืืงืืื ืคืื ืืืขื ืืขืงื ืึทืืึทืืืฉืื, ืื ืงืฉืื ืืื ืืืืคืืขืฉืืื ืขื ืืืึธืก ืืึธืืก ืืึทืจืคึฟื ืฆื ืืืื ืงืึทื ืืืื ืืึทื ืืื ืืขืืืืื ืฆื ื ืืฆืขืจืก. ืคึผืฉืื ืงืึทื ืกืึธืื ืืืฉืืจืื (awk/sed/grep) ืืึธืื ืฉืืื ืจืืคึผืืืืกื ืืืจื ืืขืจ ืึทืืืึทื ืกืืจืืข ืงืืึธืฅ ืืืืืขืจื - ืืจืื ืงืึธืืคึผืึธื ืขื ื.
ืจืขืื ืฆื ืืขืจ ืคืึทืจืืจืขืกืขืจื ืืื ืื ืืึทื ื ืคืื ืืึธืืก, ืขืคึผืขืก ืึทื ืืขืจืฉ ืืขืืืืจื ืงืืึธืจ: ืืึธืืก ืืขื ืขื ืืืจืฃ, ืึธืืขืจ ื ืื ืึทืืข ืคืื โโืืื. ืืื ืคืึทืจืฉืืืขื ืข ืืึธืืก ืืึทืจืคื ืคืึทืจืฉืืืขื ืข ืคึผืจืขืืขืจืืืืืฉืึทื ืืขืืืขืืก: ืขืืืขืืข ืงืขื ืขื ืืืื ืคืึทืจืคืึทืื ืืื ืึท ืืึธื, ืืฉืขืช ืื ืืขืจืข ืืึทืจืคึฟื ืฆื ืืืื ืกืืึธืจื ืคึฟืึทืจ 5 ืืืจ. ืึทืืื, ืึท ืงืึธืืคึผืึธื ืขื ื ืคึฟืึทืจ ืคืืืืขืจืื ื ืืื ืจืืืื ื ืืึทืื ืคืืึธืื ืืื ืฆืืืขืืขืื ืฆื ืื ืืึธืืื ื ืกืืกืืขื - ืืึธืื ืืื ืื ืจืืคื ืขืก ืคืืืืขืจ.
ืกืืึธืจืืืืฉ ืืื ืืืื ืืขืืืื ืึท ืืจืืืก ืฉืคึผืจืื ืืขื: ืคืื ืจืขืืืืขืจ ืืขืงืขืก ืฆื ืจืืืืืฉืึทื ืึทื ืืึทืืึทืืืืกืื, ืืื ืืขืจื ืึธื ืฆื ืืึธืงืืืขื ื-ืึธืจืืขื ืืื ืกืืึธืจืืืืฉ (ืืืฉื Elasticsearch). ืึทืืื ืื ืกืืึธืจืืืืฉ ืืื ืืขืืืขื ืืคืืขืฉืืืื ืคืื ืื ืงืึทืืขืงืืขืจ.
ืืขืกืึธืฃ, ืืขืจ ืขืฆื ืืึทืืจืืฃ ืคืื ืึท ืงืืึธืฅ ืืื ืืงืกืคึผืึทื ืืื ืฆื ืึท ืืื ืคืื ืึทืืกืืจืึทืงื ืืืึทื ืคืื ืืขืฉืขืขื ืืฉื ืืืึธืก ืืืจ ืืืืื ืฆื ืืคืืืื ืคึฟืึทืจ ืืขืฉืืืืข. ืึธืืขืจ ืืึทื ืฅ, ืืื ืคืึทื ืืืจ ืืึทืจืคึฟื ืฆื ืืืจืืคืืจื ืึทื ืืืกืคืึธืจืฉืื ื ืึธืืขืจ ืืึทืื ืึทื ืึทื ืึทืืืืืฉ ืืึทืจืืื ...
ืืื ืึท ืจืขืืืืืึทื, ืืื ืึท ืืขืคืืขืจืขื ืงืืจืฅ ืฆืืื, ืืึธื ืืึทืืืื ื ืืื ืืขืืืขืืึธืคึผืขื ืืื ืึท ืืืืืืืง ืกืึทืืกืืกืืขื, ืืืึธืก ืงืขื ืขื ืืืื ืจืืืืคืึทืื ืืขืจืืคื ืืืื ืขืจ ืคืื ืื ืกืึทืืกืขืงืฉืึทื ื ืืื ืืื ืืึทืืึท.
ืืืื ืึทืืึธื ืืื ืึท ืฆืืึทื ืคึผืจืึธืกื ืคึผืจืื ืฅ ืงืขื ืืืื ืืขื ืื ืคึฟืึทืจ ืึท "ืืึธืืื ื ืกืืกืืขื," ืืืฆื ืื ืกืืืืึทืฆืืข ืืื ืืขืืืื ืึท ืคึผืืึทืฅ.
ืงืืืขืจื ืขืืขืก ืืื ืืึธืืก
ืืืขื Kubernetes ืืื ืืขืงืืืขื ืฆื ืื ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ, ืื ืฉืืื ืืืืืกืืื ื ืคึผืจืึธืืืขื ืคืื ืงืึทืืขืงืืื ื ืืึธืืก ืืื ื ืืฉื ืืืืคึผืึทืก ืขืก ืืืื. ืืื ืขืืืขืืข ืืืขืื, ืขืก ืืื ืืขืืืืจื ืืคืืื ืืขืจ ืืืืืืืงืืืง: ืื ืึธื ืคืืจืื ื ืคืื ืื ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ ืคึผืืึทืืคืึธืจืืข ืืื ืืขืืืขื ื ืื ืืืืื ืกืืืคึผืืึทืคืืื, ืึธืืขืจ ืืืื ืงืึธืืคึผืืืฆืืจื ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื. ืคืืืข ืึทืื ืืึทืืื ืื ืืก ืืึธืื ืื ืืขืืืืื ืืืืจืืืืื ื ืฆื ืืืงืจืึธ ืืึทืืื ืื ืืก. ืืื ืืขื ืงืึธื ืืขืงืกื ืคืื ืืึธืืก, ืืึธืก ืืื ืฉืคืืืื ืืื ืื ืืจืึธืืื ื ื ืืืขืจ ืคืื ืงืืึธืฅ ืงืืืืื, ืืืืขืจ ืกืคึผืขืฆืืขื ืืขืื ืฆืืงื ืืื ืื ื ืืื ืฆื ืฉืคึผืืจ ืื ืฉืืืืืช ืคืื ืึทืืข ืกืืกืืขื ืงืึทืืคึผืึธืื ืึทื ืฅ ืืืจื ืืึธืืก ...
ืืื ืงืืง ืคืึธืจืืืก, ืืื ืงืขื ืขื ืืึธืื ืึทื ืืืฆื, ืืืืืขืจ, ืขืก ืืื ืงืืื ืกืืึทื ืืขืจืืืืื ืืึธืืื ื ืึธืคึผืฆืืข ืคึฟืึทืจ Kubernetes ืืืึธืก ืืืึธืื ืคืึทืจืืืืึทืื ืคืืืืืขืจื ืืื ืึทืืข ืื ืืขืจืข. ืื ืืขืจืกื ืคืึธืืงืก ืกืงืืื ืืื ืื ืงืื ืืขื ืขื ืืื ืืืื:
- ืขืืขืฆืขืจ ืึทื ืจืึธืืื ืื ืึธื ืืืืื EFK (Elasticsearch, Fluentd, Kibana);
- ืขืืขืฆืขืจ ืืื ืืจืืื ื ืื ืืขืฆืื ืก ืืืคืจืืื ืึธืืขืจ ื ืืฆื ;
- ืืื ืื (ืืื ืืคืฉืจ ื ืืฉื ื ืืจ ืืื ื?..) ืืื ืืื ืืึทืจืืขืื ืฆืืคึฟืจืืื ืืื ืืืื ืืืืืขื ืข ืึทื ืืืืืงืืื ื - ...
ืืื ืึท ืืขืจืฉื, ืืืจ ื ืืฆื ืื ืคืืืืขื ืืข ืืึทื ืืึทืื ืืื K8s ืงืืึทืกืืขืจื (ืคึฟืึทืจ ืืื-ืืึธืืกืืื ืกืึทืืืฉืึทื ื):
- ;
- .
ืึธืืขืจ, ืืื ืืืขื ื ืืฉื ืืืืื ืขื ืืืืฃ ืื ืกืืจืึทืงืฉืึทื ื ืคึฟืึทืจ ืืืืขืจ ืื ืกืืึทืืืจืื ื ืืื ืงืึทื ืคืืืืขืจืืืฉืึทื. ืึทื ืฉืืึธื, ืืื ืืืขื ืคืึธืงืืก ืืืืฃ ืืืืขืจ ืฉืึธืจืืงืึธืืื ืืก ืืื ืืขืจ ืืืืืืืข ืงืึทื ืงืืืืฉืึทื ื ืืืขืื ืื ืกืืืืึทืฆืืข ืืื ืืึธืืก ืืื ืึทืืืขืืืื.
ืคึผืจืึทืงืืืกืื ืืื ืืึธืืก ืืื K8s
"ืืืึธืืขืืืง ืืึธืืก", ืืื ืคืืืข ืคืื โโโโืืืจ ืืขื ืขื ืืึธืจื?
ืกืขื ืืจืึทืืืืื ืืึทืืืื ื ืคืื ืืึธืืก ืคึฟืื ืึท ืืึทื ืฅ ืืจืืืก ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ ืจืืงืืืืืขืจื ืืืคึผืฉ ืจืขืกืืจืกื, ืืืึธืก ืืืขื ืืืื ืคืืจืืจืืื ืืืืฃ ืงืึทืืขืงืืื ื, ืกืืึธืจืื ื ืืื ืคึผืจืึทืกืขืกืื ื ืืึธืืก. ืืขืฉืึทืก ืื ืึธืคึผืขืจืึทืฆืืข ืคืื โโืคืึทืจืฉืืื ืคึผืจืึทืืืฉืขืงืก, ืืืจ ืืขื ืขื ืคืืืกื ืืื ืคืึทืจืฉืืื ืืืืขืจืคืขื ืืฉื ืืื ืึทืคึผืขืจืืืฉืึทื ืึทื ืคึผืจืึธืืืขืืก ืขืจืืืืื ื ืคืื ืืื.
ืืื ืก ืคึผืจืืืืจื ClickHouse
ืืึธืืืจ ืงืืงื ืืืืฃ ืึท ืกืขื ืืจืึทืืืืื ืกืืึธืจืืืืฉ ืืืืฃ ืึท ืคึผืจืืืขืงื ืืื ืึท ืึทืคึผืืึทืงืืืฉืึทื ืืืึธืก ืืืฉืขื ืขืจืืืฅ ืืึธืืก ืืึทื ืฅ ืึทืงืืืืืื: ืืขืจ ืืื 5000 ืฉืืจืืช ืคึผืขืจ ืกืขืงืื ืืข. ืืื ืก ืึธื ืืืืื ืืจืืขืื ืืื ืืืื ืืึธืืก, ืึทืืื ื ืืื ืฆื ClickHouse.
ืืื ืืึทืื ืืื ืืึทืงืกืืืื ืคืึทืงืืืฉ ืฆืืื ืืื ืคืืจืืื ืื, ืื 4-ืืึทืจืฅ ืกืขืจืืืขืจ ืืื ClickHouse ืืืขื ืฉืืื ืืืื ืึธืืืืขืจืืึธืืืื ืืืืฃ ืื ืืืกืง ืกืึทืืกืืกืืึทื:
ืืขื ืืืคึผ ืคืื ืืึธืืืื ื ืืื ืจืขืื ืฆื ืืขื ืคืึทืงื ืึทื ืืืจ ืืขื ืขื ืืจืืื ื ืฆื ืฉืจืืึทืื ืืื ClickHouse ืืื ืืขืฉืืืื ื ืืื ืืขืืืขื. ืืื ืื ืืึทืืึทืืืืก ืจืืึทืงืฅ ืฆื ืืขื ืืื ืึท ืืขืืืืงืกื ืืืกืง ืืึทืกืข, ืืืึธืก ืงืขื ืคืึทืจืฉืึทืคื ืื ืคืืืืขื ืืข ืขืจืจืึธืจืก:
DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts
ืคืึทืงื ืืื ืึทื ืืื ClickHouse (ืืื ืึทื ืืืึทืืื ืงืืึธืฅ ืืึทืื) ืืึธืื ืืืืขืจ ืืืืื ืฉืืืขืจืืงืืืื ืืขืฉืึทืก ืฉืจืืึทืื ืึทืคึผืขืจืืืฉืึทื ื. ืื ืืึทืื ืื ืกืขืจืืึทื ืืื ืืื ืืืฉืขื ืขืจืืืฅ ืึท ืฆืืึทืืืืืึทืืืง ืฆืขืืืืืื ื, ืืืึธืก ืืื ืืขืืึธืื ืืขืจืืืฉื ืืื ืื ืืืืคึผื ืืืฉ. ืืื ืึท ืจืขืืืืืึทื, ืื ืจืขืงืึธืจืืื ื ืืื ืืืืขืจ ืคืึธืืขืจื ืืืืฃ ืื ืืืกืง, ืืื ืขืก ืืื ืืืื ืืื ืืขืจืืขื ืืง ืฆื ืื ืืึทืืจืขื ืขืฆืื ื ืืืึธืก ืืืจ ืืึทืงืืืขื ืึธื ืืึธื ืืืขืื ืืืืื: ื ืื ืืขืจ ืืื 1 ืกืึทืืคึผืึทืจืืืฉืึทื ื ืงืขื ืขื ืืืื ืืขืจืืืฉื ืืื 300 ืกืขืงืื ืืข (ืืื ืคืึทืงื, ืืึธืก ืืื 300 ืื ืกืขืจืฅ) ืคึผืขืจ ืกืขืงืื ืืข).
ืฆื ืืืกืืืืื ืืขื ื ืึทืืืจ, ืืื ืืื ืืจืืืก ืืจืขืงืืขื ืืื ืืขืืืขื ืืื ื ืื ืืขืจ ืืื 1 ืืึธื ืืขืืขืจ 2 ืกืขืงืื ืืขืก. ืึธืืขืจ, ืฉืจืืืื ืืื ืืจืืืก ืืขืจืกืฅ ืกืึทืืืืฉืขืกืฅ ืึทื ืืืจ ืืึธื ืฉืจืืึทืื ืืืืื ืืงืขืจ ืึธืคื ืืื ClickHouse. ืืึธืก, ืืื ืงืขืจ, ืงืขื ืขื ืคืืจื ืฆื ืึท ืืึทืคืขืจ ืืืืคื ืืื ืึธื ืืืขืจ ืคืื ืืึธืืก. ืื ืืืืืื ื ืืื ืฆื ืคืึทืจืืจืขืกืขืจื ืื Fluentd ืืึทืคืขืจ, ืึธืืขืจ ืืขืจ ืืึผืจืื ืงืึทื ืกืึทืืฉืึทื ืืืขื ืืืื ืคืึทืจืืจืขืกืขืจื.
ืืึธื: ืื ืื ืืขืจ ืคึผืจืึธืืืขืืึทืืืง ืึทืกืคึผืขืงื ืคืื ืืื ืืืขืจ ืืืืืื ื ืืื ืงืืืงืืึธืืกืข ืืื ืืขืืืขื ืคืืจืืื ืื ืฆื ืื ืคืึทืงื ืึทื ืื ืคึผืึทืจืืืฉืึทื ืื ื ืืื ืืื ืืืขืจ ืคืึทื (ืืึธืืืึธืืกืข) ืืื ืืืคึผืืึทืืขื ืึทื ืืืจื ืคืื ืืจืืืกื ืืืง ืืืฉื ืคืืจืืื ืื. . ืืึธืก ืคืืจื ืฆื ืืขื ืคืึทืงื ืึทื ืืื ืื ืืืกืืขืจืื ื ืคืื ืืจืืืก ืฆืืื ืื ืืขืจืืืึทืื, ืึท ืืืขืจืืง ืืึทืจืึทื ืืื ืคืืจืืื ืื, ืืืืึทื ืื ืืขืืึทืืึทืืืข ืืืขืจืืืฅ ืืืจื ืึทืืข ืคึผืึทืจืืืฉืึทื ื - ืืคืืื ืื ืืืึธืก ืืึธื ืืึธื ื ืื ืึทื ืืืึทืืื ืื ื ืืืืืง ืืึทืื. ืึธืืขืจ, ืืืฆื ืืขื ืฆืืืึทื ื ืงืขื ืขื ืืืื ืืขืฉืึธืืขื ืืขืจืงืืขืจื ืคืึทืจืขืืืขืจื ืคึฟืึทืจ ืงืจืึทื ื ืืืขืจืกืืขืก ืคืื ClickHouse (c ).
ืืื ืึท ืจืขืืืืืึทื, ืขืก ืืืขืจื ืงืืึธืจ ืึทื ื ืื ืืขืืขืจ ืคึผืจืืืขืงื ืืื ืืขื ืื ืจืขืกืืจืกื ืฆื ืืึทืืืขื ืืึธืืก ืืื ืคืึทืงืืืฉ ืฆืืื ืืื ClickHouse (ืืขืจ ืืขื ืื, ืืืืขืจ ืคืึทืจืฉืคึผืจืืืืื ื ืืืขื ื ืืฉื ืืืื ืฆืื ืขืืขื). ืืื ืืขืจืฆื, ืืืจ ืืืขื ืืึทืจืคึฟื ืฆื ื ืืฆื ืืึทืืึทืจืืืข, ืฆ ื ืฐืขืืืข ืจ ืื ืจ ืฐืขื ื ืื ื ืฉืคืขืืข ืจ ืืืืงืขืจื . ืืขืจ ืคืึทื ืืืกืงืจืืืื ืืืืื ืืื ืคืึทืงืืืฉ. ืืื ืืื ืืขืจ ืฆืืื ืืืจ ืืขื ืขื ื ืืฉื ืืืืืืช ืฆื ืคืึธืจืฉืืึธืื ืึท ืคืึทืจืืึธืืืขื ืืื ืกืืึทืืื ืืืืืื ื ืืืึธืก ืืืึธืื ืคึผืึทืกื ืื ืงืื ื ืืื ืืึธืื ืืื ืื ืฆื ืืึทืืืขื ืืึธืืก ืืื ืืื ืืืึทื ืคืึทืจืืึทืืื ...
ืืืึธืก ืืืขืื Elasticsearch?
Elasticsearch ืืื ืืึทืืืืกื ืฆื ืฉืขืคึผื ืฉืืืขืจ ืืืขืจืงืืึธืืื. ืืื ืก ืคึผืจืืืืจื ืขืก ืืื ืืขืจ ืืขืืืืงืขืจ ืคึผืจืืืขืงื. ืืืฆื ืื ืืึทืกืข ืงืืงื ืืื ืืึธืก:
Elasticsearch ืืื ืืืืืืช ืฆื ืืืืืืฉืขืกืืื ืื ืืึทืื ืืืึทื, ืึธืืขืจ, ืฉืจืืืื ืึทืืึท ืืืึทืืืืื ืฆื ืขืก ืืืืขืจ ืืืืึทืืืืื ืื ืงืคึผื. ืืขื ืืื ืืึทืฉืืึธืกื ืืืจื ืึธืจืืึทื ืืืืื ื ืึท ืงื ืืื. ืืขืงื ืืงืื, ืืึธืก ืืื ื ืืฉื ืึท ืคึผืจืึธืืืขื, ืึธืืขืจ ืขืก ืืืจื ืก ืืืืก ืึทื ื ืึธืจ ืฆื ืึทืจืืขืื ืื ืงืืึธืฅ ืืึทืืืื ื ืกืืกืืขื ืืืจ ืฉืืื ื ืืฆื ืืืขืื 8 ืงืึธืจืขืก ืืื ืืึธืื ืึทื ื ืึธื ืืขืืกื ืืึธืืืื ืงืึธืืคึผืึธื ืขื ื ืืื ืื ืกืืกืืขื ...
ืื ืึธ ืฉืืจื: ืืขื ืึธืคึผืฆืืข ืงืขื ืขื ืืืื ืืขืจืขืืืคืืจืืืงื, ืึธืืขืจ ื ืึธืจ ืืืื ืื ืคึผืจืืืขืงื ืืื ืืจืืืก ืืื ืืืึทื ืคืึทืจืืืึทืืืื ื ืืื ืืจืืื ืฆื ืคืึทืจืืจืขื ืืขื ืืึทืืืึทืืืง ืจืขืกืืจืกื ืืืืฃ ืึท ืกืขื ืืจืึทืืืืื ืืึธืืื ื ืกืืกืืขื.
ืืขืจื ืึธื ืงืืื ืึท ื ืึทืืืจืืขื ืงืฉืื:
ืืืึธืก ืืึธืืก ืืขื ืขื ืืึทืงืข ืืืจืฃ?
ืืึธืืืจ ืคึผืจืืืืจื ืฆื ืืืืฉื ืืขื ืฆืืืึทื ื ืืื: ืืึธืืก ืืึธื ืกืืืืึทืืืืื ืืึทืกืื ืืืื ืื ืคืึธืจืืึทืืืื ืืื ื ืืฉื ืืขืงื ืืขืืขืจ ืืขืฉืขืขื ืืฉ ืืื ืื ืกืืกืืขื.
ืืื ืก ืืึธืื ืืืจ ืืึธืื ืึท ืืฆืืื ืึธื ืืืื ืงืจืึธื. ืืืึธืก ืืึธืืก ืืขื ืขื ืืืืืืืง? ืงืึทืืขืงืืื ื ืืื ืคืื ืืื ืคึฟืึธืจืืึทืฆืืข ืืื ืืขืืืขื, ืืืฉื, ืคึฟืื ืึท ืฆืึธืืื ื ืืืืืืืื, ืืื ืึท ืืจืืืก ืืขืืึทื ืง. ืึธืืขืจ ื ืื ืึทืืข ืื ืืึธืืก ืคืื ืื ืืืื ืกืืืืกืื ื ืืื ืกื ืืื ืื ืคึผืจืึธืืืงื ืงืึทืืึทืืึธื ืืขื ืขื ืงืจืืืืฉ ืคึฟืึทืจ ืืื ืื: ืืืืื ืขืจืจืึธืจืก ืืื ืึทืืืึทื ืกืืจืืข ืืึธื ืืืึธืจืื ื ืืขื ืขื ืืขื ืื (ืืืฉื, ืืขืจ ืคึผืจืึธืฆืขื ื ืคืื 500 ืขืจืจืึธืจืก ืึทื ืืขืจ ืงืึธืืคึผืึธื ืขื ื ืืืฉืขื ืขืจืืืฅ).
ืึทืืื ืืืจ ืืึธืื ืงืืืขื ืฆื ืื ืืกืงื ื ืึทื ืกืขื ืืจืึทืืืืื ืืึธืืื ื ืืื ื ืื ืฉืืขื ืืืง ืืขืจืขืืืคืืจืืืงื. ืืืืขืจ ืึธืคื ืืขืจ ืงืืืขื ื ืืืื ืฆื ืืึทืืืขื ืึทืืข ืื ืืึธืืก ืืื ืืืื ืึธืจื, ืืึธืืฉ ืืื ืคืึทืงื, ืคึฟืื ืื ืืื ืฆืข ืงืืึธืฅ, ืืืืื ืึท ืงืึทื ืืืฉืึทื ืึทื 5% ืคืื ืึทืจืืืงืืขื ืืืึธืก ืืขื ืขื ืงืจืืืืฉ ืคึฟืึทืจ ืื ืืขืฉืขืคื ืืขื ืขื ืคืืจืืื ืื:
- ืืื ืขืก ืืื ืืขื ืื ืฆื ืงืึทื ืคืืืืขืจ, ืืึธืื, ืืืืื ืื ืืจืืืก ืคืื ืืขื ืงืึทื ืืืื ืขืจ ืงืืึธืฅ ืืื ืื ืืขืืช ืงืึทืืขืงืืขืจ (ืืืฉื, ืกืขื ืืจื).
- ื ืืขืืช ืึธื ืืึธื ืืื ืึท ืืจืืืก ืืืืข ืงืืึธืฅ ืืื ืงืขื ืึธืคื ืืืื ืืขื ืื ืฆื ืคืึธืจืฉื ืื ืกืึทืืึทื ืฅ.
- ืืืจ ืืึธืื ืคืจืืืขืงืื ืืืึธืก ืืึธืื ืืืจืืืขืงืึธืื ืืืืกืฉืืืกืืขื ืคืึทื ืืงืฉืึทื ืึทื ืืขืกืฅ ืืื ืืขืืช ืืึทืืืื ื ืกืืกืืขืืขื. ืืขืจ ืืขืืืขืืึธืคึผืขืจ ืืื ื ืื ืืึทืจืคึฟื ืืึธืืก ืืื ืึทืืึท - ืืื ืืขืืขื ืึทืืฅ ืคึฟืื ืืขืืช ืืจืึทืกืขืก.
ืืืืืกืืจืืฆืืข ืคืื โโืืขืื
ืื ืื ืืขืจ ืืขืฉืืืืข ืงืขื ืืื ืขื ืืื ืึท ืืื ืืืึทืฉืคึผืื. ืืืจ ืืืงืืืขื ืึท ืืงืฉื ืคืื ืื ืืืืขืจืืืื ืืึทื ืฉืึทืคึฟื ืคืื ืืืื ืขืจ ืคืื ืืื ืืืขืจ ืงืืืืึทื ืฅ ืืืึธืก ืืื ืฉืืื ื ืืฆื ืึท ืืขืฉืขืคื ืืืืืื ื ืืืึธืก ืืื ืืขืืืขืืึธืคึผืขื ืืึทื ื ืืืืืขืจ ืื ืืงืืื ืคืื Kubernetes.
ืขืก ืืื ืืขืืืขื ื ืืืืืง ืฆื "ืืึทืื ืคืจืขื ืื" ืคืื ืื ืกืขื ืืจืึทืืืืื ืงืืึธืฅ ืืึทืืืื ื ืกืืกืืขื ืืื ืื ืคึฟืืจืืข ืคึผืจืึธืืืขื ืืืืขืงืฉืึทื ืกืขื ืกืขืจ - QRadar. ืืขืจ ืกืืกืืขื ืงืขื ืขื ืืึทืงืืืขื ืืึธืืก ืืืจื ืื ืกืืกืืึธื ืคึผืจืึธืืึธืงืึธื ืืื ืฆืืจืืงืงืจืืื ืืื ืคึฟืื ืคืืคึผ. ืึธืืขืจ, ืขืก ืืื ื ืื ืืืืื ืืขืืืขื ืฆื ืืืกืฉืืืืขื ืขืก ืืื ืื remote_syslog ืคึผืืืืื ืคึฟืึทืจ ืคืืืขื ืื (ืืื ืขืก ืืึธื ืืื ืึทืจืืืกืืขืืืืื, ). ืคึผืจืึธืืืขืืก ืืื ืืึทืฉืืขืืืงื QRadar ืืื ืืขืืืขื ืืืืฃ ืื ืืืึทื ืคืื ืืขื ืงืืืขื ื ืก ืืืืขืจืืืื ืืึทื ืฉืึทืคึฟื.
ืืื ืึท ืจืขืืืืืึทื, ืืืื ืคืื ืื ืืขืฉืขืคื-ืงืจืืืืฉ ืืึธืืก ืืื ืืขืืืขื ืืคึผืืึธืึทืืขื ืฆื FTP QRadar, ืืื ืื ืื ืืขืจืข ืืืื ืืื ืจืืืขืจืขืงืืื ืืืจื ืืืืึทื ืกืืกืืึธื ืืืืึทื ืคึฟืื ืื ื ืึธืืื. ืคืืจ ืืขื ืืืื ืืืจ ืืคืืื ืืขืฉืจืืื - ืืึธืืขืจ ืขืก ืืืขื ืืขืืคื ืขืืขืฆืขืจ ืกืึธืืืืข ืึท ืขื ืืขื ืคึผืจืึธืืืขื ... ืืึทื ืง ืฆื ืื ืจืืืึทืืืื ื ืกืืขืืข, ืืขืจ ืงืืืขื ื ืืื ืืืงืืืขื ืืื ืึทื ืึทืืืืื ืงืจืืืืฉ ืืึธืืก (ื ืืฆื ืืืื ืืึทืืืืกืืข ืืืฉืืจืื), ืืื ืืืจ ืืขื ืขื ืืืืืืช ืฆื ืจืขืืืฆืืจื ืื ืงืึธืก ืคืื ืื ืืึธืืื ื ืกืืกืืขื, ืฉืคึผืึธืจื ืืืืื ืื ืืึธืืื ื ืกืืกืืขื. ืืขืฆืืข ืืื ืื.
ืื ืื ืืขืจ ืืืึทืฉืคึผืื ืืื ืืึทื ืฅ ืื ืืืงืึทืืืื ืคืื ืืืึธืก ื ืื ืฆื ืืึธื. ืืืื ืขืจ ืคืื ืืื ืืืขืจ ืงืืืืึทื ืฅ ืคึฟืึทืจ ืคึผืจืึทืกืขืกืื ื ืืขืืขืจ ืืขืฉืขืขื ืืฉื ืงืืืขื ืคืื ืืขืจ ืืึทื ืืฆืขืจ, ืืขืืืื ืืืืืืืื ืข ืึทื ืกืืจืึทืงืืฉืขืจื ืจืขืืืืืึทื ืืื ืคึฟืึธืจืืึทืฆืืข ืืื ืงืืึธืฅ. ืืื ืืืจ ืงืขื ืืจืขืคื, ืึทืืึท ืืึธืืก ืืขื ืขื ืืึธืจ ืืืืึทืงืืืขื ืฆื ืืืืขื ืขื ืืื ืงืจืึธื.
ืงืจืืืขืจืืึท ืคึฟืึทืจ ืืึธืืก
ืึทืืึท ืืืืฉืคืืื ืคืืจื ืฆื ืืขืจ ืืกืงื ื ืึทื ืืื ืึทืืืฉืึทื ืฆื ืืฉืืืื ื ืึท ืงืืึธืฅ ืืึทืืืื ื ืกืืกืืขื, ืืืจ ืืึทืจืคึฟื ืฆื ืืืื ืคึผืืึทื ืื ืืึธืืก ืืื! ืืืึธืก ืืขื ืขื ืื ืืืืขืจืคืขื ืืฉื ืืึธ?
- ืืึธืืก ืืืื ืืืื ืืื ืืึทืฉืื ืืืื ืขืืืืืง ืคึฟืึธืจืืึทื (ืืืฉื, JSON).
- ืืึธืืก ืืึธื ืืืื ืกืึธืืื ืืื ืืื ืื ืคืืืืงืืื ืฆื ืืืืฉื ืื ืืจืึทื ืคืื ืืึธืืื ื ืฆื ืืืืึทืืื ื ืืขืืืขื ืคึผืจืึธืืืขืืก. ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื, ืืื ืคึผืจืึธืืืงืฆืืข ืื ืืืืืจืึทื ืืึทื ืฅ ืืืจ ืืึธื ืืืืคื ืกืืกืืขืืขื ืืื ืึท ืืึธืืื ื ืืืจืื ืืื ืืืืจืขื ืื ื ืึธืืขืจ ืืขืืช.
- ืืึธืืก ืืืื ืืืื ื ืึธืจืืึทืืืืื, ืืึธืก ืืื, ืืื ืึท ืงืืึธืฅ ืืืืคืขืฅ, ืึทืืข ืฉืืจืืช ืืืื ืืึธืื ืื ืืขืืืข ืคืขืื ืืืคึผ.
ืึทื ืกืืจืึทืงืืฉืขืจื ืืึธืืก ืงืขื ืขื ืคืืจื ืฆื ืคึผืจืึธืืืขืืก ืืื ืืึธืืืื ื ืืึธืืก ืืื ืกืืึธืจืืืืฉ ืืื ืึท ืืึทื ืฅ ืืึทืืื ืืื ืืืืขืจ ืคึผืจืึทืกืขืกืื ื. ืืื ืึท ืืขืืขื, ืืึธ ืืื ืึท ืืืืฉืคึผืื ืืื ืืขืืช 400, ืืืึธืก ืคืืืข ืืึธืื ืืืฉืืืื ืืขืคึผืืึธื ืืขืจื ืืื ืืืึทื ืืึธืืก:
2019-10-29 13:10:43 +0000 [warn]: dump an error event: error_class=Fluent::Plugin::ElasticsearchErrorHandler::ElasticsearchError error="400 - Rejected by Elasticsearch"
ืืขืจ ืืขืืช ืืืื ืึทื ืืืจ ืฉืืงื ืึท ืคืขืื ืืืขืืขื ืก ืืืคึผ ืืื ืึทื ืกืืืืืึทื ืฆื ืื ืืื ืืขืงืก ืืื ืึท ืคืึทืจืืืง ืืึทืคึผืื ื. ืื ืกืืืคึผืืึทืกื ืืืึทืฉืคึผืื ืืื ืึท ืคืขืื ืืื ืื nginx ืงืืึธืฅ ืืื ืึท ืืืึทืืขืืืืืง $upstream_status. ืขืก ืงืขื ืึทื ืืืึทืืื ืึธืืขืจ ืึท ื ืืืขืจ ืึธืืขืจ ืึท ืฉืืจืืงื. ืืืฉื:
{ "ip": "1.2.3.4", "http_user": "-", "request_id": "17ee8a579e833b5ab9843a0aca10b941", "time": "29/Oct/2019:16:18:57 +0300", "method": "GET", "uri": "/staffs/265.png", "protocol": "HTTP/1.1", "status": "200", "body_size": "906", "referrer": "https://example.com/staff", "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36", "request_time": "0.001", "cache_status": "-", "upstream_response_time": "0.001, 0.007", "upstream_addr": "127.0.0.1:9000", "upstream_status": "200", "upstream_response_length": "906", "location": "staff"}
{ "ip": "1.2.3.4", "http_user": "-", "request_id": "47fe42807f2a7d8d5467511d7d553a1b", "time": "29/Oct/2019:16:18:57 +0300", "method": "GET", "uri": "/staff", "protocol": "HTTP/1.1", "status": "200", "body_size": "2984", "referrer": "-", "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36", "request_time": "0.010", "cache_status": "-", "upstream_response_time": "0.001, 0.007", "upstream_addr": "10.100.0.10:9000, 10.100.0.11:9000", "upstream_status": "404, 200", "upstream_response_length": "0, 2984", "location": "staff"}
ืื ืืึธืืก ืืืืึทืื ืึทื ืกืขืจืืืขืจ 10.100.0.10 ืืึธื ืจืขืึทืืืจื ืืื ืึท 404 ืืขืืช ืืื ืื ืืขืื ืืื ืืขืฉืืงื ืฆื ืื ืื ืืขืจ ืืื ืืึทืื ืกืืึธืจืืืืฉ. ืืื ืึท ืจืขืืืืืึทื, ืื ืืืขืจื ืืื ืื ืืึธืืก ืืขืืืืจื ืืื ืืึธืก:
"upstream_response_time": "0.001, 0.007"
ืืขื ืกืืืืึทืฆืืข ืืื ืึทืืื ืคึผืจืึธืกื ืึทื ืขืก ืืคืืื ืคืืจืืื ื ืึท ืืึทืืื ืืขืจ .
ืืืึธืก ืืืขืื ืจืืืืืึทืืืืึทืื?
ืขืก ืืขื ืขื ืฆืืื ืืืขื ืึทืืข ืืึธืืก ืึธื ืืืกื ืขื ืืขื ืขื ืืืืืึทื. ืืื ืืื ืืขื, ืื ืืืคึผืืฉ ืงืืึธืฅ ืืึทืืืื ื ืกืงืืื ืคึฟืึทืจ ืง8 ืก ืคืืจืืขืืืืื / ืืืกืงืึทืกื ืืืืื ืืึธืื ืคึผืจืึธืืืขืืก.
ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืคืืืขื ืืืง ืงืขื ืขื ื ืืฉื ืงืืืึทืื ืืึธืืก ืคืื ืงืืจืฅ-ืืขืืขืื ืงืึทื ืืืื ืขืจื. ืืื ืืืื ืขืจ ืคืื ืืื ืืืขืจ ืคึผืจืึทืืืฉืขืงืก, ืื ืืึทืืึทืืืืก ืืืืจืึทืืืึธื ืงืึทื ืืืื ืขืจ ืืขืืขืื ืคึฟืึทืจ ืืืืื ืืงืขืจ ืืื 4 ืกืขืงืื ืืขืก ืืื ืืขืจื ืึธื ืืื ืืืืกืืขืืขืงื - ืืืื ืื ืงืึธืจืึทืกืคึผืึทื ืืื ื ืึทื ืึธืืึทืฆืืข:
"helm.sh/hook-delete-policy": hook-succeeded
ืืืืึทื ืคืื ืืขื, ืื ืืืืจืึทืืืึธื ืืืจืืคืืจืื ื ืงืืึธืฅ ืืื ื ืืฉื ืึทืจืืึทื ืืขืจืขืื ื ืืื ืื ืกืืึธืจืืืืฉ. ืคึผืึธืืืืืง ืงืขื ืขื ืืขืืคื ืืื ืืขื ืคืึทื. before-hook-creation.
ืื ืื ืืขืจ ืืืืฉืคึผืื ืืื ืืึธืงืงืขืจ ืงืืึธืฅ ืจืึธืืืืืฉืึทื. ืืื ืก ืืึธืื ืขืก ืืื ืึท ืึทืคึผืืึทืงืืืฉืึทื ืึทื ืึทืงืืืืืื ืฉืจืืืื ืฆื ืืึธืืก. ืืื ืืขืจ ื ืึธืจืืึทื ืื ืึธืื, ืืืจ ืคืืจื ืฆื ืคึผืจืึธืฆืขืก ืึทืืข ืื ืืึธืืก, ืึธืืขืจ ืืื ืืึทืื ืืื ืึท ืคึผืจืึธืืืขื ืืื ืืจืืืก - ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืื ืืืกืงืจืืืื ืืืืื ืืื ืึท ืคืึทืืฉ ืคึฟืึธืจืืึทื - ืคึผืจืึทืกืขืกืื ื ืกืืึทืคึผืก, ืืื ืืึธืงืขืจ ืจืึธืืืืืฅ ืื ืืขืงืข. ืืขืจ ืจืขืืืืืึทื ืืื ืึทื ืืขืฉืขืคื-ืงืจืืืืฉ ืืึธืืก ืงืขื ืืืื ืคืึทืจืคืึทืื.
ืึทื ืก ืืืึธืก ืขืก ืืื ืืืืืืืง ืฆื ืืึทืืื ืืขืจ ืงืืึธืฅ ืกืืจืืื, ืขืืืขืืืื ื ืฉืืงื ืื ืืขืจืกื ืืืขืจืืคืื ืึธื ืขืก ืืืืึทื ืืื ืื ืึทืคึผืืึทืงืืืฉืึทื ืฆื ืขื ืฉืืจ ืืืืขืจ ืืืืขืจืงืืึทื. ืืื ืืขืจืฆื, ืขืก ืืืึธืื ื ืืฉื ืืืื ืืืขืจืืง ืฆื ืืึทืื ืขืืืขืืข "ืึทืงืืืืึทืืืืืขืจ" ืคืื ืืึธืืก, ืืืึธืก ืงืขื ืขื ืืืืึทืื ืืขืื ืงืืจืฅ ืกืืึธืจืืืืฉ ืึทื ืึทืืืืืืึทืืืืืื ืืฉืขืช ืฉืคึผืึธืจื ืงืจืืืืฉ ืึทืจืืืงืืขื.
ืฆืื ืกืืฃ, ืืืจ ืืืื ื ืืฉื ืคืึทืจืืขืกื ืึทื ืขืก ืืื ืืืืืืืง ืฆื ืืึธื ืืืึธืจ ืงืืื ืกืึทืืกืืกืืึทื ืจืขืื. ืึทื ืืขืจืฉ, ืขืก ืืื ืืจืื ื ืฆื ืืืืคื ืืื ืึท ืกืืืืึทืฆืืข ืืื ืืืึธืก ืืืึทื ืืื ืืื ืึท ืฉืืึทื CrashLoopBackOff ืืื ืืื ื ืืฉื ืฉืืงื ืขืคึผืขืก, ืืื ืืึธืก ืืืืืืช ืื ืึธื ืืืขืจ ืคืื ืืืืืืืง ืืื ืคึฟืึธืจืืึทืฆืืข.
ืคืืื ืืื ืื
ืืื ืืขื ืึทืจืืืงื, ืืืจ ืืขื ืขื ื ืืฉื ืงืืงื ืคึฟืึทืจ SaaS ืกืึทืืืฉืึทื ื ืืื Datadog. ืคืืืข ืคืื โโืื ืคึผืจืึธืืืขืืก ืืืกืงืจืืืื ืืึธ ืืึธืื ืฉืืื ืกืึทืืืื ืืื ืืืื ืึธืืขืจ ืื ืืขืจื ืืืขื ืืืจื ืืขืฉืขืคื ืงืึธืืคึผืึทื ืืขืก ืืืึธืก ืกืคึผืขืฉืึทืืืื ืืื ืงืึทืืขืงืืื ื ืืึธืืก, ืึธืืขืจ ื ืื ืึทืืขืืขื ืงืขื ืขื ื ืืฆื SaaS ืคึฟืึทืจ ืคืึทืจืฉืืื ืกืืืืช (ืื ืืืืคึผื ืึธื ืขืก ืืขื ืขื ืคึผืจืืึทื ืืื ืืขืกืงืขื ืืื 152-FZ).
ืกืขื ืืจืึทืืืืื ืงืืึธืฅ ืืึทืืืื ื ืืื ืขืจืฉืืขืจ ืงืืงื ืืื ืึท ืคึผืฉืื ืึทืจืืขื, ืึธืืขืจ ืขืก ืืื ื ืืฉื. ืขืก ืืื ืืืืืืืง ืฆื ืืขืืขื ืงืขื ืึทื:
- ืืืืื ืงืจืืืืฉ ืงืึทืืคึผืึธืื ืึทื ืฅ ืืึทืจืคึฟื ืฆื ืืืื ืืึธืื ืืื ืืขืืึทื, ืืฉืขืช ืืึธื ืืืึธืจืื ื ืืื ืืขืืช ืืึทืืืื ื ืงืขื ืขื ืืืื ืงืึทื ืคืืืืขืจื ืคึฟืึทืจ ืื ืืขืจืข ืกืืกืืขืืขื.
- ืืึธืืก ืืื ืคึผืจืึธืืืงืฆืืข ืืึธื ืืืื ืืื ืืืึทื ืึทืืื ื ืืฉื ืฆื ืืืืื ืืื ืืืืืง ืืึทืกืข.
- ืืึธืืก ืืืื ืืืื ืืึทืฉืื ืืืื ืขืืืืืง, ื ืึธืจืืึทืืืืื ืืื ืืึธืื ืึท ืฉืืจืขื ื ืคึฟืึธืจืืึทื.
- ืืึทืงืข ืงืจืืืืฉ ืืึธืืก ืืึธื ืืืื ืืขืฉืืงื ืืื ืึท ืืึทืืื ืืขืจ ืืืึทื, ืืืึธืก ืืึธื ืืืื ืืคืืขืฉืืืื ืคืื ืื ืืืืคึผื ืึธื ืขืก.
- ืขืก ืืื ืืืขืจื ืืึทืืจืึทืืื ืึท ืงืืึธืฅ ืึทืงืืืืืึทืืึทืืึธืจ, ืืืึธืก ืงืขื ืขื ืจืึทืืขืืืขื ืืืจ ืคืื ืืขืจืกืฅ ืคืื ืืืื ืืึทืกืข ืืื ืืึทืื ืื ืืึทืกืข ืืืืฃ ืื ืกืืึธืจืืืืฉ ืืขืจ ืืื ืืืจ.
ืื ืคึผืฉืื ืึผืืืื, ืืืื ืืขืืืขื ืื ืืืืขืืื, ืืืึธืื ืืึธืื ืื ืกืขืจืงืึทืฅ ืืืกืงืจืืืื ืืืืื ืฆื ืึทืจืืขืื - ืืึธืืฉ ืืื ืคืขืื ืืืืืืืง ืงืึทืืคึผืึธืื ืึทื ืฅ (ืื ืืึทืืึทืจืืืข). ืืืื ืืืจ ืืึธื ื ืื ืึทืืืืจ ืฆื ืึทืืึท ืคึผืจืื ืกืึทืคึผืึทืื, ืื ืึทืจืืขื ืืืขื ืืืืื ืคืืจื ืืืจ ืืื ืื ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ ืฆื ืื ืื ืืขืจ ืืขืืกื ืืึธืืืื (ืืื ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื ืื ืืคืขืงืืืื) ืงืึธืืคึผืึธื ืขื ื ืคืื ืื ืกืืกืืขื.
ืคึผืก
ืืืืขื ืขื ืืืื ืืืืฃ ืืื ืืืขืจ ืืืึธื:
- ยซ";
- ยซ";
- ยซ'.
ืืงืืจ: www.habr.com