David O'Brien(Xirus): 측정항목! 측정항목! 측정항목! 1 부

David O'Brien은 최근 Microsoft Azure Stack 클라우드 제품에 초점을 맞춘 회사인 Xirus(https://xirus.com.au)를 설립했습니다. 데이터 센터, 엣지 위치, 원격 사무실 및 클라우드에서 하이브리드 애플리케이션을 일관되게 구축하고 실행하도록 설계되었습니다.

David는 Microsoft Azure 및 Azure DevOps(이전의 VSTS)에 관한 모든 것에 대해 개인과 회사를 교육하고 있으며 여전히 실무 컨설팅 및 인프라 코딩을 수행하고 있습니다. 그는 5년 동안 Microsoft MVP(Microsoft Most Valuable Professional) 상을 수상했으며 최근에는 Azure MVP 상을 받았습니다. Melbourne Microsoft Cloud 및 Datacenter Meetup의 공동 주최자인 O'Brien은 세계 여행에 대한 관심과 IT 이야기를 커뮤니티와 공유하려는 열정을 결합하여 정기적으로 국제 회의에서 연설합니다. David의 블로그 위치는 다음과 같습니다. david-obrien.net, 그는 또한 Pluralsight에 대한 온라인 교육을 게시합니다.

이 강연에서는 환경에서 일어나는 일과 애플리케이션의 성능을 이해하는 데 있어 측정항목의 중요성에 대해 설명합니다. Microsoft Azure는 모든 종류의 워크로드에 대한 메트릭을 표시하는 강력하고 쉬운 방법을 제공하며, 강의에서는 이를 모두 사용할 수 있는 방법을 설명합니다.

일요일 새벽 3시, 당신이 자고 있는 동안 갑자기 “초임계 앱이 다시 응답하지 않습니다.”라는 문자 메시지를 받고 잠에서 깨어났습니다. 무슨 일이야? "브레이크"가 발생하는 이유는 어디이며 무엇입니까? 이 강연에서는 클라우드 워크로드에서 로그, 특히 메트릭을 수집하기 위해 Microsoft Azure가 고객에게 제공하는 서비스에 대해 알아봅니다. David는 클라우드 플랫폼에서 작업할 때 관심을 가져야 할 지표와 이를 얻는 방법을 알려줄 것입니다. 오픈 소스 도구와 대시보드 구축에 대해 배우고 자신만의 대시보드를 만들기에 충분한 지식을 갖추게 됩니다.

그리고 새벽 3시에 중요한 애플리케이션이 충돌했다는 메시지를 듣고 다시 잠에서 깨어났을 경우, 그 원인을 빠르게 파악할 수 있습니다.

안녕하세요. 오늘은 측정항목에 대해 이야기하겠습니다. 제 이름은 David O'Brien입니다. 저는 호주의 소규모 컨설팅 회사인 Xirus의 공동 창립자이자 소유주입니다. 저와 함께 시간을 보내기 위해 이곳에 와주셔서 다시 한번 감사드립니다. 그렇다면 우리는 왜 여기에 있는 걸까요? 측정 항목에 대해 이야기하기 위해 이에 대해 말씀 드리겠습니다. 어떤 작업을 수행하기 전에 이론부터 시작하겠습니다.

메트릭이 무엇인지, 메트릭으로 무엇을 할 수 있는지, 주의해야 할 사항은 무엇인지, Azure에서 메트릭 수집을 수집하고 활성화하는 방법, 메트릭 시각화가 무엇인지 알려드리겠습니다. Microsoft 클라우드에서 이러한 기능이 어떻게 보이는지, 그리고 이 클라우드를 사용하여 작업하는 방법을 보여 드리겠습니다.

시작하기 전에 Microsoft Azure를 사용하는 분들에게 손을 들어보겠습니다. 누가 AWS와 협력합니까? 거의 보이지 않습니다. Google은 어떻습니까? 알리 클라우드? 한 남자! 엄청난. 그렇다면 측정항목이란 무엇인가요? 미국 국립표준기술원(National Institute of Standards and Technology)의 공식 정의는 “메트릭이란 특성을 측정하기 위한 조건과 규칙을 설명하고 측정 결과를 이해하는 데 도움이 되는 측정 표준”입니다. 무슨 뜻이에요?

가상 머신의 여유 디스크 공간을 변경하기 위한 메트릭의 예를 살펴보겠습니다. 예를 들어, 숫자 90이 주어지고 이 숫자는 백분율, 즉 여유 디스크 공간이 90%를 의미합니다. PDF 형식으로 40페이지가 소요되는 측정항목 정의에 대한 설명을 읽는 것은 그리 흥미롭지 않습니다.

그러나 측정항목은 측정 결과가 어떻게 얻어졌는지 알려주지 않고 이 결과만 표시합니다. 측정항목으로 무엇을 하나요?

먼저 우리는 어떤 것의 가치를 측정한 다음 그 측정 결과를 활용합니다.

예를 들어, 사용 가능한 디스크 공간의 양을 알아냈고 이제 이를 사용할 수 있고 이 메모리 등을 사용할 수 있습니다. 측정 결과를 받은 후에는 이를 해석해야 합니다. 예를 들어, 지표는 90이라는 결과를 반환했습니다. 우리는 이 숫자가 무엇을 의미하는지 알아야 합니다. 사용 가능한 공간의 양이나 사용된 디스크 공간의 양(% 또는 기가바이트), 네트워크 대기 시간은 90ms 등입니다. , 측정항목 값의 의미를 해석해야 합니다. 지표가 전혀 의미가 있으려면 단일 지표 값을 해석한 후 여러 값이 수집되는지 확인해야 합니다. 많은 사람들이 지표 수집의 필요성을 인식하지 못하기 때문에 이는 매우 중요합니다. Microsoft는 측정항목을 매우 쉽게 수집할 수 있도록 만들었지만 수집 여부를 확인하는 것은 사용자의 몫입니다. 이러한 측정항목은 41일 동안만 저장되며 42일째에 사라집니다. 따라서 외부 또는 내부 장비의 속성에 따라 41일 이상 메트릭을 로그, 로그 등의 형태로 저장하는 방법에 주의해야 합니다. 따라서 수집 후에는 필요한 경우 메트릭 결과의 변경 사항에 대한 모든 통계를 가져올 수 있는 위치에 배치해야 합니다. 일단 거기에 넣으면 효과적으로 작업을 시작할 수 있습니다.

측정항목을 얻고 해석하고 수집한 후에만 SLA(서비스 수준 계약)를 만들 수 있습니다. 이 SLA는 고객에게는 그다지 중요하지 않을 수 있지만 동료, 관리자, 시스템을 유지 관리하고 해당 기능에 관심을 갖고 있는 사람들에게는 더 중요합니다. 지표는 티켓 수를 측정할 수 있습니다. 예를 들어 하루에 5장의 티켓을 받는 경우 사용자 요청에 대한 응답 속도와 문제 해결 속도를 보여줍니다. 측정항목은 단순히 사이트가 20ms 안에 로드되거나 응답 속도가 20ms라고 말해서는 안 됩니다. 측정항목은 단순한 기술 지표 그 이상입니다.

따라서 우리 대화의 임무는 측정항목의 본질에 대한 자세한 그림을 제시하는 것입니다. 측정항목을 보면 프로세스의 전체 그림을 얻을 수 있습니다.

일단 측정항목을 확보하면 시스템이 작동하고 있다는 것을 99% 보장할 수 있습니다. 왜냐하면 시스템이 작동하고 있다는 로그 파일만 보는 것이 아니기 때문입니다. 99% 가동 시간 보장은 예를 들어 API가 99ms의 일반 속도로 응답하는 시간의 30%를 의미합니다. 이것이 바로 사용자, 동료 및 관리자의 관심사입니다. 많은 고객이 웹 서버 로그를 모니터링하지만 오류를 발견하지 못하고 모든 것이 괜찮다고 생각합니다. 예를 들어, 그들은 200Mb/s의 네트워크 속도를 보고 "좋아, 모든 것이 훌륭해!"라고 생각합니다. 그러나 이 200을 달성하려면 사용자에게 30밀리초의 응답 속도가 필요하며 이는 측정되지 않고 로그 파일에 수집되지 않는 지표입니다. 동시에 사용자는 필요한 측정항목이 없어 이러한 동작의 이유를 모르기 때문에 사이트가 매우 느리게 로드된다는 사실에 놀랐습니다.

하지만 우리는 100% 가동 시간 SLA를 보유하고 있기 때문에 사이트가 실제로 사용하기 매우 어렵다는 이유로 고객이 불평하기 시작합니다. 따라서 목표 SLA를 생성하려면 수집된 지표를 통해 생성된 프로세스의 전체 그림을 볼 필요가 있습니다. 이는 SLA를 생성할 때 "가동 시간"이라는 용어가 무엇을 의미하는지 전혀 모르고 대부분의 경우 고객에게 API 작동 방식을 설명하지 않는 일부 공급자와 함께 겪고 있는 지속적인 문제입니다.

예를 들어 제39,5자를 위한 API와 같은 서비스를 만든 경우 응답, 성공적인 응답, 20ms 속도 또는 5ms 속도의 응답 등 결과 지표 XNUMX가 무엇을 의미하는지 이해해야 합니다. SLA를 귀하의 SLA, 귀하의 측정항목에 맞게 조정하는 것은 귀하에게 달려 있습니다.

이 모든 사항을 파악하고 나면 멋진 대시보드 만들기를 시작할 수 있습니다. 이미 Grafana 대화형 시각화 애플리케이션을 사용해 본 사람이 있나요? 엄청난! 나는 이 오픈 소스가 무료이고 사용하기 쉽기 때문에 이 오픈 소스의 열렬한 팬입니다.

아직 Grafana를 사용해보지 않으셨다면 사용법을 알려드리겠습니다. 80~90년대생이라면 케어베어를 기억하시겠죠? 이 곰들이 러시아에서 얼마나 인기가 있었는지는 모르겠지만, 지표에 관해서라면 우리도 똑같은 "케어 베어"가 되어야 합니다. 앞서 말했듯이 전체 시스템이 어떻게 작동하는지에 대한 큰 그림이 필요하며, 이는 단지 API, 웹 사이트 또는 가상 머신에서 실행되는 서비스에 관한 것이어서는 안 됩니다.

전체 시스템의 작동을 가장 완벽하게 반영하는 측정항목 모음을 구성해야 합니다. 여러분 대부분은 소프트웨어 개발자이기 때문에 여러분의 삶은 끊임없이 변화하고 새로운 제품 요구 사항에 적응합니다. 코딩 프로세스에 관심을 갖는 것처럼 메트릭에도 관심을 가져야 합니다. 메트릭이 작성하는 모든 코드 줄과 어떻게 관련되는지 알아야 합니다. 예를 들어, 다음 주에 귀하는 새로운 마케팅 캠페인을 시작하고 많은 수의 사용자가 귀하의 사이트를 방문할 것으로 예상합니다. 이 이벤트를 분석하려면 측정항목이 필요하며 이러한 사람들의 활동을 추적하려면 전체 대시보드가 ​​필요할 수도 있습니다. 마케팅 캠페인이 얼마나 성공적인지, 그리고 실제로 성과가 어떤지 이해하려면 지표가 필요합니다. 예를 들어 효과적인 CRM(고객 관계 관리 시스템)을 개발하는 데 도움이 될 것입니다.

이제 Azure 클라우드 서비스를 시작해 보겠습니다. Azure Monitor가 있으므로 메트릭 컬렉션을 찾고 구성하는 것이 매우 쉽습니다. 이 모니터는 시스템 구성 관리를 중앙 집중화합니다. 시스템에 적용하려는 각 Azure 요소에는 기본적으로 활성화된 많은 메트릭이 있습니다. 이것은 기본 설정 없이 바로 작동하는 무료 응용 프로그램으로, 시스템에 아무것도 쓰거나 "조작"할 필요가 없습니다. 다음 데모를 통해 이를 확인해 보겠습니다.

또한 이러한 측정항목을 Splunk 로그 저장 및 분석 시스템, 클라우드 기반 로그 관리 애플리케이션 SumoLogic, ELK 로그 처리 도구, IBM Radar 등의 타사 애플리케이션으로 보낼 수도 있습니다. 사실, 가상 머신, 네트워크 서비스, Azure SQL 데이터베이스 등 사용하는 리소스에 따라 약간의 차이가 있습니다. 즉, 작업 환경의 기능에 따라 메트릭 사용이 다릅니다. 이러한 차이점이 심각하다고는 말할 수 없지만 안타깝게도 여전히 존재하므로 이를 고려해야 합니다. 포털, CLI/Power Shell 또는 ARM 템플릿을 사용하는 등 다양한 방법으로 메트릭을 활성화하고 보낼 수 있습니다.

첫 번째 데모를 시작하기 전에 궁금한 점이 있으면 답변해 드리겠습니다. 질문이 없으면 시작하겠습니다. 화면에는 Azure Monitor 페이지의 모양이 표시됩니다. 이 모니터가 작동하지 않는다고 말씀하시는 분 계신가요?

이제 모든 것이 정상이므로 모니터 서비스가 어떻게 보이는지 확인할 수 있습니다. 나는 이것이 일상 업무를 위한 훌륭하고 매우 간단한 도구라고 말할 수 있습니다. 애플리케이션, 네트워크 및 인프라를 모니터링하는 데 사용할 수 있습니다. 최근에는 모니터링 인터페이스가 개선되어 이전에 서비스가 다른 위치에 있었던 경우 이제 서비스에 대한 모든 정보가 모니터 홈 페이지에 통합됩니다.

지표 테이블은 HomeMonitorMetrics 경로에 있는 탭으로, 여기로 이동하여 사용 가능한 모든 지표를 확인하고 필요한 지표를 선택할 수 있습니다. 그러나 지표 수집을 활성화해야 하는 경우 HomeMonitorDiagnostic 설정 디렉터리 경로를 사용하고 지표 활성화/비활성화 확인란을 선택해야 합니다. 기본적으로 거의 모든 지표가 활성화되어 있지만 추가로 활성화해야 하는 경우 진단 상태를 비활성화에서 활성화로 변경해야 합니다.

이렇게 하려면 선택한 메트릭 라인을 클릭하고 열리는 탭에서 진단 모드를 활성화합니다. 선택한 지표를 분석하려면 진단 켜기 링크를 클릭한 후 나타나는 창에서 Log Analytics로 보내기 확인란을 선택해야 합니다.

Log Analytics는 Splunk와 약간 유사하지만 비용이 더 저렴합니다. 이 서비스를 사용하면 모든 메트릭, 로그 및 기타 필요한 모든 것을 수집하여 Log Analytics 작업 영역에 배치할 수 있습니다. 이 서비스는 특수 KQL 쿼리 처리 언어인 Kusto Quarry Language를 사용합니다. 다음 데모에서 해당 작업을 살펴보겠습니다. 지금은 이 도구를 사용하여 측정항목, 로그, 용어, 추세, 패턴 등에 관한 쿼리를 만들 수 있다는 점을 알아두겠습니다. 그리고 대시보드를 만드세요.

따라서 Log Analytics로 보내기 확인란과 LOG 패널 확인란(DataPlaneRequests, MongoRequests 및 QueryRuntimeStatistics)을 선택하고 아래 METRIC 패널(요청 확인란)을 선택합니다. 그런 다음 이름을 지정하고 설정을 저장합니다. 명령줄에서 이는 두 줄의 코드를 나타냅니다. 그런데 이러한 의미에서 Azure Cloud Shell은 Google과 유사하며 웹 브라우저에서 명령줄을 사용할 수도 있습니다. AWS에는 그런 것이 없으므로 이러한 의미에서 Azure가 훨씬 더 편리합니다.

예를 들어 랩톱에서 코드를 사용하지 않고도 웹 인터페이스를 통해 데모를 실행할 수 있습니다. 이렇게 하려면 내 Azure 계정으로 인증해야 합니다. 그런 다음 예를 들어 테라폰(terrafone)을 사용할 수 있습니다. 이미 사용하고 있는 경우 서비스에 대한 연결을 기다린 후 Microsoft가 기본적으로 사용하는 Linux 작업 환경을 가져옵니다.

다음으로 Azure Cloud Shell에 기본 제공되는 Bash를 사용합니다. 매우 유용한 점은 VS Code의 경량 버전인 브라우저에 내장된 IDE입니다. 다음으로 오류 지표 템플릿으로 이동하여 편집하고 필요에 맞게 사용자 정의할 수 있습니다.

이 템플릿에서 지표 수집을 설정하면 이를 사용하여 전체 인프라에 대한 지표를 생성할 수 있습니다. 측정항목을 적용하고 수집하고 저장한 후에는 시각화해야 합니다.

Azure Monitor는 메트릭만 처리하며 시스템 상태에 대한 전반적인 그림을 제공하지 않습니다. Azure 환경 외부에서 실행되는 다른 여러 애플리케이션이 있을 수 있습니다. 따라서 모든 프로세스를 모니터링하고 수집된 모든 메트릭을 한곳에서 시각화해야 하는 경우 Azure Monitor는 이에 적합하지 않습니다.

이 문제를 해결하기 위해 Microsoft는 다양한 데이터의 시각화를 포함하는 비즈니스 분석을 위한 포괄적인 소프트웨어인 Power BI 도구를 제공합니다. 이것은 상당히 비싼 제품이며 비용은 필요한 기능 세트에 따라 다릅니다. 기본적으로 처리할 데이터 48종을 제공하며 Azure SQL Data Warehouse, Azure Data Lake Storage, Azure Machine Learning Services 및 Azure Databricks에 연결됩니다. 확장성을 활용하여 30분마다 새로운 데이터를 받을 수 있습니다. 실시간 모니터링 시각화가 필요한 경우 이는 귀하의 요구에 충분할 수도 있고 충분하지 않을 수도 있습니다. 이런 경우에는 제가 언급한 Grafana와 같은 애플리케이션을 사용하는 것이 좋습니다. 또한 Microsoft 설명서에서는 SIEM 도구를 사용하여 Splunk, SumoLogic, ELK 및 IBM 레이더 시각화 시스템에 메트릭, 로그 및 이벤트 테이블을 보내는 기능에 대해 설명합니다.

23:40 분

조만간 계속...

일부 광고 🙂

우리와 함께있어 주셔서 감사합니다. 우리 기사가 마음에 드십니까? 더 재미있는 콘텐츠를 보고 싶다면? 주문하거나 친구에게 추천하여 우리를 지원하십시오. $4.99부터 시작하는 개발자용 클라우드 VPS, 귀하를 위해 우리가 발명한 고유한 보급형 서버 아날로그: VPS(KVM) E5-2697 v3(6코어) 10GB DDR4 480GB SSD 1Gbps에 대한 전체 진실 또는 서버 공유 방법은? (RAID1 및 RAID10에서 사용 가능, 최대 24개 코어 및 최대 40GB DDR4).

Dell R730xd는 암스테르담의 Equinix Tier IV 데이터 센터에서 2배 더 저렴합니까? 여기서 만 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV $199부터 네덜란드에서! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 최저 $99! 에 대해 읽다 인프라 공사를 구축하는 방법. 730페니에 5유로 상당의 Dell R2650xd E4-9000 vXNUMX 서버를 사용하는 클래스?

출처 : habr.com