네트워크 자동화. 인생에서 나온 사례

헤이 하브르!

이 기사에서는 네트워크 인프라 자동화에 대해 이야기하고 싶습니다. 작지만 매우 자랑스러운 하나의 회사에서 운영되는 네트워크의 작업 다이어그램이 제시됩니다. 실제 네트워크 장비와의 모든 경기는 무작위입니다. 이 네트워크에서 발생한 사건으로 인해 장기간 사업이 중단되고 심각한 금전적 손실이 발생할 수 있었던 사례를 살펴보겠습니다. 이 사례에 대한 솔루션은 "네트워크 인프라 자동화"라는 개념에 매우 적합합니다. 자동화 도구를 사용하여 복잡한 문제를 짧은 시간에 효과적으로 해결할 수 있는 방법을 보여주고, 이러한 문제를 콘솔을 통해 다른 방법이 아닌 이 방법으로 해결해야 하는 이유를 성찰해 보겠습니다.

책임 부인

자동화를 위한 주요 도구는 Ansible(자동화 도구)과 Git(Ansible 플레이북 저장소)입니다. 이 글은 Ansible이나 Git의 로직에 대해 이야기하고 기본적인 사항(예: Ansible의 roletaski 모듈, 인벤토리 파일, 변수가 무엇인지, 실행 시 어떤 일이 발생하는지 등)을 설명하는 소개 글이 아니라는 점을 즉각 말씀드리고 싶습니다. git push 또는 git commit 명령을 입력합니다.) 이 이야기는 Ansible을 연습하고 장비에서 NTP 또는 SMTP를 구성하는 방법에 관한 것이 아닙니다. 네트워크 문제를 오류 없이 빠르고 바람직하게 해결할 수 있는 방법에 대한 이야기입니다. 또한 네트워크 작동 방식, 특히 TCP/IP, OSPF, BGP 프로토콜 스택이 무엇인지 잘 이해하는 것이 좋습니다. 또한 방정식에서 Ansible과 Git을 선택하지 않을 것입니다. 여전히 특정 솔루션을 선택해야 하는 경우 "네트워크 프로그래밍 가능성 및 자동화" 책을 읽어 보시기 바랍니다. 차세대 네트워크 엔지니어를 위한 기술'(Jason Edelman, Scott S. Lowe 및 Matt Oswalt 저)

이제 요점.

문제 성명

상황을 상상해 봅시다. 새벽 3시에 당신은 잠들어 꿈을 꾸고 있습니다. 전화. 기술 이사는 다음과 같이 전화합니다.

- 네?
— ###, ####, #####, 방화벽 클러스터가 무너지고 상승하지 않습니다!!!
당신은 눈을 비비며 무슨 일이 일어나고 있는지 이해하려고 노력하고 어떻게 이런 일이 일어날 수 있는지 상상합니다. 전화에서 국장의 머리털이 뜯기는 소리가 들리는데, 장군이 XNUMX선으로 자신에게 전화하고 있으니 다시 전화해 달라고 한다.

XNUMX분 후, 근무 교대에서 첫 번째 소개 메모를 수집하고 깨어날 수 있는 모든 사람을 깨웠습니다. 결과적으로 기술 책임자는 거짓말을 하지 않았고 모든 것이 그대로였으며 방화벽의 주요 클러스터가 무너졌으며 기본적인 신체 움직임도 그를 감각에 이르게 하지 못했습니다. 회사가 제공하는 모든 서비스가 작동하지 않습니다.

자신의 취향에 맞는 문제를 선택하면 모두가 다른 것을 기억할 것입니다. 예를 들어, 부하가 없는 상태에서 밤새 업데이트한 후 모든 것이 잘 작동했고 모두가 행복하게 잠자리에 들었습니다. 네트워크 카드 드라이버의 버그로 인해 트래픽이 흐르기 시작했고 인터페이스 버퍼가 오버플로되기 시작했습니다.

Jackie Chan은 상황을 잘 설명할 수 있습니다.

고마워요, 재키.

별로 기분 좋은 상황은 아니죠?

슬픈 생각으로 우리 브로를 잠시 떠나보자.

이벤트가 어떻게 더 발전할지 논의해 봅시다.

다음과 같은 자료 발표 순서를 제안합니다.

1. 네트워크 다이어그램을 보고 그것이 어떻게 작동하는지 살펴보겠습니다.
2. Ansible을 사용하여 한 라우터에서 다른 라우터로 설정을 전송하는 방법을 설명합니다.
3. IT 인프라 전반의 자동화에 대해 이야기해 보겠습니다.

네트워크 다이어그램 및 설명

계획

우리 조직의 논리적 다이어그램을 고려해 봅시다. 특정 장비 제조업체의 이름을 지정하지는 않지만 이 기사의 목적상 중요하지 않습니다. (주의 깊은 독자는 어떤 종류의 장비가 사용되는지 추측할 것입니다). 이는 Ansible을 사용하여 작업할 때의 좋은 장점 중 하나일 뿐이며, 설정할 때 일반적으로 어떤 장비인지는 신경 쓰지 않습니다. 이해를 돕기 위해 이 장비는 Cisco, Juniper, Check Point, Fortinet, Palo Alto 등 잘 알려진 공급업체의 장비입니다. 원하는 옵션으로 대체할 수 있습니다.

트래픽 이동에는 두 가지 주요 작업이 있습니다.

1. 회사의 사업인 당사 서비스의 공개를 보장합니다.
2. 지점, 원격 데이터 센터 및 제XNUMX자 조직(파트너 및 클라이언트)과의 통신은 물론 중앙 사무실을 통한 지점의 인터넷 액세스를 제공합니다.

기본 요소부터 시작해 보겠습니다.

1. 01개의 경계 라우터(BRD-02, BRD-XNUMX);
2. 방화벽 클러스터(FW-CLUSTER);
3. 코어 스위치(L3-CORE);
4. 생명선이 될 라우터(문제를 해결하면서 네트워크 설정을 FW-CLUSTER에서 EMERGENCY로 전송합니다)(EMERGENCY);
5. 네트워크 인프라 관리용 스위치(L2-MGMT)
6. Git 및 Ansible을 갖춘 가상 머신(VM-AUTOMATION)
7. Ansible(노트북 자동화)용 플레이북 테스트 및 개발이 수행되는 노트북입니다.

네트워크는 다음 영역을 포함하는 동적 OSPF 라우팅 프로토콜로 구성됩니다.

• 영역 0 – EXCHANGE 영역에서 트래픽 이동을 담당하는 라우터가 포함된 영역입니다.
• 영역 1 – 회사 서비스 운영을 담당하는 라우터가 포함된 영역입니다.
• 영역 2 - 라우팅 관리 트래픽을 담당하는 라우터가 포함된 영역입니다.
• 영역 N – 지점 네트워크 영역.

경계 라우터에서는 가상 라우터(VRF-INTERNET)가 생성되며, 여기에 해당 할당 AS와 함께 eBGP 전체 보기가 설치됩니다. iBGP는 VRF 간에 구성됩니다. 회사는 이러한 VRF-INTERNET에 게시된 화이트 주소 풀을 가지고 있습니다. 화이트 주소 중 일부는 FW-CLUSTER(회사 서비스가 운영되는 주소)로 직접 라우팅되고, 일부는 EXCHANGE 영역(외부 IP 주소가 필요한 회사 내부 서비스, 사무실용 외부 NAT 주소)을 통해 라우팅됩니다. 다음으로 트래픽은 흰색 및 회색 주소(보안 영역)를 사용하여 L3-CORE에 생성된 가상 라우터로 이동합니다.

관리 네트워크는 전용 스위치를 사용하며 물리적으로 전용 네트워크를 나타냅니다. 관리 네트워크도 보안 영역으로 구분됩니다.
EMERGENCY 라우터는 FW-CLUSTER를 물리적, 논리적으로 복제합니다. 관리 네트워크를 조사하는 인터페이스를 제외하고 모든 인터페이스가 비활성화됩니다.

자동화 및 설명

우리는 네트워크가 어떻게 작동하는지 알아냈습니다. 이제 FW-CLUSTER에서 EMERGENCY로 트래픽을 전송하기 위해 수행할 작업을 단계별로 살펴보겠습니다.

1. FW-CLUSTER에 연결하는 코어 스위치(L3-CORE)의 인터페이스를 비활성화합니다.
2. FW-CLUSTER에 연결하는 L2-MGMT 커널 스위치의 인터페이스를 비활성화합니다.
3. EMERGENCY 라우터를 구성합니다(기본적으로 L2-MGMT와 관련된 인터페이스를 제외한 모든 인터페이스가 비활성화되어 있음).

• EMERGENCY에서는 인터페이스를 활성화합니다.
• FW-Cluster에 있던 외부 IP 주소(NAT용)를 구성합니다.
• L3-CORE arp 테이블의 poppy 주소가 FW-Cluster에서 EMERGENCY로 변경되도록 gARP 요청을 생성합니다.
• 기본 경로를 BRD-01, BRD-02에 정적으로 등록합니다.
• NAT 규칙을 생성합니다.
• 긴급 OSPF 영역 1로 승격합니다.
• 긴급 OSPF 영역 2로 승격합니다.
• Area 1의 경로 비용을 10으로 변경합니다.
• Area 1의 기본 경로 비용을 10으로 변경합니다.
• L2-MGMT와 연관된 IP 주소를 FW-CLUSTER에 있던 IP 주소로 변경합니다.
• L2-MGMT arp 테이블의 poppy 주소가 FW-CLUSTER에서 EMERGENCY로 변경되도록 gARP 요청을 생성합니다.

다시, 우리는 문제의 원래 공식으로 돌아갑니다. 오전 XNUMX시, 엄청난 스트레스, 어느 단계에서든 실수가 발생하면 새로운 문제가 발생할 수 있습니다. CLI를 통해 명령을 입력할 준비가 되셨나요? 예? 좋아, 최소한 세수를 하고 커피를 마시고 의지력을 모으십시오.
브루스, 사람들을 도와주세요.

글쎄요, 우리는 계속해서 자동화를 개선하고 있습니다.
다음은 Ansible 용어로 플레이북이 작동하는 방식을 보여주는 다이어그램입니다. 이 체계는 위에서 설명한 내용을 반영하며 Ansible의 특정 구현일 뿐입니다.


이 단계에서 우리는 무엇을 해야 할지 깨닫고 플레이북을 개발하고 테스트를 실시했으며 이제 출시 준비가 되었습니다.

또 다른 작은 서정적 여담. 이야기의 용이성이 당신을 오해해서는 안됩니다. 플레이북을 작성하는 과정은 생각보다 간단하고 빠르지 않았습니다. 테스트에는 꽤 많은 시간이 걸렸고 가상 스탠드가 만들어졌으며 솔루션은 여러 번 테스트되었으며 약 100번의 테스트가 수행되었습니다.

시작하자... 모든 일이 매우 느리게 진행되고 어딘가에 오류가 있으며 결국에는 뭔가 작동하지 않을 것 같은 느낌이 듭니다. 낙하산을 타고 점프하는 느낌이 들지만, 낙하산이 바로 펼쳐지지 않는 것... 이는 정상입니다.

다음으로, Ansible 플레이북에서 수행된 작업의 결과를 읽었습니다(IP 주소는 보안을 위해 대체되었습니다).

[xxx@emergency ansible]$ ansible-playbook -i /etc/ansible/inventories/prod_inventory.ini /etc/ansible/playbooks/emergency_on.yml 

PLAY [------->Emergency on VCF] ********************************************************

TASK [vcf_junos_emergency_on : Disable PROD interfaces to FW-CLUSTER] *********************
changed: [vcf]

PLAY [------->Emergency on MGMT-CORE] ************************************************

TASK [mgmt_junos_emergency_on : Disable MGMT interfaces to FW-CLUSTER] ******************
changed: [m9-03-sw-03-mgmt-core]

PLAY [------->Emergency on] ****************************************************

TASK [mk_routeros_emergency_on : Enable EXT-INTERNET interface] **************************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Generate gARP for EXT-INTERNET interface] ****************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Enable static default route to EXT-INTERNET] ****************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Change NAT rule to EXT-INTERNET interface] ****************
changed: [m9-04-r-04] => (item=12)
changed: [m9-04-r-04] => (item=14)
changed: [m9-04-r-04] => (item=15)
changed: [m9-04-r-04] => (item=16)
changed: [m9-04-r-04] => (item=17)

TASK [mk_routeros_emergency_on : Enable OSPF Area 1 PROD] ******************************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Enable OSPF Area 2 MGMT] *****************************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Change OSPF Area 1 interfaces costs to 10] *****************
changed: [m9-04-r-04] => (item=VLAN-1001)
changed: [m9-04-r-04] => (item=VLAN-1002)
changed: [m9-04-r-04] => (item=VLAN-1003)
changed: [m9-04-r-04] => (item=VLAN-1004)
changed: [m9-04-r-04] => (item=VLAN-1005)
changed: [m9-04-r-04] => (item=VLAN-1006)
changed: [m9-04-r-04] => (item=VLAN-1007)
changed: [m9-04-r-04] => (item=VLAN-1008)
changed: [m9-04-r-04] => (item=VLAN-1009)
changed: [m9-04-r-04] => (item=VLAN-1010)
changed: [m9-04-r-04] => (item=VLAN-1011)
changed: [m9-04-r-04] => (item=VLAN-1012)
changed: [m9-04-r-04] => (item=VLAN-1013)
changed: [m9-04-r-04] => (item=VLAN-1100)

TASK [mk_routeros_emergency_on : Change OSPF area1 default cost for to 10] ******************
changed: [m9-04-r-04]

TASK [mk_routeros_emergency_on : Change MGMT interfaces ip addresses] ********************
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n.254', u'name': u'VLAN-803'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+1.254', u'name': u'VLAN-805'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+2.254', u'name': u'VLAN-807'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+3.254', u'name': u'VLAN-809'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+4.254', u'name': u'VLAN-820'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+5.254', u'name': u'VLAN-822'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+6.254', u'name': u'VLAN-823'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+7.254', u'name': u'VLAN-824'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+8.254', u'name': u'VLAN-850'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+9.254', u'name': u'VLAN-851'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+10.254', u'name': u'VLAN-852'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+11.254', u'name': u'VLAN-853'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+12.254', u'name': u'VLAN-870'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+13.254', u'name': u'VLAN-898'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+14.254', u'name': u'VLAN-899'})

TASK [mk_routeros_emergency_on : Generate gARPs for MGMT interfaces] *********************
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n.254', u'name': u'VLAN-803'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+1.254', u'name': u'VLAN-805'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+2.254', u'name': u'VLAN-807'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+3.254', u'name': u'VLAN-809'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+4.254', u'name': u'VLAN-820'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+5.254', u'name': u'VLAN-822'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+6.254', u'name': u'VLAN-823'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+7.254', u'name': u'VLAN-824'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+8.254', u'name': u'VLAN-850'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+9.254', u'name': u'VLAN-851'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+10.254', u'name': u'VLAN-852'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+11.254', u'name': u'VLAN-853'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+12.254', u'name': u'VLAN-870'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+13.254', u'name': u'VLAN-898'})
changed: [m9-04-r-04] => (item={u'ip': u'х.х.n+14.254', u'name': u'VLAN-899'})

PLAY RECAP ************************************************************************

완료!

실제로 아직 준비가 되지 않았습니다. 동적 라우팅 프로토콜의 통합과 FIB에 많은 경로를 로드하는 것을 잊지 마세요. 우리는 어떤 식으로든 이에 영향을 미칠 수 없습니다. 우리는 기다립니다. 성공했습니다. 이제 준비가 되었습니다.

그리고 네트워크 설정을 자동화하고 싶지 않은 Vilabajo 마을에서는 계속해서 설거지를 합니다. Bruce(물론 이미 다르지만 그다지 멋지지는 않음)는 장비의 수동 재구성이 얼마나 더 많이 발생하는지 이해하려고 노력하고 있습니다.

나는 또한 한 가지 중요한 점에 대해 이야기하고 싶습니다. 어떻게 모든 것을 되돌릴 수 있나요? 시간이 지나면 FW-CLUSTER가 다시 활성화됩니다. 이는 백업이 아닌 주요 장비이므로 네트워크가 여기에서 실행되어야 합니다.

네트워크 담당자들이 어떻게 지치기 시작하는지 느끼시나요? 기술 책임자는 왜 이것이 수행되어서는 안 되는지, 왜 이것이 나중에 수행될 수 있는지에 대한 수천 가지 주장을 듣게 될 것입니다. 불행하게도 이것은 네트워크가 이전 사치품의 패치, 조각 및 잔재로 작동하는 방식입니다. 패치워크 퀼트로 밝혀졌습니다. 일반적으로 이러한 특정 상황이 아니라 일반적으로 IT 전문가로서 우리의 임무는 네트워크 작업을 아름다운 영어 단어 "일관성"으로 가져오는 것입니다. 이는 매우 다각적이며 다음과 같이 번역될 수 있습니다. , 일관성, 논리, 일관성, 체계성, 비교 가능성, 일관성. 그 사람에 관한 모든 것입니다. 이 상태에서만 네트워크를 관리할 수 있으며, 무엇이 작동하고 어떻게 작동하는지 명확하게 이해하고, 무엇을 변경해야 하는지 명확하게 이해하며, 필요한 경우 문제가 발생할 경우 어디를 살펴봐야 하는지 명확하게 알고 있습니다. 그리고 그러한 네트워크에서만 우리가 방금 설명한 것과 같은 트릭을 수행할 수 있습니다.

실제로 설정을 원래 상태로 되돌린 또 다른 플레이북이 준비됐다. 작동 논리는 동일합니다(작업 순서가 매우 중요하다는 점을 기억하는 것이 중요함). 이미 긴 기사가 길어지지 않도록 플레이북 실행 목록을 게시하지 않기로 결정했습니다. 이러한 운동을 수행하면 미래에 대해 훨씬 더 차분하고 자신감을 갖게 될 것이며 거기에 쌓인 목발이 즉시 드러날 것입니다.

누구나 우리에게 글을 쓰고 모든 페이북과 함께 작성된 모든 코드의 소스를 받을 수 있습니다. 프로필의 연락처.

조사 결과

우리의 의견으로는 자동화할 수 있는 프로세스가 아직 결정화되지 않았습니다. 우리가 접한 내용과 서양 동료들이 논의한 내용을 바탕으로 현재까지 다음과 같은 주제가 표시됩니다.

• 장치 프로비저닝
• 데이터 수집;
• 보고;
• 문제 해결;
• 규정 준수.

관심이 있다면 주어진 주제 중 하나에 관해 토론을 계속할 수 있습니다.

자동화에 대해서도 조금 이야기하고 싶습니다. 우리가 이해해야 할 내용은 다음과 같습니다.

• 시스템은 사람 없이도 살아야 하고, 사람에 의해 개선되어야 한다. 시스템은 인간에게 의존해서는 안 됩니다.
• 작업은 전문가여야 합니다. 일상적인 작업을 수행하는 전문가 클래스는 없습니다. 전체 루틴을 자동화하고 복잡한 문제만 해결하는 전문가가 있습니다.
• 일상적인 표준 작업은 "버튼 하나만 누르면" 자동으로 수행되므로 리소스가 낭비되지 않습니다. 이러한 작업의 결과는 항상 예측 가능하고 이해할 수 있습니다.

그리고 이러한 점은 다음과 같은 결과로 이어져야 합니다.

• IT 인프라의 투명성(운영, 현대화, 구현의 위험 감소. 연간 가동 중지 시간 감소)
• IT 자원 계획 기능(용량 계획 시스템 - 소비량을 확인할 수 있으며, 편지 및 최고 부서 방문이 아닌 단일 시스템에 필요한 리소스 수를 확인할 수 있음)
• IT 직원 수를 줄일 수 있습니다.

기사 작성자: Alexander Chelovekov(CCIE RS, CCIE SP) 및 Pavel Kirillov. 우리는 IT 인프라 자동화를 주제로 솔루션을 논의하고 제안하는 데 관심이 있습니다.


출처 : habr.com