PowerCLI 스크립트용 로켓 부스터를 구축하는 방법 

조만간 모든 VMware 시스템 관리자가 일상적인 작업을 자동화하게 됩니다. 모든 것은 명령줄로 시작한 다음 PowerShell 또는 VMware PowerCLI로 시작됩니다.

ISE를 시작하고 "일종의 마법"으로 인해 작동하는 모듈의 표준 cmdlet을 사용하는 것보다 PowerShell을 조금 더 마스터했다고 가정해 보겠습니다. 수백 개의 가상 머신을 세기 시작하면 소규모로 도움이 되는 스크립트가 대규모에서는 눈에 띄게 느리게 실행된다는 것을 알게 될 것입니다. 

이러한 상황에서는 다음 두 가지 도구가 도움이 될 것입니다.

• PowerShell 런타임 – 별도의 스레드에서 프로세스 실행을 병렬화할 수 있는 접근 방식입니다. 
• 보기 가져오기 – Windows의 Get-WMIObject와 유사한 기본 PowerCLI 기능입니다. 이 cmdlet은 엔터티와 함께 ​​제공되는 개체를 가져오지 않지만 간단한 데이터 형식을 가진 간단한 개체 형태로 정보를 받습니다. 더 빨리 나오는 경우가 많습니다.

다음으로 각 도구에 대해 간략하게 설명하고 사용 예를 보여 드리겠습니다. 특정 스크립트를 분석하고 어느 스크립트가 다른 스크립트보다 더 잘 작동하는지 살펴보겠습니다. 가다!

첫 번째 단계: Runspace

따라서 Runspace는 기본 모듈 외부의 작업을 병렬 처리하도록 설계되었습니다. 물론 일부 메모리, 프로세서 등을 소모하는 다른 프로세스를 시작할 수 있습니다. 스크립트가 몇 분 안에 실행되고 기가바이트의 메모리를 소비하는 경우 Runspace가 필요하지 않을 가능성이 높습니다. 그러나 수만 개의 개체에 대한 스크립트에는 필요합니다.

여기에서 학습을 시작할 수 있습니다: 
PowerShell Runspaces 사용 시작: 1부

Runspace를 사용하면 다음이 제공됩니다.

• 실행되는 명령 목록을 제한하여 속도를 제한하고,
• 작업의 병렬 실행,
• 보안.

다음은 Runspace가 도움이 되는 인터넷의 예입니다.

“스토리지 경합은 vSphere에서 추적하기 가장 어려운 지표 중 하나입니다. vCenter 내부에서는 어떤 VM이 더 많은 스토리지 리소스를 소비하고 있는지 직접 확인할 수는 없습니다. 다행히 PowerShell 덕분에 몇 분 안에 이 데이터를 수집할 수 있습니다.
VMware 시스템 관리자가 vCenter 전체를 빠르게 검색하고 평균 사용량에 대한 데이터가 포함된 VM 목록을 받을 수 있는 스크립트를 공유하겠습니다.  
스크립트는 PowerShell Runspace를 사용하여 각 ESXi 호스트가 별도의 Runspace에 있는 자체 VM의 소비 정보를 수집하고 즉시 완료를 보고할 수 있도록 합니다. 이를 통해 PowerShell은 호스트를 반복하고 각 호스트가 요청을 완료할 때까지 기다리지 않고 즉시 작업을 닫을 수 있습니다.”

출처 : ESXi 대시보드에 가상 시스템 I/O를 표시하는 방법

아래의 경우 Runspace는 더 이상 유용하지 않습니다.

“VM에서 많은 데이터를 수집하고 필요할 때 새 데이터를 쓰는 스크립트를 작성하려고 합니다. 문제는 VM이 ​​꽤 많고, 한 머신에 5~8초가 소요된다는 점이다.” 

출처 : RunspacePool을 사용한 멀티스레딩 PowerCLI

여기에는 Get-View가 필요합니다. 계속 진행하겠습니다. 

두 번째 단계: Get-View

Get-View가 유용한 이유를 이해하려면 cmdlet이 일반적으로 작동하는 방식을 기억하는 것이 좋습니다. 

API 참조 서적을 연구하고 다음 단계를 다시 만들 필요 없이 편리하게 정보를 얻으려면 cmdlet이 필요합니다. 예전에는 XNUMX~XNUMX줄의 코드가 필요했던 작업을 PowerShell을 사용하면 하나의 명령으로 수행할 수 있습니다. 우리는 이러한 편리함을 신속하게 지불합니다. cmdlet 자체에는 마법이 없습니다. 동일한 스크립트이지만 더 낮은 수준에서 맑은 인도 출신의 숙련된 손으로 작성되었습니다.

이제 Get-View와의 비교를 위해 Get-VM cmdlet을 사용하겠습니다. 이 cmdlet은 가상 머신에 액세스하고 복합 개체를 반환합니다. 즉, VMHost, Datastore 등 다른 관련 개체를 여기에 연결합니다.  

Get-View는 반환된 개체에 불필요한 항목을 추가하지 않습니다. 또한 필요한 정보를 엄격하게 지정할 수 있으므로 출력 개체가 더 쉬워집니다. 일반적으로 Windows Server와 특히 Hyper-V에서 Get-WMIObject cmdlet은 직접적인 유사체입니다. 아이디어는 정확히 동일합니다.

Get-View는 포인트 개체에 대한 일상적인 작업에 불편합니다. 그러나 수천, 수만 개의 물건에 관해서는 가격이 없습니다.

VMware 블로그에서 자세한 내용을 확인할 수 있습니다. Get-View 소개

이제 실제 사례를 통해 모든 것을 보여드리겠습니다. 

VM을 언로드하는 스크립트 작성

어느 날 동료가 나에게 자신의 스크립트를 최적화해 달라고 요청했습니다. 작업은 일반적인 루틴입니다. 중복된 cloud.uuid 매개변수가 있는 모든 VM을 찾습니다(예, vCloud Director에서 VM을 복제할 때 가능합니다). 

마음속에 떠오르는 확실한 해결책은 다음과 같습니다.

1. 모든 VM 목록을 가져옵니다.
2. 어떻게든 목록을 분석해 보세요.

원래 버전은 다음과 같은 간단한 스크립트였습니다.

function Get-CloudUUID1 {
   # Получаем список всех ВМ
   $vms = Get-VM
   $report = @()

   # Обрабатываем каждый объект, получая из него только 2 свойства: Имя ВМ и Cloud UUID.
   # Заносим данные в новый PS-объект с полями VM и UUID
   foreach ($vm in $vms)
   {
       $table = "" | select VM,UUID

       $table.VM = $vm.name
       $table.UUID = ($vm | Get-AdvancedSetting -Name cloud.uuid).Value
          
       $report += $table
   }
# Возвращаем все объекты
   $report
}
# Далее РУКАМИ парсим полученный результат

모든 것이 매우 간단하고 명확합니다. 커피를 마시며 몇 분 안에 작성할 수 있습니다. 나사로 여과하면 완료됩니다.

하지만 시간을 측정해 보겠습니다.

2분 47초 거의 10개의 VM을 처리할 때. 보너스는 필터가 없고 결과를 수동으로 정렬해야 한다는 것입니다. 분명히 스크립트에는 최적화가 필요합니다.

Runspace는 vCenter에서 호스트 메트릭을 동시에 가져와야 하거나 수만 개의 개체를 처리해야 할 때 가장 먼저 구출됩니다. 이 접근 방식이 무엇을 가져오는지 살펴보겠습니다.

첫 번째 속도 켜기: PowerShell Runspaces

이 스크립트에서 가장 먼저 떠오르는 것은 루프를 순차적으로 실행하는 것이 아니라 병렬 스레드에서 모든 데이터를 하나의 개체로 수집하고 필터링하는 것입니다. 

하지만 문제가 있습니다. PowerCLI에서는 vCenter에 대한 많은 독립 세션을 열 수 없으며 재미있는 오류가 발생합니다.

You have modified the global:DefaultVIServer and global:DefaultVIServers system variables. This is not allowed. Please reset them to $null and reconnect to the vSphere server.

이 문제를 해결하려면 먼저 스트림 내부에 세션 정보를 전달해야 합니다. PowerShell은 함수나 ScriptBlock에 매개 변수로 전달될 수 있는 개체와 함께 작동한다는 점을 기억하세요. $global:DefaultVIServers(-NotDefault 키가 있는 Connect-VIServer)를 우회하여 이러한 객체 형태로 세션을 전달해 보겠습니다.

$ConnectionString = @()
foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

이제 Runspace 풀을 통해 멀티스레딩을 구현해 보겠습니다.  

알고리즘은 다음과 같습니다.

1. 모든 VM 목록을 얻습니다.
2. 병렬 스트림에서는 cloud.uuid를 얻습니다.
3. 우리는 스트림의 데이터를 하나의 객체로 수집합니다.
4. CloudUUID 필드의 값을 기준으로 그룹화하여 객체를 필터링합니다. 고유 값의 수가 1보다 큰 객체가 우리가 찾고 있는 VM입니다.

결과적으로 다음 스크립트를 얻습니다.

function Get-VMCloudUUID {
   param (
       [string[]]
       [ValidateNotNullOrEmpty()]
       $vCenters = @(),
       [int]$MaxThreads,
       [System.Management.Automation.PSCredential]
       [System.Management.Automation.Credential()]
       $Credential
   )

   $ConnectionString = @()

   # Создаем объект с сессионным ключом
   foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

   # Получаем список всех ВМ
   $Global:AllVMs = Get-VM -Server $ConnectionString

   # Поехали!
   $ISS = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
   $RunspacePool = [runspacefactory]::CreateRunspacePool(1, $MaxThreads, $ISS, $Host)
   $RunspacePool.ApartmentState = "MTA"
   $RunspacePool.Open()
   $Jobs = @()

# ScriptBlock с магией!)))
# Именно он будет выполняться в потоке
   $scriptblock = {
       Param (
       $ConnectionString,
       $VM
       )

       $Data = $VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

       return $Data
   }
# Генерируем потоки

   foreach($VM in $AllVMs)
   {
       $PowershellThread = [PowerShell]::Create()
# Добавляем скрипт
       $null = $PowershellThread.AddScript($scriptblock)
# И объекты, которые передадим в качестве параметров скрипту
       $null = $PowershellThread.AddArgument($ConnectionString)
       $null = $PowershellThread.AddArgument($VM)
       $PowershellThread.RunspacePool = $RunspacePool
       $Handle = $PowershellThread.BeginInvoke()
       $Job = "" | Select-Object Handle, Thread, object
       $Job.Handle = $Handle
       $Job.Thread = $PowershellThread
       $Job.Object = $VM.ToString()
       $Jobs += $Job
   }

# Ставим градусник, чтобы наглядно отслеживать выполнение заданий
# И здесь же прибиваем отработавшие задания
   While (@($Jobs | Where-Object {$_.Handle -ne $Null}).count -gt 0)
   {
       $Remaining = "$($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).object)"

       If ($Remaining.Length -gt 60) {
           $Remaining = $Remaining.Substring(0,60) + "..."
       }

       Write-Progress -Activity "Waiting for Jobs - $($MaxThreads - $($RunspacePool.GetAvailableRunspaces())) of $MaxThreads threads running" -PercentComplete (($Jobs.count - $($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).count)) / $Jobs.Count * 100) -Status "$(@($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False})).count) remaining - $remaining"

       ForEach ($Job in $($Jobs | Where-Object {$_.Handle.IsCompleted -eq $True})){
           $Job.Thread.EndInvoke($Job.Handle)     
           $Job.Thread.Dispose()
           $Job.Thread = $Null
           $Job.Handle = $Null
       }
   }

   $RunspacePool.Close() | Out-Null
   $RunspacePool.Dispose() | Out-Null
}


function Get-CloudUUID2
{
   [CmdletBinding()]
   param(
   [string[]]
   [ValidateNotNullOrEmpty()]
   $vCenters = @(),
   [int]$MaxThreads = 50,
   [System.Management.Automation.PSCredential]
   [System.Management.Automation.Credential()]
   $Credential)

   if(!$Credential)
   {
       $Credential = Get-Credential -Message "Please enter vCenter credentials."
   }

   # Вызов функции Get-VMCloudUUID, где мы распараллеливаем операцию
   $AllCloudVMs = Get-VMCloudUUID -vCenters $vCenters -MaxThreads $MaxThreads -Credential $Credential
   $Result = $AllCloudVMs | Sort-Object Value | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group
   $Result
}

이 스크립트의 장점은 ScriptBlock과 스트림에 전달될 매개 변수를 간단히 대체하여 다른 유사한 경우에도 사용할 수 있다는 것입니다. 그것을 악용하세요!

우리는 시간을 측정합니다:

55 초. 더 나아졌지만 여전히 더 빠를 수 있습니다. 

두 번째 속도인 GetView로 이동해 보겠습니다.

무엇이 문제인지 알아봅시다.
무엇보다도 Get-VM cmdlet을 실행하는 데 시간이 오래 걸립니다.
둘째, Get-AdvancedOptions cmdlet을 완료하는 데 더 오랜 시간이 걸립니다.
두 번째 것을 먼저 다루겠습니다. 

Get-AdvancedOptions는 개별 VM 개체에 편리하지만 많은 개체를 작업할 때는 매우 불편합니다. 가상 머신 개체 자체(Get-VM)에서도 동일한 정보를 얻을 수 있습니다. ExtensionData 개체에 잘 묻혀 있습니다. 필터링 기능을 탑재하여 필요한 데이터를 얻는 과정의 속도를 높입니다.

손을 살짝 움직이면 다음과 같습니다.

VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

다음과 같이 변합니다:

$VM | Where-Object {($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}}

출력은 Get-AdvancedOptions와 동일하지만 몇 배 더 빠르게 작동합니다. 

이제 Get-VM으로 이동하세요. 복잡한 객체를 다루기 때문에 빠르지는 않습니다. 논리적인 질문이 생깁니다. VM의 이름, 상태 및 까다로운 속성 값만 필요한데 이 경우 추가 정보와 괴물 같은 PSObject가 필요한 이유는 무엇입니까?  

또한 Get-AdvancedOptions 형태의 장애물이 스크립트에서 제거되었습니다. 세션을 넘겨줄 때 더 이상 스쿼트 스레드 전체에서 느린 작업을 병렬화할 필요가 없기 때문에 Runspace Pools를 사용하는 것은 이제 과도한 것처럼 보입니다. 도구는 좋지만 이 경우에는 그렇지 않습니다. 

ExtensionData의 출력을 살펴보겠습니다. 이는 Get-View 개체에 지나지 않습니다. 

PowerShell 마스터의 고대 기술인 필터, 정렬 및 그룹화를 사용하는 한 줄을 호출해 보겠습니다. 이전의 모든 공포는 한 줄로 우아하게 축소되어 한 세션에서 실행됩니다.

$AllVMs = Get-View -viewtype VirtualMachine -Property Name,Config.ExtraConfig,summary.runtime.powerstate | Where-Object {($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}} | Sort-Object CloudUUID | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group

우리는 시간을 측정합니다:

9 초 원하는 조건으로 필터링하여 거의 10개의 객체에 대해. 엄청난!

대신 결론

허용 가능한 결과는 도구 선택에 직접적으로 달려 있습니다. 그것을 달성하기 위해 정확히 무엇을 선택해야 하는지 확실히 말하기는 종종 어렵습니다. 스크립트 속도를 높이기 위해 나열된 각 방법은 적용 범위 내에서 유용합니다. 이 기사가 인프라의 프로세스 자동화 및 최적화의 기본 사항을 이해하는 어려운 작업에 도움이 되기를 바랍니다.

추신: 저자는 기사를 준비하는 데 도움과 지원을 해준 모든 커뮤니티 구성원에게 감사드립니다. 발이 있는 사람들도요. 심지어 보아뱀처럼 다리가 없는 사람들도요.

출처 : habr.com