PowerCLI スクリプト用のロケット ブースターを構築する方法 

遅かれ早かれ、VMware システム管理者は日常的なタスクを自動化するようになります。 すべてはコマンド ラインから始まり、次に PowerShell または VMware PowerCLI が登場します。

ISE を起動し、「ある種の魔法」によって機能するモジュールから標準コマンドレットを使用するよりも少し進んで PowerShell をマスターしたとします。 仮想マシンを数百台単位で数え始めると、小規模では役立つスクリプトが、大規模では実行が著しく遅くなることがわかります。 

この状況では、次の 2 つのツールが役に立ちます。

• PowerShell 実行スペース – 別々のスレッドでプロセスの実行を並列化できるアプローチ。 
• 取得ビュー – 基本的な PowerCLI 関数。Windows の Get-WMIObject に相当します。 このコマンドレットはエンティティに付随するオブジェクトを取得しませんが、単純なデータ型を持つ単純なオブジェクトの形式で情報を受け取ります。 多くの場合、その方が早く出てきます。

次に、各ツールについて簡単に説明し、使用例を示します。 特定のスクリプトを分析して、一方のスクリプトが他方のスクリプトよりもうまく動作するかどうかを確認してみましょう。 行く！

最初のステージ: ランスペース

そのため、Runspace はメイン モジュールの外側でタスクを並列処理できるように設計されています。 もちろん、メモリやプロセッサなどを消費する別のプロセスを起動することもできます。スクリプトが数分で実行され、ギガバイトのメモリを消費する場合は、おそらく Runspace は必要ありません。 ただし、数万のオブジェクト用のスクリプトの場合は必要です。

ここから学習を始めることができます。 
PowerShell 実行空間の使用を開始する: パート 1

Runspace を使用すると次のことが得られます。

• 実行されるコマンドのリストを制限することで速度を向上させます。
• タスクの並列実行、
• 安全

Runspace が役立つインターネットの例を次に示します。

「ストレージ競合は、vSphere で追跡するのが最も難しい指標の XNUMX つです。 vCenter 内では、どの VM がより多くのストレージ リソースを消費しているかをただ確認することはできません。 幸いなことに、PowerShell のおかげで、このデータは数分で収集できます。
VMware システム管理者が vCenter 全体をすばやく検索し、平均消費量に関するデータを含む VM のリストを取得できるようにするスクリプトを共有します。  
このスクリプトは PowerShell 実行空間を使用して、各 ESXi ホストが個別の実行空間内の独自の VM から消費情報を収集し、すぐに完了を報告できるようにします。 これにより、PowerShell はホストを反復処理して各ホストが要求を完了するのを待つことなく、ジョブをすぐに閉じることができます。」

出所： ESXi ダッシュボードに仮想マシン I/O を表示する方法

以下の場合、Runspace は役に立ちません。

「VM から大量のデータを収集し、必要に応じて新しいデータを書き込むスクリプトを作成しようとしています。 問題は、VM が非常に多く、5 台のマシンに 8 ～ XNUMX 秒かかることです。」 

出所： RunspacePool を使用したマルチスレッド PowerCLI

ここで Get-View が必要になります。次に進みましょう。 

第 XNUMX 段階: Get-View

Get-View がなぜ役立つのかを理解するには、コマンドレットが一般的にどのように機能するかを覚えておく価値があります。 

コマンドレットは、API リファレンス ブックを読んで次の車輪を再発明することなく、情報を簡単に取得するために必要です。 以前は XNUMX ～ XNUMX 行のコードが必要でしたが、PowerShell を使用すると XNUMX つのコマンドで実行できるようになります。 私たちはこの利便性に対して迅速な対価を支払います。 コマンドレット自体の内部には魔法はありません。同じスクリプトですが、より低いレベルで、太陽が降り注ぐインドの達人の熟練した手によって書かれています。

ここで、Get-View と比較するために、Get-VM コマンドレットを見てみましょう。このコマンドレットは仮想マシンにアクセスし、複合オブジェクトを返します。つまり、他の関連オブジェクト (VMHost、Datastore など) を仮想マシンにアタッチします。  

Get-View を代わりに使用すると、返されたオブジェクトに不必要なものは何も追加されません。 さらに、必要な情報を厳密に指定できるため、出力オブジェクトが簡単になります。 Windows Server 全般、特に Hyper-V では、Get-WMIObject コマンドレットが直接類似しており、考え方はまったく同じです。

Get-View は、ポイント オブジェクトに対する日常的な操作には不便です。 しかし、何千、何万ものオブジェクトとなると、値段がつきません。

詳細については、VMware ブログをご覧ください。 Get-View の概要

それでは、実際のケースを使用してすべてを説明します。 

VM をアンロードするスクリプトの作成

ある日、同僚からスクリプトを最適化してほしいと頼まれました。 このタスクは一般的なルーチンです。重複する Cloud.uuid パラメータを持つすべての VM を検索します (はい、これは vCloud Director で VM のクローンを作成するときに可能です)。 

思い浮かぶ明白な解決策は次のとおりです。

1. すべての VM のリストを取得します。
2. 何らかの方法でリストを解析します。

オリジナルのバージョンは次のような単純なスクリプトでした。

function Get-CloudUUID1 {
   # Получаем список всех ВМ
   $vms = Get-VM
   $report = @()

   # Обрабатываем каждый объект, получая из него только 2 свойства: Имя ВМ и Cloud UUID.
   # Заносим данные в новый PS-объект с полями VM и UUID
   foreach ($vm in $vms)
   {
       $table = "" | select VM,UUID

       $table.VM = $vm.name
       $table.UUID = ($vm | Get-AdvancedSetting -Name cloud.uuid).Value
          
       $report += $table
   }
# Возвращаем все объекты
   $report
}
# Далее РУКАМИ парсим полученный результат

すべてが非常にシンプルかつ明確です。 コーヒーブレイクを挟みながら数分で書けます。 フィルターをねじ込んで完了です。

しかし時間を測ってみましょう:

2分47秒 約 10 個の VM を処理する場合。 利点は、フィルターがないことと、結果を手動で並べ替える必要がないことです。 明らかに、スクリプトには最適化が必要です。

実行空間は、vCenter からホスト メトリックを同時に取得する必要がある場合、または数万のオブジェクトを処理する必要がある場合に、最初に役に立ちます。 このアプローチが何をもたらすかを見てみましょう。

最初の速度をオンにする: PowerShell ランスペース

このスクリプトで最初に思いつくのは、ループを順次ではなく並列スレッドで実行し、すべてのデータを XNUMX つのオブジェクトに収集してフィルター処理することです。 

しかし、問題があります。PowerCLI では、vCenter への多くの独立したセッションを開くことができず、次のような面白いエラーがスローされます。

You have modified the global:DefaultVIServer and global:DefaultVIServers system variables. This is not allowed. Please reset them to $null and reconnect to the vSphere server.

これを解決するには、まずストリーム内でセッション情報を渡す必要があります。 PowerShell は、関数または ScriptBlock にパラメーターとして渡すことができるオブジェクトを操作することを思い出してください。 $global:DefaultVIServers (-NotDefault キーを使用して Connect-VIServer) をバイパスして、このようなオブジェクトの形式でセッションを渡しましょう。

$ConnectionString = @()
foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

次に、Runspace Pools を介してマルチスレッドを実装しましょう。  

アルゴリズムは次のとおりです。

1. すべての VM のリストを取得します。
2. 並列ストリームでは、cloud.uuid を取得します。
3. ストリームからのデータを XNUMX つのオブジェクトに収集します。
4. CloudUUID フィールドの値でグループ化することでオブジェクトをフィルター処理します。一意の値の数が 1 より大きいものが、探している VM です。

その結果、次のスクリプトが得られます。

function Get-VMCloudUUID {
   param (
       [string[]]
       [ValidateNotNullOrEmpty()]
       $vCenters = @(),
       [int]$MaxThreads,
       [System.Management.Automation.PSCredential]
       [System.Management.Automation.Credential()]
       $Credential
   )

   $ConnectionString = @()

   # Создаем объект с сессионным ключом
   foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

   # Получаем список всех ВМ
   $Global:AllVMs = Get-VM -Server $ConnectionString

   # Поехали!
   $ISS = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
   $RunspacePool = [runspacefactory]::CreateRunspacePool(1, $MaxThreads, $ISS, $Host)
   $RunspacePool.ApartmentState = "MTA"
   $RunspacePool.Open()
   $Jobs = @()

# ScriptBlock с магией!)))
# Именно он будет выполняться в потоке
   $scriptblock = {
       Param (
       $ConnectionString,
       $VM
       )

       $Data = $VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

       return $Data
   }
# Генерируем потоки

   foreach($VM in $AllVMs)
   {
       $PowershellThread = [PowerShell]::Create()
# Добавляем скрипт
       $null = $PowershellThread.AddScript($scriptblock)
# И объекты, которые передадим в качестве параметров скрипту
       $null = $PowershellThread.AddArgument($ConnectionString)
       $null = $PowershellThread.AddArgument($VM)
       $PowershellThread.RunspacePool = $RunspacePool
       $Handle = $PowershellThread.BeginInvoke()
       $Job = "" | Select-Object Handle, Thread, object
       $Job.Handle = $Handle
       $Job.Thread = $PowershellThread
       $Job.Object = $VM.ToString()
       $Jobs += $Job
   }

# Ставим градусник, чтобы наглядно отслеживать выполнение заданий
# И здесь же прибиваем отработавшие задания
   While (@($Jobs | Where-Object {$_.Handle -ne $Null}).count -gt 0)
   {
       $Remaining = "$($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).object)"

       If ($Remaining.Length -gt 60) {
           $Remaining = $Remaining.Substring(0,60) + "..."
       }

       Write-Progress -Activity "Waiting for Jobs - $($MaxThreads - $($RunspacePool.GetAvailableRunspaces())) of $MaxThreads threads running" -PercentComplete (($Jobs.count - $($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).count)) / $Jobs.Count * 100) -Status "$(@($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False})).count) remaining - $remaining"

       ForEach ($Job in $($Jobs | Where-Object {$_.Handle.IsCompleted -eq $True})){
           $Job.Thread.EndInvoke($Job.Handle)     
           $Job.Thread.Dispose()
           $Job.Thread = $Null
           $Job.Handle = $Null
       }
   }

   $RunspacePool.Close() | Out-Null
   $RunspacePool.Dispose() | Out-Null
}


function Get-CloudUUID2
{
   [CmdletBinding()]
   param(
   [string[]]
   [ValidateNotNullOrEmpty()]
   $vCenters = @(),
   [int]$MaxThreads = 50,
   [System.Management.Automation.PSCredential]
   [System.Management.Automation.Credential()]
   $Credential)

   if(!$Credential)
   {
       $Credential = Get-Credential -Message "Please enter vCenter credentials."
   }

   # Вызов функции Get-VMCloudUUID, где мы распараллеливаем операцию
   $AllCloudVMs = Get-VMCloudUUID -vCenters $vCenters -MaxThreads $MaxThreads -Credential $Credential
   $Result = $AllCloudVMs | Sort-Object Value | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group
   $Result
}

このスクリプトの利点は、ScriptBlock とストリームに渡されるパラメーターを置き換えるだけで、他の同様のケースでも使用できることです。 それを悪用しましょう！

時間を計測します:

55秒。 改善されましたが、それでもさらに高速になる可能性があります。 

XNUMX 番目の速度に移りましょう: GetView

何が問題なのか調べてみましょう。
何よりもまず、Get-VM コマンドレットの実行には時間がかかります。
次に、Get-AdvancedOptions コマンドレットの完了にはさらに時間がかかります。
まず XNUMX 番目のことに対処しましょう。 

Get-AdvancedOptions は個々の VM オブジェクトには便利ですが、多数のオブジェクトを操作する場合は非常に扱いにくいです。 仮想マシン オブジェクト自体から同じ情報を取得できます (Get-VM)。 これは ExtensionData オブジェクトにうまく埋め込まれています。 フィルタリングを利用することで、必要なデータを取得するプロセスが高速化されます。

手を少し動かすと次のようになります。

VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

これは次のようになります。

$VM | Where-Object {($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}}

出力は Get-AdvancedOptions と同じですが、動作は何倍も高速です。 

次に、Get-VM を実行します。 複雑なオブジェクトを扱うため、高速ではありません。 論理的な疑問が生じます。VM の名前、その状態、および扱いにくい属性の値だけが必要な場合に、なぜ追加の情報と巨大な PSObject が必要なのでしょうか。  

さらに、Get-AdvancedOptions 形式の障害がスクリプトから削除されました。 セッションを引き渡すときに、遅いタスクをスクワットスレッド間で並列化する必要がなくなったため、Runspace Pools を使用するのは過剰であるように思えます。 このツールは優れていますが、この場合には適していません。 

ExtensionData の出力を見てみましょう。これは単なる Get-View オブジェクトです。 

PowerShell マスターの古代のテクニック、つまりフィルター、並べ替え、グループ化を使用した XNUMX 行を使ってみましょう。 これまでの恐怖はすべて XNUMX 行にエレガントにまとめられ、XNUMX つのセッションで実行されます。

$AllVMs = Get-View -viewtype VirtualMachine -Property Name,Config.ExtraConfig,summary.runtime.powerstate | Where-Object {($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}} | Sort-Object CloudUUID | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group

時間を計測します:

9秒 希望の条件でフィルタリングすると、ほぼ 10 個のオブジェクトに対応します。 素晴らしい！

代わりに、結論の

許容できる結果は、ツールの選択に直接依存します。 それを達成するには正確に何を選択すべきかを明確に言うのは難しいことがよくあります。 スクリプトを高速化するためにリストされた各方法は、その適用範囲の範囲内で適切です。 この記事が、インフラストラクチャにおけるプロセスの自動化と最適化の基本を理解するという難しい作業に役立つことを願っています。

PS： 著者は、記事の準備にあたり、コミュニティ メンバーの皆様のご協力とご協力に感謝いたします。 足のある人でも。 ボアコンストリクターのように足のない人でも。

出所： habr.com