🥇पॉवरसीएलआई स्क्रिप्ट के लिए रॉकेट बूस्टर कैसे बनाएं

देर-सबेर, कोई भी VMware सिस्टम प्रशासक नियमित कार्यों को स्वचालित करने के लिए आता है। यह सब कमांड लाइन से शुरू होता है, फिर पावरशेल या वीएमवेयर पावरसीएलआई आता है।

मान लीजिए कि आपने आईएसई लॉन्च करने और "किसी प्रकार के जादू" के कारण काम करने वाले मॉड्यूल से मानक सीएमडीलेट्स का उपयोग करने की तुलना में पावरशेल में थोड़ी महारत हासिल कर ली है। जब आप वर्चुअल मशीनों को सैकड़ों में गिनना शुरू करेंगे, तो आप पाएंगे कि छोटे पैमाने पर मदद करने वाली स्क्रिप्ट बड़े पैमाने पर काफी धीमी गति से चलती हैं।

इस स्थिति में, 2 उपकरण मदद करेंगे:

पॉवरशेल रनस्पेस - एक दृष्टिकोण जो आपको अलग-अलग थ्रेड में प्रक्रियाओं के निष्पादन को समानांतर करने की अनुमति देता है;
देखें-देखें - एक बुनियादी PowerCLI फ़ंक्शन, विंडोज़ में Get-WMIObject का एक एनालॉग। यह सीएमडीलेट संस्थाओं के साथ आने वाली वस्तुओं को नहीं खींचता है, बल्कि सरल डेटा प्रकारों के साथ एक साधारण वस्तु के रूप में जानकारी प्राप्त करता है। कई मामलों में यह तेजी से सामने आता है.

आगे, मैं प्रत्येक टूल के बारे में संक्षेप में बात करूंगा और उपयोग के उदाहरण दिखाऊंगा। आइए विशिष्ट स्क्रिप्ट का विश्लेषण करें और देखें कि कब कोई दूसरे से बेहतर काम करता है। जाना!

पहला चरण: रनस्पेस

तो, रनस्पेस को मुख्य मॉड्यूल के बाहर कार्यों के समानांतर प्रसंस्करण के लिए डिज़ाइन किया गया है। बेशक, आप एक और प्रक्रिया लॉन्च कर सकते हैं जो कुछ मेमोरी, प्रोसेसर आदि को खा जाएगी। यदि आपकी स्क्रिप्ट कुछ मिनटों में चलती है और गीगाबाइट मेमोरी की खपत करती है, तो संभवतः आपको रनस्पेस की आवश्यकता नहीं होगी। लेकिन हजारों वस्तुओं की स्क्रिप्ट के लिए इसकी आवश्यकता होती है।

आप यहां सीखना शुरू कर सकते हैं:
पॉवरशेल रनस्पेस का आरंभिक उपयोग: भाग 1

रनस्पेस का उपयोग करने से क्या मिलता है:

निष्पादित आदेशों की सूची को सीमित करके गति,
कार्यों का समानांतर निष्पादन,
सुरक्षा।

यहां इंटरनेट से एक उदाहरण दिया गया है जब रनस्पेस मदद करता है:

“भंडारण विवाद vSphere में ट्रैक करने के लिए सबसे कठिन मीट्रिक में से एक है। vCenter के अंदर, आप जाकर यह नहीं देख सकते कि कौन सा VM अधिक संग्रहण संसाधनों का उपभोग कर रहा है। सौभाग्य से, PowerShell की बदौलत आप यह डेटा मिनटों में एकत्र कर सकते हैं।
मैं एक स्क्रिप्ट साझा करूंगा जो VMware सिस्टम प्रशासकों को पूरे vCenter में शीघ्रता से खोज करने और उनके औसत उपभोग पर डेटा के साथ VM की एक सूची प्राप्त करने की अनुमति देगा।
स्क्रिप्ट प्रत्येक ESXi होस्ट को एक अलग रनस्पेस में अपने स्वयं के वीएम से खपत जानकारी एकत्र करने और तुरंत पूरा होने की रिपोर्ट करने की अनुमति देने के लिए पावरशेल रनस्पेस का उपयोग करती है। यह पॉवरशेल को मेजबानों के माध्यम से पुनरावृत्ति करने और प्रत्येक के अपने अनुरोध को पूरा करने की प्रतीक्षा करने के बजाय तुरंत नौकरियों को बंद करने की अनुमति देता है।

स्रोत: ESXi डैशबोर्ड पर वर्चुअल मशीन I/O कैसे दिखाएं

नीचे दिए गए मामले में, रनस्पेस अब उपयोगी नहीं है:

“मैं एक स्क्रिप्ट लिखने की कोशिश कर रहा हूं जो एक वीएम से बहुत सारा डेटा एकत्र करती है और आवश्यकता पड़ने पर नया डेटा लिखती है। समस्या यह है कि बहुत सारे वीएम हैं, और एक मशीन पर 5-8 सेकंड खर्च होते हैं।

स्रोत: रनस्पेसपूल के साथ मल्टीथ्रेडिंग पावरसीएलआई

यहां आपको Get-View की आवश्यकता होगी, चलिए इस पर आगे बढ़ते हैं।

दूसरा चरण: गेट-व्यू

यह समझने के लिए कि गेट-व्यू क्यों उपयोगी है, यह याद रखने योग्य है कि सीएमडीलेट सामान्य रूप से कैसे काम करते हैं।

एपीआई संदर्भ पुस्तकों का अध्ययन करने और अगले पहिये को फिर से आविष्कार करने की आवश्यकता के बिना आसानी से जानकारी प्राप्त करने के लिए सीएमडीलेट्स की आवश्यकता होती है। पुराने दिनों में कोड की सौ या दो पंक्तियों की आवश्यकता होती थी, PowerShell आपको एक कमांड के साथ ऐसा करने की अनुमति देता है। हम इस सुविधा के लिए शीघ्रता से भुगतान करते हैं। स्वयं सीएमडीलेट्स के अंदर कोई जादू नहीं है: एक ही स्क्रिप्ट, लेकिन निचले स्तर पर, सनी भारत के एक मास्टर के कुशल हाथों से लिखी गई है।

अब, गेट-व्यू के साथ तुलना के लिए, आइए गेट-वीएम सीएमडीलेट लें: यह वर्चुअल मशीन तक पहुंचता है और एक समग्र ऑब्जेक्ट लौटाता है, यानी, यह अन्य संबंधित ऑब्जेक्ट्स को इससे जोड़ता है: वीएमहोस्ट, डेटास्टोर इत्यादि।

इसके स्थान पर गेट-व्यू लौटाई गई वस्तु में कुछ भी अनावश्यक नहीं जोड़ता है। इसके अलावा, यह हमें सख्ती से निर्दिष्ट करने की अनुमति देता है कि हमें किस जानकारी की आवश्यकता है, जिससे आउटपुट ऑब्जेक्ट आसान हो जाएगा। सामान्य रूप से विंडोज़ सर्वर में और विशेष रूप से हाइपर-V में, Get-WMIObject cmdlet एक सीधा एनालॉग है - विचार बिल्कुल वैसा ही है।

पॉइंट ऑब्जेक्ट पर नियमित संचालन के लिए गेट-व्यू असुविधाजनक है। लेकिन जब हजारों और दसियों हज़ार वस्तुओं की बात आती है, तो इसकी कोई कीमत नहीं होती।

आप VMware ब्लॉग पर और अधिक पढ़ सकते हैं: गेट-व्यू का परिचय

अब मैं आपको एक वास्तविक मामले का उपयोग करके सब कुछ दिखाऊंगा।

VM को अनलोड करने के लिए एक स्क्रिप्ट लिखना

एक दिन मेरे सहकर्मी ने मुझसे उसकी स्क्रिप्ट को अनुकूलित करने के लिए कहा। कार्य एक सामान्य दिनचर्या है: सभी VM को डुप्लिकेट क्लाउड.uuid पैरामीटर के साथ ढूंढें (हां, vCloud निदेशक में VM को क्लोन करते समय यह संभव है)।

स्पष्ट समाधान जो मन में आता है वह है:

सभी वीएम की सूची प्राप्त करें।
किसी तरह सूची को पार्स करें।

मूल संस्करण यह सरल स्क्रिप्ट थी:

function Get-CloudUUID1 {
   # Получаем список всех ВМ
   $vms = Get-VM
   $report = @()

   # Обрабатываем каждый объект, получая из него только 2 свойства: Имя ВМ и Cloud UUID.
   # Заносим данные в новый PS-объект с полями VM и UUID
   foreach ($vm in $vms)
   {
       $table = "" | select VM,UUID

       $table.VM = $vm.name
       $table.UUID = ($vm | Get-AdvancedSetting -Name cloud.uuid).Value
          
       $report += $table
   }
# Возвращаем все объекты
   $report
}
# Далее РУКАМИ парсим полученный результат

सब कुछ बेहद सरल और स्पष्ट है. इसे कॉफ़ी ब्रेक के साथ कुछ मिनटों में लिखा जा सकता है। निस्पंदन पर पेंच और यह हो गया।

लेकिन आइए समय मापें:

2 मिनट 47 सेकंड लगभग 10k VMs को संसाधित करते समय। एक बोनस फ़िल्टर की अनुपस्थिति और परिणामों को मैन्युअल रूप से क्रमबद्ध करने की आवश्यकता है। जाहिर है, स्क्रिप्ट को अनुकूलन की आवश्यकता है।

जब आपको एक साथ vCenter से होस्ट मेट्रिक्स प्राप्त करने की आवश्यकता होती है या हजारों ऑब्जेक्ट्स को संसाधित करने की आवश्यकता होती है, तो रनस्पेस सबसे पहले बचाव में आते हैं। आइए देखें कि यह दृष्टिकोण क्या लाता है।

पहली गति चालू करें: पॉवरशेल रनस्पेस

इस स्क्रिप्ट के लिए पहली बात जो दिमाग में आती है वह है लूप को क्रमिक रूप से नहीं, बल्कि समानांतर थ्रेड्स में निष्पादित करना, सभी डेटा को एक ऑब्जेक्ट में एकत्र करना और उसे फ़िल्टर करना।

लेकिन एक समस्या है: PowerCLI हमें vCenter में कई स्वतंत्र सत्र खोलने की अनुमति नहीं देगा और एक अजीब त्रुटि देगा:

You have modified the global:DefaultVIServer and global:DefaultVIServers system variables. This is not allowed. Please reset them to $null and reconnect to the vSphere server.

इसे हल करने के लिए, आपको पहले स्ट्रीम के अंदर सत्र की जानकारी पास करनी होगी। आइए याद रखें कि पावरशेल उन ऑब्जेक्ट्स के साथ काम करता है जिन्हें किसी फ़ंक्शन या स्क्रिप्टब्लॉक में पैरामीटर के रूप में पारित किया जा सकता है। आइए $global:DefaultVIServers को दरकिनार करते हुए सत्र को ऐसे ऑब्जेक्ट के रूप में पास करें (-NotDefault कुंजी के साथ कनेक्ट-VIServer):

$ConnectionString = @()
foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

आइए अब रनस्पेस पूल के माध्यम से मल्टीथ्रेडिंग लागू करें।

एल्गोरिथ्म इस प्रकार है:

हमें सभी वीएम की एक सूची मिलती है।
समानांतर धाराओं में हमें Cloud.uuid मिलता है।
हम स्ट्रीम से डेटा को एक ऑब्जेक्ट में एकत्र करते हैं।
हम ऑब्जेक्ट को CloudUUID फ़ील्ड के मान के आधार पर समूहीकृत करके फ़िल्टर करते हैं: जहां अद्वितीय मानों की संख्या 1 से अधिक है, वे वीएम हैं जिन्हें हम ढूंढ रहे हैं।

परिणामस्वरूप, हमें स्क्रिप्ट मिलती है:


function Get-VMCloudUUID {
   param (
       [string[]]
       [ValidateNotNullOrEmpty()]
       $vCenters = @(),
       [int]$MaxThreads,
       [System.Management.Automation.PSCredential]
       [System.Management.Automation.Credential()]
       $Credential
   )

   $ConnectionString = @()

   # Создаем объект с сессионным ключом
   foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

   # Получаем список всех ВМ
   $Global:AllVMs = Get-VM -Server $ConnectionString

   # Поехали!
   $ISS = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
   $RunspacePool = [runspacefactory]::CreateRunspacePool(1, $MaxThreads, $ISS, $Host)
   $RunspacePool.ApartmentState = "MTA"
   $RunspacePool.Open()
   $Jobs = @()

# ScriptBlock с магией!)))
# Именно он будет выполняться в потоке
   $scriptblock = {
       Param (
       $ConnectionString,
       $VM
       )

       $Data = $VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

       return $Data
   }
# Генерируем потоки

   foreach($VM in $AllVMs)
   {
       $PowershellThread = [PowerShell]::Create()
# Добавляем скрипт
       $null = $PowershellThread.AddScript($scriptblock)
# И объекты, которые передадим в качестве параметров скрипту
       $null = $PowershellThread.AddArgument($ConnectionString)
       $null = $PowershellThread.AddArgument($VM)
       $PowershellThread.RunspacePool = $RunspacePool
       $Handle = $PowershellThread.BeginInvoke()
       $Job = "" | Select-Object Handle, Thread, object
       $Job.Handle = $Handle
       $Job.Thread = $PowershellThread
       $Job.Object = $VM.ToString()
       $Jobs += $Job
   }

# Ставим градусник, чтобы наглядно отслеживать выполнение заданий
# И здесь же прибиваем отработавшие задания
   While (@($Jobs | Where-Object {$_.Handle -ne $Null}).count -gt 0)
   {
       $Remaining = "$($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).object)"

       If ($Remaining.Length -gt 60) {
           $Remaining = $Remaining.Substring(0,60) + "..."
       }

       Write-Progress -Activity "Waiting for Jobs - $($MaxThreads - $($RunspacePool.GetAvailableRunspaces())) of $MaxThreads threads running" -PercentComplete (($Jobs.count - $($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).count)) / $Jobs.Count * 100) -Status "$(@($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False})).count) remaining - $remaining"

       ForEach ($Job in $($Jobs | Where-Object {$_.Handle.IsCompleted -eq $True})){
           $Job.Thread.EndInvoke($Job.Handle)     
           $Job.Thread.Dispose()
           $Job.Thread = $Null
           $Job.Handle = $Null
       }
   }

   $RunspacePool.Close() | Out-Null
   $RunspacePool.Dispose() | Out-Null
}


function Get-CloudUUID2
{
   [CmdletBinding()]
   param(
   [string[]]
   [ValidateNotNullOrEmpty()]
   $vCenters = @(),
   [int]$MaxThreads = 50,
   [System.Management.Automation.PSCredential]
   [System.Management.Automation.Credential()]
   $Credential)

   if(!$Credential)
   {
       $Credential = Get-Credential -Message "Please enter vCenter credentials."
   }

   # Вызов функции Get-VMCloudUUID, где мы распараллеливаем операцию
   $AllCloudVMs = Get-VMCloudUUID -vCenters $vCenters -MaxThreads $MaxThreads -Credential $Credential
   $Result = $AllCloudVMs | Sort-Object Value | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group
   $Result
}

इस स्क्रिप्ट की खूबी यह है कि इसका उपयोग अन्य समान मामलों में केवल स्क्रिप्टब्लॉक और स्ट्रीम में पास किए जाने वाले पैरामीटर को प्रतिस्थापित करके किया जा सकता है। इसका शोषण करो!

हम समय मापते हैं:

55 सेकंड। यह बेहतर है, लेकिन यह अब भी तेज़ हो सकता है।

चलिए दूसरी गति पर चलते हैं: GetView

आइए जानें कि क्या गड़बड़ी है.
सबसे पहले और सबसे महत्वपूर्ण, Get-VM cmdlet को निष्पादित होने में लंबा समय लगता है।
दूसरा, Get-AdvancedOptions cmdlet को पूरा होने में और भी अधिक समय लगता है।
आइए पहले दूसरे से निपटें।

Get-AdvancedOptions व्यक्तिगत VM ऑब्जेक्ट्स के लिए सुविधाजनक है, लेकिन कई ऑब्जेक्ट्स के साथ काम करते समय बहुत बेकार है। हम वही जानकारी वर्चुअल मशीन ऑब्जेक्ट (गेट-वीएम) से भी प्राप्त कर सकते हैं। यह सिर्फ एक्सटेंशनडेटा ऑब्जेक्ट में अच्छी तरह से छिपा हुआ है। फ़िल्टरिंग से लैस होकर, हम आवश्यक डेटा प्राप्त करने की प्रक्रिया को तेज़ करते हैं।

हाथ की हल्की सी हरकत से यह होता है:


VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

इसमें बदल जाता है:


$VM | Where-Object {($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}}

आउटपुट Get-AdvancedOptions जैसा ही है, लेकिन यह कई गुना तेजी से काम करता है।

अब Get-VM पर जाएं। यह तेज़ नहीं है क्योंकि यह जटिल वस्तुओं से निपटता है। एक तार्किक सवाल उठता है: इस मामले में हमें अतिरिक्त जानकारी और एक राक्षसी पीएसओब्जेक्ट की आवश्यकता क्यों है, जब हमें केवल वीएम का नाम, इसकी स्थिति और एक मुश्किल विशेषता के मूल्य की आवश्यकता है?

इसके अलावा, गेट-एडवांस्डऑप्शंस के रूप में बाधा को स्क्रिप्ट से हटा दिया गया है। रनस्पेस पूल का उपयोग करना अब अतिश्योक्ति जैसा लगता है क्योंकि सत्र सौंपते समय स्क्वाट थ्रेड्स में धीमे कार्य को समानांतर करने की आवश्यकता नहीं रह गई है। उपकरण अच्छा है, लेकिन इस मामले के लिए नहीं.

आइए एक्सटेंशनडेटा के आउटपुट को देखें: यह गेट-व्यू ऑब्जेक्ट से ज्यादा कुछ नहीं है।

आइए पॉवरशेल मास्टर्स की प्राचीन तकनीक का उपयोग करें: फ़िल्टर, सॉर्टिंग और ग्रुपिंग का उपयोग करके एक पंक्ति। पिछली सभी भयावहताओं को खूबसूरती से एक पंक्ति में समेटा गया है और एक सत्र में क्रियान्वित किया गया है:


$AllVMs = Get-View -viewtype VirtualMachine -Property Name,Config.ExtraConfig,summary.runtime.powerstate | Where-Object {($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}} | Sort-Object CloudUUID | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group

हम समय मापते हैं:

9 सेकंड वांछित स्थिति के अनुसार फ़िल्टरिंग के साथ लगभग 10k वस्तुओं के लिए। महान!

इसके बजाय एक निष्कर्ष की

एक स्वीकार्य परिणाम सीधे उपकरण की पसंद पर निर्भर करता है। यह निश्चित रूप से कहना अक्सर मुश्किल होता है कि इसे हासिल करने के लिए वास्तव में क्या चुना जाना चाहिए। स्क्रिप्ट को तेज़ करने के लिए सूचीबद्ध तरीकों में से प्रत्येक अपनी प्रयोज्यता की सीमा के भीतर अच्छा है। मुझे उम्मीद है कि यह लेख आपके बुनियादी ढांचे में प्रक्रिया स्वचालन और अनुकूलन की मूल बातें समझने के कठिन कार्य में आपकी मदद करेगा।

पुनश्च: लेखक लेख तैयार करने में मदद और समर्थन के लिए समुदाय के सभी सदस्यों को धन्यवाद देता है। पंजे वाले भी. और यहां तक कि जिनके पैर नहीं हैं, वे भी बोआ कंस्ट्रिक्टर की तरह हैं।

स्रोत: www.habr.com

PowerCLI स्क्रिप्ट के लिए रॉकेट बूस्टर कैसे बनाएं

पहला चरण: रनस्पेस

दूसरा चरण: गेट-व्यू

VM को अनलोड करने के लिए एक स्क्रिप्ट लिखना

एक टिप्पणी जोड़ें उत्तर रद्द