🥇PowerCLI स्क्रिप्टसाठी रॉकेट बूस्टर कसे तयार करावे

लवकरच किंवा नंतर, कोणताही VMware सिस्टम प्रशासक नियमित कार्ये स्वयंचलित करण्यासाठी येतो. हे सर्व कमांड लाइनने सुरू होते, त्यानंतर पॉवरशेल किंवा व्हीएमवेअर पॉवरसीएलआय येते.

समजा तुम्ही ISE लाँच करण्यापेक्षा थोडे पुढे PowerShell मध्ये प्रभुत्व मिळवले आहे आणि मॉड्यूल्समधील मानक cmdlets वापरून जे “काही प्रकारच्या जादूमुळे” काम करतात. जेव्हा तुम्ही व्हर्च्युअल मशीन्स शेकडोमध्ये मोजण्यास सुरुवात कराल, तेव्हा तुम्हाला असे आढळेल की लहान स्केलवर मदत करणाऱ्या स्क्रिप्ट्स मोठ्या प्रमाणावर लक्षणीयरीत्या हळू चालतात.

या परिस्थितीत, 2 साधने मदत करतील:

पॉवरशेल रनस्पेसेस - एक दृष्टीकोन जो आपल्याला स्वतंत्र थ्रेड्समध्ये प्रक्रियांच्या अंमलबजावणीला समांतर करण्याची परवानगी देतो;
गेट-व्ह्यू - मूलभूत PowerCLI फंक्शन, Windows मधील Get-WMIObject चे अॅनालॉग. हे cmdlet घटकांसोबत असलेल्या वस्तू खेचत नाही, परंतु साध्या डेटा प्रकारांसह साध्या ऑब्जेक्टच्या स्वरूपात माहिती प्राप्त करते. बर्याच बाबतीत ते वेगाने बाहेर येते.

पुढे, मी प्रत्येक साधनाबद्दल थोडक्यात बोलेन आणि वापराची उदाहरणे दाखवेन. चला विशिष्ट स्क्रिप्ट्सचे विश्लेषण करू आणि एक दुसऱ्यापेक्षा केव्हा चांगले कार्य करते ते पाहू. जा!

पहिला टप्पा: रनस्पेस

तर, रनस्पेस मुख्य मॉड्यूलच्या बाहेरील कार्यांच्या समांतर प्रक्रियेसाठी डिझाइन केलेले आहे. अर्थात, तुम्ही दुसरी प्रक्रिया सुरू करू शकता जी काही मेमरी, प्रोसेसर इ. खाऊन टाकेल. जर तुमची स्क्रिप्ट काही मिनिटांत रन झाली आणि एक गिगाबाइट मेमरी वापरली, तर बहुधा तुम्हाला रनस्पेसची गरज भासणार नाही. परंतु हजारो वस्तूंच्या स्क्रिप्टसाठी ते आवश्यक आहे.

तुम्ही येथे शिकणे सुरू करू शकता:
पॉवरशेल रनस्पेसेसचा वापर सुरू करणे: भाग १

रनस्पेस वापरल्याने काय मिळते:

कार्यान्वित आदेशांची यादी मर्यादित करून गती,
कार्यांची समांतर अंमलबजावणी,
सुरक्षा

रनस्पेस मदत करते तेव्हा इंटरनेटवरील एक उदाहरण येथे आहे:

“स्टोरेज विवाद हे vSphere मध्ये ट्रॅक करण्यासाठी सर्वात कठीण मेट्रिक्सपैकी एक आहे. vCenter मध्ये, तुम्ही फक्त जाऊन पाहू शकत नाही की कोणते VM अधिक स्टोरेज संसाधने वापरत आहे. सुदैवाने, तुम्ही हा डेटा काही मिनिटांत संकलित करू शकता PowerShell ला धन्यवाद.
मी एक स्क्रिप्ट सामायिक करेन जी VMware सिस्टम प्रशासकांना संपूर्ण vCenter मध्ये द्रुतपणे शोधण्यास आणि त्यांच्या सरासरी वापरावरील डेटासह VM ची सूची प्राप्त करण्यास अनुमती देईल.
स्क्रिप्ट पॉवरशेल रनस्पेसचा वापर करते ज्यामुळे प्रत्येक ESXi होस्टला त्याच्या स्वत:च्या VM मधून वेगळ्या रनस्पेसमध्ये उपभोगाची माहिती संकलित करता येते आणि पूर्ण झाल्याची त्वरित तक्रार केली जाते. यजमानांद्वारे पुनरावृत्ती करण्याऐवजी आणि प्रत्येकाची विनंती पूर्ण होण्याची वाट पाहण्याऐवजी पॉवरशेलला त्वरित जॉब बंद करण्यास अनुमती देते.

स्त्रोत: ESXi डॅशबोर्डवर व्हर्च्युअल मशीन I/O कसे दाखवायचे

खालील बाबतीत, रनस्पेस यापुढे उपयुक्त नाही:

“मी एक स्क्रिप्ट लिहिण्याचा प्रयत्न करत आहे जी VM वरून भरपूर डेटा गोळा करते आणि आवश्यक असल्यास नवीन डेटा लिहिते. समस्या अशी आहे की तेथे बरेच VM आहेत आणि एका मशीनवर 5-8 सेकंद खर्च केले जातात.”

स्त्रोत: RunspacePool सह Multithreading PowerCLI

येथे तुम्हाला Get-View ची आवश्यकता असेल, चला पुढे जाऊ या.

दुसरा टप्पा: गेट-व्ह्यू

Get-View का उपयुक्त आहे हे समजून घेण्यासाठी, cmdlets सर्वसाधारणपणे कसे कार्य करतात हे लक्षात ठेवण्यासारखे आहे.

API संदर्भ पुस्तकांचा अभ्यास न करता आणि पुढील चाक पुन्हा शोधण्याची आवश्यकता न ठेवता सोयीस्करपणे माहिती मिळविण्यासाठी Cmdlets आवश्यक आहेत. जुन्या दिवसात कोडच्या शंभर किंवा दोन ओळी काय घ्यायच्या, पॉवरशेल तुम्हाला एका कमांडसह करण्याची परवानगी देते. आम्ही या सोयीसाठी वेगाने पैसे देतो. स्वत: cmdlets मध्ये कोणतीही जादू नाही: समान स्क्रिप्ट, परंतु कमी स्तरावर, सनी भारतातील मास्टरच्या कुशल हातांनी लिहिलेली.

आता, Get-View शी तुलना करण्यासाठी, Get-VM cmdlet घेऊ: ते व्हर्च्युअल मशीनमध्ये प्रवेश करते आणि एक संमिश्र ऑब्जेक्ट परत करते, म्हणजेच ते इतर संबंधित ऑब्जेक्ट्स त्यास संलग्न करते: VMHost, Datastore इ.

गेट-व्ह्यू त्याच्या जागी परत आलेल्या ऑब्जेक्टमध्ये अनावश्यक काहीही जोडत नाही. शिवाय, आम्हाला कोणती माहिती आवश्यक आहे हे काटेकोरपणे निर्दिष्ट करण्याची परवानगी देते, ज्यामुळे आउटपुट ऑब्जेक्ट सुलभ होईल. सर्वसाधारणपणे विंडोज सर्व्हरमध्ये आणि विशेषतः हायपर-व्ही मध्ये, Get-WMIObject cmdlet थेट अॅनालॉग आहे - कल्पना अगदी समान आहे.

गेट-व्ह्यू पॉइंट ऑब्जेक्ट्सवरील रूटीन ऑपरेशन्ससाठी गैरसोयीचे आहे. पण हजारो आणि हजारो वस्तूंचा विचार केला तर त्याला किंमत नसते.

तुम्ही VMware ब्लॉगवर अधिक वाचू शकता: गेट-व्ह्यूचा परिचय

आता मी तुम्हाला एक वास्तविक केस वापरून सर्वकाही दाखवतो.

VM अनलोड करण्यासाठी स्क्रिप्ट लिहित आहे

एके दिवशी माझ्या सहकाऱ्याने मला त्याची स्क्रिप्ट ऑप्टिमाइझ करण्यास सांगितले. कार्य एक सामान्य दिनचर्या आहे: डुप्लिकेट cloud.uuid पॅरामीटरसह सर्व VM शोधा (होय, vCloud डायरेक्टरमध्ये VM क्लोन करताना हे शक्य आहे).

मनात येणारा स्पष्ट उपाय आहे:

सर्व VM ची यादी मिळवा.
यादी कशीतरी पार्स करा.

मूळ आवृत्ती ही साधी स्क्रिप्ट होती:

function Get-CloudUUID1 {
   # Получаем список всех ВМ
   $vms = Get-VM
   $report = @()

   # Обрабатываем каждый объект, получая из него только 2 свойства: Имя ВМ и Cloud UUID.
   # Заносим данные в новый PS-объект с полями VM и UUID
   foreach ($vm in $vms)
   {
       $table = "" | select VM,UUID

       $table.VM = $vm.name
       $table.UUID = ($vm | Get-AdvancedSetting -Name cloud.uuid).Value
          
       $report += $table
   }
# Возвращаем все объекты
   $report
}
# Далее РУКАМИ парсим полученный результат

सर्व काही अत्यंत सोपे आणि स्पष्ट आहे. कॉफी ब्रेक घेऊन एक-दोन मिनिटांत लिहिता येईल. गाळण्याची प्रक्रिया किंवा पध्दतीवर स्क्रू करा आणि ते पूर्ण झाले.

पण वेळ मोजूया:

2 मिनिटे 47 सेकंद जवळजवळ 10k VM वर प्रक्रिया करताना. बोनस म्हणजे फिल्टरची अनुपस्थिती आणि परिणाम स्वहस्ते क्रमवारी लावण्याची गरज. अर्थात, स्क्रिप्टला ऑप्टिमायझेशन आवश्यक आहे.

जेव्हा तुम्हाला vCenter कडून एकाच वेळी होस्ट मेट्रिक्स मिळवायचे असतात किंवा हजारो वस्तूंवर प्रक्रिया करण्याची आवश्यकता असते तेव्हा रनस्पेसेस प्रथम बचावासाठी येतात. या दृष्टिकोनातून काय मिळते ते पाहूया.

पहिला वेग चालू करा: पॉवरशेल रनस्पेसेस

या स्क्रिप्टसाठी लक्षात येणारी पहिली गोष्ट म्हणजे लूप क्रमाक्रमाने कार्यान्वित करणे, परंतु समांतर थ्रेड्समध्ये, सर्व डेटा एका ऑब्जेक्टमध्ये गोळा करणे आणि ते फिल्टर करणे.

पण एक समस्या आहे: PowerCLI आम्हाला vCenter वर अनेक स्वतंत्र सत्रे उघडण्याची परवानगी देणार नाही आणि एक मजेदार त्रुटी टाकेल:

You have modified the global:DefaultVIServer and global:DefaultVIServers system variables. This is not allowed. Please reset them to $null and reconnect to the vSphere server.

याचे निराकरण करण्यासाठी, तुम्ही प्रथम प्रवाहात सत्र माहिती पास करणे आवश्यक आहे. आपण लक्षात ठेवूया की पॉवरशेल अशा ऑब्जेक्ट्ससह कार्य करते जे पॅरामीटर म्हणून फंक्शन किंवा स्क्रिप्टब्लॉकमध्ये पास केले जाऊ शकतात. चला $global:DefaultVIServers (-NotDefault की सह कनेक्ट-VIServer) बायपास करून, अशा ऑब्जेक्टच्या स्वरूपात सत्र पास करूया:

$ConnectionString = @()
foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

आता Runspace Pools द्वारे मल्टीथ्रेडिंग लागू करू.

अल्गोरिदम खालीलप्रमाणे आहे:

आम्हाला सर्व VM ची यादी मिळते.
समांतर प्रवाहात आपल्याला cloud.uuid मिळते.
आम्ही एका ऑब्जेक्टमध्ये प्रवाहांमधून डेटा गोळा करतो.
आम्ही क्लाउडयूयूआयडी फील्डच्या मूल्यानुसार ऑब्जेक्टचे गटबद्ध करून फिल्टर करतो: जिथे अद्वितीय मूल्यांची संख्या 1 पेक्षा जास्त आहे ते आम्ही शोधत असलेले व्हीएम आहेत.

परिणामी, आम्हाला स्क्रिप्ट मिळते:


function Get-VMCloudUUID {
   param (
       [string[]]
       [ValidateNotNullOrEmpty()]
       $vCenters = @(),
       [int]$MaxThreads,
       [System.Management.Automation.PSCredential]
       [System.Management.Automation.Credential()]
       $Credential
   )

   $ConnectionString = @()

   # Создаем объект с сессионным ключом
   foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

   # Получаем список всех ВМ
   $Global:AllVMs = Get-VM -Server $ConnectionString

   # Поехали!
   $ISS = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
   $RunspacePool = [runspacefactory]::CreateRunspacePool(1, $MaxThreads, $ISS, $Host)
   $RunspacePool.ApartmentState = "MTA"
   $RunspacePool.Open()
   $Jobs = @()

# ScriptBlock с магией!)))
# Именно он будет выполняться в потоке
   $scriptblock = {
       Param (
       $ConnectionString,
       $VM
       )

       $Data = $VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

       return $Data
   }
# Генерируем потоки

   foreach($VM in $AllVMs)
   {
       $PowershellThread = [PowerShell]::Create()
# Добавляем скрипт
       $null = $PowershellThread.AddScript($scriptblock)
# И объекты, которые передадим в качестве параметров скрипту
       $null = $PowershellThread.AddArgument($ConnectionString)
       $null = $PowershellThread.AddArgument($VM)
       $PowershellThread.RunspacePool = $RunspacePool
       $Handle = $PowershellThread.BeginInvoke()
       $Job = "" | Select-Object Handle, Thread, object
       $Job.Handle = $Handle
       $Job.Thread = $PowershellThread
       $Job.Object = $VM.ToString()
       $Jobs += $Job
   }

# Ставим градусник, чтобы наглядно отслеживать выполнение заданий
# И здесь же прибиваем отработавшие задания
   While (@($Jobs | Where-Object {$_.Handle -ne $Null}).count -gt 0)
   {
       $Remaining = "$($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).object)"

       If ($Remaining.Length -gt 60) {
           $Remaining = $Remaining.Substring(0,60) + "..."
       }

       Write-Progress -Activity "Waiting for Jobs - $($MaxThreads - $($RunspacePool.GetAvailableRunspaces())) of $MaxThreads threads running" -PercentComplete (($Jobs.count - $($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).count)) / $Jobs.Count * 100) -Status "$(@($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False})).count) remaining - $remaining"

       ForEach ($Job in $($Jobs | Where-Object {$_.Handle.IsCompleted -eq $True})){
           $Job.Thread.EndInvoke($Job.Handle)     
           $Job.Thread.Dispose()
           $Job.Thread = $Null
           $Job.Handle = $Null
       }
   }

   $RunspacePool.Close() | Out-Null
   $RunspacePool.Dispose() | Out-Null
}


function Get-CloudUUID2
{
   [CmdletBinding()]
   param(
   [string[]]
   [ValidateNotNullOrEmpty()]
   $vCenters = @(),
   [int]$MaxThreads = 50,
   [System.Management.Automation.PSCredential]
   [System.Management.Automation.Credential()]
   $Credential)

   if(!$Credential)
   {
       $Credential = Get-Credential -Message "Please enter vCenter credentials."
   }

   # Вызов функции Get-VMCloudUUID, где мы распараллеливаем операцию
   $AllCloudVMs = Get-VMCloudUUID -vCenters $vCenters -MaxThreads $MaxThreads -Credential $Credential
   $Result = $AllCloudVMs | Sort-Object Value | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group
   $Result
}

या स्क्रिप्टचे सौंदर्य हे आहे की ते इतर समान प्रकरणांमध्ये स्क्रिप्टब्लॉक आणि पॅरामीटर्स बदलून वापरले जाऊ शकते जे प्रवाहात पास केले जातील. त्याचे शोषण करा!

आम्ही वेळ मोजतो:

55 सेकंद. हे चांगले आहे, परंतु ते अद्याप जलद असू शकते.

चला दुसऱ्या गतीकडे जाऊ: GetView

काय चूक आहे ते शोधूया.
सर्वप्रथम, Get-VM cmdlet कार्यान्वित होण्यासाठी बराच वेळ घेते.
दुसरे, Get-AdvancedOptions cmdlet पूर्ण होण्यासाठी आणखी जास्त वेळ लागतो.
प्रथम दुसऱ्याशी व्यवहार करूया.

Get-AdvancedOptions वैयक्तिक VM ऑब्जेक्ट्ससाठी सोयीस्कर आहे, परंतु बर्‍याच ऑब्जेक्ट्ससह काम करताना खूप अनाड़ी आहे. व्हर्च्युअल मशीन ऑब्जेक्टवरून (गेट-व्हीएम) हीच माहिती आपण मिळवू शकतो. हे फक्त ExtensionData ऑब्जेक्टमध्ये चांगले दफन केले आहे. फिल्टरिंगसह सशस्त्र, आम्ही आवश्यक डेटा प्राप्त करण्याच्या प्रक्रियेस गती देतो.

हाताच्या किंचित हालचालीसह हे आहे:


VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

यात वळते:


$VM | Where-Object {($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}}

आउटपुट Get-AdvancedOptions सारखेच आहे, परंतु ते अनेक वेळा जलद कार्य करते.

आता Get-VM वर. हे वेगवान नाही कारण ते जटिल वस्तूंशी संबंधित आहे. एक तार्किक प्रश्न उद्भवतो: या प्रकरणात आपल्याला अतिरिक्त माहिती आणि राक्षसी पीएसओ ऑब्जेक्टची आवश्यकता का आहे, जेव्हा आपल्याला फक्त व्हीएमचे नाव, त्याची स्थिती आणि अवघड गुणधर्माचे मूल्य आवश्यक आहे?

शिवाय, Get-AdvancedOptions च्या स्वरुपातील अडथळा स्क्रिप्टमधून दूर करण्यात आला आहे. रनस्पेस पूल्स वापरणे आता ओव्हरकिलसारखे दिसते कारण सेशन सोपवताना स्क्वॅट थ्रेड्सवर धीमे कार्य समांतर करण्याची आवश्यकता नाही. साधन चांगले आहे, परंतु या प्रकरणात नाही.

चला ExtensionData चे आउटपुट पाहू: ते गेट-व्ह्यू ऑब्जेक्टपेक्षा अधिक काही नाही.

चला पॉवरशेल मास्टर्सच्या प्राचीन तंत्रावर कॉल करूया: फिल्टर, सॉर्टिंग आणि ग्रुपिंग वापरून एक ओळ. मागील सर्व भयपट सुरेखपणे एका ओळीत कोसळले आणि एका सत्रात कार्यान्वित केले:


$AllVMs = Get-View -viewtype VirtualMachine -Property Name,Config.ExtraConfig,summary.runtime.powerstate | Where-Object {($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}} | Sort-Object CloudUUID | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group

आम्ही वेळ मोजतो:

9 सेकंद इच्छित स्थितीनुसार फिल्टरिंगसह जवळजवळ 10k वस्तूंसाठी. छान!

त्याऐवजी एक निष्कर्ष

स्वीकार्य परिणाम थेट साधनाच्या निवडीवर अवलंबून असतो. ते साध्य करण्यासाठी नक्की काय निवडले पाहिजे हे निश्चितपणे सांगणे अनेकदा कठीण असते. स्क्रिप्ट्सचा वेग वाढवण्यासाठी सूचीबद्ध केलेल्या पद्धतींपैकी प्रत्येक त्याच्या लागू होण्याच्या मर्यादेत चांगली आहे. मला आशा आहे की हा लेख तुमच्या इन्फ्रास्ट्रक्चरमधील प्रक्रिया ऑटोमेशन आणि ऑप्टिमायझेशनच्या मूलभूत गोष्टी समजून घेण्याच्या कठीण कार्यात तुम्हाला मदत करेल.

पुनश्च: लेख तयार करण्यात मदत आणि पाठबळ दिल्याबद्दल लेखक सर्व समुदाय सदस्यांचे आभार मानतो. अगदी पंजे असलेले. आणि ज्यांना पाय नाहीत ते देखील बोआ कंस्ट्रक्टरसारखे.

स्त्रोत: www.habr.com

पॉवरसीएलआय स्क्रिप्टसाठी रॉकेट बूस्टर कसे तयार करावे

पहिला टप्पा: रनस्पेस

दुसरा टप्पा: गेट-व्ह्यू

VM अनलोड करण्यासाठी स्क्रिप्ट लिहित आहे

एक टिप्पणी जोडा Отменить ответ