পাওয়ারসিএলআই স্ক্রিপ্টগুলির জন্য কীভাবে একটি রকেট বুস্টার তৈরি করবেন 

শীঘ্রই বা পরে, যেকোনো VMware সিস্টেম অ্যাডমিনিস্ট্রেটর রুটিন কাজগুলি স্বয়ংক্রিয় করতে আসে। এটি সব কমান্ড লাইন দিয়ে শুরু হয়, তারপর আসে PowerShell বা VMware PowerCLI।

ধরা যাক যে আপনি ISE চালু করার এবং "কিছু ধরণের জাদু" এর কারণে কাজ করে এমন মডিউল থেকে স্ট্যান্ডার্ড cmdlets ব্যবহার করার চেয়ে আরও কিছুটা এগিয়ে PowerShell আয়ত্ত করেছেন। আপনি যখন শত শত ভার্চুয়াল মেশিন গণনা শুরু করবেন, আপনি দেখতে পাবেন যে ছোট স্কেলে সাহায্য করে এমন স্ক্রিপ্টগুলি একটি বড় স্কেলে লক্ষণীয়ভাবে ধীর গতিতে চলে। 

এই পরিস্থিতিতে, 2 টি সরঞ্জাম সাহায্য করবে:

• পাওয়ারশেল রানস্পেস - একটি পদ্ধতি যা আপনাকে পৃথক থ্রেডে প্রক্রিয়াগুলির সম্পাদনকে সমান্তরাল করতে দেয়; 
• গেট-ভিউ - একটি মৌলিক PowerCLI ফাংশন, Windows-এ Get-WMIObject-এর একটি অ্যানালগ। এই cmdlet সত্তার সাথে থাকা বস্তুগুলিকে টেনে আনে না, তবে সাধারণ ডেটা টাইপ সহ একটি সাধারণ বস্তুর আকারে তথ্য গ্রহণ করে। অনেক ক্ষেত্রে তা দ্রুত বেরিয়ে আসে।

পরবর্তী, আমি সংক্ষেপে প্রতিটি টুল সম্পর্কে কথা বলব এবং ব্যবহারের উদাহরণ দেখাব। আসুন নির্দিষ্ট স্ক্রিপ্টগুলি বিশ্লেষণ করি এবং দেখি কখন একটি অন্যটির চেয়ে ভাল কাজ করে। যাওয়া!

প্রথম পর্যায়: রানস্পেস

সুতরাং, রানস্পেস প্রধান মডিউলের বাইরে কাজগুলির সমান্তরাল প্রক্রিয়াকরণের জন্য ডিজাইন করা হয়েছে। অবশ্যই, আপনি অন্য একটি প্রক্রিয়া চালু করতে পারেন যা কিছু মেমরি, প্রসেসর ইত্যাদি খেয়ে ফেলবে৷ যদি আপনার স্ক্রিপ্ট কয়েক মিনিটের মধ্যে চলে এবং এক গিগাবাইট মেমরি খরচ করে, তাহলে সম্ভবত আপনার রানস্পেসের প্রয়োজন হবে না৷ কিন্তু হাজার হাজার বস্তুর স্ক্রিপ্টের জন্য এটি প্রয়োজন।

আপনি এখানে শেখা শুরু করতে পারেন: 
পাওয়ারশেল রানস্পেসের ব্যবহার শুরু: পার্ট 1

রানস্পেস ব্যবহার করে কী দেয়:

• এক্সিকিউটেড কমান্ডের তালিকা সীমিত করে গতি,
• সমান্তরাল কার্য সম্পাদন,
• সুরক্ষা।

এখানে ইন্টারনেট থেকে একটি উদাহরণ দেওয়া হল যখন রানস্পেস সাহায্য করে:

"সঞ্চয়স্থানের বিরোধ vSphere-এ ট্র্যাক করার জন্য সবচেয়ে কঠিন মেট্রিকগুলির মধ্যে একটি। vCenter-এর ভিতরে, আপনি শুধু গিয়ে দেখতে পারবেন না কোন VM বেশি স্টোরেজ রিসোর্স ব্যবহার করছে। ভাগ্যক্রমে, আপনি পাওয়ারশেলকে ধন্যবাদ মিনিটের মধ্যে এই ডেটা সংগ্রহ করতে পারেন।
আমি একটি স্ক্রিপ্ট শেয়ার করব যা VMware সিস্টেম অ্যাডমিনিস্ট্রেটরদের দ্রুত vCenter জুড়ে অনুসন্ধান করতে এবং তাদের গড় খরচের ডেটা সহ VM-এর একটি তালিকা পেতে অনুমতি দেবে।  
স্ক্রিপ্টটি PowerShell রানস্পেস ব্যবহার করে প্রতিটি ESXi হোস্টকে একটি পৃথক রানস্পেসে নিজস্ব VM থেকে খরচের তথ্য সংগ্রহ করতে এবং অবিলম্বে সমাপ্তির রিপোর্ট করতে দেয়। এটি পাওয়ারশেলকে হোস্টের মাধ্যমে পুনরাবৃত্তি করার পরিবর্তে এবং প্রত্যেকের অনুরোধটি সম্পূর্ণ করার জন্য অপেক্ষা করার পরিবর্তে অবিলম্বে কাজগুলি বন্ধ করতে দেয়।"

উত্স: কিভাবে একটি ESXi ড্যাশবোর্ডে ভার্চুয়াল মেশিন I/O দেখাবেন

নীচের ক্ষেত্রে, রানস্পেস আর উপযোগী নয়:

“আমি একটি স্ক্রিপ্ট লেখার চেষ্টা করছি যা একটি VM থেকে প্রচুর ডেটা সংগ্রহ করে এবং প্রয়োজনে নতুন ডেটা লেখে। সমস্যাটি হল এখানে প্রচুর ভিএম রয়েছে এবং একটি মেশিনে 5-8 সেকেন্ড ব্যয় করা হয়।" 

উত্স: রানস্পেসপুলের সাথে মাল্টিথ্রেডিং পাওয়ারসিএলআই

এখানে আপনার গেট-ভিউ লাগবে, আসুন এটিতে এগিয়ে যাই। 

দ্বিতীয় পর্যায়: গেট-ভিউ

Get-View কেন দরকারী তা বোঝার জন্য, সাধারণভাবে cmdlets কীভাবে কাজ করে তা মনে রাখা মূল্যবান। 

API রেফারেন্স বই অধ্যয়ন এবং পরবর্তী চাকা পুনরায় উদ্ভাবন করার প্রয়োজন ছাড়াই সুবিধামত তথ্য প্রাপ্ত করার জন্য Cmdlets প্রয়োজন। পুরানো দিনে যা একশ বা দুই লাইনের কোড নিয়েছিল, পাওয়ারশেল আপনাকে একটি কমান্ড দিয়ে করতে দেয়। আমরা দ্রুততার সাথে এই সুবিধার জন্য অর্থ প্রদান করি। cmdlets নিজেদের মধ্যে কোন জাদু নেই: একই স্ক্রিপ্ট, কিন্তু একটি নিম্ন স্তরে, রৌদ্রোজ্জ্বল ভারত থেকে একজন মাস্টারের দক্ষ হাতে লেখা।

এখন, Get-View এর সাথে তুলনা করার জন্য, আসুন Get-VM cmdlet নেওয়া যাক: এটি ভার্চুয়াল মেশিনে অ্যাক্সেস করে এবং একটি যৌগিক বস্তু ফেরত দেয়, অর্থাৎ এটি অন্যান্য সম্পর্কিত বস্তু সংযুক্ত করে: VMHost, Datastore ইত্যাদি।  

Get-View এর জায়গায় ফিরে আসা বস্তুতে অপ্রয়োজনীয় কিছু যোগ করে না। অধিকন্তু, এটি আমাদের কোন তথ্যের প্রয়োজন তা কঠোরভাবে নির্দিষ্ট করার অনুমতি দেয়, যা আউটপুট অবজেক্টকে সহজ করে তুলবে। সাধারণভাবে উইন্ডোজ সার্ভারে এবং বিশেষত হাইপার-ভিতে, Get-WMIObject cmdlet একটি সরাসরি অ্যানালগ - ধারণাটি ঠিক একই।

পয়েন্ট অবজেক্টে রুটিন অপারেশনের জন্য গেট-ভিউ অসুবিধাজনক। কিন্তু যখন হাজার হাজার বস্তুর কথা আসে, তখন এর কোনো দাম থাকে না।

আপনি VMware ব্লগে আরও পড়তে পারেন: গেট-ভিউ এর ভূমিকা

এখন আমি আপনাকে একটি বাস্তব কেস ব্যবহার করে সবকিছু দেখাব। 

একটি VM আনলোড করার জন্য একটি স্ক্রিপ্ট লেখা

একদিন আমার সহকর্মী আমাকে তার স্ক্রিপ্ট অপ্টিমাইজ করতে বললেন। কাজটি একটি সাধারণ রুটিন: একটি ডুপ্লিকেট Cloud.uuid প্যারামিটার সহ সমস্ত VM খুঁজুন (হ্যাঁ, vCloud ডিরেক্টরে একটি VM ক্লোন করার সময় এটি সম্ভব)। 

সুস্পষ্ট সমাধান যা মনে আসে তা হল:

1. সমস্ত VM-এর একটি তালিকা পান।
2. কোনোভাবে তালিকা পার্স.

মূল সংস্করণটি এই সহজ স্ক্রিপ্ট ছিল:

function Get-CloudUUID1 {
   # Получаем список всех ВМ
   $vms = Get-VM
   $report = @()

   # Обрабатываем каждый объект, получая из него только 2 свойства: Имя ВМ и Cloud UUID.
   # Заносим данные в новый PS-объект с полями VM и UUID
   foreach ($vm in $vms)
   {
       $table = "" | select VM,UUID

       $table.VM = $vm.name
       $table.UUID = ($vm | Get-AdvancedSetting -Name cloud.uuid).Value
          
       $report += $table
   }
# Возвращаем все объекты
   $report
}
# Далее РУКАМИ парсим полученный результат

সবকিছু অত্যন্ত সহজ এবং পরিষ্কার. কফির বিরতি দিয়ে মিনিট দুয়েক লেখা যায়। পরিস্রাবণ উপর স্ক্রু এবং এটি সম্পন্ন.

কিন্তু আসুন সময় পরিমাপ করা যাক:

2 মিনিট 47 সেকেন্ড প্রায় 10k VM প্রক্রিয়া করার সময়। বোনাস হল ফিল্টারের অনুপস্থিতি এবং ফলাফল ম্যানুয়ালি সাজানোর প্রয়োজন। স্পষ্টতই, স্ক্রিপ্টের অপ্টিমাইজেশন প্রয়োজন।

যখন আপনাকে একই সাথে vCenter থেকে হোস্ট মেট্রিক্স পেতে বা কয়েক হাজার অবজেক্ট প্রসেস করতে হবে তখন রানস্পেসগুলিই প্রথম উদ্ধারে আসে৷ দেখা যাক এই পদ্ধতি কি নিয়ে আসে।

প্রথম গতি চালু করুন: পাওয়ারশেল রানস্পেস

এই স্ক্রিপ্টের জন্য প্রথম যে জিনিসটি মনে আসে তা হল লুপটি ক্রমানুসারে চালানো না, কিন্তু সমান্তরাল থ্রেডে, একটি বস্তুতে সমস্ত ডেটা সংগ্রহ করুন এবং এটি ফিল্টার করুন। 

কিন্তু একটি সমস্যা আছে: PowerCLI আমাদের vCenter-এ অনেকগুলি স্বাধীন সেশন খুলতে দেবে না এবং একটি মজার ত্রুটি ফেলবে:

You have modified the global:DefaultVIServer and global:DefaultVIServers system variables. This is not allowed. Please reset them to $null and reconnect to the vSphere server.

এটি সমাধান করতে, আপনাকে প্রথমে স্ট্রিমের ভিতরে সেশনের তথ্য পাস করতে হবে। আমাদের মনে রাখা যাক যে PowerShell এমন বস্তুগুলির সাথে কাজ করে যেগুলি একটি ফাংশনে বা স্ক্রিপ্টব্লকের প্যারামিটার হিসাবে পাস করা যেতে পারে। আসুন $global:DefaultVIServers (-NotDefault কী দিয়ে Connect-VIServer) বাইপাস করে এই ধরনের একটি বস্তুর আকারে সেশনটি পাস করি:

$ConnectionString = @()
foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

এখন রানস্পেস পুলের মাধ্যমে মাল্টিথ্রেডিং বাস্তবায়ন করা যাক।  

অ্যালগরিদম নিম্নরূপ:

1. আমরা সমস্ত VM-এর একটি তালিকা পাই।
2. সমান্তরাল প্রবাহে আমরা Cloud.uuid পাই।
3. আমরা একটি বস্তুতে স্ট্রিম থেকে ডেটা সংগ্রহ করি।
4. আমরা ক্লাউডইউআইডি ক্ষেত্রের মান অনুসারে বস্তুটিকে গোষ্ঠীবদ্ধ করে ফিল্টার করি: যেখানে অনন্য মানের সংখ্যা 1-এর বেশি সেগুলি হল আমরা যে VMগুলি খুঁজছি।

ফলস্বরূপ, আমরা স্ক্রিপ্ট পাই:

function Get-VMCloudUUID {
   param (
       [string[]]
       [ValidateNotNullOrEmpty()]
       $vCenters = @(),
       [int]$MaxThreads,
       [System.Management.Automation.PSCredential]
       [System.Management.Automation.Credential()]
       $Credential
   )

   $ConnectionString = @()

   # Создаем объект с сессионным ключом
   foreach ($vCenter in $vCenters)
   {
       try {
           $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -AllLinked -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
       }
       catch {
           if ($er.Message -like "*not part of a linked mode*")
           {
               try {
                   $ConnectionString += Connect-VIServer -Server $vCenter -Credential $Credential -NotDefault -Force -ErrorAction stop -WarningAction SilentlyContinue -ErrorVariable er
               }
               catch {
                   throw $_
               }
              
           }
           else {
               throw $_
           }
       }
   }

   # Получаем список всех ВМ
   $Global:AllVMs = Get-VM -Server $ConnectionString

   # Поехали!
   $ISS = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
   $RunspacePool = [runspacefactory]::CreateRunspacePool(1, $MaxThreads, $ISS, $Host)
   $RunspacePool.ApartmentState = "MTA"
   $RunspacePool.Open()
   $Jobs = @()

# ScriptBlock с магией!)))
# Именно он будет выполняться в потоке
   $scriptblock = {
       Param (
       $ConnectionString,
       $VM
       )

       $Data = $VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

       return $Data
   }
# Генерируем потоки

   foreach($VM in $AllVMs)
   {
       $PowershellThread = [PowerShell]::Create()
# Добавляем скрипт
       $null = $PowershellThread.AddScript($scriptblock)
# И объекты, которые передадим в качестве параметров скрипту
       $null = $PowershellThread.AddArgument($ConnectionString)
       $null = $PowershellThread.AddArgument($VM)
       $PowershellThread.RunspacePool = $RunspacePool
       $Handle = $PowershellThread.BeginInvoke()
       $Job = "" | Select-Object Handle, Thread, object
       $Job.Handle = $Handle
       $Job.Thread = $PowershellThread
       $Job.Object = $VM.ToString()
       $Jobs += $Job
   }

# Ставим градусник, чтобы наглядно отслеживать выполнение заданий
# И здесь же прибиваем отработавшие задания
   While (@($Jobs | Where-Object {$_.Handle -ne $Null}).count -gt 0)
   {
       $Remaining = "$($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).object)"

       If ($Remaining.Length -gt 60) {
           $Remaining = $Remaining.Substring(0,60) + "..."
       }

       Write-Progress -Activity "Waiting for Jobs - $($MaxThreads - $($RunspacePool.GetAvailableRunspaces())) of $MaxThreads threads running" -PercentComplete (($Jobs.count - $($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False}).count)) / $Jobs.Count * 100) -Status "$(@($($Jobs | Where-Object {$_.Handle.IsCompleted -eq $False})).count) remaining - $remaining"

       ForEach ($Job in $($Jobs | Where-Object {$_.Handle.IsCompleted -eq $True})){
           $Job.Thread.EndInvoke($Job.Handle)     
           $Job.Thread.Dispose()
           $Job.Thread = $Null
           $Job.Handle = $Null
       }
   }

   $RunspacePool.Close() | Out-Null
   $RunspacePool.Dispose() | Out-Null
}


function Get-CloudUUID2
{
   [CmdletBinding()]
   param(
   [string[]]
   [ValidateNotNullOrEmpty()]
   $vCenters = @(),
   [int]$MaxThreads = 50,
   [System.Management.Automation.PSCredential]
   [System.Management.Automation.Credential()]
   $Credential)

   if(!$Credential)
   {
       $Credential = Get-Credential -Message "Please enter vCenter credentials."
   }

   # Вызов функции Get-VMCloudUUID, где мы распараллеливаем операцию
   $AllCloudVMs = Get-VMCloudUUID -vCenters $vCenters -MaxThreads $MaxThreads -Credential $Credential
   $Result = $AllCloudVMs | Sort-Object Value | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group
   $Result
}

এই স্ক্রিপ্টটির সৌন্দর্য হল যে এটি স্ক্রিপ্টব্লক এবং স্ট্রীমে পাস করা প্যারামিটারগুলি প্রতিস্থাপন করে অন্যান্য অনুরূপ ক্ষেত্রে ব্যবহার করা যেতে পারে। এটা শোষণ!

আমরা সময় পরিমাপ করি:

55 সেকেন্ড। এটি আরও ভাল, তবে এটি এখনও দ্রুত হতে পারে। 

দ্বিতীয় গতিতে চলুন: GetView

চলুন খুঁজে বের করা যাক কি ভুল.
প্রথম এবং সর্বাগ্রে, Get-VM cmdlet কার্যকর হতে অনেক সময় নেয়।
দ্বিতীয়ত, Get-AdvancedOptions cmdlet সম্পূর্ণ হতে আরও বেশি সময় নেয়।
আসুন প্রথমে দ্বিতীয়টির সাথে মোকাবিলা করি। 

Get-AdvancedOptions পৃথক ভিএম অবজেক্টের জন্য সুবিধাজনক, কিন্তু অনেক অবজেক্টের সাথে কাজ করার সময় খুব আনাড়ি। আমরা ভার্চুয়াল মেশিন অবজেক্ট থেকে একই তথ্য পেতে পারি (Get-VM)। এটি এক্সটেনশনডেটা অবজেক্টে ভালভাবে কবর দেওয়া হয়েছে। ফিল্টারিং দিয়ে সজ্জিত, আমরা প্রয়োজনীয় ডেটা প্রাপ্তির প্রক্রিয়াটিকে গতিশীল করি।

হাতের সামান্য নড়াচড়ার সাথে এটি হল:

VM | Get-AdvancedSetting -Name Cloud.uuid -Server $ConnectionString | Select-Object @{N="VMName";E={$_.Entity.Name}},@{N="CloudUUID";E={$_.Value}},@{N="PowerState";E={$_.Entity.PowerState}}

এতে পরিণত হয়:

$VM | Where-Object {($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.ExtensionData.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}}

আউটপুট Get-AdvancedOptions এর মতই, কিন্তু এটি অনেকগুণ দ্রুত কাজ করে। 

এখন Get-VM-এ। এটি দ্রুত নয় কারণ এটি জটিল বস্তু নিয়ে কাজ করে। একটি যৌক্তিক প্রশ্ন উঠেছে: কেন আমাদের এই ক্ষেত্রে অতিরিক্ত তথ্য এবং একটি দানবীয় PSObject দরকার, যখন আমাদের শুধু VM-এর নাম, এর অবস্থা এবং একটি জটিল বৈশিষ্ট্যের মান প্রয়োজন?  

উপরন্তু, Get-AdvancedOptions আকারে বাধা স্ক্রিপ্ট থেকে সরানো হয়েছে. রানস্পেস পুল ব্যবহার করা এখন ওভারকিলের মতো মনে হচ্ছে কারণ একটি সেশন হস্তান্তর করার সময় স্কোয়াট থ্রেড জুড়ে একটি ধীর কাজ সমান্তরাল করার আর প্রয়োজন নেই। টুল ভাল, কিন্তু এই ক্ষেত্রে না. 

আসুন ExtensionData-এর আউটপুট দেখি: এটি একটি Get-View অবজেক্ট ছাড়া আর কিছুই নয়। 

আসুন PowerShell মাস্টারদের প্রাচীন কৌশলে কল করা যাক: ফিল্টার, বাছাই এবং গ্রুপিং ব্যবহার করে এক লাইন। সমস্ত পূর্ববর্তী হরর সুন্দরভাবে এক লাইনে ভেঙে ফেলা হয়েছে এবং একটি সেশনে কার্যকর করা হয়েছে:

$AllVMs = Get-View -viewtype VirtualMachine -Property Name,Config.ExtraConfig,summary.runtime.powerstate | Where-Object {($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value -ne $null} | Select-Object @{N="VMName";E={$_.Name}},@{N="CloudUUID";E={($_.Config.ExtraConfig | Where-Object {$_.key -eq "cloud.uuid"}).Value}},@{N="PowerState";E={$_.summary.runtime.powerstate}} | Sort-Object CloudUUID | Group-Object -Property CloudUUID | Where-Object -FilterScript {$_.Count -gt 1} | Select-Object -ExpandProperty Group

আমরা সময় পরিমাপ করি:

9 সেকেন্ড পছন্দসই অবস্থা দ্বারা ফিল্টারিং সহ প্রায় 10k বস্তুর জন্য। দারুণ!

পরিবর্তে একটি উপসংহারের

একটি গ্রহণযোগ্য ফলাফল সরাসরি টুল পছন্দ উপর নির্ভর করে। এটি অর্জনের জন্য ঠিক কী বেছে নেওয়া উচিত তা নিশ্চিতভাবে বলা প্রায়শই কঠিন। স্ক্রিপ্টের গতি বাড়ানোর জন্য তালিকাভুক্ত পদ্ধতিগুলির প্রতিটি তার প্রযোজ্যতার সীমার মধ্যে ভাল। আমি আশা করি এই নিবন্ধটি আপনাকে আপনার পরিকাঠামোতে প্রক্রিয়া অটোমেশন এবং অপ্টিমাইজেশনের মূল বিষয়গুলি বোঝার কঠিন কাজে সাহায্য করবে।

দ্রষ্টব্য: লেখক নিবন্ধটি প্রস্তুত করার জন্য তাদের সাহায্য এবং সমর্থনের জন্য সমস্ত সম্প্রদায়ের সদস্যদের ধন্যবাদ। এমনকি যারা থাবা সহ। এমনকি যাদের পা নেই তারাও বোয়া কনস্ট্রাক্টরের মতো।

উত্স: www.habr.com