🥇R සහ PowerShell භාවිතා කරන අතථ්‍ය යන්ත්‍රවල තත්ත්වය පිළිබඳ දෛනික වාර්තා

පිවිසුම්

සුභ සන්ධ්යාවක්. දැනට වසර භාගයක් තිස්සේ අපි අතථ්‍ය යන්ත්‍රවල තත්ත්වය (සහ පමණක් නොව) පිළිබඳ වාර්තා ජනනය කරන ස්ක්‍රිප්ට් (හෝ ඒ වෙනුවට ස්ක්‍රිප්ට් කට්ටලයක්) ක්‍රියාත්මක කරමින් සිටිමු. මම මගේ නිර්මාණ අත්දැකීම සහ කේතය බෙදා ගැනීමට තීරණය කළෙමි. මම විවේචන සඳහා බලාපොරොත්තු වන අතර මෙම ද්රව්යය කෙනෙකුට ප්රයෝජනවත් විය හැකිය.

අවශ්යතාවය ගොඩනැගීම

අප සතුව අතථ්‍ය යන්ත්‍ර විශාල ප්‍රමාණයක් ඇත (VMs 1500 ක් පමණ vCenters 3 ක් පුරා බෙදා හරිනු ලැබේ). නව ඒවා සාදනු ලබන අතර පැරණි ඒවා බොහෝ විට මකා දමනු ලැබේ. පිළිවෙල පවත්වා ගැනීම සඳහා, VMs උප පද්ධතිවලට බෙදීමට, ඒවා පරීක්ෂණ ඒවාද යන්න සහ ඒවා නිර්මාණය කළේ කවුරුන්ද සහ කවදාද යන්න දැක්වීමට අභිරුචි ක්ෂේත්‍ර කිහිපයක් vCenter වෙත එක් කරන ලදී. මිනිස් සාධකය හේතු වූයේ යන්ත්‍රවලින් අඩකට වඩා හිස් ක්ෂේත්‍රවලින් ඉතිරිව ඇති අතර එය කාර්යය සංකීර්ණ කරමිනි. සෑම මාස හයකට වරක්, යමෙකු කලබල වී මෙම දත්ත යාවත්කාලීන කිරීමට වැඩ කිරීමට පටන් ගත් නමුත්, ප්‍රති result ලය සති එකහමාරකට පසු අදාළ වීම නතර විය.
යන්ත්‍ර නිර්මාණය කිරීම සඳහා යෙදුම්, ඒවා නිර්මාණය කිරීම සඳහා ක්‍රියාවලියක් යනාදිය තිබිය යුතු බව සෑම කෙනෙකුටම වැටහෙන බව මම වහාම පැහැදිලි කරමි. සහ යනාදි. ඒ අතරම, සෑම කෙනෙකුම මෙම ක්‍රියාවලිය දැඩි ලෙස අනුගමනය කරන අතර සෑම දෙයක්ම පිළිවෙලට තිබේ. අවාසනාවට, මෙහි මෙය එසේ නොවේ, නමුත් මෙය ලිපියේ මාතෘකාව නොවේ :)

පොදුවේ ගත් කල, ක්ෂේත්‍ර පිරවීමේ නිවැරදිභාවය පරීක්ෂා කිරීම ස්වයංක්‍රීය කිරීමට තීරණය කරන ලදී.
සියලුම වගකිවයුතු ඉංජිනේරුවන්ට සහ ඔවුන්ගේ ප්‍රධානීන්ට වැරදි ලෙස පුරවා ඇති යන්ත්‍ර ලැයිස්තුවක් සහිත දිනපතා ලිපියක් හොඳ ආරම්භයක් වනු ඇතැයි අපි තීරණය කළෙමු.

මෙම අවස්ථාවෙහිදී, මගේ සගයෙකු දැනටමත් PowerShell හි ස්ක්‍රිප්ට් එකක් ක්‍රියාත්මක කර ඇති අතර, එය සෑම දිනකම, කාලසටහනකට අනුව, සියලුම vCenters හි සියලුම යන්ත්‍ර පිළිබඳ තොරතුරු රැස් කර, csv ලේඛන 3 ක් (එක් එක් එහි vCenter සඳහා) උත්පාදනය කරන ලදී. පොදු තැටියක්. මෙම ස්ක්‍රිප්ට් එක පාදක කර ගැනීමටත්, අපට යම් අත්දැකීමක් ඇති R භාෂාව භාවිතයෙන් චෙක්පත් සමඟ අතිරේක කිරීමටත් තීරණය විය.

අවසන් කිරීමේ ක්‍රියාවලියේදී, විසඳුම තැපෑලෙන් තොරතුරු ලබා ගත් අතර, ප්‍රධාන සහ ඓතිහාසික වගුවක් සහිත දත්ත ගබඩාවක් (මේ ගැන වැඩි විස්තර පසුව), vm හි සැබෑ නිර්මාතෘවරුන් සහ ඒවා නිර්මාණය කළ කාලය සොයා ගැනීමට vSphere ලඝු-සටහන් විශ්ලේෂණය කිරීම.

IDE RStudio Desktop සහ PowerShell ISE සංවර්ධනය සඳහා භාවිතා කරන ලදී.

ස්ක්‍රිප්ට් එක සාමාන්‍ය වින්ඩෝස් අතථ්‍ය යන්ත්‍රයකින් දියත් කර ඇත.

සාමාන්ය තර්කනය පිළිබඳ විස්තරය.

ස්ක්‍රිප්ට් වල සාමාන්‍ය තර්කනය පහත පරිදි වේ.

අපි පවර්ෂෙල් ස්ක්‍රිප්ට් එකක් භාවිතයෙන් අතථ්‍ය යන්ත්‍ර පිළිබඳ දත්ත රැස් කරමු, එය අපි R හරහා හඳුන්වන අතර ප්‍රතිඵලය එක් csv එකකට ඒකාබද්ධ කරමු. භාෂා අතර ප්‍රතිලෝම අන්තර්ක්‍රියා ඒ හා සමානව සිදු කෙරේ. (R සිට PowerShell වෙත විචල්‍ය ආකාරයෙන් දත්ත සෘජුවම ධාවනය කිරීමට හැකි විය, නමුත් මෙය අපහසු වන අතර අතරමැදි csvs තිබීම නිසා දෝශ නිරාකරණය කිරීම සහ අතරමැදි ප්‍රතිඵල යමෙකු සමඟ බෙදා ගැනීම පහසු කරයි).
R භාවිතා කරමින්, අපි අගයන් පරීක්ෂා කරන ක්ෂේත්‍ර සඳහා වලංගු පරාමිති සාදන්නෙමු. - අපි තොරතුරු ලිපියට ඇතුළත් කිරීම සඳහා මෙම ක්ෂේත්‍රවල අගයන් අඩංගු වචන ලේඛනයක් සාදන්නෙමු, එය සගයන්ගේ ප්‍රශ්නවලට පිළිතුර වනු ඇත "නැහැ, නමුත් මම මෙය පුරවන්නේ කෙසේද?"
අපි R භාවිතයෙන් csv වෙතින් සියලුම VM සඳහා දත්ත පූරණය කරන්නෙමු, දත්ත රාමුවක් සාදන්නෙමු, අනවශ්‍ය ක්ෂේත්‍ර ඉවත් කරන්නෙමු සහ සියලු VM සඳහා සාරාංශ තොරතුරු අඩංගු තොරතුරු xlsx ලේඛනයක් සාදන්නෙමු, එය අපි හවුල් සම්පතකට උඩුගත කරන්නෙමු.
අපි සියලුම VM සඳහා දත්ත රාමුව වෙත ක්ෂේත්‍ර පිරවීමේ නිරවද්‍යතාවය සඳහා සියලුම චෙක්පත් යොදන අතර වැරදි ලෙස පුරවන ලද ක්ෂේත්‍ර සහිත VM පමණක් අඩංගු වගුවක් සාදන්නෙමු (සහ මෙම ක්ෂේත්‍ර පමණි).
අපි ප්‍රතිඵලයක් ලෙස VMs ලැයිස්තුව වෙනත් PowerShell ස්ක්‍රිප්ට් එකකට යවමු, එය VM නිර්මාණය කිරීමේ සිදුවීම් සඳහා vCenter ලඝු-සටහන් දෙස බලනු ඇත, එමඟින් VM නිර්මාණය කිරීමේ ඇස්තමේන්තුගත කාලය සහ අපේක්ෂිත නිර්මාතෘ දැක්වීමට අපට ඉඩ සලසයි. මෙය කාගේ මෝටර් රථයක් දැයි කිසිවෙකු පිළිගන්නේ නැති අවස්ථාව සඳහා ය. මෙම ස්ක්‍රිප්ට් ඉක්මනින් ක්‍රියා නොකරයි, විශේෂයෙන් ලොග් ගොඩක් තිබේ නම්, එබැවින් අපි පසුගිය සති 2 දෙස පමණක් බලන්නෙමු, එසේම ඔබට එකවර VM කිහිපයක තොරතුරු සෙවීමට ඉඩ සලසන කාර්ය ප්‍රවාහයක් ද භාවිතා කරන්නෙමු. උදාහරණ පිටපතෙහි මෙම යාන්ත්‍රණය පිළිබඳ සවිස්තරාත්මක අදහස් අඩංගු වේ. අපි ප්‍රති result ලය csv එකකට එකතු කරමු, එය අපි නැවත R වෙත පටවන්නෙමු.
වැරදි ලෙස පුරවන ලද ක්ෂේත්‍ර රතු පැහැයෙන් උද්දීපනය වන, සමහර තීරු සඳහා පෙරහන් යොදන, සහ VM නිර්මාණය කරන වේලාව සහ අපේක්ෂිත නිර්මාපකයින් අඩංගු අතිරේක තීරු දක්වනු ලබන අලංකාර ලෙස ෆෝමැට් කරන ලද xlsx ලේඛනයක් අපි උත්පාදනය කරන්නෙමු.
අපි විද්‍යුත් තැපෑලක් ජනනය කරන්නෙමු, එහිදී අපි වලංගු ක්ෂේත්‍ර අගයන් විස්තර කරන ලේඛනයක් මෙන්ම ක්ෂේත්‍ර වැරදි ලෙස පුරවා ඇති වගුවක් අමුණන්නෙමු. පෙළෙහි අපි වැරදි ලෙස සාදන ලද VMs ගණන, හවුල් සම්පතකට සබැඳියක් සහ අභිප්‍රේරණ පින්තූරයක් දක්වයි. වැරදි ලෙස පුරවා ඇති VMs නොමැති නම්, අපි සතුටුදායක අභිප්‍රේරණ පින්තූරයක් සමඟ තවත් ලිපියක් එවන්නෙමු.
ඓතිහාසික වගු වල ක්‍රියාත්මක යාන්ත්‍රණය සැලකිල්ලට ගනිමින් අපි SQL සේවාදායක දත්ත ගබඩාවේ සියලුම VM සඳහා දත්ත සටහන් කරමු (ඉතා රසවත් යාන්ත්‍රණයක් - ඒ ගැන වැඩි විස්තර පසුව)

ඇත්තටම ස්ක්‍රිප්ට්

ප්‍රධාන R කේත ගොනුව

# Путь к рабочей директории (нужно для корректной работы через виндовый планировщик заданий)
setwd("C:ScriptsgetVm")
#### Подгружаем необходимые пакеты ####
library(tidyverse)
library(xlsx)
library(mailR)
library(rmarkdown)
##### Определяем пути к исходным файлам и другие переменные #####
source(file = "const.R", local = T, encoding = "utf-8")
# Проверяем существование файла со всеми ВМ и удаляем, если есть.
if (file.exists(filenameVmCreationRules)) {file.remove(filenameVmCreationRules)}
#### Создаём вордовский документ с допустимыми полями
render("VM_name_rules.Rmd",
output_format = word_document(),
output_file = filenameVmCreationRules)
# Проверяем существование файла со всеми ВМ и удаляем, если есть
if (file.exists(allVmXlsxPath)) {file.remove(allVmXlsxPath)}
#### Забираем данные по всем машинам через PowerShell скрипт. На выходе получим csv.
system(paste0("powershell -File ", getVmPsPath))
# Полный df
fullXslx_df <- allVmXlsxPath %>% 
read.csv2(stringsAsFactors = FALSE)
# Проверяем корректность заполненных полей
full_df <- fullXslx_df %>%
mutate(
# Сначала убираем все лишние пробелы и табуляции, потом учитываем разделитель запятую, потом проверяем вхождение в допустимые значения,
isSubsystemCorrect = Subsystem %>% 
gsub("[[:space:]]", "", .) %>% 
str_split(., ",") %>% 
map(function(x) (all(x %in% AllowedValues$Subsystem))) %>%
as.logical(),
isOwnerCorrect = Owner %in% AllowedValues$Owner,
isCategoryCorrect = Category %in% AllowedValues$Category,
isCreatorCorrect = (!is.na(Creator) & Creator != ''),
isCreation.DateCorrect = map(Creation.Date, IsDate)
)
# Проверяем существование файла со всеми ВМ и удаляем, если есть.
if (file.exists(filenameAll)) {file.remove(filenameAll)}
#### Формируем xslx файл с отчётом ####
# Общие данные на отдельный лист
full_df %>% write.xlsx(file=filenameAll,
sheetName=names[1],
col.names=TRUE,
row.names=FALSE,
append=FALSE)
#### Формируем xslx файл с неправильно заполненными полями ####
# Формируем df
incorrect_df <- full_df %>%
select(VM.Name, 
IP.s, 
Owner,
Subsystem,
Creator,
Category,
Creation.Date,
isOwnerCorrect, 
isSubsystemCorrect, 
isCategoryCorrect,
isCreatorCorrect,
vCenter.Name) %>%
filter(isSubsystemCorrect == F | 
isOwnerCorrect == F |
isCategoryCorrect == F |
isCreatorCorrect == F)
# Проверяем существование файла со всеми ВМ и удаляем, если есть.
if (file.exists(filenameIncVM)) {file.remove(filenameIncVM)}
# Сохраняем список VM с незаполненными полями в csv
incorrect_df %>%
select(VM.Name) %>%
write_csv2(path = filenameIncVM, append = FALSE)
# Фильтруем для вставки в почту
incorrect_df_filtered <- incorrect_df %>% 
select(VM.Name, 
IP.s, 
Owner, 
Subsystem, 
Category,
Creator,
vCenter.Name,
Creation.Date
)
# Считаем количество строк
numberOfRows <- nrow(incorrect_df)
#### Начало условия ####
# Дальше либо у нас есть неправильно заполненные поля, либо нет.
# Если есть - запускаем ещё один скрипт
if (numberOfRows > 0) {
# Проверяем существование файла с создателями и удаляем, если есть.
if (file.exists(creatorsFilePath)) {file.remove(creatorsFilePath)}
# Запускаем PowerShell скрипт, который найдёт создателей найденных VM. На выходе получим csv.
system(paste0("powershell -File ", getCreatorsPath))
# Читаем файл с создателями
creators_df <- creatorsFilePath %>%
read.csv2(stringsAsFactors = FALSE)
# Фильтруем для вставки в почту, добавляем данные из таблицы с создателями
incorrect_df_filtered <- incorrect_df_filtered %>% 
select(VM.Name, 
IP.s, 
Owner, 
Subsystem, 
Category,
Creator,
vCenter.Name,
Creation.Date
) %>% 
left_join(creators_df, by = "VM.Name") %>% 
rename(`Предполагаемый создатель` = CreatedBy, 
`Предполагаемая дата создания` = CreatedOn)  
# Формируем тело письма
emailBody <- paste0(
'<html>
<h3>Добрый день, уважаемые коллеги.</h3>
<p>Полную актуальную информацию по виртуальным машинам вы можете посмотреть на диске H: вот тут:<p>
<p>\server.ruVM', sourceFileFormat, '</p>
<p>Также во вложении список ВМ с <strong>некорректно заполненными</strong> полями. Всего их <strong>', numberOfRows,'</strong>.</p>
<p>В таблице появилось 2 дополнительные колонки. <strong>Предполагаемый создатель</strong> и <strong>Предполагаемая дата создания</strong>, которые достаются из логов vCenter за последние 2 недели</p>
<p>Просьба создателей машин уточнить данные и заполнить поля корректно. Правила заполнения полей также во вложении</p>
<p><img src="data/meme.jpg"></p>
</html>'
)
# Проверяем существование файла
if (file.exists(filenameIncorrect)) {file.remove(filenameIncorrect)}
# Формируем красивую таблицу с форматами и т.д.
source(file = "email.R", local = T, encoding = "utf-8")
#### Формируем письмо с плохо подписанными машинами ####
send.mail(from = emailParams$from,
to = emailParams$to,
subject = "ВМ с некорректно заполненными полями",
body = emailBody,
encoding = "utf-8",
html = TRUE,
inline = TRUE,
smtp = emailParams$smtpParams,
authenticate = TRUE,
send = TRUE,
attach.files = c(filenameIncorrect, filenameVmCreationRules),
debug = FALSE)
#### Дальше пойдёт блок, если нет проблем с ВМ ####
} else {
# Формируем тело письма
emailBody <- paste0(
'<html>
<h3>Добрый день, уважаемые коллеги</h3>
<p>Полную актуальную информацию по виртуальным машинам вы можете посмотреть на диске H: вот тут:<p>
<p>\server.ruVM', sourceFileFormat, '</p>
<p>Также, на текущий момент, все поля ВМ корректно заполнены</p>
<p><img src="data/meme_correct.jpg"></p>
</html>'
)
#### Формируем письмо без плохо заполненных VM ####
send.mail(from = emailParams$from,
to = emailParams$to,
subject = "Сводная информация",
body = emailBody,
encoding = "utf-8",
html = TRUE,
inline = TRUE,
smtp = emailParams$smtpParams,
authenticate = TRUE,
send = TRUE,
debug = FALSE)
}
####### Записываем данные в БД #####
source(file = "DB.R", local = T, encoding = "utf-8")

PowerShell හි vm ලැයිස්තුවක් ලබා ගැනීම සඳහා ස්ක්‍රිප්ට්

# Данные для подключения и другие переменные
$vCenterNames = @(
"vcenter01", 
"vcenter02", 
"vcenter03"
)
$vCenterUsername = "myusername"
$vCenterPassword = "mypassword"
$filename = "C:ScriptsgetVmdataallvmall-vm-$(get-date -f yyyy-MM-dd).csv"
$destinationSMB = "server.rumyfolder$vm"
$IP0=""
$IP1=""
$IP2=""
$IP3=""
$IP4=""
$IP5=""
# Подключение ко всем vCenter, что содержатся в переменной. Будет работать, если логин и пароль одинаковые (например, доменные)
Connect-VIServer -Server $vCenterNames -User $vCenterUsername -Password $vCenterPassword
write-host ""
# Создаём функцию с циклом по всем vCenter-ам
function Get-VMinventory {
# В этой переменной будет списко всех ВМ, как объектов
$AllVM = Get-VM | Sort Name
$cnt = $AllVM.Count
$count = 1
# Начинаем цикл по всем ВМ и собираем необходимые параметры каждого объекта
foreach ($vm in $AllVM) {
$StartTime = $(get-date)
$IP0 = $vm.Guest.IPAddress[0]
$IP1 = $vm.Guest.IPAddress[1]
$IP2 = $vm.Guest.IPAddress[2]
$IP3 = $vm.Guest.IPAddress[3]
$IP4 = $vm.Guest.IPAddress[4]
$IP5 = $vm.Guest.IPAddress[5]
If ($IP0 -ne $null) {If ($IP0.Contains(":") -ne 0) {$IP0=""}}
If ($IP1 -ne $null) {If ($IP1.Contains(":") -ne 0) {$IP1=""}}
If ($IP2 -ne $null) {If ($IP2.Contains(":") -ne 0) {$IP2=""}}
If ($IP3 -ne $null) {If ($IP3.Contains(":") -ne 0) {$IP3=""}}
If ($IP4 -ne $null) {If ($IP4.Contains(":") -ne 0) {$IP4=""}}
If ($IP5 -ne $null) {If ($IP5.Contains(":") -ne 0) {$IP5=""}}
$cluster = $vm | Get-Cluster | Select-Object -ExpandProperty name  
$Bootime = $vm.ExtensionData.Runtime.BootTime
$TotalHDDs = $vm.ProvisionedSpaceGB -as [int]
$CreationDate = $vm.CustomFields.Item("CreationDate") -as [string]
$Creator = $vm.CustomFields.Item("Creator") -as [string]
$Category = $vm.CustomFields.Item("Category") -as [string]
$Owner = $vm.CustomFields.Item("Owner") -as [string]
$Subsystem = $vm.CustomFields.Item("Subsystem") -as [string]
$IPS = $vm.CustomFields.Item("IP") -as [string]
$vCPU = $vm.NumCpu
$CorePerSocket = $vm.ExtensionData.config.hardware.NumCoresPerSocket
$Sockets = $vCPU/$CorePerSocket
$Id = $vm.Id.Split('-')[2] -as [int]
# Собираем все параметры в один объект
$Vmresult = New-Object PSObject
$Vmresult | add-member -MemberType NoteProperty -Name "Id" -Value $Id   
$Vmresult | add-member -MemberType NoteProperty -Name "VM Name" -Value $vm.Name  
$Vmresult | add-member -MemberType NoteProperty -Name "Cluster" -Value $cluster  
$Vmresult | add-member -MemberType NoteProperty -Name "Esxi Host" -Value $VM.VMHost  
$Vmresult | add-member -MemberType NoteProperty -Name "IP Address 1" -Value $IP0
$Vmresult | add-member -MemberType NoteProperty -Name "IP Address 2" -Value $IP1
$Vmresult | add-member -MemberType NoteProperty -Name "IP Address 3" -Value $IP2
$Vmresult | add-member -MemberType NoteProperty -Name "IP Address 4" -Value $IP3
$Vmresult | add-member -MemberType NoteProperty -Name "IP Address 5" -Value $IP4
$Vmresult | add-member -MemberType NoteProperty -Name "IP Address 6" -Value $IP5
$Vmresult | add-member -MemberType NoteProperty -Name "vCPU" -Value $vCPU
$Vmresult | Add-Member -MemberType NoteProperty -Name "CPU Sockets" -Value $Sockets
$Vmresult | Add-Member -MemberType NoteProperty -Name "Core per Socket" -Value $CorePerSocket
$Vmresult | add-member -MemberType NoteProperty -Name "RAM (GB)" -Value $vm.MemoryGB
$Vmresult | add-member -MemberType NoteProperty -Name "Total-HDD (GB)" -Value $TotalHDDs
$Vmresult | add-member -MemberType NoteProperty -Name "Power State" -Value $vm.PowerState
$Vmresult | add-member -MemberType NoteProperty -Name "OS" -Value $VM.ExtensionData.summary.config.guestfullname  
$Vmresult | Add-Member -MemberType NoteProperty -Name "Boot Time" -Value $Bootime
$Vmresult | add-member -MemberType NoteProperty -Name "VMTools Status" -Value $vm.ExtensionData.Guest.ToolsStatus  
$Vmresult | add-member -MemberType NoteProperty -Name "VMTools Version" -Value $vm.ExtensionData.Guest.ToolsVersion  
$Vmresult | add-member -MemberType NoteProperty -Name "VMTools Version Status" -Value $vm.ExtensionData.Guest.ToolsVersionStatus  
$Vmresult | add-member -MemberType NoteProperty -Name "VMTools Running Status" -Value $vm.ExtensionData.Guest.ToolsRunningStatus  
$Vmresult | add-member -MemberType NoteProperty -Name "Creation Date" -Value $CreationDate
$Vmresult | add-member -MemberType NoteProperty -Name "Creator" -Value $Creator
$Vmresult | add-member -MemberType NoteProperty -Name "Category" -Value $Category
$Vmresult | add-member -MemberType NoteProperty -Name "Owner" -Value $Owner
$Vmresult | add-member -MemberType NoteProperty -Name "Subsystem" -Value $Subsystem
$Vmresult | add-member -MemberType NoteProperty -Name "IP's" -Value $IPS
$Vmresult | add-member -MemberType NoteProperty -Name "vCenter Name" -Value $vm.Uid.Split('@')[1].Split(':')[0]  
# Считаем общее и оставшееся время выполнения и выводим на экран результаты. Использовалось для тестирования, но по факту оказалось очень удобно.
$elapsedTime = $(get-date) - $StartTime
$totalTime = "{0:HH:mm:ss}" -f ([datetime]($elapsedTime.Ticks*($cnt - $count)))
clear-host
Write-Host "Processing" $count "from" $cnt 
Write-host "Progress:" ([math]::Round($count/$cnt*100, 2)) "%" 
Write-host "You have about " $totalTime "for cofee"
Write-host ""
$count++
# Выводим результат, чтобы цикл "знал" что является результатом выполнения одного прохода
$Vmresult
}
}
# Вызываем получившуюся функцию и сразу выгружаем результат в csv
$allVm = Get-VMinventory | Export-CSV -Path $filename -NoTypeInformation -UseCulture -Force
# Пытаемся выложить полученный файл в нужное нам место и, в случае ошибки, пишем лог.
try
{
Copy-Item $filename -Destination $destinationSMB -Force -ErrorAction SilentlyContinue
}
catch
{
$error | Export-CSV -Path $filename".error" -NoTypeInformation -UseCulture -Force
}

අතථ්‍ය යන්ත්‍රවල නිර්මාතෘවරුන් සහ ඒවා නිර්මාණය කළ දිනය ලඝු-සටහන් වලින් උපුටා ගන්නා PowerShell පිටපතක්

# Путь к файлу, из которого будем доставать список VM
$VMfilePath = "C:ScriptsgetVmcreators_VMcreators_VM_$(get-date -f yyyy-MM-dd).csv"
# Путь к файлу, в который будем записывать результат
$filePath = "C:ScriptsgetVmdatacreatorscreators-$(get-date -f yyyy-MM-dd).csv"
# Создаём вокрфлоу
Workflow GetCreators-Wf
{
# Параметры, которые можно будет передать при вызове скрипта
param([string[]]$VMfilePath)
# Параметры, которые доступны только внутри workflow
$vCenterUsername = "myusername"
$vCenterPassword = "mypassword"
$daysToLook = 14
$start = (get-date).AddDays(-$daysToLook)
$finish = get-date
# Значения, которые будут вписаны в csv для машин, по которым не будет ничего найдено
$UnknownUser = "UNKNOWN"
$UnknownCreatedTime = "0000-00-00"
# Определяем параметры подключения и выводной файл, которые будут доступны во всём скрипте.
$vCenterNames = @(
"vcenter01", 
"vcenter02", 
"vcenter03"
)
# Получаем список VM из csv и загружаем соответствующие объекты
$list = Import-Csv $VMfilePath -UseCulture | select -ExpandProperty VM.Name
# Цикл, который будет выполняться параллельно (по 5 машин за раз)
foreach -parallel ($row in $list)
{
# Это скрипт, который видит только свои переменные и те, которые ему переданы через $Using
InlineScript {
# Время начала выполнения отдельного блока
$StartTime = $(get-date)
Write-Host ""
Write-Host "Processing $Using:row started at $StartTime"
Write-Host ""
# Подключение оборачиваем в переменную, чтобы информация о нём не мешалась в консоли
$con = Connect-VIServer -Server $Using:vCenterNames -User $Using:vCenterUsername -Password $Using:vCenterPassword
# Получаем объект vm
$vm = Get-VM -Name $Using:row
# Ниже 2 одинаковые команды. Одна с фильтром по времени, вторая - без. Можно пользоваться тем,
$Event = $vm | Get-VIEvent -Start $Using:start -Finish $Using:finish -Types Info | Where { $_.Gettype().Name -eq "VmBeingDeployedEvent" -or $_.Gettype().Name -eq "VmCreatedEvent" -or $_.Gettype().Name -eq "VmRegisteredEvent" -or $_.Gettype().Name -eq "VmClonedEvent"}
# $Event = $vm | Get-VIEvent -Types Info | Where { $_.Gettype().Name -eq "VmBeingDeployedEvent" -or $_.Gettype().Name -eq "VmCreatedEvent" -or $_.Gettype().Name -eq "VmRegisteredEvent" -or $_.Gettype().Name -eq "VmClonedEvent"}
# Заполняем параметры в зависимости от того, удалось ли в логах найти что-то
If (($Event | Measure-Object).Count -eq 0){
$User = $Using:UnknownUser
$Created = $Using:UnknownCreatedTime
$CreatedFormat = $Using:UnknownCreatedTime
} Else {
If ($Event.Username -eq "" -or $Event.Username -eq $null) {
$User = $Using:UnknownUser
} Else {
$User = $Event.Username
} # Else
$CreatedFormat = $Event.CreatedTime
# Один из коллег отдельно просил, чтобы время было в таком формате, поэтому дублируем его. А в БД пойдёт нормальный формат.
$Created = $Event.CreatedTime.ToString('yyyy-MM-dd')
} # Else
Write-Host "Creator for $vm is $User. Creating object."
# Создаём объект. Добавляем параметры.
$Vmresult = New-Object PSObject
$Vmresult | add-member -MemberType NoteProperty -Name "VM Name" -Value $vm.Name  
$Vmresult | add-member -MemberType NoteProperty -Name "CreatedBy" -Value $User
$Vmresult | add-member -MemberType NoteProperty -Name "CreatedOn" -Value $CreatedFormat
$Vmresult | add-member -MemberType NoteProperty -Name "CreatedOnFormat" -Value $Created           
# Выводим результаты
$Vmresult
} # Inline
} # ForEach
}
$Creators = GetCreators-Wf $VMfilePath
# Записываем результат в файл
$Creators | select 'VM Name', CreatedBy, CreatedOn | Export-Csv -Path $filePath -NoTypeInformation -UseCulture -Force
Write-Host "CSV generetion finisghed at $(get-date). PROFIT"

පුස්තකාලය විශේෂ අවධානයක් ලැබිය යුතුය xlsx, CSV වගුවක් පමණක් නොව අකුරට ඇමුණුම පැහැදිලිව හැඩතල ගැන්වීමට (කළමනාකාරිත්වය කැමති පරිදි) හැකි විය.

යන්ත්‍රවල වැරදි ලෙස පුරවා ඇති ලැයිස්තුවක් සහිත අලංකාර xlsx ලේඛනයක් උත්පාදනය කිරීම

# Создаём новую книгу
# Возможные значения : "xls" и "xlsx"
wb<-createWorkbook(type="xlsx")
# Стили для имён рядов и колонок в таблицах
TABLE_ROWNAMES_STYLE <- CellStyle(wb) + Font(wb, isBold=TRUE)
TABLE_COLNAMES_STYLE <- CellStyle(wb) + Font(wb, isBold=TRUE) +
Alignment(wrapText=TRUE, horizontal="ALIGN_CENTER") +
Border(color="black", position=c("TOP", "BOTTOM"), 
pen=c("BORDER_THIN", "BORDER_THICK"))
# Создаём новый лист
sheet <- createSheet(wb, sheetName = names[2])
# Добавляем таблицу
addDataFrame(incorrect_df_filtered, 
sheet, startRow=1, startColumn=1,  row.names=FALSE, byrow=FALSE,
colnamesStyle = TABLE_COLNAMES_STYLE,
rownamesStyle = TABLE_ROWNAMES_STYLE)
# Меняем ширину, чтобы форматирование было автоматическим
autoSizeColumn(sheet = sheet, colIndex=c(1:ncol(incorrect_df)))
# Добавляем фильтры
addAutoFilter(sheet, cellRange = "C1:G1")
# Определяем стиль
fo2 <- Fill(foregroundColor="red")
cs2 <- CellStyle(wb, 
fill = fo2, 
dataFormat = DataFormat("@"))
# Находим ряды с неверно заполненным полем Владельца и применяем к ним определённый стиль
rowsOwner <- getRows(sheet, rowIndex = (which(!incorrect_df$isOwnerCorrect) + 1))
cellsOwner <- getCells(rowsOwner, colIndex = which( colnames(incorrect_df_filtered) == "Owner" )) 
lapply(names(cellsOwner), function(x) setCellStyle(cellsOwner[[x]], cs2))
# Находим ряды с неверно заполненным полем Подсистемы и применяем к ним определённый стиль
rowsSubsystem <- getRows(sheet, rowIndex = (which(!incorrect_df$isSubsystemCorrect) + 1))
cellsSubsystem <- getCells(rowsSubsystem, colIndex = which( colnames(incorrect_df_filtered) == "Subsystem" )) 
lapply(names(cellsSubsystem), function(x) setCellStyle(cellsSubsystem[[x]], cs2))
# Аналогично по Категории
rowsCategory <- getRows(sheet, rowIndex = (which(!incorrect_df$isCategoryCorrect) + 1))
cellsCategory <- getCells(rowsCategory, colIndex = which( colnames(incorrect_df_filtered) == "Category" )) 
lapply(names(cellsCategory), function(x) setCellStyle(cellsCategory[[x]], cs2))
# Создатель
rowsCreator <- getRows(sheet, rowIndex = (which(!incorrect_df$isCreatorCorrect) + 1))
cellsCreator <- getCells(rowsCreator, colIndex = which( colnames(incorrect_df_filtered) == "Creator" )) 
lapply(names(cellsCreator), function(x) setCellStyle(cellsCreator[[x]], cs2))
# Сохраняем файл
saveWorkbook(wb, filenameIncorrect)

ප්‍රතිදානය මේ වගේ දෙයක් පෙනේ:

වින්ඩෝස් උපලේඛනය සැකසීම පිළිබඳ රසවත් සූක්ෂ්මතාවයක් ද විය. සෑම දෙයක්ම නියමිත පරිදි ආරම්භ වන පරිදි නිවැරදි අයිතිවාසිකම් සහ සැකසුම් සොයා ගැනීමට නොහැකි විය. එහි ප්රතිඵලයක් වශයෙන්, R පුස්තකාලය සොයා ගන්නා ලදී, එයම R script එකක් දියත් කිරීමට කාර්යයක් නිර්මාණය කරන අතර ලොග් ගොනුව ගැන පවා අමතක නොකරයි. එවිට ඔබට කාර්යය අතින් නිවැරදි කළ හැකිය.

Windows Scheduler හි කාර්යයක් නිර්මාණය කරන උදාහරණ දෙකක් සහිත R කේතයක්

library(taskscheduleR)
myscript <- file.path(getwd(), "all_vm.R")
## запускаем скрипт через 62 секунды
taskscheduler_create(taskname = "getAllVm", rscript = myscript, 
schedule = "ONCE", starttime = format(Sys.time() + 62, "%H:%M"))
## запускаем скрипт каждый день в 09:10
taskscheduler_create(taskname = "getAllVmDaily", rscript = myscript, 
schedule = "WEEKLY", 
days = c("MON", "TUE", "WED", "THU", "FRI"),
starttime = "02:00")
## удаляем задачи
taskscheduler_delete(taskname = "getAllVm")
taskscheduler_delete(taskname = "getAllVmDaily")
# Смотрим логи (последние 4 строчки)
tail(readLines("all_vm.log"), sep ="n", n = 4)

දත්ත සමුදාය ගැන වෙනම

ස්ක්‍රිප්ට් සැකසීමෙන් පසු වෙනත් ගැටළු මතු වීමට පටන් ගත්තේය. උදාහරණයක් ලෙස, මට VM මකා දැමූ දිනය සොයා ගැනීමට අවශ්‍ය විය, නමුත් vCenter හි ලොග් දැනටමත් ගෙවී ගොස් ඇත. ස්ක්‍රිප්ට් එක හැමදාම ෆෝල්ඩර් එකකට ෆයිල් දාලා ඒක සුද්ද කරන්නේ නැති නිසා (අපිට මතක ඇති වෙලාවට අපි අතින් සුද්ද කරනවා), පරණ ෆයිල් බලලා මේ වීඑම් නැති මුල්ම ෆයිල් එක හොයාගන්න පුළුවන්. නමුත් එය සිසිල් නොවේ.

මට ඓතිහාසික දත්ත සමුදායක් නිර්මාණය කිරීමට අවශ්‍ය විය.

MS SQL SERVER හි ක්‍රියාකාරීත්වය - පද්ධති අනුවාද සහිත තාවකාලික වගුව - ගලවා ගැනීමට පැමිණියේය. එය සාමාන්‍යයෙන් තාවකාලික (තාවකාලික නොවන) වගු ලෙස පරිවර්තනය වේ.

ඔබට විස්තරාත්මකව කියවිය හැකිය නිල Microsoft ලේඛන.

කෙටියෙන් කිවහොත්, අපි වගුවක් සාදන්නෙමු, එය අනුවාද සමඟ ඇති බව කියමු, සහ SQL සේවාදායකය මෙම වගුවේ අමතර දින කාල තීරු 2 ක් (වාර්තාව නිර්මාණය කළ දිනය සහ වාර්තාවේ කල් ඉකුත්වන දිනය) සහ වෙනස් වන අතිරේක වගුවක් නිර්මාණය කරයි. ලියනු ඇත. එහි ප්‍රතිඵලයක් වශයෙන්, අපට යාවත්කාලීන තොරතුරු ලැබෙන අතර, ලේඛනගත කිරීමේ උදාහරණ ලබා දී ඇති සරල විමසුම් හරහා, අපට නිශ්චිත අථත්‍ය යන්ත්‍රයක ජීවන චක්‍රය හෝ යම් අවස්ථාවක සියලුම VM වල තත්වය දැක ගත හැකිය. නියම වේලාවට.

කාර්ය සාධන ඉදිරිදර්ශනයකින්, තාවකාලික වගුව වෙත ලිවීමේ ගනුදෙනුව සම්පූර්ණ වන තෙක් ප්‍රධාන වගුව වෙත ලිවීමේ ගනුදෙනුව සම්පූර්ණ නොවනු ඇත. එම. ලිවීමේ මෙහෙයුම් විශාල සංඛ්‍යාවක් ඇති වගු මත, මෙම ක්‍රියාකාරිත්වය ප්‍රවේශමෙන් ක්‍රියාත්මක කළ යුතුය, නමුත් අපගේ නඩුවේදී එය ඇත්තෙන්ම සිසිල් දෙයකි.

යාන්ත්‍රණය නිවැරදිව ක්‍රියා කිරීම සඳහා, මට R හි කුඩා කේත කැබැල්ලක් එක් කිරීමට සිදු විය, එමඟින් නව වගුව සියලු VM සඳහා දත්ත සමඟ දත්ත ගබඩාවේ ගබඩා කර ඇති එක සමඟ සංසන්දනය කර එයට වෙනස් කළ පේළි පමණක් ලිවීමට සිදු විය. කේතය විශේෂයෙන් දක්ෂ නොවේ; එය compareDF පුස්තකාලය භාවිතා කරයි, නමුත් මම එය පහත ඉදිරිපත් කරමි.

දත්ත සමුදායකට දත්ත ලිවීම සඳහා R කේතය

# Подцепляем пакеты
library(odbc)
library(compareDF)
# Формируем коннект
con <- dbConnect(odbc(),
Driver = "ODBC Driver 13 for SQL Server",
Server = DBParams$server,
Database = DBParams$database,
UID = DBParams$UID,
PWD = DBParams$PWD,
Port = 1433)
#### Проверяем есть ли таблица. Если нет - создаём. ####
if (!dbExistsTable(con, DBParams$TblName)) {
#### Создаём таблицу ####
create <- dbSendStatement(
con,
paste0(
'CREATE TABLE ',
DBParams$TblName,
'(
[Id] [int] NOT NULL PRIMARY KEY CLUSTERED,
[VM.Name] [varchar](255) NULL,
[Cluster] [varchar](255) NULL,
[Esxi.Host] [varchar](255) NULL,
[IP.Address.1] [varchar](255) NULL,
[IP.Address.2] [varchar](255) NULL,
[IP.Address.3] [varchar](255) NULL,
[IP.Address.4] [varchar](255) NULL,
[IP.Address.5] [varchar](255) NULL,
[IP.Address.6] [varchar](255) NULL,
[vCPU] [int] NULL,
[CPU.Sockets] [int] NULL,
[Core.per.Socket] [int] NULL,
[RAM..GB.] [int] NULL,
[Total.HDD..GB.] [int] NULL,
[Power.State] [varchar](255) NULL,
[OS] [varchar](255) NULL,
[Boot.Time] [varchar](255) NULL,
[VMTools.Status] [varchar](255) NULL,
[VMTools.Version] [int] NULL,
[VMTools.Version.Status] [varchar](255) NULL,
[VMTools.Running.Status] [varchar](255) NULL,
[Creation.Date] [varchar](255) NULL,
[Creator] [varchar](255) NULL,
[Category] [varchar](255) NULL,
[Owner] [varchar](255) NULL,
[Subsystem] [varchar](255) NULL,
[IP.s] [varchar](255) NULL,
[vCenter.Name] [varchar](255) NULL,
DateFrom datetime2 GENERATED ALWAYS AS ROW START NOT NULL,
DateTo datetime2 GENERATED ALWAYS AS ROW END NOT NULL,
PERIOD FOR SYSTEM_TIME (DateFrom, DateTo)
) ON [PRIMARY]
WITH (SYSTEM_VERSIONING = ON (HISTORY_TABLE = ', DBParams$TblHistName,'));'
)
)
# Отправляем подготовленный запрос
dbClearResult(create)
} # if
#### Начало работы с таблицей ####
# Обозначаем таблицу, с которой будем работать
allVM_db_con <- tbl(con, DBParams$TblName) 
#### Сравниваем таблицы ####
# Собираем данные с таблицы (убираем служебные временные поля)
allVM_db <- allVM_db_con %>% 
select(c(-"DateTo", -"DateFrom")) %>% 
collect()
# Создаём таблицу со сравнением объектов. Сравниваем по Id
# Удалённые объекты там будут помечены через -, созданные через +, изменённые через - и +
ctable_VM <- fullXslx_df %>% 
compare_df(allVM_db, 
c("Id"))
#### Удаление строк ####
# Выдираем Id виртуалок, записи о которых надо удалить 
remove_Id <- ctable_VM$comparison_df %>% 
filter(chng_type == "-") %>%
select(Id)
# Проверяем, что есть записи (если записей нет - и удалять ничего не нужно)
if (remove_Id %>% nrow() > 0) {
# Конструируем шаблон для запроса на удаление данных
delete <- dbSendStatement(con, 
paste0('
DELETE 
FROM ',
DBParams$TblName,
' WHERE "Id"=?
') # paste
) # send
# Создаём запрос на удаление данных
dbBind(delete, remove_Id)
# Отправляем подготовленный запрос
dbClearResult(delete)
} # if
#### Добавление строк ####
# Выделяем таблицу, содержащую строки, которые нужно добавить.
allVM_add <- ctable_VM$comparison_df %>% 
filter(chng_type == "+") %>% 
select(-chng_type)
# Проверяем, есть ли строки, которые нужно добавить и добавляем (если нет - не добавляем)
if (allVM_add %>% nrow() > 0) {
# Пишем таблицу со всеми необходимыми данными
dbWriteTable(con,
DBParams$TblName,
allVM_add,
overwrite = FALSE,
append = TRUE)
} # if
#### Не забываем сделать дисконнект ####
dbDisconnect(con)

එකතුව

ස්ක්‍රිප්ට් ක්‍රියාවට නැංවීමේ ප්‍රතිඵලයක් ලෙස, මාස කිහිපයක් ඇතුළත පිළිවෙල යථා තත්ත්වයට පත් කර පවත්වා ගෙන යන ලදී. සමහර විට වැරදි ලෙස පුරවා ඇති වීඑම් දිස් වේ, නමුත් ස්ක්‍රිප්ට් හොඳ සිහිකැඳවීමක් ලෙස ක්‍රියා කරන අතර දුර්ලභ වීඑම් එකක් පිට පිට දින 2ක් ලැයිස්තුවට ලැබේ.

ඓතිහාසික දත්ත විශ්ලේෂණය කිරීම සඳහා ද පදනම සකස් කරන ලදී.

මෙයින් බොහෝමයක් දණහිස මත නොව, විශේෂිත මෘදුකාංග සමඟ ක්රියාත්මක කළ හැකි බව පැහැදිලිය, නමුත් කාර්යය සිත්ගන්නාසුළු වූ අතර, කෙනෙකුට විකල්ප ලෙස පැවසිය හැකිය.

R නැවත වරක් විශිෂ්ට විශ්ව භාෂාවක් බව පෙන්නුම් කර ඇත, එය සංඛ්යානමය ගැටළු විසඳීම සඳහා පමණක් නොව, අනෙකුත් දත්ත මූලාශ්ර අතර විශිෂ්ට "ස්ථරයක්" ලෙස ක්රියා කරයි.

මූලාශ්රය: www.habr.com

R සහ PowerShell භාවිතා කරන අතථ්‍ය යන්ත්‍රවල සෞඛ්‍යය පිළිබඳ දෛනික වාර්තා

පිවිසුම්

අවශ්යතාවය ගොඩනැගීම

සාමාන්ය තර්කනය පිළිබඳ විස්තරය.

ඇත්තටම ස්ක්‍රිප්ට්

දත්ත සමුදාය ගැන වෙනම

එකතුව

අදහස් එක් කරන්න

R සහ PowerShell භාවිතා කරන අතථ්‍ය යන්ත්‍රවල සෞඛ්‍යය පිළිබඳ දෛනික වාර්තා

පිවිසුම්

අවශ්යතාවය ගොඩනැගීම

සාමාන්ය තර්කනය පිළිබඳ විස්තරය.

ඇත්තටම ස්ක්‍රිප්ට්

දත්ත සමුදාය ගැන වෙනම

එකතුව

අදහස් එක් කරන්න ඊ-මේල් මගින් පිලිතුරු දෙන්න අවලංගු

අදහස් එක් කරන්න