SQL სერვერის ავტომატიზაცია ჯენკინსში: შედეგის ლამაზად დაბრუნება

ისევ მოწყობის თემის გაგრძელება Zero Touch PROD RDS-ის ქვეშ. მომავალი DBA-ები ვერ შეძლებენ უშუალოდ PROD სერვერებთან დაკავშირებას, მაგრამ შეძლებენ გამოყენებას Jenkins სამუშაოები ოპერაციების შეზღუდული ნაკრებისთვის. DBA იწყებს სამუშაოს და გარკვეული დროის შემდეგ იღებს წერილს ამ ოპერაციის დასრულების შესახებ მოხსენებით. მოდით გადავხედოთ ამ შედეგების მომხმარებლისთვის წარდგენის გზებს.

ტექსტური

დავიწყოთ ყველაზე ტრივიალურით. პირველი მეთოდი იმდენად მარტივია, რომ სალაპარაკო ნამდვილად არაფერია (ავტორი შემდგომში იყენებს FreeStyle სამუშაოებს):

sqlcmd აკეთებს რაღაცას და ჩვენ მას წარვუდგენთ მომხმარებელს. იდეალურია, მაგალითად, სარეზერვო სამუშაოებისთვის:

არ დაგავიწყდეთ, სხვათა შორის, რომ RDS-ის სარეზერვო/აღდგენის ქვეშ არის ასინქრონული, ასე რომ თქვენ უნდა დაელოდოთ მას:

declare @rds table
  (id int, task_type varchar(128), database_name sysname, pct int, duration int, 
   lifecycle varchar(128), taskinfo varchar(max) null, 
   upd datetime, cre datetime,
   s3 varchar(256), ovr int, KMS varchar(256) null)
waitfor delay '00:00:20' 
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}'
select @xid=max(id) from @rds

again:
waitfor delay '00:00:02'
delete from @rds
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' 
# {db} substituted with db name by powershell
select @stat=lifecycle,@info=taskinfo from @rds where id=@xid
if @stat not in ('ERROR','SUCCESS','CANCELLED') goto again

მეორე მეთოდი, CSV

აქ ყველაფერი ასევე ძალიან მარტივია:

თუმცა, ეს მეთოდი მუშაობს მხოლოდ იმ შემთხვევაში, თუ CSV-ში დაბრუნებული მონაცემები არის „მარტივი“. თუ თქვენ ცდილობთ დააბრუნოთ, მაგალითად, TOP N CPU ინტენსიური მოთხოვნების სია ამ გზით, CSV "კოროზირდება" იმის გამო, რომ შეკითხვის ტექსტი შეიძლება შეიცავდეს ნებისმიერ სიმბოლოს - მძიმეებს, ციტატებს და ხაზების წყვეტებსაც კი. ამიტომ, ჩვენ გვჭირდება რაღაც უფრო რთული.

ლამაზი ნიშნები HTML-ში

მე მაშინვე მოგცემთ კოდის ფრაგმენტს

$Header = @"
<style>
TABLE {border-width: 1px; border-style: solid; border-color: black; border-collapse: collapse;}
TH {border-width: 1px; padding: 3px; border-style: solid; border-color: black; background-color: #6495ED;}
TD {border-width: 1px; padding: 3px; border-style: solid; border-color: black;}
</style>
"@
  
$Result = invoke-Sqlcmd -ConnectionString $jstr -Query "select * from DbInv" `
  | Select-Object -Property * -ExcludeProperty "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result -eq $null) { $cnt = 0; }
elseif ($Result.getType().FullName -eq "System.Management.Automation.PSCustomObject") { $cnt = 1; }
else { $cnt = $Result.Rows.Count; } 
if ($cnt -gt 0) {
  $body = "<h2>My table</h2>"
  $Result | ConvertTo-HTML -Title "Rows" -Head $header -body $body `
    | Out-File "res.log" -Append -Encoding UTF8
  } else {
    "<h3>No data</h3>" | Out-File "res.log" -Append -Encoding UTF8
  }

სხვათა შორის, ყურადღება მიაქციეთ System.Management.Automation.PSCustomObject-ის ხაზს, ეს ჯადოსნურია; თუ ქსელში ზუსტად ერთი ხაზია, მაშინ წარმოიშვა გარკვეული პრობლემები. გამოსავალი აღებულია ინტერნეტიდან დიდი გაგების გარეშე. შედეგად, თქვენ მიიღებთ გამომავალი ფორმატირებას, როგორიცაა:

გრაფიკების დახატვა

გაფრთხილება: კინკი კოდი ქვემოთ!
არის სასაცილო შეკითხვა SQL სერვერზე, რომელიც აჩვენებს CPU-ს ბოლო N წუთის განმავლობაში - თურმე ამხანაგ მაიორს ყველაფერი ახსოვს! სცადეთ ეს ვიქტორინა:

DECLARE @ts_now bigint = (SELECT cpu_ticks/(cpu_ticks/ms_ticks) 
  FROM sys.dm_os_sys_info WITH (NOLOCK)); 
SELECT TOP(256) 
  DATEADD(ms, -1 * (@ts_now - [timestamp]), GETDATE()) AS [EventTime],
  SQLProcessUtilization AS [SQLCPU], 
  100 - SystemIdle - SQLProcessUtilization AS [OtherCPU]
FROM (SELECT record.value('(./Record/@id)[1]', 'int') AS record_id, 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/SystemIdle)[1]', 'int') 
    AS [SystemIdle], 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/ProcessUtilization)[1]', 'int') 
    AS [SQLProcessUtilization], [timestamp] 
  FROM (SELECT [timestamp], CONVERT(xml, record) AS [record] 
  FROM sys.dm_os_ring_buffers WITH (NOLOCK)
  WHERE ring_buffer_type = N'RING_BUFFER_SCHEDULER_MONITOR' 
    AND record LIKE N'%<SystemHealth>%') AS x) AS y 
ORDER BY 1 DESC OPTION (RECOMPILE);

ახლა, ამ ფორმატირების გამოყენებით ($Fragment ცვლადი)

<table style="width: 100%"><tbody><tr style="background-color: white; height: 2pt;">
  <td style="width: SQLCPU%; background-color: green;"></td>
  <td style="width: OtherCPU%; background-color: blue;"></td>
  <td style="width: REST%; background-color: #C0C0C0;"></td></tr></tbody>
</table>

ჩვენ შეგვიძლია შევქმნათ ასოს სხეული:

$Result = invoke-Sqlcmd -ConnectionString $connstr -Query $Query `
  | Select-Object -Property * -ExcludeProperty `
  "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result.HasRows) {
  foreach($item in $Result) 
    { 
    $time = $itemEventTime 
    $sqlcpu = $item.SQLCPU
    $other = $itemOtherCPU
    $rest = 100 - $sqlcpu - $other
    $f = $fragment -replace "SQLCPU", $sqlcpu
    $f = $f -replace "OtherCPU", $other
    $f = $f -replace "REST", $rest
    $f | Out-File "res.log" -Append -Encoding UTF8
    }

რომელიც ასე გამოიყურება:

დიახ, ბატონმა ბევრი რამ იცის გარყვნილების შესახებ! საინტერესოა, რომ ეს კოდი შეიცავს: Powershell (მასში დაწერილი), SQL, Xquery, HTML. სამწუხაროა, რომ Javascript-ს ვერ დავამატებთ HTML-ში (რადგან ის წერისთვისაა), მაგრამ Python კოდის (რომლის გამოყენება შესაძლებელია SQL-ში) გაპრიალება ყველას მოვალეობაა!

SQL profiler კვალის გამომავალი

ნათელია, რომ კვალი არ ჯდება CSV-ში TextData ველის გამო. მაგრამ ასოში კვალის ბადის ჩვენება ასევე უცნაურია - როგორც ზომის გამო, ასევე იმიტომ, რომ ეს მონაცემები ხშირად გამოიყენება შემდგომი ანალიზისთვის. ამიტომ, ჩვენ ვაკეთებთ შემდეგს: ვურეკავთ მეშვეობით invoke-SqlCmd გარკვეული დამწერლობა, რომლის სიღრმეშიც კეთდება

select 
  SPID,EventClass,TextData,
  Duration,Reads,Writes,CPU,
  StartTime,EndTime,DatabaseName,HostName,
  ApplicationName,LoginName
   from ::fn_trace_gettable ( @filename , default )  

შემდეგი, on მეგობარი სერვერზე, რომელიც ხელმისაწვდომია DBA-სთვის, არის Traces მონაცემთა ბაზა ცარიელი შაბლონით, მოდელის ფირფიტა, რომელიც მზად არის მიიღოს ყველა მითითებული სვეტი. ჩვენ ვაკოპირებთ ამ მოდელს ახალ ცხრილში უნიკალური სახელით:

$dt = Get-Date -format "yyyyMMdd"
$tm = Get-Date -format "hhmmss"
$tableName = $srv + "_" + $dt + "_" + $tm
$copytab = "select * into " + $tableName + " from Model"
invoke-SqlCmd -ConnectionString $tstr -Query $copytab 

და ახლა ჩვენ შეგვიძლია ჩავწეროთ მასში ჩვენი კვალი გამოყენებით Data.SqlClient.SqlBulkCopy - ამის მაგალითი ზემოთ უკვე მოვიყვანე. დიახ, ასევე კარგი იქნებოდა მუდმივების ნიღბვა TextData-ში:

# mask data
foreach ($Row in $Result)
{ 
  $v = $Row["TextData"]
  $v = $v -replace "'([^']{2,})'", "'str'" -replace "[0-9][0-9]+", '999'
  $Row["TextData"] = $v
}

ჩვენ ვცვლით ერთ სიმბოლოზე მეტი სიგრძის რიცხვებს 999-ით, ხოლო ერთ სიმბოლოზე გრძელ სტრიქონებს ვცვლით 'str'-ით. 0-დან 9-მდე რიცხვებს ხშირად იყენებენ დროშებად და მათ არ ვეხებით, ასევე მათ შორის ხშირად გვხვდება ცარიელი და ერთსიმბოლოიანი სტრიქონები - 'Y', 'N' და ა.შ.

მოდით, ცოტა ფერი მივცეთ ჩვენს ცხოვრებას (მკაცრად 18+)

ცხრილებში ხშირად გსურთ ხაზგასმით აღვნიშნოთ უჯრედები, რომლებიც საჭიროებენ ყურადღებას. მაგალითად, FAILS, ფრაგმენტაციის მაღალი დონე და ა.შ. რა თქმა უნდა, ეს შეიძლება გაკეთდეს SQL-ში, HTML-ის გენერირება PRINT-ის გამოყენებით და ფაილის ტიპის დაყენება HTML-ზე Jenkins-ში:

declare @body varchar(max), @chunk varchar(max)
set @body='<font face="Lucida Console" size="3">'
set @body=@body+'<b>Server name: '+@@servername+'</b><br>'
set @body=@body+'<br><br>'
set @body=@body+'<table><tr><th>Job</th><th>Last Run</th><th>Avg Duration, sec</th><th>Last Run, Sec</th><th>Last Status</th></tr>'
print @body

DECLARE tab CURSOR FOR SELECT '<tr><td>'+name+'</td><td>'+
  LastRun+'</td><td>'+
  convert(varchar,AvgDuration)+'</td><td>'+
  convert(varchar,LastDuration)+'</td><td>'+
    case when LastStatus<>'Succeeded' then '<font color="red">' else '' end+
      LastStatus+
      case when LastStatus<>'Succeeded' then '</font>' else '' end+
     +'</td><td>'
  from #j2
OPEN tab;  
FETCH NEXT FROM tab into @chunk
WHILE @@FETCH_STATUS = 0  
BEGIN
  print @chunk
  FETCH NEXT FROM tab into @chunk;  
END  
CLOSE tab;  
DEALLOCATE tab;
print '</table>'

რატომ დავწერე ასეთი კოდი?

მაგრამ არსებობს უფრო ლამაზი გამოსავალი. ConvertTo-HTML არ გვაძლევს საშუალებას გავაფერადოთ უჯრედები, მაგრამ ამის გაკეთება შეგვიძლია ამის შემდეგ. მაგალითად, ჩვენ გვინდა ავირჩიოთ უჯრედები 80-ზე მეტი და 90-ზე მეტი ფრაგმენტაციის დონის მქონე უჯრედები. მოდით დავამატოთ სტილები:

<style>
.SQLmarkup-red { color: red; background-color: yellow; }
.SQLmarkup-yellow { color: black; background-color: #FFFFE0; }
.SQLmarkup-default { color: black; background-color: white; }
</style>

თავად შეკითხვაში ჩვენ დავამატებთ მოტყუებულ სვეტს უშუალოდ მანამდე სვეტი ჩვენ გვინდა გავაფერადოთ. სვეტი უნდა გამოიძახოს SQLmarkup-რაღაც:

case  
  when ps.avg_fragmentation_in_percent>=90.0 then 'SQLmarkup-red'
  when ps.avg_fragmentation_in_percent>=80.0 then 'SQLmarkup-yellow'
  else 'SQLmarkup-default' 
  end as [SQLmarkup-1], 
ps.avg_fragmentation_in_percent, 

ახლა, Powershell-ის მიერ გენერირებული HTML-ის მიღების შემდეგ, ჩვენ ამოვიღებთ მოტყუებულ სვეტს სათაურიდან და მონაცემთა სხეულში გადავიტანთ მნიშვნელობას სვეტიდან სტილში. ეს კეთდება მხოლოდ ორი ჩანაცვლებით:

$html = $html `
  -replace "<th>SQLmarkup[^<]*</th>", "" `
  -replace "<td>SQLmarkup-(.+?)</td><td>",'<td class="SQLmarkup-$1">'

შედეგი:


ელეგანტური არაა? თუმცა არა, ეს შეღებვა რაღაცას მახსენებს


წყარო: www.habr.com