Jenkins 中 SQL Server 的自動化：漂亮地傳回結果

再次 繼續安排的主題 零接觸產品 在 RDS 下。 未來的 DBA 將無法直接連接到 PROD 伺服器，但可以使用 詹金斯 一組有限操作的作業。 DBA 啟動作業，並在一段時間後收到一封包含此操作完成報告的信函。 讓我們看看如何向使用者呈現這些結果。

純文本

讓我們從最瑣碎的事情開始。 第一種方法簡單得實在沒什麼好講的（筆者下文使用的是FreeStyle jobs）：

命令行 做某事並將其呈現給使用者。 例如，非常適合備份作業：

順便別忘了，RDS下的備份/恢復是異步的，所以你需要等待：

declare @rds table
  (id int, task_type varchar(128), database_name sysname, pct int, duration int, 
   lifecycle varchar(128), taskinfo varchar(max) null, 
   upd datetime, cre datetime,
   s3 varchar(256), ovr int, KMS varchar(256) null)
waitfor delay '00:00:20' 
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}'
select @xid=max(id) from @rds

again:
waitfor delay '00:00:02'
delete from @rds
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' 
# {db} substituted with db name by powershell
select @stat=lifecycle,@info=taskinfo from @rds where id=@xid
if @stat not in ('ERROR','SUCCESS','CANCELLED') goto again

第二種方法，CSV

這裡的一切也很簡單：

但是，此方法僅在 CSV 中傳回的資料「簡單」時才有效。 例如，如果您嘗試以這種方式返回前 N 個 CPU 密集型查詢的列表，則 CSV 將“腐蝕”，因為查詢文字可以包含任何字元 - 逗號、引號，甚至換行符。 因此，我們需要一些更複雜的東西。

HTML 中的漂亮標誌

我馬上給你一個程式碼片段

$Header = @"
<style>
TABLE {border-width: 1px; border-style: solid; border-color: black; border-collapse: collapse;}
TH {border-width: 1px; padding: 3px; border-style: solid; border-color: black; background-color: #6495ED;}
TD {border-width: 1px; padding: 3px; border-style: solid; border-color: black;}
</style>
"@
  
$Result = invoke-Sqlcmd -ConnectionString $jstr -Query "select * from DbInv" `
  | Select-Object -Property * -ExcludeProperty "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result -eq $null) { $cnt = 0; }
elseif ($Result.getType().FullName -eq "System.Management.Automation.PSCustomObject") { $cnt = 1; }
else { $cnt = $Result.Rows.Count; } 
if ($cnt -gt 0) {
  $body = "<h2>My table</h2>"
  $Result | ConvertTo-HTML -Title "Rows" -Head $header -body $body `
    | Out-File "res.log" -Append -Encoding UTF8
  } else {
    "<h3>No data</h3>" | Out-File "res.log" -Append -Encoding UTF8
  }

順便說一句，注意 System.Management.Automation.PSCustomObject 的那一行，它很神奇；如果網格中恰好只有一行，那麼就會出現一些問題。 解決方案是從網路上抄來的，沒有太多理解。 結果，您將得到如下格式的輸出：

繪製圖表

警告：下面有奇怪的程式碼！
SQL 伺服器上有一個有趣的查詢，顯示了最後 N 分鐘的 CPU - 原來少校同志記得一切！ 試試這個測驗：

DECLARE @ts_now bigint = (SELECT cpu_ticks/(cpu_ticks/ms_ticks) 
  FROM sys.dm_os_sys_info WITH (NOLOCK)); 
SELECT TOP(256) 
  DATEADD(ms, -1 * (@ts_now - [timestamp]), GETDATE()) AS [EventTime],
  SQLProcessUtilization AS [SQLCPU], 
  100 - SystemIdle - SQLProcessUtilization AS [OtherCPU]
FROM (SELECT record.value('(./Record/@id)[1]', 'int') AS record_id, 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/SystemIdle)[1]', 'int') 
    AS [SystemIdle], 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/ProcessUtilization)[1]', 'int') 
    AS [SQLProcessUtilization], [timestamp] 
  FROM (SELECT [timestamp], CONVERT(xml, record) AS [record] 
  FROM sys.dm_os_ring_buffers WITH (NOLOCK)
  WHERE ring_buffer_type = N'RING_BUFFER_SCHEDULER_MONITOR' 
    AND record LIKE N'%<SystemHealth>%') AS x) AS y 
ORDER BY 1 DESC OPTION (RECOMPILE);

現在，使用這種格式（$Fragment 變數）

<table style="width: 100%"><tbody><tr style="background-color: white; height: 2pt;">
  <td style="width: SQLCPU%; background-color: green;"></td>
  <td style="width: OtherCPU%; background-color: blue;"></td>
  <td style="width: REST%; background-color: #C0C0C0;"></td></tr></tbody>
</table>

我們可以形成信件的文字：

$Result = invoke-Sqlcmd -ConnectionString $connstr -Query $Query `
  | Select-Object -Property * -ExcludeProperty `
  "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result.HasRows) {
  foreach($item in $Result) 
    { 
    $time = $itemEventTime 
    $sqlcpu = $item.SQLCPU
    $other = $itemOtherCPU
    $rest = 100 - $sqlcpu - $other
    $f = $fragment -replace "SQLCPU", $sqlcpu
    $f = $f -replace "OtherCPU", $other
    $f = $f -replace "REST", $rest
    $f | Out-File "res.log" -Append -Encoding UTF8
    }

看起來像這樣：

是的，先生對變態了解很多！ 有趣的是，這段程式碼包含：Powershell（用它寫）、SQL、Xquery、HTML。 遺憾的是，我們不能將 Javascript 添加到 HTML 中（因為它是用於編寫的），但是打磨 Python 程式碼（可以在 SQL 中使用）是每個人的職責！

SQL 探查器追蹤輸出

很明顯，由於 TextData 字段，跟踪不適合 CSV。 但在字母中顯示追蹤網格也很奇怪 - 既因為大小，也因為這些數據經常用於進一步分析。 因此，我們執行以下操作：我們透過以下方式調用 調用-SqlCmd 某個腳本，在其深處完成

select 
  SPID,EventClass,TextData,
  Duration,Reads,Writes,CPU,
  StartTime,EndTime,DatabaseName,HostName,
  ApplicationName,LoginName
   from ::fn_trace_gettable ( @filename , default )  

接下來，在 朋友 在 DBA 可存取的伺服器上，有一個帶有空白模板（模型板）的 Traces 資料庫，準備接受所有指定的欄位。 我們將此模型複製到具有唯一名稱的新表中：

$dt = Get-Date -format "yyyyMMdd"
$tm = Get-Date -format "hhmmss"
$tableName = $srv + "_" + $dt + "_" + $tm
$copytab = "select * into " + $tableName + " from Model"
invoke-SqlCmd -ConnectionString $tstr -Query $copytab 

現在我們可以使用以下命令將追蹤寫入其中 資料.SqlClient.SqlBulkCopy - 我已經在上面給了一個例子。 是的，在 TextData 中屏蔽常數也很好：

# mask data
foreach ($Row in $Result)
{ 
  $v = $Row["TextData"]
  $v = $v -replace "'([^']{2,})'", "'str'" -replace "[0-9][0-9]+", '999'
  $Row["TextData"] = $v
}

我們用 999 替換長度超過 0 個字元的數字，用「str」替換長度超過 9 個字元的字串。 從 XNUMX 到 XNUMX 的數字經常被用作標誌，我們不會碰它們，而且空字串和單字元字串 - 'Y'，'N' 等也經常出現在其中。

讓我們為我們的生活增添一些色彩（僅限18歲以上）

在表格中，您經常想要突出顯示需要注意的儲存格。 例如，失敗、高度碎片化等。 當然，這可以在裸 SQL 中完成，使用 PRINT 產生 HTML，並在 Jenkins 中將文件類型設為 HTML：

declare @body varchar(max), @chunk varchar(max)
set @body='<font face="Lucida Console" size="3">'
set @body=@body+'<b>Server name: '+@@servername+'</b><br>'
set @body=@body+'<br><br>'
set @body=@body+'<table><tr><th>Job</th><th>Last Run</th><th>Avg Duration, sec</th><th>Last Run, Sec</th><th>Last Status</th></tr>'
print @body

DECLARE tab CURSOR FOR SELECT '<tr><td>'+name+'</td><td>'+
  LastRun+'</td><td>'+
  convert(varchar,AvgDuration)+'</td><td>'+
  convert(varchar,LastDuration)+'</td><td>'+
    case when LastStatus<>'Succeeded' then '<font color="red">' else '' end+
      LastStatus+
      case when LastStatus<>'Succeeded' then '</font>' else '' end+
     +'</td><td>'
  from #j2
OPEN tab;  
FETCH NEXT FROM tab into @chunk
WHILE @@FETCH_STATUS = 0  
BEGIN
  print @chunk
  FETCH NEXT FROM tab into @chunk;  
END  
CLOSE tab;  
DEALLOCATE tab;
print '</table>'

我為什麼要寫這樣的程式碼？

但還有一個更漂亮的解決方案。 轉換為 HTML 不允許我們為細胞著色，但我們可以在事後這樣做。 例如，我們要選擇碎片等級超過80和超過90的儲存格。我們來新增樣式：

<style>
.SQLmarkup-red { color: red; background-color: yellow; }
.SQLmarkup-yellow { color: black; background-color: #FFFFE0; }
.SQLmarkup-default { color: black; background-color: white; }
</style>

在查詢本身中，我們將新增一個虛擬列 就在之前 我們想要著色的列。 該列應該稱為 SQL標記-某物：

case  
  when ps.avg_fragmentation_in_percent>=90.0 then 'SQLmarkup-red'
  when ps.avg_fragmentation_in_percent>=80.0 then 'SQLmarkup-yellow'
  else 'SQLmarkup-default' 
  end as [SQLmarkup-1], 
ps.avg_fragmentation_in_percent, 

現在，收到 Powershell 產生的 HTML 後，我們將從標題中刪除虛擬列，並在資料正文中將值從列傳輸到樣式。 只需進行兩次替換即可完成此操作：

$html = $html `
  -replace "<th>SQLmarkup[^<]*</th>", "" `
  -replace "<td>SQLmarkup-(.+?)</td><td>",'<td class="SQLmarkup-$1">'

其結果是：


是不是很優雅呢？ 雖然沒有，但這個顏色讓我想起了一些東西


來源： www.habr.com