🥇 जेनकिन्स मधील SQL सर्व्हरचे ऑटोमेशन: परिणाम सुंदरपणे परत करणे

पुन्हा व्यवस्थेची थीम चालू ठेवणे झिरो टच PROD RDS अंतर्गत. भविष्यातील DBAs PROD सर्व्हरशी थेट कनेक्ट करू शकणार नाहीत, परंतु ते वापरण्यास सक्षम असतील जेनकिन्स मर्यादित ऑपरेशन्ससाठी नोकर्‍या. डीबीएने नोकरी सुरू केली आणि काही काळानंतर हे ऑपरेशन पूर्ण झाल्याच्या अहवालासह एक पत्र प्राप्त होते. हे परिणाम वापरकर्त्याला सादर करण्याचे मार्ग पाहू या.

साधा मजकूर

चला सर्वात क्षुल्लक सह प्रारंभ करूया. पहिली पद्धत इतकी सोपी आहे की त्याबद्दल बोलण्यासारखे काहीही नाही (लेखक यापुढे फ्रीस्टाइल जॉब वापरतात):

sqlcmd काहीतरी करतो आणि आम्ही ते वापरकर्त्याला सादर करतो. उदाहरणार्थ, बॅकअप नोकऱ्यांसाठी आदर्श:

हे विसरू नका की RDS बॅकअप/रिस्टोर अंतर्गत असिंक्रोनस आहे, म्हणून तुम्हाला त्याची प्रतीक्षा करावी लागेल:

declare @rds table
  (id int, task_type varchar(128), database_name sysname, pct int, duration int, 
   lifecycle varchar(128), taskinfo varchar(max) null, 
   upd datetime, cre datetime,
   s3 varchar(256), ovr int, KMS varchar(256) null)
waitfor delay '00:00:20' 
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}'
select @xid=max(id) from @rds

again:
waitfor delay '00:00:02'
delete from @rds
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' 
# {db} substituted with db name by powershell
select @stat=lifecycle,@info=taskinfo from @rds where id=@xid
if @stat not in ('ERROR','SUCCESS','CANCELLED') goto again

दुसरी पद्धत, CSV

येथे सर्व काही अगदी सोपे आहे:

तथापि, ही पद्धत केवळ तेव्हाच कार्य करते जेव्हा CSV मध्ये परत केलेला डेटा "साधा" असेल. जर तुम्ही परत करण्याचा प्रयत्न केला तर, उदाहरणार्थ, TOP N CPU गहन क्वेरींची सूची अशा प्रकारे, CSV "खोखला" जाईल कारण क्वेरी मजकुरात कोणतेही वर्ण असू शकतात - स्वल्पविराम, कोट आणि अगदी लाइन ब्रेक. म्हणून, आम्हाला काहीतरी अधिक क्लिष्ट हवे आहे.

HTML मध्ये सुंदर चिन्हे

मी लगेच तुम्हाला कोड स्निपेट देईन

$Header = @"
<style>
TABLE {border-width: 1px; border-style: solid; border-color: black; border-collapse: collapse;}
TH {border-width: 1px; padding: 3px; border-style: solid; border-color: black; background-color: #6495ED;}
TD {border-width: 1px; padding: 3px; border-style: solid; border-color: black;}
</style>
"@
  
$Result = invoke-Sqlcmd -ConnectionString $jstr -Query "select * from DbInv" `
  | Select-Object -Property * -ExcludeProperty "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result -eq $null) { $cnt = 0; }
elseif ($Result.getType().FullName -eq "System.Management.Automation.PSCustomObject") { $cnt = 1; }
else { $cnt = $Result.Rows.Count; } 
if ($cnt -gt 0) {
  $body = "<h2>My table</h2>"
  $Result | ConvertTo-HTML -Title "Rows" -Head $header -body $body `
    | Out-File "res.log" -Append -Encoding UTF8
  } else {
    "<h3>No data</h3>" | Out-File "res.log" -Append -Encoding UTF8
  }

तसे, System.Management.Automation.PSCustomObject सह ओळीकडे लक्ष द्या, ते जादुई आहे; जर ग्रिडमध्ये एकच ओळ असेल, तर काही समस्या उद्भवल्या. फारसा न समजता इंटरनेटवरून उपाय काढला. परिणामी, तुम्हाला असे काहीतरी स्वरूपित आउटपुट मिळेल:

आलेख काढणे

चेतावणी: खाली किंकी कोड!
एसक्यूएल सर्व्हरवर एक मजेदार क्वेरी आहे जी शेवटच्या एन मिनिटांसाठी सीपीयू प्रदर्शित करते - असे दिसून आले की कॉम्रेड मेजरला सर्वकाही आठवते! ही क्विझ वापरून पहा:

DECLARE @ts_now bigint = (SELECT cpu_ticks/(cpu_ticks/ms_ticks) 
  FROM sys.dm_os_sys_info WITH (NOLOCK)); 
SELECT TOP(256) 
  DATEADD(ms, -1 * (@ts_now - [timestamp]), GETDATE()) AS [EventTime],
  SQLProcessUtilization AS [SQLCPU], 
  100 - SystemIdle - SQLProcessUtilization AS [OtherCPU]
FROM (SELECT record.value('(./Record/@id)[1]', 'int') AS record_id, 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/SystemIdle)[1]', 'int') 
    AS [SystemIdle], 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/ProcessUtilization)[1]', 'int') 
    AS [SQLProcessUtilization], [timestamp] 
  FROM (SELECT [timestamp], CONVERT(xml, record) AS [record] 
  FROM sys.dm_os_ring_buffers WITH (NOLOCK)
  WHERE ring_buffer_type = N'RING_BUFFER_SCHEDULER_MONITOR' 
    AND record LIKE N'%<SystemHealth>%') AS x) AS y 
ORDER BY 1 DESC OPTION (RECOMPILE);

आता, हे स्वरूपन वापरून ($Fragment व्हेरिएबल)

<table style="width: 100%"><tbody><tr style="background-color: white; height: 2pt;">
  <td style="width: SQLCPU%; background-color: green;"></td>
  <td style="width: OtherCPU%; background-color: blue;"></td>
  <td style="width: REST%; background-color: #C0C0C0;"></td></tr></tbody>
</table>

आम्ही अक्षराचा मुख्य भाग बनवू शकतो:

$Result = invoke-Sqlcmd -ConnectionString $connstr -Query $Query `
  | Select-Object -Property * -ExcludeProperty `
  "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result.HasRows) {
  foreach($item in $Result) 
    { 
    $time = $itemEventTime 
    $sqlcpu = $item.SQLCPU
    $other = $itemOtherCPU
    $rest = 100 - $sqlcpu - $other
    $f = $fragment -replace "SQLCPU", $sqlcpu
    $f = $f -replace "OtherCPU", $other
    $f = $f -replace "REST", $rest
    $f | Out-File "res.log" -Append -Encoding UTF8
    }

जे यासारखे दिसेल:

होय, महाशय विकृतांबद्दल बरेच काही जाणतात! हे मनोरंजक आहे की या कोडमध्ये हे समाविष्ट आहे: पॉवरशेल (त्यामध्ये लिहिलेले), SQL, Xquery, HTML. ही खेदाची गोष्ट आहे की आम्ही HTML मध्ये Javascript जोडू शकत नाही (कारण ते लेखनासाठी आहे), परंतु Python कोड (जो SQL मध्ये वापरला जाऊ शकतो) पॉलिश करणे हे प्रत्येकाचे कर्तव्य आहे!

SQL प्रोफाइलर ट्रेस आउटपुट

हे स्पष्ट आहे की टेक्स्टडेटा फील्डमुळे ट्रेस CSV मध्ये बसणार नाही. परंतु एका पत्रात ट्रेस ग्रिड प्रदर्शित करणे देखील विचित्र आहे - आकारामुळे आणि पुढील विश्लेषणासाठी हा डेटा बर्‍याचदा वापरला जातो. म्हणून, आम्ही खालील गोष्टी करतो: आम्ही द्वारे कॉल करतो invoke-SqlCmd एक विशिष्ट स्क्रिप्ट, ज्याच्या खोलात ते केले जाते

select 
  SPID,EventClass,TextData,
  Duration,Reads,Writes,CPU,
  StartTime,EndTime,DatabaseName,HostName,
  ApplicationName,LoginName
   from ::fn_trace_gettable ( @filename , default )

पुढे, वर मित्र DBA द्वारे प्रवेश करण्यायोग्य सर्व्हरवर, रिक्त टेम्पलेटसह एक ट्रेसेस डेटाबेस आहे, मॉडेल प्लेट, सर्व निर्दिष्ट स्तंभ स्वीकारण्यास तयार आहे. आम्ही हे मॉडेल एका अद्वितीय नावासह नवीन टेबलवर कॉपी करतो:

$dt = Get-Date -format "yyyyMMdd"
$tm = Get-Date -format "hhmmss"
$tableName = $srv + "_" + $dt + "_" + $tm
$copytab = "select * into " + $tableName + " from Model"
invoke-SqlCmd -ConnectionString $tstr -Query $copytab

आणि आता आपण त्याचा वापर करून आपला ट्रेस लिहू शकतो डेटा.SqlClient.SqlBulkCopy - याचे उदाहरण मी वर दिले आहे. होय, TextData मध्ये स्थिरांक मास्क करणे देखील चांगले होईल:

# mask data
foreach ($Row in $Result)
{ 
  $v = $Row["TextData"]
  $v = $v -replace "'([^']{2,})'", "'str'" -replace "[0-9][0-9]+", '999'
  $Row["TextData"] = $v
}

आम्ही एका वर्णापेक्षा जास्त लांबीच्या संख्यांना 999 ने बदलतो आणि आम्ही एका वर्णापेक्षा जास्त लांबीच्या स्ट्रिंग्सच्या जागी 'str' ठेवतो. 0 ते 9 पर्यंतच्या अंकांचा वापर अनेकदा ध्वज म्हणून केला जातो आणि आम्ही त्यांना स्पर्श करत नाही, तसेच रिक्त आणि एकल-अक्षरांच्या तार - 'Y', 'N', इत्यादि अनेकदा आढळतात.

चला आपल्या आयुष्यात काही रंग भरूया (कठोरपणे 18+)

सारण्यांमध्ये, आपण अनेकदा लक्ष देण्याची आवश्यकता असलेल्या सेल हायलाइट करू इच्छित आहात. उदाहरणार्थ, अयशस्वी, उच्च पातळीचे विखंडन इ. अर्थात, हे बेअर एसक्यूएलमध्ये केले जाऊ शकते, प्रिंट वापरून एचटीएमएल तयार करणे आणि जेनकिन्समध्ये फाइल प्रकार एचटीएमएलवर सेट करणे:

declare @body varchar(max), @chunk varchar(max)
set @body='<font face="Lucida Console" size="3">'
set @body=@body+'<b>Server name: '+@@servername+'</b><br>'
set @body=@body+'<br><br>'
set @body=@body+'<table><tr><th>Job</th><th>Last Run</th><th>Avg Duration, sec</th><th>Last Run, Sec</th><th>Last Status</th></tr>'
print @body

DECLARE tab CURSOR FOR SELECT '<tr><td>'+name+'</td><td>'+
  LastRun+'</td><td>'+
  convert(varchar,AvgDuration)+'</td><td>'+
  convert(varchar,LastDuration)+'</td><td>'+
    case when LastStatus<>'Succeeded' then '<font color="red">' else '' end+
      LastStatus+
      case when LastStatus<>'Succeeded' then '</font>' else '' end+
     +'</td><td>'
  from #j2
OPEN tab;  
FETCH NEXT FROM tab into @chunk
WHILE @@FETCH_STATUS = 0  
BEGIN
  print @chunk
  FETCH NEXT FROM tab into @chunk;  
END  
CLOSE tab;  
DEALLOCATE tab;
print '</table>'

मी असा कोड का लिहिला?

पण त्याहून सुंदर उपाय आहे. कन्व्हर्ट टू-HTML आम्हाला पेशींना रंग देऊ देत नाही, परंतु वस्तुस्थितीनंतर आम्ही ते करू शकतो. उदाहरणार्थ, आम्हाला 80 पेक्षा जास्त आणि 90 पेक्षा जास्त विखंडन पातळी असलेले सेल निवडायचे आहेत. चला शैली जोडूया:

<style>
.SQLmarkup-red { color: red; background-color: yellow; }
.SQLmarkup-yellow { color: black; background-color: #FFFFE0; }
.SQLmarkup-default { color: black; background-color: white; }
</style>

क्वेरीमध्येच आपण एक डमी कॉलम जोडू लगेच आधी स्तंभ आम्हाला रंगायचा आहे. कॉलम बोलावले पाहिजे SQLmarkup-काहीतरी:

case  
  when ps.avg_fragmentation_in_percent>=90.0 then 'SQLmarkup-red'
  when ps.avg_fragmentation_in_percent>=80.0 then 'SQLmarkup-yellow'
  else 'SQLmarkup-default' 
  end as [SQLmarkup-1], 
ps.avg_fragmentation_in_percent,

आता, पॉवरशेलद्वारे व्युत्पन्न केलेले HTML प्राप्त झाल्यानंतर, आम्ही हेडरमधून डमी कॉलम काढून टाकू आणि डेटाच्या मुख्य भागामध्ये आम्ही कॉलममधून स्टाइलमध्ये मूल्य हस्तांतरित करू. हे फक्त दोन प्रतिस्थापनांसह केले जाते:

$html = $html `
  -replace "<th>SQLmarkup[^<]*</th>", "" `
  -replace "<td>SQLmarkup-(.+?)</td><td>",'<td class="SQLmarkup-$1">'

निकाल:

ते शोभिवंत नाही का? नाही तरी, हा रंग मला काहीतरी आठवण करून देतो

स्त्रोत: www.habr.com

जेनकिन्समधील एसक्यूएल सर्व्हरचे ऑटोमेशन: परिणाम सुंदरपणे परत करणे