🥇 जेनकिन्समा SQL सर्भरको स्वचालन: नतिजा सुन्दर रूपमा फर्काउँदै

फेरी व्यवस्थाको विषयवस्तु जारी राख्दै शून्य टच PROD RDS अन्तर्गत। भविष्यका DBA हरू PROD सर्भरहरूमा सिधै जडान गर्न सक्षम हुने छैनन्, तर प्रयोग गर्न सक्षम हुनेछन् जेनकिन्स सञ्चालनको सीमित सेटको लागि रोजगारहरू। DBA ले काम सुरु गर्छ र केहि समय पछि यो कार्य पूरा भएको रिपोर्ट सहितको पत्र प्राप्त गर्दछ। प्रयोगकर्तालाई यी परिणामहरू प्रस्तुत गर्ने तरिकाहरू हेरौं।

सादा पाठ

सबैभन्दा मामूली संग सुरु गरौं। पहिलो विधि यति सरल छ कि त्यहाँ कुरा गर्न को लागी केहि छैन (लेखक यस पछि FreeStyle कार्यहरू प्रयोग गर्दछ):

sqlcmd केहि गर्छ र हामी यसलाई प्रयोगकर्तालाई प्रस्तुत गर्दछौं। उदाहरणका लागि, ब्याकअप कार्यहरूको लागि आदर्श:

नबिर्सनुहोस्, वैसे, RDS ब्याकअप/रिस्टोर अन्तर्गत एसिन्क्रोनस छ, त्यसैले तपाईंले यसको लागि पर्खनु पर्छ:

declare @rds table
  (id int, task_type varchar(128), database_name sysname, pct int, duration int, 
   lifecycle varchar(128), taskinfo varchar(max) null, 
   upd datetime, cre datetime,
   s3 varchar(256), ovr int, KMS varchar(256) null)
waitfor delay '00:00:20' 
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}'
select @xid=max(id) from @rds

again:
waitfor delay '00:00:02'
delete from @rds
insert into @rds exec msdb.dbo.rds_task_status @db_name='{db}' 
# {db} substituted with db name by powershell
select @stat=lifecycle,@info=taskinfo from @rds where id=@xid
if @stat not in ('ERROR','SUCCESS','CANCELLED') goto again

दोस्रो विधि, CSV

यहाँ सबै कुरा पनि धेरै सरल छ:

यद्यपि, CSV मा फर्काइएको डाटा "सरल" भएमा मात्र यो विधिले काम गर्छ। यदि तपाईंले यस तरिकाले TOP N CPU गहन प्रश्नहरूको सूची फिर्ता गर्ने प्रयास गर्नुभयो भने, क्वेरी पाठमा कुनै पनि क्यारेक्टरहरू - अल्पविराम, उद्धरणहरू, र रेखा विच्छेदहरू पनि समावेश हुन सक्ने तथ्यको कारणले CSV ले "खोज्छ"। त्यसैले, हामीलाई थप जटिल कुरा चाहिन्छ।

HTML मा सुन्दर संकेतहरू

म तपाईंलाई तुरुन्तै कोड स्निपेट दिनेछु

$Header = @"
<style>
TABLE {border-width: 1px; border-style: solid; border-color: black; border-collapse: collapse;}
TH {border-width: 1px; padding: 3px; border-style: solid; border-color: black; background-color: #6495ED;}
TD {border-width: 1px; padding: 3px; border-style: solid; border-color: black;}
</style>
"@
  
$Result = invoke-Sqlcmd -ConnectionString $jstr -Query "select * from DbInv" `
  | Select-Object -Property * -ExcludeProperty "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result -eq $null) { $cnt = 0; }
elseif ($Result.getType().FullName -eq "System.Management.Automation.PSCustomObject") { $cnt = 1; }
else { $cnt = $Result.Rows.Count; } 
if ($cnt -gt 0) {
  $body = "<h2>My table</h2>"
  $Result | ConvertTo-HTML -Title "Rows" -Head $header -body $body `
    | Out-File "res.log" -Append -Encoding UTF8
  } else {
    "<h3>No data</h3>" | Out-File "res.log" -Append -Encoding UTF8
  }

खैर, System.Management.Automation.PSCustomObject को साथ लाइनमा ध्यान दिनुहोस्, यो जादुई छ; यदि ग्रिडमा ठ्याक्कै एक लाइन छ भने, त्यसपछि केही समस्याहरू उत्पन्न भयो। समाधान धेरै बुझ्न बिना इन्टरनेट बाट लिइएको थियो। नतिजाको रूपमा, तपाईले आउटपुट ढाँचा प्राप्त गर्नुहुनेछ जस्तै:

रेखाचित्र रेखाचित्र

चेतावनी: तल किंकी कोड!
SQL सर्भरमा एउटा हास्यास्पद प्रश्न छ जुन अन्तिम N मिनेटको लागि CPU प्रदर्शन गर्दछ - यसले बाहिर जान्छ कि कमरेड मेजरले सबै कुरा सम्झन्छ! यो क्विज प्रयास गर्नुहोस्:

DECLARE @ts_now bigint = (SELECT cpu_ticks/(cpu_ticks/ms_ticks) 
  FROM sys.dm_os_sys_info WITH (NOLOCK)); 
SELECT TOP(256) 
  DATEADD(ms, -1 * (@ts_now - [timestamp]), GETDATE()) AS [EventTime],
  SQLProcessUtilization AS [SQLCPU], 
  100 - SystemIdle - SQLProcessUtilization AS [OtherCPU]
FROM (SELECT record.value('(./Record/@id)[1]', 'int') AS record_id, 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/SystemIdle)[1]', 'int') 
    AS [SystemIdle], 
  record.value('(./Record/SchedulerMonitorEvent/SystemHealth/ProcessUtilization)[1]', 'int') 
    AS [SQLProcessUtilization], [timestamp] 
  FROM (SELECT [timestamp], CONVERT(xml, record) AS [record] 
  FROM sys.dm_os_ring_buffers WITH (NOLOCK)
  WHERE ring_buffer_type = N'RING_BUFFER_SCHEDULER_MONITOR' 
    AND record LIKE N'%<SystemHealth>%') AS x) AS y 
ORDER BY 1 DESC OPTION (RECOMPILE);

अब, यो ढाँचा प्रयोग गर्दै ($Fragment चर)

<table style="width: 100%"><tbody><tr style="background-color: white; height: 2pt;">
  <td style="width: SQLCPU%; background-color: green;"></td>
  <td style="width: OtherCPU%; background-color: blue;"></td>
  <td style="width: REST%; background-color: #C0C0C0;"></td></tr></tbody>
</table>

हामी अक्षरको मुख्य भाग बनाउन सक्छौं:

$Result = invoke-Sqlcmd -ConnectionString $connstr -Query $Query `
  | Select-Object -Property * -ExcludeProperty `
  "ItemArray", "RowError", "RowState", "Table", "HasErrors"
if ($Result.HasRows) {
  foreach($item in $Result) 
    { 
    $time = $itemEventTime 
    $sqlcpu = $item.SQLCPU
    $other = $itemOtherCPU
    $rest = 100 - $sqlcpu - $other
    $f = $fragment -replace "SQLCPU", $sqlcpu
    $f = $f -replace "OtherCPU", $other
    $f = $f -replace "REST", $rest
    $f | Out-File "res.log" -Append -Encoding UTF8
    }

जुन यस्तो देखिनेछ:

हो, महाशयलाई विकृतिको बारेमा धेरै थाहा छ! यो रोचक छ कि यो कोड समावेश गर्दछ: Powershell (यसमा लेखिएको), SQL, Xquery, HTML। यो दुःखको कुरा हो कि हामीले HTML मा Javascript थप्न सक्दैनौं (यो लेख्नको लागि हो), तर पाइथन कोड (जुन SQL मा प्रयोग गर्न सकिन्छ) पालिश गर्नु सबैको कर्तव्य हो!

SQL प्रोफाइलर ट्रेस आउटपुट

TextData फिल्डका कारण ट्रेस CSV मा फिट हुने छैन भन्ने स्पष्ट छ। तर एउटा अक्षरमा ट्रेस ग्रिड देखाउनु पनि अनौठो छ - दुबै साइजको कारणले र यो डाटा प्राय: थप विश्लेषणको लागि प्रयोग गरिन्छ। त्यसकारण, हामी निम्न गर्छौं: हामी मार्फत कल गर्छौं invoke-SqlCmd एउटा निश्चित लिपि, जसको गहिराइमा यो गरिन्छ

select 
  SPID,EventClass,TextData,
  Duration,Reads,Writes,CPU,
  StartTime,EndTime,DatabaseName,HostName,
  ApplicationName,LoginName
   from ::fn_trace_gettable ( @filename , default )

अर्को, मा साथी DBA द्वारा पहुँचयोग्य सर्भरमा, त्यहाँ खाली टेम्प्लेट, मोडेल प्लेट, सबै निर्दिष्ट स्तम्भहरू स्वीकार गर्न तयार भएको ट्रेसेस डाटाबेस छ। हामी यो मोडेललाई एक अद्वितीय नामको साथ नयाँ तालिकामा प्रतिलिपि गर्छौं:

$dt = Get-Date -format "yyyyMMdd"
$tm = Get-Date -format "hhmmss"
$tableName = $srv + "_" + $dt + "_" + $tm
$copytab = "select * into " + $tableName + " from Model"
invoke-SqlCmd -ConnectionString $tstr -Query $copytab

र अब हामी यसलाई प्रयोग गरेर हाम्रो ट्रेस लेख्न सक्छौं Data.SqlClient.SqlBulkCopy - मैले पहिले नै यसको उदाहरण माथि दिएको छु। हो, यो TextData मा स्थिर मास्क गर्न पनि राम्रो हुनेछ:

# mask data
foreach ($Row in $Result)
{ 
  $v = $Row["TextData"]
  $v = $v -replace "'([^']{2,})'", "'str'" -replace "[0-9][0-9]+", '999'
  $Row["TextData"] = $v
}

हामी एक भन्दा बढी क्यारेक्टर लामो संख्याहरूलाई 999 ले बदल्छौं, र हामी एक वर्ण भन्दा लामो स्ट्रिङलाई 'str' ले बदल्छौं। 0 देखि 9 सम्मका संख्याहरू प्राय: झण्डाको रूपमा प्रयोग गरिन्छ, र हामी तिनीहरूलाई छुँदैनौं, साथै खाली र एकल-क्यारेक्टर स्ट्रिङहरू - 'Y', 'N', इत्यादिहरू प्रायः तिनीहरूमा पाइन्छ।

हाम्रो जीवनमा केही रङ थपौं (कडा रूपमा 18+)

तालिकाहरूमा, तपाइँ प्रायः ध्यान चाहिने कक्षहरूलाई हाइलाइट गर्न चाहनुहुन्छ। उदाहरणका लागि, FAILS, उच्च स्तरको खण्डीकरण, आदि। निस्सन्देह, यो नग्न SQL मा गर्न सकिन्छ, PRINT प्रयोग गरेर HTML उत्पन्न गर्दै, र जेनकिन्समा HTML मा फाइल प्रकार सेट गर्नुहोस्:

declare @body varchar(max), @chunk varchar(max)
set @body='<font face="Lucida Console" size="3">'
set @body=@body+'<b>Server name: '+@@servername+'</b><br>'
set @body=@body+'<br><br>'
set @body=@body+'<table><tr><th>Job</th><th>Last Run</th><th>Avg Duration, sec</th><th>Last Run, Sec</th><th>Last Status</th></tr>'
print @body

DECLARE tab CURSOR FOR SELECT '<tr><td>'+name+'</td><td>'+
  LastRun+'</td><td>'+
  convert(varchar,AvgDuration)+'</td><td>'+
  convert(varchar,LastDuration)+'</td><td>'+
    case when LastStatus<>'Succeeded' then '<font color="red">' else '' end+
      LastStatus+
      case when LastStatus<>'Succeeded' then '</font>' else '' end+
     +'</td><td>'
  from #j2
OPEN tab;  
FETCH NEXT FROM tab into @chunk
WHILE @@FETCH_STATUS = 0  
BEGIN
  print @chunk
  FETCH NEXT FROM tab into @chunk;  
END  
CLOSE tab;  
DEALLOCATE tab;
print '</table>'

मैले यस्तो कोड किन लेखें?

तर त्यहाँ अझ सुन्दर समाधान छ। HTML मा रूपान्तरण गर्नुहोस् हामीलाई कक्षहरूलाई रंग दिन दिँदैन, तर हामी यो तथ्य पछि गर्न सक्छौं। उदाहरणका लागि, हामी 80 भन्दा बढी र 90 भन्दा बढीको खण्डीकरण स्तर भएका कक्षहरू चयन गर्न चाहन्छौं। शैलीहरू थपौं:

<style>
.SQLmarkup-red { color: red; background-color: yellow; }
.SQLmarkup-yellow { color: black; background-color: #FFFFE0; }
.SQLmarkup-default { color: black; background-color: white; }
</style>

क्वेरीमा नै हामी डमी स्तम्भ थप्नेछौं तुरुन्तै अघि स्तम्भ हामी रंग गर्न चाहन्छौं। स्तम्भ बोलाउनुपर्छ SQLmarkup-केहि:

case  
  when ps.avg_fragmentation_in_percent>=90.0 then 'SQLmarkup-red'
  when ps.avg_fragmentation_in_percent>=80.0 then 'SQLmarkup-yellow'
  else 'SQLmarkup-default' 
  end as [SQLmarkup-1], 
ps.avg_fragmentation_in_percent,

अब, Powershell द्वारा उत्पन्न HTML प्राप्त गरेपछि, हामी हेडरबाट डमी स्तम्भ हटाउनेछौं, र डाटाको मुख्य भागमा हामी स्तम्भबाट स्टाइलमा मान स्थानान्तरण गर्नेछौं। यो केवल दुई प्रतिस्थापन संग गरिन्छ:

$html = $html `
  -replace "<th>SQLmarkup[^<]*</th>", "" `
  -replace "<td>SQLmarkup-(.+?)</td><td>",'<td class="SQLmarkup-$1">'

परिणाम:

यो सुरुचिपूर्ण छैन? यद्यपि होइन, यो रंगले मलाई केहि सम्झाउँछ

स्रोत: www.habr.com

जेनकिन्समा SQL सर्भरको स्वचालन: नतिजा सुन्दर रूपमा फर्काउँदै