მუშაობა MS SQL-თან Powershell-იდან Linux-ზე

ეს სტატია არის წმინდა პრაქტიკული და ეძღვნება ჩემს სამწუხარო ისტორიას

ემზადება Zero Touch PROD RDS-ისთვის (MS SQL), რომლის შესახებაც მთელი ჩვენი ყური ზუზუნებდა, გავაკეთე პრეზენტაცია (POC - Proof Of Concept) ავტომატიზაციის შესახებ: powershell სკრიპტების ნაკრები. პრეზენტაციის შემდეგ, როცა მშფოთვარე, გახანგრძლივებული აპლოდისმენტები ჩაქრა, განუწყვეტელ აპლოდისმენტებად გადაიზარდა, მითხრეს - ეს ყველაფერი კარგია, მაგრამ მხოლოდ იდეოლოგიური მიზეზების გამო, ყველა ჩვენი ჯენკინსის მონა მუშაობს Linux-ზე!

ეს შესაძლებელია? აიღეთ ასეთი თბილი, ნათურა DBA Windows-ის ქვეშ და გააჩერეთ ის Powershell-ის სიცხეში Linux-ის ქვეშ? ეს არ არის სასტიკი?

ტექნოლოგიების ამ უცნაურ კომბინაციაში მომიწია ჩაძირვა. რა თქმა უნდა, ჩემმა 30+ სკრიპტმა შეწყვიტა მუშაობა. ჩემდა გასაკვირად, ერთ სამუშაო დღეში მოვახერხე ყველაფრის გამოსწორება. ვწერ ცხელ კვალზე. მაშ, რა პრობლემები შეიძლება შეგხვდეთ Powershell სკრიპტების Windows-დან Linux-ზე გადატანისას?

sqlcmd vs Invoke-SqlCmd

ნება მომეცით შეგახსენოთ მათ შორის მთავარი განსხვავება. კარგი ძველი კომუნალური sqlcmd ის ასევე მუშაობს Linux-ის ქვეშ, თითქმის იდენტური ფუნქციონირებით. ჩვენ გადავცემთ შეკითხვას -Q-ს შესასრულებლად, შეყვანის ფაილს -i და გამომავალს -o. მაგრამ ფაილების სახელები, რა თქმა უნდა, ხდება რეგისტრის მგრძნობიარედ. თუ იყენებთ -i, მაშინ ფაილში ჩაწერეთ ბოლოს:

GO
EXIT

თუ ბოლოს არ არის EXIT, მაშინ sqlcmd გააგრძელებს შეყვანის მოლოდინს, და თუ ადრე გასვლა არა GO, მაშინ ბოლო ბრძანება არ იმუშავებს. გამომავალი ფაილი შეიცავს ყველა გამომავალს, არჩევანს, შეტყობინებებს, ბეჭდვას და ა.შ.

Invoke-SqlCmd აწარმოებს შედეგს როგორც DataSet, DataTables ან DataRows. ამიტომ, თუ მარტივი შერჩევის შედეგს დაამუშავებთ, შეგიძლიათ გამოიყენოთ sqlcmd, მისი გამომუშავების გაანალიზების შემდეგ, თითქმის შეუძლებელია რაიმე რთული გამოტანა: ამისათვის არსებობს Invoke-SqlCmd. მაგრამ ამ გუნდს ასევე აქვს თავისი ხუმრობები:

• თუ ფაილს გადაუგზავნით მას მეშვეობით -InputFile, მაშინ გასვლა არ არის საჭირო, უფრო მეტიც, ის აწარმოებს სინტაქსურ შეცდომას
• - OutputFile არა, ბრძანება აბრუნებს შედეგს, როგორც ობიექტი
• სერვერის მითითებისთვის ორი სინტაქსია: -ServerInstance -მომხმარებლის სახელი -პაროლი -მონაცემთა ბაზა და მეშვეობით -ConnectionString. უცნაურად საკმარისია, რომ პირველ შემთხვევაში შეუძლებელია 1433-ის გარდა სხვა პორტის მითითება.
• ტექსტის გამომავალი, აკრიფეთ PRINT, რომელიც უბრალოდ "დაჭერილია" sqlcmdამისთვის Invoke-SqlCmd პრობლემაა
• და რაც მთავარია: სავარაუდოდ თქვენს Linux-ს არ აქვს ეს cmdlet!

და ეს არის მთავარი პრობლემა. მხოლოდ მარტში ეს cmdlet ხელმისაწვდომი გახდა არა Windows პლატფორმებისთვისდა ბოლოს ჩვენ შეგვიძლია წინსვლა!

ცვლადი ჩანაცვლება

sqlcmd აქვს ცვლადის ჩანაცვლება -v-ის გამოყენებით, მაგალითად ასე:

# $conn содержит начало команды sqlcmd
$cmd = $conn + " -i D:appsSlaveJobsKillSpid.sql -o killspid.res 
  -v spid =`"" + $spid + "`" -v age =`"" + $age + "`""
Invoke-Expression $cmd

SQL სკრიპტში ჩვენ ვიყენებთ ჩანაცვლებებს:

set @spid=$(spid)
set @age=$(age)

ასე რომ, აქ არის. * nix-ში ცვლადი ჩანაცვლება არ მუშაობს... Პარამეტრი -v უგულებელყო. უ Invoke-SqlCmd უგულებელყო -ცვლადები. მიუხედავად იმისა, რომ პარამეტრი, რომელიც განსაზღვრავს თავად ცვლადებს, იგნორირებულია, ჩანაცვლებები თავად მუშაობს - შეგიძლიათ გამოიყენოთ ნებისმიერი ცვლადი Shell-დან. თუმცა, მე განაწყენებული ვიყავი ცვლადებით და გადავწყვიტე, საერთოდ არ ვყოფილიყავი დამოკიდებული მათზე და ვიმოქმედე უხეშად და პრიმიტიულად, რადგან SQL სკრიპტები მოკლეა:

# prepend the parameters  
"declare @age int, @spid int" | Add-Content "q.sql"
"set @spid=" + $spid | Add-Content "q.sql"
"set @age=" + $age | Add-Content "q.sql"

foreach ($line in Get-Content "Sqlserver/Automation/KillSpid.sql") { 
  $line | Add-Content "q.sql" 
  }
$cmd = "/opt/mssql-tools/bin/" + $conn + " -i q.sql -o res.log"

ეს, როგორც გესმით, არის ტესტი უკვე Unix-ის ვერსიიდან.

ფაილების ატვირთვა

Windows-ის ვერსიაში, ნებისმიერ ოპერაციას თან ახლდა აუდიტი: ჩვენ გავუშვით sqlcmd, მივიღეთ რაიმე სახის შეურაცხყოფა გამომავალი ფაილში, მივამაგრეთ ეს ფაილი აუდიტის ფირფიტაზე. საბედნიეროდ, SQL სერვერი მუშაობდა იმავე სერვერზე, როგორც ჯენკინსი, ასე გაკეთდა:

CREATE procedure AuditUpload
  @id int, @filename varchar(256)
as
  set nocount on
  declare @sql varchar(max)

  CREATE TABLE #multi (filer NVARCHAR(MAX))
  set @sql='BULK INSERT #multi FROM '''+@filename
    +''' WITH (ROWTERMINATOR = '' '',CODEPAGE = ''ACP'')'
  exec (@sql)
  select @sql=filer from #multi
  update JenkinsAudit set multiliner=@sql where ID=@id
  return

ამრიგად, ჩვენ მთლიანად ვყლაპავთ BCP ფაილს და ვათავსებთ მას აუდიტის ცხრილის nvarchar(max) ველში. რა თქმა უნდა, მთელი ეს სისტემა დაიშალა, რადგან SQL სერვერის ნაცვლად მე მივიღე RDS, და BULK INSERT საერთოდ არ მუშაობს UNC-ის საშუალებით ფაილზე ექსკლუზიური დაბლოკვის მცდელობის გამო, და RDS-ით ეს ზოგადად განწირულია. თავიდანვე. ასე რომ, მე გადავწყვიტე შევცვალო სისტემის დიზაინი, შევინახო აუდიტის სტრიქონი:

CREATE TABLE AuditOut (
  ID int NULL,
  TextLine nvarchar(max) NULL,
  n int IDENTITY(1,1) PRIMARY KEY
  )

და ჩაწერეთ ამ ცხრილში ასე:

function WriteAudit([string]$Filename, [string]$ConnStr, 
     [string]$Tabname, [string]$Jobname)
{
  # get $lastid of the last execution  -- проскипано для статьи
	
  #create grid and populate it with data from file
  $audit =  Get-Content $Filename
  $DT = new-object Data.DataTable   

  $COL1 =  new-object Data.DataColumn; 
  $COL1.ColumnName = "ID"; 
  $COL1.DataType =  [System.Type]::GetType("System.Int32") 

  $COL2 =  new-object Data.DataColumn; 
  $COL2.ColumnName = "TextLine"; 
  $COL2.DataType =  [System.Type]::GetType("System.String") 
  
  $DT.Columns.Add($COL1) 
  $DT.Columns.Add($COL2) 
  foreach ($line in $audit) 
    { 
    $DR = $dt.NewRow()   
    $DR.Item("ID") = $lastid
    $DR.Item("TextLine") = $line
    $DT.Rows.Add($DR)   
    } 

  # write it to table
  $conn=new-object System.Data.SqlClient.SQLConnection 
  $conn.ConnectionString = $ConnStr
  $conn.Open() 
  $bulkCopy = new-object ("Data.SqlClient.SqlBulkCopy") $ConnStr
  $bulkCopy.DestinationTableName = $Tabname 
  $bulkCopy.BatchSize = 50000
  $bulkCopy.BulkCopyTimeout = 0
  $bulkCopy.WriteToServer($DT) 
  $conn.Close() 
  }  

კონტენტის შესარჩევად, თქვენ უნდა აირჩიოთ ID-ით, არჩევით თანმიმდევრობით n (იდენტურობა).

შემდეგ სტატიაში მე უფრო დეტალურად განვიხილავ, თუ როგორ ურთიერთქმედებს ეს ყველაფერი ჯენკინსთან.

წყარო: www.habr.com