Linux मा Powershell बाट MS SQL सँग काम गर्दै

यो लेख विशुद्ध व्यावहारिक छ र मेरो दुखद कथामा समर्पित छ

लागि तयारी गर्दै शून्य टच PROD RDS (MS SQL), जसको बारेमा हाम्रा सबै कान गुञ्जिरहेका थिए, मैले स्वचालनको एक प्रस्तुतीकरण (POC - प्रुफ अफ कन्सेप्ट) बनाएको थिएँ: पावरशेल स्क्रिप्टहरूको सेट। प्रस्तुति पछि, जब तूफानी, लामो ताली मरे, निरन्तर तालीमा परिणत भयो, तिनीहरूले मलाई भने - यो सबै राम्रो छ, तर केवल वैचारिक कारणले गर्दा, हाम्रा सबै जेनकिन्स दासहरू लिनक्समा काम गर्छन्!

के यो सम्भव छ? विन्डोज मुनिबाट यस्तो न्यानो, बत्ती DBA लिनुहोस् र लिनक्स अन्तर्गत पावरशेलको धेरै तातोमा टाँस्नुहोस्? यो निर्दयी होइन?

मैले प्रविधिको यो अनौठो संयोजनमा आफूलाई डुबाउनु पर्यो। अवश्य पनि, मेरा सबै ३०+ स्क्रिप्टहरूले काम गर्न छोडे। मेरो अचम्मको लागि, मैले एक कार्य दिनमा सबै कुरा ठीक गर्न व्यवस्थित गरें। म तातो खोजीमा लेख्दैछु। त्यसोभए, विन्डोजबाट लिनक्समा पावरशेल स्क्रिप्टहरू स्थानान्तरण गर्दा तपाईले कुन समस्याहरू सामना गर्न सक्नुहुन्छ?

sqlcmd बनाम Invoke-SqlCmd

मलाई तिनीहरू बीचको मुख्य भिन्नताको सम्झना गरौं। राम्रो पुरानो उपयोगिता sqlcmd यो पनि लगभग समान कार्यक्षमता संग, लिनक्स अन्तर्गत काम गर्दछ। हामी -Q कार्यान्वयन गर्न क्वेरी पास गर्छौं, इनपुट फाइल -i को रूपमा र आउटपुट -o। तर फाइल नामहरू, अवश्य पनि, केस-संवेदनशील बनाइन्छ। यदि तपाइँ -i प्रयोग गर्नुहुन्छ भने, फाइलमा अन्त्यमा लेख्नुहोस्:

GO
EXIT

यदि अन्त्यमा EXIT छैन भने, sqlcmd इनपुटको लागि पर्खन अगाडि बढ्नेछ, र यदि पहिले बाहिर निस्कनुहोस् गर्दैन GO, त्यसपछि अन्तिम आदेश काम गर्दैन। आउटपुट फाइलले सबै आउटपुट, चयन, सन्देश, प्रिन्ट, आदि समावेश गर्दछ।

Invoke-SqlCmd ले DataSet, DataTables वा DataRows को रूपमा परिणाम उत्पादन गर्छ। त्यसकारण, यदि तपाइँ एक साधारण चयनको नतिजा प्रक्रिया गर्नुहुन्छ भने, तपाइँ प्रयोग गर्न सक्नुहुन्छ sqlcmd, यसको आउटपुट पार्स गरेपछि, केहि जटिल निकाल्न लगभग असम्भव छ: यसको लागि त्यहाँ छ Invoke-SqlCmd। तर यस टोलीको पनि आफ्नै मजाकहरू छन्:

• यदि तपाइँ उसलाई मार्फत फाइल स्थानान्तरण गर्नुहुन्छ -इनपुटफाइल, त्यसपछि बाहिर निस्कनुहोस् आवश्यक छैन, यसबाहेक, यसले सिन्ट्याक्स त्रुटि उत्पन्न गर्दछ
• -आउटपुट फाइल होइन, आदेशले तपाईंलाई वस्तुको रूपमा परिणाम फर्काउँछ
• त्यहाँ सर्भर निर्दिष्ट गर्न दुई वाक्यविन्यासहरू छन्: -सर्भरइन्स्टेन्स -प्रयोगकर्ता नाम -पासवर्ड -डेटाबेस र मार्फत -ConnectionString। अनौठो रूपमा, पहिलो अवस्थामा यो 1433 भन्दा अन्य पोर्ट निर्दिष्ट गर्न सम्भव छैन।
• पाठ आउटपुट, टाइप गर्नुहोस् PRINT, जुन केवल "पक्रिएको" छ sqlcmdको लागी Invoke-SqlCmd समस्या छ
• र सबैभन्दा महत्त्वपूर्ण: सम्भवतः तपाईको लिनक्समा यो cmdlet छैन!

र यो मुख्य समस्या हो। मार्चमा मात्र यो cmdlet गैर-विन्डोज प्लेटफर्महरूको लागि उपलब्ध भयो, र अन्तमा हामी अगाडि बढ्न सक्छौं!

परिवर्तनशील प्रतिस्थापन

sqlcmd मा -v को प्रयोग गरेर चर प्रतिस्थापन छ, उदाहरण को लागी यो जस्तै:

# $conn содержит начало команды sqlcmd
$cmd = $conn + " -i D:appsSlaveJobsKillSpid.sql -o killspid.res 
  -v spid =`"" + $spid + "`" -v age =`"" + $age + "`""
Invoke-Expression $cmd

SQL स्क्रिप्टमा हामी प्रतिस्थापनहरू प्रयोग गर्छौं:

set @spid=$(spid)
set @age=$(age)

त्यसैले यो यहाँ छ। * निक्स मा चर प्रतिस्थापनले काम गर्दैन... प्यारामिटर -v बेवास्ता गरियो। U Invoke-SqlCmd बेवास्ता गरियो - चर। यद्यपि चरहरू निर्दिष्ट गर्ने प्यारामिटरलाई बेवास्ता गरिएको छ, प्रतिस्थापनहरू आफैंले काम गर्दछ - तपाइँ शेलबाट कुनै पनि चरहरू प्रयोग गर्न सक्नुहुन्छ। जे होस्, म भ्यारीएबलहरूबाट चित्त दुखाएको थिएँ र तिनीहरूमा भर पर्न नदिने निर्णय गरें, र SQL स्क्रिप्टहरू छोटो भएकाले कठोर र आदिम रूपमा कार्य गरें:

# prepend the parameters  
"declare @age int, @spid int" | Add-Content "q.sql"
"set @spid=" + $spid | Add-Content "q.sql"
"set @age=" + $age | Add-Content "q.sql"

foreach ($line in Get-Content "Sqlserver/Automation/KillSpid.sql") { 
  $line | Add-Content "q.sql" 
  }
$cmd = "/opt/mssql-tools/bin/" + $conn + " -i q.sql -o res.log"

यो, तपाईंले बुझ्नुभएको रूपमा, युनिक्स संस्करणबाट पहिले नै परीक्षण हो।

फाइलहरू अपलोड गर्दै

विन्डोज संस्करणमा, कुनै पनि अपरेशन अडिटको साथमा थियो: हामीले sqlcmd चलायौं, आउटपुट फाइलमा कुनै प्रकारको दुरुपयोग प्राप्त गर्‍यौं, यो फाइललाई अडिट प्लेटमा संलग्न गर्यौं। सौभाग्यवश, SQL सर्भरले जेनकिन्सको रूपमा समान सर्भरमा काम गर्यो, यो यो जस्तै गरिएको थियो:

CREATE procedure AuditUpload
  @id int, @filename varchar(256)
as
  set nocount on
  declare @sql varchar(max)

  CREATE TABLE #multi (filer NVARCHAR(MAX))
  set @sql='BULK INSERT #multi FROM '''+@filename
    +''' WITH (ROWTERMINATOR = '' '',CODEPAGE = ''ACP'')'
  exec (@sql)
  select @sql=filer from #multi
  update JenkinsAudit set multiliner=@sql where ID=@id
  return

यसरी, हामी BCP फाइल पूरै निल्छौं र यसलाई अडिट तालिकाको nvarchar(max) फिल्डमा हाल्छौं। निस्सन्देह, यो सम्पूर्ण प्रणाली अलग भयो, किनभने SQL सर्भरको सट्टा मैले RDS पाएँ, र BULK INSERT ले UNC मार्फत कुनै पनि फाइलमा विशेष लक लिने प्रयासको कारणले काम गर्दैन, र RDS को साथ यो सामान्यतया बर्बाद हुन्छ। एकदम शुरुवात। त्यसैले मैले अडिट लाइन लाई लाइन द्वारा भण्डारण गर्दै प्रणाली डिजाइन परिवर्तन गर्ने निर्णय गरें:

CREATE TABLE AuditOut (
  ID int NULL,
  TextLine nvarchar(max) NULL,
  n int IDENTITY(1,1) PRIMARY KEY
  )

र यस तालिकामा यसरी लेख्नुहोस्:

function WriteAudit([string]$Filename, [string]$ConnStr, 
     [string]$Tabname, [string]$Jobname)
{
  # get $lastid of the last execution  -- проскипано для статьи
	
  #create grid and populate it with data from file
  $audit =  Get-Content $Filename
  $DT = new-object Data.DataTable   

  $COL1 =  new-object Data.DataColumn; 
  $COL1.ColumnName = "ID"; 
  $COL1.DataType =  [System.Type]::GetType("System.Int32") 

  $COL2 =  new-object Data.DataColumn; 
  $COL2.ColumnName = "TextLine"; 
  $COL2.DataType =  [System.Type]::GetType("System.String") 
  
  $DT.Columns.Add($COL1) 
  $DT.Columns.Add($COL2) 
  foreach ($line in $audit) 
    { 
    $DR = $dt.NewRow()   
    $DR.Item("ID") = $lastid
    $DR.Item("TextLine") = $line
    $DT.Rows.Add($DR)   
    } 

  # write it to table
  $conn=new-object System.Data.SqlClient.SQLConnection 
  $conn.ConnectionString = $ConnStr
  $conn.Open() 
  $bulkCopy = new-object ("Data.SqlClient.SqlBulkCopy") $ConnStr
  $bulkCopy.DestinationTableName = $Tabname 
  $bulkCopy.BatchSize = 50000
  $bulkCopy.BulkCopyTimeout = 0
  $bulkCopy.WriteToServer($DT) 
  $conn.Close() 
  }  

सामग्री चयन गर्न, तपाईंले आईडी अनुसार चयन गर्न आवश्यक छ, क्रम n (पहिचान) छनोट गर्नुहोस्।

अर्को लेखमा म यो सबै जेनकिन्ससँग कसरी अन्तरक्रिया गर्छ भन्ने बारे थप विवरणमा जानेछु।

स्रोत: www.habr.com