Linux પર Powershell માંથી MS SQL સાથે કામ કરવું

આ લેખ સંપૂર્ણપણે વ્યવહારુ છે અને મારી દુઃખદ વાર્તાને સમર્પિત છે

માટે તૈયાર થઈ રહ્યા છે ઝીરો ટચ PROD RDS (MS SQL) માટે, જેના વિશે અમારા બધા કાન ગૂંજતા હતા, મેં ઑટોમેશનનું એક પ્રેઝન્ટેશન (POC - પ્રૂફ ઑફ કોન્સેપ્ટ) કર્યું: પાવરશેલ સ્ક્રિપ્ટ્સનો સમૂહ. પ્રસ્તુતિ પછી, જ્યારે તોફાની, લાંબી તાળીઓ મૃત્યુ પામી, અવિરત તાળીઓમાં ફેરવાઈ, ત્યારે તેઓએ મને કહ્યું - આ બધું સારું છે, પરંતુ માત્ર વૈચારિક કારણોસર, અમારા બધા જેનકિન્સ ગુલામો Linux પર કામ કરે છે!

શું આ શક્ય છે? વિન્ડોઝની નીચેથી આવા ગરમ, લેમ્પ ડીબીએ લો અને તેને લિનક્સ હેઠળ પાવરશેલની ખૂબ જ ગરમીમાં ચોંટાડો? શું આ ક્રૂર નથી?

મારે મારી જાતને તકનીકોના આ વિચિત્ર સંયોજનમાં ડૂબી જવું પડ્યું. અલબત્ત, મારી બધી 30+ સ્ક્રિપ્ટોએ કામ કરવાનું બંધ કરી દીધું. મારા આશ્ચર્ય માટે, મેં એક કાર્યકારી દિવસમાં બધું ઠીક કરવામાં વ્યવસ્થાપિત કર્યું. હું ગરમ ​​અનુસંધાનમાં લખું છું. તો, પાવરશેલ સ્ક્રિપ્ટોને વિન્ડોઝથી લિનક્સમાં સ્થાનાંતરિત કરતી વખતે તમે કઈ મુશ્કેલીઓનો સામનો કરી શકો છો?

sqlcmd vs Invoke-SqlCmd

ચાલો હું તમને તેમની વચ્ચેના મુખ્ય તફાવતની યાદ અપાવીશ. સારી જૂની ઉપયોગિતા sqlcmd તે લગભગ સમાન કાર્યક્ષમતા સાથે, Linux હેઠળ પણ કામ કરે છે. અમે -Q, ઇનપુટ ફાઇલ -i તરીકે અને આઉટપુટ -o તરીકે ચલાવવા માટે ક્વેરી પાસ કરીએ છીએ. પરંતુ ફાઇલ નામો, અલબત્ત, કેસ-સંવેદનશીલ બનાવવામાં આવે છે. જો તમે -i નો ઉપયોગ કરો છો, તો ફાઇલમાં અંતે લખો:

GO
EXIT

જો અંતે કોઈ એક્ઝિટ ન હોય, તો sqlcmd ઇનપુટની રાહ જોવા માટે આગળ વધશે, અને જો પહેલાં બહાર નીકળો નહીં GO, પછી છેલ્લો આદેશ કામ કરશે નહીં. આઉટપુટ ફાઇલમાં તમામ આઉટપુટ, સિલેક્ટ, મેસેજ, પ્રિન્ટ વગેરેનો સમાવેશ થાય છે.

Invoke-SqlCmd ડેટાસેટ, ડેટાટેબલ્સ અથવા ડેટારો તરીકે પરિણામ ઉત્પન્ન કરે છે. તેથી, જો તમે સરળ પસંદગીના પરિણામ પર પ્રક્રિયા કરો છો, તો તમે ઉપયોગ કરી શકો છો sqlcmd, તેના આઉટપુટનું વિશ્લેષણ કર્યા પછી, કંઈક જટિલ મેળવવું લગભગ અશક્ય છે: આ માટે ત્યાં છે Invoke-SqlCmd. પરંતુ આ ટીમના પોતાના જોક્સ પણ છે:

• જો તમે તેના દ્વારા ફાઇલ સ્થાનાંતરિત કરો છો -ઇનપુટ ફાઇલપછી બહાર નીકળો જરૂરી નથી, વધુમાં, તે વાક્યરચના ભૂલ પેદા કરે છે
• -આઉટપુટ ફાઇલ ના, આદેશ તમને ઑબ્જેક્ટ તરીકે પરિણામ આપે છે
• સર્વરનો ઉલ્લેખ કરવા માટે બે વાક્યરચના છે: -સર્વરઇન્સ્ટન્સ -વપરાશકર્તા નામ -પાસવર્ડ -ડેટાબેઝ અને મારફતે -કનેક્શનસ્ટ્રિંગ. વિચિત્ર રીતે, પ્રથમ કિસ્સામાં 1433 સિવાયના પોર્ટનો ઉલ્લેખ કરવો શક્ય નથી.
• ટેક્સ્ટ આઉટપુટ, PRINT લખો, જે ફક્ત "પકડાયેલ" છે sqlcmdમાટે Invoke-SqlCmd એક સમસ્યા છે
• અને સૌથી અગત્યનું: મોટે ભાગે તમારા Linux પાસે આ cmdlet નથી!

અને આ મુખ્ય સમસ્યા છે. માત્ર માર્ચમાં આ cmdlet બિન-વિન્ડોઝ પ્લેટફોર્મ માટે ઉપલબ્ધ બન્યું, અને અંતે આપણે આગળ વધી શકીએ છીએ!

વેરિયેબલ અવેજી

sqlcmd પાસે -v નો ઉપયોગ કરીને ચલ અવેજી છે, ઉદાહરણ તરીકે આના જેવું:

# $conn содержит начало команды sqlcmd
$cmd = $conn + " -i D:appsSlaveJobsKillSpid.sql -o killspid.res 
  -v spid =`"" + $spid + "`" -v age =`"" + $age + "`""
Invoke-Expression $cmd

SQL સ્ક્રિપ્ટમાં આપણે અવેજીનો ઉપયોગ કરીએ છીએ:

set @spid=$(spid)
set @age=$(age)

તેથી તે અહીં છે. *નિક્સ માં ચલ અવેજી કામ કરતું નથી. પરિમાણ -v અવગણવામાં યુ Invoke-SqlCmd અવગણવામાં -ચલો. જો કે પરિમાણ કે જે ચલોને પોતાને સ્પષ્ટ કરે છે તેને અવગણવામાં આવે છે, અવેજી પોતે કાર્ય કરે છે - તમે શેલમાંથી કોઈપણ ચલોનો ઉપયોગ કરી શકો છો. જો કે, હું વેરિયેબલ્સથી નારાજ હતો અને મેં તેમના પર બિલકુલ નિર્ભર ન રહેવાનું નક્કી કર્યું, અને એસક્યુએલ સ્ક્રિપ્ટ ટૂંકી હોવાને કારણે અસભ્ય અને આદિમ વર્તન કર્યું:

# prepend the parameters  
"declare @age int, @spid int" | Add-Content "q.sql"
"set @spid=" + $spid | Add-Content "q.sql"
"set @age=" + $age | Add-Content "q.sql"

foreach ($line in Get-Content "Sqlserver/Automation/KillSpid.sql") { 
  $line | Add-Content "q.sql" 
  }
$cmd = "/opt/mssql-tools/bin/" + $conn + " -i q.sql -o res.log"

આ, જેમ તમે સમજો છો, તે યુનિક્સ સંસ્કરણમાંથી પહેલેથી જ એક પરીક્ષણ છે.

ફાઇલો અપલોડ કરી રહ્યાં છીએ

વિન્ડોઝ સંસ્કરણમાં, કોઈપણ ઑપરેશન ઑડિટ સાથે હતું: અમે sqlcmd ચલાવ્યું, આઉટપુટ ફાઇલમાં કોઈ પ્રકારનો દુરુપયોગ મળ્યો, આ ફાઇલને ઑડિટ પ્લેટ સાથે જોડી દીધી. સદનસીબે, SQL સર્વર જેનકિન્સ જેવા જ સર્વર પર કામ કરે છે, તે આના જેવું કંઈક કરવામાં આવ્યું હતું:

CREATE procedure AuditUpload
  @id int, @filename varchar(256)
as
  set nocount on
  declare @sql varchar(max)

  CREATE TABLE #multi (filer NVARCHAR(MAX))
  set @sql='BULK INSERT #multi FROM '''+@filename
    +''' WITH (ROWTERMINATOR = '' '',CODEPAGE = ''ACP'')'
  exec (@sql)
  select @sql=filer from #multi
  update JenkinsAudit set multiliner=@sql where ID=@id
  return

આમ, અમે BCP ફાઈલને સંપૂર્ણ રીતે ગળી જઈએ છીએ અને તેને ઓડિટ ટેબલના nvarchar(max) ફીલ્ડમાં લઈ જઈએ છીએ. અલબત્ત, આ આખી સિસ્ટમ અલગ પડી ગઈ, કારણ કે SQL સર્વરને બદલે મને RDS મળ્યું, અને ફાઇલ પર વિશિષ્ટ લોક લેવાના પ્રયાસને કારણે BULK INSERT UNC દ્વારા બિલકુલ કામ કરતું નથી, અને RDS સાથે આ સામાન્ય રીતે વિનાશકારી છે. ખૂબ જ શરૂઆત. તેથી મેં સિસ્ટમ ડિઝાઇન બદલવાનું નક્કી કર્યું, ઓડિટ લાઇનને લાઇન દ્વારા સંગ્રહિત કરી:

CREATE TABLE AuditOut (
  ID int NULL,
  TextLine nvarchar(max) NULL,
  n int IDENTITY(1,1) PRIMARY KEY
  )

અને આ કોષ્ટકમાં આ રીતે લખો:

function WriteAudit([string]$Filename, [string]$ConnStr, 
     [string]$Tabname, [string]$Jobname)
{
  # get $lastid of the last execution  -- проскипано для статьи
	
  #create grid and populate it with data from file
  $audit =  Get-Content $Filename
  $DT = new-object Data.DataTable   

  $COL1 =  new-object Data.DataColumn; 
  $COL1.ColumnName = "ID"; 
  $COL1.DataType =  [System.Type]::GetType("System.Int32") 

  $COL2 =  new-object Data.DataColumn; 
  $COL2.ColumnName = "TextLine"; 
  $COL2.DataType =  [System.Type]::GetType("System.String") 
  
  $DT.Columns.Add($COL1) 
  $DT.Columns.Add($COL2) 
  foreach ($line in $audit) 
    { 
    $DR = $dt.NewRow()   
    $DR.Item("ID") = $lastid
    $DR.Item("TextLine") = $line
    $DT.Rows.Add($DR)   
    } 

  # write it to table
  $conn=new-object System.Data.SqlClient.SQLConnection 
  $conn.ConnectionString = $ConnStr
  $conn.Open() 
  $bulkCopy = new-object ("Data.SqlClient.SqlBulkCopy") $ConnStr
  $bulkCopy.DestinationTableName = $Tabname 
  $bulkCopy.BatchSize = 50000
  $bulkCopy.BulkCopyTimeout = 0
  $bulkCopy.WriteToServer($DT) 
  $conn.Close() 
  }  

સામગ્રી પસંદ કરવા માટે, તમારે ID દ્વારા પસંદ કરવાની જરૂર છે, ક્રમમાં n (ઓળખ) પસંદ કરીને.

આગળના લેખમાં હું આ બધું જેનકિન્સ સાથે કેવી રીતે ક્રિયાપ્રતિક્રિયા કરે છે તે વિશે વધુ વિગતમાં જઈશ.

સોર્સ: www.habr.com