ਲੀਨਕਸ ਉੱਤੇ Powershell ਤੋਂ MS SQL ਨਾਲ ਕੰਮ ਕਰਨਾ

ਇਹ ਲੇਖ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਿਹਾਰਕ ਹੈ ਅਤੇ ਮੇਰੀ ਦੁਖਦਾਈ ਕਹਾਣੀ ਨੂੰ ਸਮਰਪਿਤ ਹੈ

ਲਈ ਤਿਆਰ ਹੋ ਰਿਹਾ ਹੈ ਜ਼ੀਰੋ ਟੱਚ PROD RDS (MS SQL) ਲਈ, ਜਿਸ ਬਾਰੇ ਸਾਡੇ ਸਾਰੇ ਕੰਨ ਗੂੰਜ ਰਹੇ ਸਨ, ਮੈਂ ਆਟੋਮੇਸ਼ਨ ਦੀ ਇੱਕ ਪੇਸ਼ਕਾਰੀ (POC - ਪਰੂਫ ਆਫ਼ ਕੰਸੈਪਟ) ਕੀਤੀ: ਪਾਵਰਸ਼ੇਲ ਸਕ੍ਰਿਪਟਾਂ ਦਾ ਇੱਕ ਸੈੱਟ। ਪੇਸ਼ਕਾਰੀ ਤੋਂ ਬਾਅਦ, ਜਦੋਂ ਤੂਫਾਨੀ, ਲੰਮੀ ਤਾੜੀਆਂ ਦੀ ਮੌਤ ਹੋ ਗਈ, ਨਿਰੰਤਰ ਤਾੜੀਆਂ ਵਿੱਚ ਬਦਲ ਗਈ, ਉਹਨਾਂ ਨੇ ਮੈਨੂੰ ਕਿਹਾ - ਇਹ ਸਭ ਚੰਗਾ ਹੈ, ਪਰ ਸਿਰਫ ਵਿਚਾਰਧਾਰਕ ਕਾਰਨਾਂ ਕਰਕੇ, ਸਾਡੇ ਸਾਰੇ ਜੇਨਕਿਨਜ਼ ਗ਼ੁਲਾਮ ਲੀਨਕਸ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ!

ਕੀ ਇਹ ਸੰਭਵ ਹੈ? ਵਿੰਡੋਜ਼ ਦੇ ਹੇਠਾਂ ਤੋਂ ਅਜਿਹਾ ਨਿੱਘਾ, ਲੈਂਪ ਡੀਬੀਏ ਲਓ ਅਤੇ ਇਸਨੂੰ ਲੀਨਕਸ ਦੇ ਹੇਠਾਂ ਪਾਵਰਸ਼ੇਲ ਦੀ ਬਹੁਤ ਗਰਮੀ ਵਿੱਚ ਚਿਪਕਾਓ? ਕੀ ਇਹ ਬੇਰਹਿਮ ਨਹੀਂ ਹੈ?

ਮੈਨੂੰ ਤਕਨਾਲੋਜੀ ਦੇ ਇਸ ਅਜੀਬ ਸੁਮੇਲ ਵਿੱਚ ਆਪਣੇ ਆਪ ਨੂੰ ਲੀਨ ਕਰਨਾ ਪਿਆ. ਬੇਸ਼ੱਕ, ਮੇਰੀਆਂ ਸਾਰੀਆਂ 30+ ਸਕ੍ਰਿਪਟਾਂ ਨੇ ਕੰਮ ਕਰਨਾ ਬੰਦ ਕਰ ਦਿੱਤਾ। ਮੇਰੇ ਹੈਰਾਨੀ ਲਈ, ਮੈਂ ਇੱਕ ਕੰਮਕਾਜੀ ਦਿਨ ਵਿੱਚ ਸਭ ਕੁਝ ਠੀਕ ਕਰਨ ਵਿੱਚ ਕਾਮਯਾਬ ਰਿਹਾ. ਮੈਂ ਗਰਮ ਖਿਆਲੀ ਵਿੱਚ ਲਿਖ ਰਿਹਾ ਹਾਂ. ਇਸ ਲਈ, ਵਿੰਡੋਜ਼ ਤੋਂ ਲੀਨਕਸ ਵਿੱਚ ਪਾਵਰਸ਼ੈਲ ਸਕ੍ਰਿਪਟਾਂ ਨੂੰ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਵੇਲੇ ਤੁਸੀਂ ਕਿਹੜੀਆਂ ਮੁਸ਼ਕਲਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰ ਸਕਦੇ ਹੋ?

sqlcmd ਬਨਾਮ ਇਨਵੋਕ-SqlCmd

ਮੈਨੂੰ ਉਹਨਾਂ ਵਿਚਕਾਰ ਮੁੱਖ ਅੰਤਰ ਦੀ ਯਾਦ ਦਿਵਾਉਣ ਦਿਓ. ਚੰਗੀ ਪੁਰਾਣੀ ਸਹੂਲਤ sqlcmd ਇਹ ਲਗਭਗ ਇੱਕੋ ਜਿਹੀ ਕਾਰਜਸ਼ੀਲਤਾ ਦੇ ਨਾਲ, ਲੀਨਕਸ ਦੇ ਅਧੀਨ ਵੀ ਕੰਮ ਕਰਦਾ ਹੈ। ਅਸੀਂ -Q ਨੂੰ ਚਲਾਉਣ ਲਈ ਪੁੱਛਗਿੱਛ ਪਾਸ ਕਰਦੇ ਹਾਂ, ਇਨਪੁਟ ਫਾਈਲ ਨੂੰ -i ਵਜੋਂ ਅਤੇ ਆਉਟਪੁੱਟ ਨੂੰ -o ਵਜੋਂ। ਪਰ ਫਾਈਲ ਦੇ ਨਾਮ, ਬੇਸ਼ਕ, ਕੇਸ-ਸੰਵੇਦਨਸ਼ੀਲ ਬਣਾਏ ਗਏ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ -i ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਤਾਂ ਫਾਈਲ ਵਿੱਚ ਅੰਤ ਵਿੱਚ ਲਿਖੋ:

GO
EXIT

ਜੇਕਰ ਅੰਤ ਵਿੱਚ ਕੋਈ EXIT ਨਹੀਂ ਹੈ, ਤਾਂ sqlcmd ਇੰਪੁੱਟ ਦੀ ਉਡੀਕ ਕਰਨ ਲਈ ਅੱਗੇ ਵਧੇਗਾ, ਅਤੇ ਜੇਕਰ ਪਹਿਲਾਂ ਨਿਕਾਸ ਨਹੀਂ ਜਾਵੇਗਾ GO, ਫਿਰ ਆਖਰੀ ਕਮਾਂਡ ਕੰਮ ਨਹੀਂ ਕਰੇਗੀ। ਆਉਟਪੁੱਟ ਫਾਈਲ ਵਿੱਚ ਸਾਰੇ ਆਉਟਪੁੱਟ, ਚੋਣ, ਸੁਨੇਹੇ, ਪ੍ਰਿੰਟ, ਆਦਿ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ.

Invoke-SqlCmd ਇੱਕ ਡਾਟਾਸੈੱਟ, ਡੇਟਾ ਟੇਬਲ ਜਾਂ ਡੇਟਾ ਰੋਵ ਦੇ ਰੂਪ ਵਿੱਚ ਨਤੀਜਾ ਪੈਦਾ ਕਰਦਾ ਹੈ। ਇਸ ਲਈ, ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਸਧਾਰਨ ਚੋਣ ਦੇ ਨਤੀਜੇ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਵਰਤ ਸਕਦੇ ਹੋ sqlcmd, ਇਸਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਪਾਰਸ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਕੁਝ ਗੁੰਝਲਦਾਰ ਬਣਾਉਣਾ ਲਗਭਗ ਅਸੰਭਵ ਹੈ: ਇਸਦੇ ਲਈ ਇੱਥੇ ਹੈ Invoke-SqlCmd. ਪਰ ਇਸ ਟੀਮ ਦੇ ਆਪਣੇ ਚੁਟਕਲੇ ਵੀ ਹਨ:

• ਜੇਕਰ ਤੁਸੀਂ ਕਿਸੇ ਫਾਈਲ ਨੂੰ ਉਸ ਦੁਆਰਾ ਟ੍ਰਾਂਸਫਰ ਕਰਦੇ ਹੋ -ਇਨਪੁਟ ਫਾਈਲ, ਫਿਰ ਨਿਕਾਸ ਲੋੜ ਨਹੀਂ, ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਇੱਕ ਸੰਟੈਕਸ ਗਲਤੀ ਪੈਦਾ ਕਰਦਾ ਹੈ
• -ਆਉਟਪੁੱਟ ਫਾਈਲ ਨਹੀਂ, ਕਮਾਂਡ ਤੁਹਾਨੂੰ ਇੱਕ ਵਸਤੂ ਦੇ ਰੂਪ ਵਿੱਚ ਨਤੀਜਾ ਵਾਪਸ ਕਰਦੀ ਹੈ
• ਇੱਕ ਸਰਵਰ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਦੋ ਸੰਟੈਕਸ ਹਨ: -ਸਰਵਰਇੰਸਟੈਂਸ -ਉਪਭੋਗਤਾ ਨਾਮ -ਪਾਸਵਰਡ -ਡਾਟਾਬੇਸ ਅਤੇ ਦੁਆਰਾ -ਕਨੈਕਸ਼ਨਸਟ੍ਰਿੰਗ. ਅਜੀਬ ਤੌਰ 'ਤੇ, ਪਹਿਲੇ ਕੇਸ ਵਿੱਚ 1433 ਤੋਂ ਇਲਾਵਾ ਕਿਸੇ ਹੋਰ ਪੋਰਟ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨਾ ਸੰਭਵ ਨਹੀਂ ਹੈ।
• ਟੈਕਸਟ ਆਉਟਪੁੱਟ, ਪ੍ਰਿੰਟ ਟਾਈਪ ਕਰੋ, ਜੋ ਕਿ "ਫੜਿਆ" ਹੈ sqlcmdਲਈ Invoke-SqlCmd ਇੱਕ ਸਮੱਸਿਆ ਹੈ
• ਅਤੇ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ: ਜ਼ਿਆਦਾਤਰ ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਲੀਨਕਸ ਵਿੱਚ ਇਹ cmdlet ਨਹੀਂ ਹੈ!

ਅਤੇ ਇਹ ਮੁੱਖ ਸਮੱਸਿਆ ਹੈ. ਸਿਰਫ ਮਾਰਚ ਵਿੱਚ ਇਸ cmdlet ਗੈਰ-ਵਿੰਡੋਜ਼ ਪਲੇਟਫਾਰਮਾਂ ਲਈ ਉਪਲਬਧ ਹੋ ਗਿਆ, ਅਤੇ ਅੰਤ ਵਿੱਚ ਅਸੀਂ ਅੱਗੇ ਵਧ ਸਕਦੇ ਹਾਂ!

ਵੇਰੀਏਬਲ ਬਦਲ

sqlcmd ਵਿੱਚ -v ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵੇਰੀਏਬਲ ਬਦਲ ਹੈ, ਉਦਾਹਰਨ ਲਈ ਇਸ ਤਰ੍ਹਾਂ:

# $conn содержит начало команды sqlcmd
$cmd = $conn + " -i D:appsSlaveJobsKillSpid.sql -o killspid.res 
  -v spid =`"" + $spid + "`" -v age =`"" + $age + "`""
Invoke-Expression $cmd

SQL ਸਕ੍ਰਿਪਟ ਵਿੱਚ ਅਸੀਂ ਬਦਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ:

set @spid=$(spid)
set @age=$(age)

ਇਸ ਲਈ ਇਹ ਇੱਥੇ ਹੈ. * ਨਿਕਸ ਵਿੱਚ ਵੇਰੀਏਬਲ ਬਦਲ ਕੰਮ ਨਹੀਂ ਕਰਦੇ. ਪੈਰਾਮੀਟਰ -v ਅਣਡਿੱਠ ਕੀਤਾ. ਯੂ Invoke-SqlCmd ਅਣਡਿੱਠ ਕੀਤਾ - ਵੇਰੀਏਬਲ. ਹਾਲਾਂਕਿ ਪੈਰਾਮੀਟਰ ਜੋ ਕਿ ਵੇਰੀਏਬਲਾਂ ਨੂੰ ਖੁਦ ਨਿਸ਼ਚਿਤ ਕਰਦਾ ਹੈ ਨੂੰ ਅਣਡਿੱਠ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਪਰਿਵਰਤਨ ਆਪਣੇ ਆਪ ਕੰਮ ਕਰਦੇ ਹਨ - ਤੁਸੀਂ ਸ਼ੈੱਲ ਤੋਂ ਕਿਸੇ ਵੀ ਵੇਰੀਏਬਲ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਹਾਲਾਂਕਿ, ਮੈਂ ਵੇਰੀਏਬਲਾਂ ਤੋਂ ਨਾਰਾਜ਼ ਸੀ ਅਤੇ ਉਹਨਾਂ 'ਤੇ ਬਿਲਕੁਲ ਵੀ ਨਿਰਭਰ ਨਾ ਹੋਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ, ਅਤੇ ਬੇਰਹਿਮੀ ਨਾਲ ਅਤੇ ਮੁੱਢਲੇ ਤੌਰ 'ਤੇ ਕੰਮ ਕੀਤਾ, ਕਿਉਂਕਿ SQL ਸਕ੍ਰਿਪਟਾਂ ਛੋਟੀਆਂ ਹਨ:

# prepend the parameters  
"declare @age int, @spid int" | Add-Content "q.sql"
"set @spid=" + $spid | Add-Content "q.sql"
"set @age=" + $age | Add-Content "q.sql"

foreach ($line in Get-Content "Sqlserver/Automation/KillSpid.sql") { 
  $line | Add-Content "q.sql" 
  }
$cmd = "/opt/mssql-tools/bin/" + $conn + " -i q.sql -o res.log"

ਇਹ, ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਸਮਝਦੇ ਹੋ, ਯੂਨਿਕਸ ਸੰਸਕਰਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਟੈਸਟ ਹੈ।

ਫ਼ਾਈਲਾਂ ਅੱਪਲੋਡ ਕੀਤੀਆਂ ਜਾ ਰਹੀਆਂ ਹਨ

ਵਿੰਡੋਜ਼ ਸੰਸਕਰਣ ਵਿੱਚ, ਕਿਸੇ ਵੀ ਓਪਰੇਸ਼ਨ ਦੇ ਨਾਲ ਇੱਕ ਆਡਿਟ ਸੀ: ਅਸੀਂ sqlcmd ਚਲਾਇਆ, ਆਉਟਪੁੱਟ ਫਾਈਲ ਵਿੱਚ ਕਿਸੇ ਕਿਸਮ ਦੀ ਦੁਰਵਰਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀ, ਇਸ ਫਾਈਲ ਨੂੰ ਆਡਿਟ ਪਲੇਟ ਨਾਲ ਜੋੜਿਆ। ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, SQL ਸਰਵਰ ਨੇ ਜੇਨਕਿੰਸ ਦੇ ਸਮਾਨ ਸਰਵਰ 'ਤੇ ਕੰਮ ਕੀਤਾ, ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਕੀਤਾ ਗਿਆ ਸੀ:

CREATE procedure AuditUpload
  @id int, @filename varchar(256)
as
  set nocount on
  declare @sql varchar(max)

  CREATE TABLE #multi (filer NVARCHAR(MAX))
  set @sql='BULK INSERT #multi FROM '''+@filename
    +''' WITH (ROWTERMINATOR = '' '',CODEPAGE = ''ACP'')'
  exec (@sql)
  select @sql=filer from #multi
  update JenkinsAudit set multiliner=@sql where ID=@id
  return

ਇਸ ਤਰ੍ਹਾਂ, ਅਸੀਂ BCP ਫਾਈਲ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਿਗਲ ਲੈਂਦੇ ਹਾਂ ਅਤੇ ਇਸਨੂੰ ਆਡਿਟ ਟੇਬਲ ਦੇ nvarchar(max) ਫੀਲਡ ਵਿੱਚ ਭੇਜ ਦਿੰਦੇ ਹਾਂ। ਬੇਸ਼ੱਕ, ਇਹ ਸਾਰਾ ਸਿਸਟਮ ਵੱਖ ਹੋ ਗਿਆ, ਕਿਉਂਕਿ ਇੱਕ SQL ਸਰਵਰ ਦੀ ਬਜਾਏ ਮੈਨੂੰ RDS ਮਿਲਿਆ ਹੈ, ਅਤੇ BULK INSERT ਇੱਕ ਫਾਈਲ 'ਤੇ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਲਾਕ ਲੈਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਦੇ ਕਾਰਨ UNC ਦੁਆਰਾ ਬਿਲਕੁਲ ਕੰਮ ਨਹੀਂ ਕਰਦਾ ਹੈ, ਅਤੇ RDS ਨਾਲ ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਬਰਬਾਦ ਹੁੰਦਾ ਹੈ। ਬਹੁਤ ਹੀ ਸ਼ੁਰੂਆਤ. ਇਸ ਲਈ ਮੈਂ ਆਡਿਟ ਲਾਈਨ ਨੂੰ ਲਾਈਨ ਦੁਆਰਾ ਸਟੋਰ ਕਰਦੇ ਹੋਏ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਨੂੰ ਬਦਲਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ:

CREATE TABLE AuditOut (
  ID int NULL,
  TextLine nvarchar(max) NULL,
  n int IDENTITY(1,1) PRIMARY KEY
  )

ਅਤੇ ਇਸ ਸਾਰਣੀ ਵਿੱਚ ਇਸ ਤਰ੍ਹਾਂ ਲਿਖੋ:

function WriteAudit([string]$Filename, [string]$ConnStr, 
     [string]$Tabname, [string]$Jobname)
{
  # get $lastid of the last execution  -- проскипано для статьи
	
  #create grid and populate it with data from file
  $audit =  Get-Content $Filename
  $DT = new-object Data.DataTable   

  $COL1 =  new-object Data.DataColumn; 
  $COL1.ColumnName = "ID"; 
  $COL1.DataType =  [System.Type]::GetType("System.Int32") 

  $COL2 =  new-object Data.DataColumn; 
  $COL2.ColumnName = "TextLine"; 
  $COL2.DataType =  [System.Type]::GetType("System.String") 
  
  $DT.Columns.Add($COL1) 
  $DT.Columns.Add($COL2) 
  foreach ($line in $audit) 
    { 
    $DR = $dt.NewRow()   
    $DR.Item("ID") = $lastid
    $DR.Item("TextLine") = $line
    $DT.Rows.Add($DR)   
    } 

  # write it to table
  $conn=new-object System.Data.SqlClient.SQLConnection 
  $conn.ConnectionString = $ConnStr
  $conn.Open() 
  $bulkCopy = new-object ("Data.SqlClient.SqlBulkCopy") $ConnStr
  $bulkCopy.DestinationTableName = $Tabname 
  $bulkCopy.BatchSize = 50000
  $bulkCopy.BulkCopyTimeout = 0
  $bulkCopy.WriteToServer($DT) 
  $conn.Close() 
  }  

ਸਮੱਗਰੀ ਦੀ ਚੋਣ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਕ੍ਰਮ n (ਪਛਾਣ) ਦੀ ਚੋਣ ਕਰਕੇ, ID ਦੁਆਰਾ ਚੁਣਨ ਦੀ ਲੋੜ ਹੈ।

ਅਗਲੇ ਲੇਖ ਵਿੱਚ ਮੈਂ ਇਸ ਬਾਰੇ ਹੋਰ ਵਿਸਥਾਰ ਵਿੱਚ ਜਾਵਾਂਗਾ ਕਿ ਇਹ ਸਭ ਜੇਨਕਿਨਜ਼ ਨਾਲ ਕਿਵੇਂ ਗੱਲਬਾਤ ਕਰਦਾ ਹੈ।

ਸਰੋਤ: www.habr.com