Bezmaksas rīka SQLIndexManager apskats

Kā jūs zināt, indeksiem ir svarīga loma DBVS, nodrošinot ātru nepieciešamo ierakstu meklēšanu. Tāpēc ir tik svarīgi tos apkalpot savlaicīgi. Par analīzi un optimizāciju ir uzrakstīts diezgan daudz materiālu, tostarp internetā. Piemēram, šī tēma nesen tika pārskatīta šī publikācija.

Šim nolūkam ir daudz maksas un bezmaksas risinājumu. Piemēram, ir gatavs lēmums, pamatojoties uz adaptīvā indeksa optimizācijas metodi.

Tālāk apskatīsim bezmaksas utilītu SQLIndexManager, autors Alans Dentons.

Galvenās tehniskās atšķirības starp SQLIndexManager un vairākiem citiem analogiem norāda pats autors šeit и šeit.

Šajā rakstā mēs aplūkosim projektu un šī programmatūras risinājuma darbības iespējas no malas.

Šīs lietderības apspriešana šeit.
Laika gaitā lielākā daļa komentāru un kļūdu tika izlabota.

Tātad, tagad pāriesim uz pašu utilītu SQLIndexManager.

Lietojumprogramma ir rakstīta C# .NET Framework 4.5 programmā Visual Studio 2017 un izmanto DevExpress veidlapām:

un izskatās šādi:

Visi pieprasījumi tiek ģenerēti šādos failos:

1. Indekss
2. Jautājums
3. QueryEngine
4. ServerInfo

Pieslēdzoties datu bāzei un nosūtot vaicājumus uz DBVS, lietojumprogramma tiek parakstīta šādi:

ApplicationName=”SQLIndexManager”

Palaižot lietojumprogrammu, tiks atvērts modālais logs savienojuma pievienošanai:

Šeit vēl nedarbojas pilnīga visu MS SQL Server gadījumu saraksta ielāde, kas pieejama lokālajos tīklos.

Varat arī pievienot savienojumu, izmantojot galvenās izvēlnes galējo kreiso pogu:

Pēc tam tiks palaisti šādi vaicājumi DBVS:

1. Informācijas iegūšana par DBVS

   SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
        , Edition       = SERVERPROPERTY('Edition')
        , ServerVersion = SERVERPROPERTY('ProductVersion')
        , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
   

2. Pieejamo datu bāzu saraksta iegūšana ar to īsajiem rekvizītiem

   SELECT DatabaseName = t.[name]
        , d.DataSize
        , DataUsedSize  = CAST(NULL AS BIGINT)
        , d.LogSize
        , LogUsedSize   = CAST(NULL AS BIGINT)
        , RecoveryModel = t.recovery_model_desc
        , LogReuseWait  = t.log_reuse_wait_desc
   FROM sys.databases t WITH(NOLOCK)
   LEFT JOIN (
       SELECT [database_id]
            , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
            , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
       FROM sys.master_files WITH(NOLOCK)
       GROUP BY [database_id]
   ) d ON d.[database_id] = t.[database_id]
   WHERE t.[state] = 0
       AND t.[database_id] != 2
       AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
   

Pēc iepriekš minēto skriptu izpildes parādīsies logs ar īsu informāciju par izvēlētās MS SQL Server instances datu bāzēm:

Ir vērts atzīmēt, ka paplašinātā informācija tiek parādīta, pamatojoties uz tiesībām. Ja šeit sysadmin, pēc tam varat atlasīt datus no skata sys.master_files. Ja šādu tiesību nav, tad vienkārši tiek atgriezts mazāk datu, lai nepalēninātu pieprasījumu.

Šeit jums jāizvēlas interesējošās datu bāzes un jānoklikšķina uz pogas “OK”.

Pēc tam katrai atlasītajai datubāzei tiks izpildīts šāds skripts, lai analizētu indeksu stāvokli:

Indeksa statusa analīze

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Kā redzams no pašiem vaicājumiem, pagaidu tabulas tiek izmantotas diezgan bieži. Tas tiek darīts, lai nebūtu pārkompilāciju, un lielas shēmas gadījumā plānu var ģenerēt paralēli, ievietojot datus, jo tabulas mainīgo ievietošana ir iespējama tikai vienā pavedienā.

Pēc iepriekš minētā skripta izpildes parādīsies logs ar indeksa tabulu:

Šeit varat parādīt arī citu detalizētu informāciju, piemēram:

1. datubāze
2. sadaļu skaits
3. pēdējā zvana datums un laiks
4. saspiešana
5. failu grupa

uc
Pašus skaļruņus var pielāgot:

Kolonnas Labot šūnās varat atlasīt, kāda darbība tiks veikta optimizācijas laikā. Turklāt, kad skenēšana ir pabeigta, tiek atlasīta noklusējuma darbība, pamatojoties uz atlasītajiem iestatījumiem:

Apstrādei ir jāizvēlas vēlamie indeksi.

Izmantojot galveno izvēlni, varat saglabāt skriptu (ar to pašu pogu tiek sākts pats indeksa optimizācijas process):

un saglabājiet tabulu dažādos formātos (ar to pašu pogu var atvērt detalizētus iestatījumus indeksu analīzei un optimizēšanai):

Informāciju var arī atjaunināt, galvenajā izvēlnē blakus palielināmajam stiklam noklikšķinot uz trešās pogas kreisajā pusē.

Poga ar palielināmo stiklu ļauj atlasīt vēlamās datu bāzes izskatīšanai.

Pašlaik nav visaptverošas palīdzības sistēmas. Tāpēc nospiežot pogu “?” vienkārši parādīsies modālais logs ar pamatinformāciju par programmatūras produktu:

Papildus visam iepriekš aprakstītajam galvenajā izvēlnē ir meklēšanas josla:

Uzsākot indeksa optimizācijas procesu:

Varat arī apskatīt veikto darbību žurnālu loga apakšā:

Detalizētajā indeksa analīzes un optimizācijas iestatījumu logā varat konfigurēt smalkākas opcijas:

Pieprasījumi pieteikumam:

1. ļauj selektīvi atjaunināt statistiku ne tikai indeksiem, bet arī dažādos veidos (pilnībā vai daļēji atjaunināt)
2. ļauj izvēlēties ne tikai datu bāzi, bet arī dažādus serverus (tas ir ļoti ērti, ja ir daudz MS SQL Server gadījumu)
3. Lai nodrošinātu lielāku lietošanas elastību, ir ieteicams ietīt komandas bibliotēkās un izvadīt tās PowerShell komandās, kā tas tiek darīts, piemēram, šeit:
4. dbatools.io/commands
5. ļauj saglabāt un mainīt personiskos iestatījumus gan visai lietojumprogrammai, gan, ja nepieciešams, katrai MS SQL Server instancei un katrai datubāzei
6. No 2. un 4. punkta izriet, ka vēlaties izveidot grupas pēc datu bāzēm un grupas pēc MS SQL Server gadījumiem, kuriem iestatījumi ir vienādi
7. meklēt indeksu dublikātus (pilnīgus un nepilnīgus, kas nedaudz atšķiras vai atšķiras tikai iekļautajās kolonnās)
8. Tā kā SQLIndexManager tiek izmantots tikai MS SQL Server DBVS, tas ir jāatspoguļo nosaukumā, piemēram, šādi: SQLIndexManager for MS SQL Server
9. Pārvietojiet visas lietojumprogrammas daļas, kas nav GUI, atsevišķos moduļos un pārrakstiet tās .NET Core 2.1.

Rakstīšanas laikā vēlmju 6. punkts tiek aktīvi izstrādāts un jau ir atbalsts pilnu un līdzīgu dublikātu meklēšanas veidā:

avoti

• adaptīvā indeksa optimizācijas metode
• SQLIndexManager utilīta
• īss tehniskais pārskats par utilītu SQLIndexManager
• diskusija par utilītu SQLIndexManager
• SQL indeksu pārvaldnieks — bezmaksas GUI rīks indeksa uzturēšanai SQL Server un Azure
• SQL Server indeksu analīze un optimizācija

Avots: www.habr.com