Recenzia bezplatného nástroja SQLIndexManager

Ako viete, indexy zohrávajú dôležitú úlohu v DBMS a poskytujú rýchle vyhľadávanie požadovaných záznamov. Preto je také dôležité ich obsluhovať včas. O analýze a optimalizácii sa napísalo pomerne veľa materiálu, a to aj na internete. Napríklad táto téma bola nedávno recenzovaná v túto publikáciu.

Na to existuje veľa platených a bezplatných riešení. Existuje napríklad hotová rozhodnutie, založený na metóde adaptívnej optimalizácie indexu.

Ďalej sa pozrime na bezplatný nástroj SQLIndexManager, ktorej autorom je AlanDenton.

Hlavný technický rozdiel medzi SQLIndexManagerom a množstvom ďalších analógov uvádza samotný autor tu и tu.

V tomto článku sa pozrieme zvonku na projekt a prevádzkové možnosti tohto softvérového riešenia.

Diskusia o tomto nástroji tu.
Postupom času bola väčšina komentárov a chýb opravená.

Prejdime teda k samotnému nástroju SQLIndexManager.

Aplikácia je napísaná v C# .NET Framework 4.5 vo Visual Studio 2017 a používa DevExpress pre formuláre:

a vyzerá takto:

Všetky požiadavky sú generované v nasledujúcich súboroch:

1. index
2. Otázka
3. QueryEngine
4. ServerInfo

Pri pripájaní k databáze a odosielaní dotazov do DBMS je aplikácia podpísaná nasledovne:

ApplicationName=”SQLIndexManager”

Po spustení aplikácie sa otvorí modálne okno na pridanie pripojenia:

Tu zatiaľ nefunguje načítanie kompletného zoznamu všetkých inštancií MS SQL Server dostupných cez lokálne siete.

Pripojenie môžete pridať aj pomocou tlačidla úplne vľavo v hlavnej ponuke:

Ďalej sa spustia nasledujúce dotazy do DBMS:

1. Získanie informácií o DBMS

   SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
        , Edition       = SERVERPROPERTY('Edition')
        , ServerVersion = SERVERPROPERTY('ProductVersion')
        , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
   

2. Získanie zoznamu dostupných databáz s ich stručnými vlastnosťami

   SELECT DatabaseName = t.[name]
        , d.DataSize
        , DataUsedSize  = CAST(NULL AS BIGINT)
        , d.LogSize
        , LogUsedSize   = CAST(NULL AS BIGINT)
        , RecoveryModel = t.recovery_model_desc
        , LogReuseWait  = t.log_reuse_wait_desc
   FROM sys.databases t WITH(NOLOCK)
   LEFT JOIN (
       SELECT [database_id]
            , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
            , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
       FROM sys.master_files WITH(NOLOCK)
       GROUP BY [database_id]
   ) d ON d.[database_id] = t.[database_id]
   WHERE t.[state] = 0
       AND t.[database_id] != 2
       AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
   

Po vykonaní vyššie uvedených skriptov sa zobrazí okno so stručnými informáciami o databázach vybranej inštancie MS SQL Server:

Stojí za zmienku, že rozšírené informácie sa zobrazujú na základe práv. Ak tu sysadmin, potom môžete vybrať údaje zo zobrazenia sys.master_files. Ak takéto práva neexistujú, potom sa jednoducho vráti menej údajov, aby sa nespomalila požiadavka.

Tu musíte vybrať databázy, ktoré vás zaujímajú, a kliknúť na tlačidlo „OK“.

Ďalej sa pre každú vybranú databázu spustí nasledujúci skript na analýzu stavu indexov:

Analýza stavu indexu

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Ako je zrejmé zo samotných dopytov, dočasné tabuľky sa používajú pomerne často. Deje sa tak preto, aby nedochádzalo k rekompiláciám a v prípade veľkej schémy je možné plán generovať paralelne pri vkladaní údajov, keďže vkladanie premenných tabuľky je možné len do jedného vlákna.

Po vykonaní vyššie uvedeného skriptu sa zobrazí okno s indexovou tabuľkou:

Môžete tu zobraziť aj ďalšie podrobné informácie, ako napríklad:

1. databázy
2. počet sekcií
3. dátum a čas posledného hovoru
4. kompresia
5. skupina súborov

a t d ..
Samotné reproduktory je možné prispôsobiť:

V bunkách stĺpca Opraviť môžete vybrať, aká akcia sa vykoná počas optimalizácie. Po dokončení kontroly sa tiež vyberie predvolená akcia na základe vybratých nastavení:

Musíte vybrať požadované indexy na spracovanie.

Pomocou hlavného menu môžete skript uložiť (rovnaké tlačidlo spustí samotný proces optimalizácie indexu):

a uložte tabuľku v rôznych formátoch (rovnaké tlačidlo vám umožňuje otvoriť podrobné nastavenia na analýzu a optimalizáciu indexov):

Informácie môžete aktualizovať aj kliknutím na tretie tlačidlo vľavo v hlavnom menu vedľa lupy.

Tlačidlo s lupou umožňuje vybrať požadované databázy na posúdenie.

V súčasnosti neexistuje komplexný systém pomoci. Preto stlačte tlačidlo “?” jednoducho spôsobí, že sa zobrazí modálne okno so základnými informáciami o softvérovom produkte:

Okrem všetkého opísaného vyššie má hlavná ponuka vyhľadávací panel:

Pri spustení procesu optimalizácie indexu:

V spodnej časti okna si môžete pozrieť aj protokol vykonaných akcií:

V okne podrobných nastavení pre analýzu indexu a optimalizáciu môžete nakonfigurovať jemnejšie možnosti:

Žiadosti o prihlášku:

1. umožňujú selektívne aktualizovať štatistiky nielen pre indexy, ale aj rôznymi spôsobmi (úplne alebo čiastočne)
2. umožňujú nielen výber databázy, ale aj rôznych serverov (toto je veľmi výhodné, keď existuje veľa inštancií MS SQL Server)
3. Pre väčšiu flexibilitu pri používaní sa odporúča zabaliť príkazy do knižníc a odoslať ich do príkazov PowerShell, ako sa to robí napríklad tu:
4. dbatools.io/commands
5. umožňuje ukladať a meniť osobné nastavenia pre celú aplikáciu a v prípade potreby pre každú inštanciu MS SQL Server a každú databázu
6. Z bodov 2 a 4 vyplýva, že chcete vytvárať skupiny podľa databáz a skupiny podľa inštancií MS SQL Server, pre ktoré sú nastavenia rovnaké
7. hľadať duplicitné indexy (úplné a neúplné, ktoré sú buď mierne odlišné, alebo sa líšia len v zahrnutých stĺpcoch)
8. Keďže SQLIndexManager sa používa iba pre MS SQL Server DBMS, musí sa to prejaviť v názve, napríklad takto: SQLIndexManager pre MS SQL Server
9. Presuňte všetky časti aplikácie mimo GUI do samostatných modulov a prepíšte ich do .NET Core 2.1

V čase písania článku sa bod 6 želaní aktívne vyvíja a už existuje podpora vo forme hľadania úplných a podobných duplikátov:

zdroje

• adaptívna metóda optimalizácie indexu
• Nástroj SQLIndexManager
• stručný technický prehľad nástroja SQLIndexManager
• diskusia o nástroji SQLIndexManager
• SQL Index Manager – bezplatný nástroj GUI na údržbu indexov na serveroch SQL Server a Azure
• Analýza a optimalizácia indexu SQL Server

Zdroj: hab.com