ProHoster > blogg > administration > Recension av det kostnadsfria verktyget SQLIndexManager

Recension av det kostnadsfria verktyget SQLIndexManager

Som du vet spelar index en viktig roll i ett DBMS, vilket ger en snabb sökning till de nödvändiga posterna. Det är därför det är så viktigt att serva dem i tid. Det har skrivits ganska mycket material om analys och optimering, bland annat på Internet. Till exempel har detta ämne nyligen granskats i denna publikation.

Det finns många betalda och gratislösningar för detta. Det finns till exempel en färdig Beslutet, baserat på en adaptiv indexoptimeringsmetod.

Låt oss sedan titta på gratisverktyget SQLIndexManager, författad av AlanDenton.

Den huvudsakliga tekniska skillnaden mellan SQLIndexManager och ett antal andra analoger ges av författaren själv här и här.

I den här artikeln tar vi en titt utifrån på projektet och de operativa kapaciteterna hos denna mjukvarulösning.

Diskutera detta verktyg här.
Med tiden korrigerades de flesta kommentarer och buggar.

Så låt oss nu gå vidare till själva verktyget SQLIndexManager.

Applikationen är skriven i C# .NET Framework 4.5 i Visual Studio 2017 och använder DevExpress för formulär:

Recension av det kostnadsfria verktyget SQLIndexManager

och ser ut så här:

Recension av det kostnadsfria verktyget SQLIndexManager

Alla förfrågningar genereras i följande filer:

  1. index
  2. Fråga
  3. QueryEngine
  4. ServerInfo

Recension av det kostnadsfria verktyget SQLIndexManager

När du ansluter till en databas och skickar frågor till DBMS signeras applikationen enligt följande:

ApplicationName=”SQLIndexManager”

När du startar programmet öppnas ett modalt fönster för att lägga till en anslutning:
Recension av det kostnadsfria verktyget SQLIndexManager

Här fungerar det ännu inte att ladda en komplett lista över alla MS SQL Server-instanser som är tillgängliga över lokala nätverk.

Du kan också lägga till en anslutning genom att använda knappen längst till vänster på huvudmenyn:

Recension av det kostnadsfria verktyget SQLIndexManager

Därefter kommer följande frågor till DBMS att startas:

  1. Få information om DBMS 
    SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
     , Edition       = SERVERPROPERTY('Edition')
     , ServerVersion = SERVERPROPERTY('ProductVersion')
     , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)

  2. Få en lista över tillgängliga databaser med deras korta egenskaper 
    SELECT DatabaseName = t.[name]
     , d.DataSize
     , DataUsedSize  = CAST(NULL AS BIGINT)
     , d.LogSize
     , LogUsedSize   = CAST(NULL AS BIGINT)
     , RecoveryModel = t.recovery_model_desc
     , LogReuseWait  = t.log_reuse_wait_desc
FROM sys.databases t WITH(NOLOCK)
LEFT JOIN (
    SELECT [database_id]
         , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
         , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
    FROM sys.master_files WITH(NOLOCK)
    GROUP BY [database_id]
) d ON d.[database_id] = t.[database_id]
WHERE t.[state] = 0
    AND t.[database_id] != 2
    AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1

Efter att ha kört ovanstående skript kommer ett fönster att visas med kort information om databaserna för den valda instansen av MS SQL Server:

Recension av det kostnadsfria verktyget SQLIndexManager

Det är värt att notera att utökad information visas utifrån rättigheter. Om det sysadmin, sedan kan du välja data från vyn sys.master_files. Om det inte finns några sådana rättigheter returneras helt enkelt mindre data för att inte sakta ner begäran.

Här måste du välja databaserna av intresse och klicka på knappen "OK".

Därefter kommer följande skript att köras för varje vald databas för att analysera tillståndet för indexen:

Indexstatusanalys

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Som framgår av själva frågorna används temporära tabeller ganska ofta. Detta görs så att det inte finns några omkompileringar, och i fallet med ett stort schema kan planen genereras parallellt vid infogning av data, eftersom infogning av tabellvariabler endast är möjlig i en tråd.

Efter att ha kört skriptet ovan kommer ett fönster med en indextabell att visas:

Recension av det kostnadsfria verktyget SQLIndexManager

Du kan även visa annan detaljerad information här, till exempel:

  1. databas
  2. antal avsnitt
  3. datum och tid för senaste samtalet
  4. kompression
  5. filgrupp

och t. d.
Själva högtalarna kan anpassas:

Recension av det kostnadsfria verktyget SQLIndexManager

I cellerna i kolumnen Fix kan du välja vilken åtgärd som ska utföras under optimeringen. När skanningen är klar väljs också en standardåtgärd baserat på de valda inställningarna:

Recension av det kostnadsfria verktyget SQLIndexManager

Du måste välja önskade index för bearbetning.

Med hjälp av huvudmenyn kan du spara skriptet (samma knapp startar själva indexoptimeringsprocessen):

Recension av det kostnadsfria verktyget SQLIndexManager

och spara tabellen i olika format (samma knapp låter dig öppna detaljerade inställningar för att analysera och optimera index):

Recension av det kostnadsfria verktyget SQLIndexManager

Du kan också uppdatera informationen genom att klicka på den tredje knappen till vänster i huvudmenyn bredvid förstoringsglaset.

Knappen med förstoringsglas låter dig välja önskade databaser för övervägande.

Det finns för närvarande inget heltäckande hjälpsystem. Därför trycker du på knappen "?" kommer helt enkelt att få ett modalt fönster att visas som innehåller grundläggande information om mjukvaruprodukten:

Recension av det kostnadsfria verktyget SQLIndexManager

Utöver allt som beskrivs ovan har huvudmenyn ett sökfält:

Recension av det kostnadsfria verktyget SQLIndexManager

När du startar indexoptimeringsprocessen:

Recension av det kostnadsfria verktyget SQLIndexManager

Du kan också se en logg över utförda åtgärder längst ned i fönstret:

Recension av det kostnadsfria verktyget SQLIndexManager

I det detaljerade inställningsfönstret för indexanalys och optimering kan du konfigurera mer subtila alternativ:

Recension av det kostnadsfria verktyget SQLIndexManager

Begäran om ansökan:

  1. gör det möjligt att selektivt uppdatera statistik, inte bara för index och även på olika sätt (helt eller delvis)
  2. gör det möjligt att inte bara välja en databas, utan också olika servrar (detta är mycket praktiskt när det finns många instanser av MS SQL Server)
  3. För större flexibilitet i användningen föreslås det att linda in kommandona i bibliotek och mata ut dem till PowerShell-kommandon, som till exempel görs här:
  4. dbatools.io/commands
  5. gör det möjligt att spara och ändra personliga inställningar både för hela applikationen och vid behov för varje instans av MS SQL Server och varje databas
  6. Av punkterna 2 och 4 följer att du vill skapa grupper efter databaser och grupper efter MS SQL Server-instanser, för vilka inställningarna är desamma
  7. sök efter dubbletter av index (kompletta och ofullständiga, som antingen skiljer sig något eller bara skiljer sig åt i de inkluderade kolumnerna)
  8. Eftersom SQLIndexManager endast används för MS SQL Server DBMS är det nödvändigt att spegla detta i namnet, till exempel enligt följande: SQLIndexManager för MS SQL Server
  9. Flytta alla icke-GUI-delar av applikationen till separata moduler och skriv om dem i .NET Core 2.1

I skrivande stund utvecklas punkt 6 i önskemålen aktivt och det finns redan stöd i form av att söka efter kompletta och liknande dubbletter:

Recension av det kostnadsfria verktyget SQLIndexManager

källor

Källa: will.com

Lägg en kommentar