Kiel vi scias, indeksoj ludas gravan rolon en DBMS, provizante rapidan serĉon al la postulataj registroj. Tial estas tiel grave servi ilin ĝustatempe. Sufiĉe multe da materialo estis verkita pri analizo kaj optimumigo, inkluzive en Interreto. Ekzemple, ĉi tiu temo estis ĵus reviziita en .
Estas multaj pagitaj kaj senpagaj solvoj por ĉi tio. Ekzemple, ekzistas preta , surbaze de adapta indeksa optimumiga metodo.
Poste, ni rigardu la senpagan ilon , verkita de .
La ĉefa teknika diferenco inter SQLIndexManager kaj kelkaj aliaj analogoj estas donita de la aŭtoro mem и .
En ĉi tiu artikolo, ni rigardos eksteran la projekton kaj la funkciajn kapablojn de ĉi tiu programara solvo.
Diskutante ĉi tiun utilecon .
Kun la tempo, la plej multaj el la komentoj kaj cimoj estis korektitaj.
Do, ni nun transiru al la utileco SQLIndexManager mem.
La aplikaĵo estas skribita en C# .NET Framework 4.5 en Visual Studio 2017 kaj uzas DevExpress por formoj:
kaj aspektas tiel:
Ĉiuj petoj estas generitaj en la sekvaj dosieroj:
- indekso
- Query
- QueryEngine
- ServerInfo
Kiam vi konektas al datumbazo kaj sendas demandojn al la DBMS, la aplikaĵo estas subskribita jene:
ApplicationName=”SQLIndexManager”
Kiam vi lanĉas la aplikaĵon, modala fenestro malfermiĝos por aldoni konekton:
Ĉi tie, ŝarĝi kompletan liston de ĉiuj petskriboj de MS SQL Server alireblaj per lokaj retoj ankoraŭ ne funkcias.
Vi ankaŭ povas aldoni konekton per la plej maldekstra butono en la ĉefa menuo:
Poste, la sekvaj demandoj al la DBMS estos lanĉitaj:
- Akirante informojn pri la DBMS
SELECT ProductLevel = SERVERPROPERTY('ProductLevel') , Edition = SERVERPROPERTY('Edition') , ServerVersion = SERVERPROPERTY('ProductVersion') , IsSysAdmin = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT) - Akirante liston de disponeblaj datumbazoj kun iliaj mallongaj trajtoj
SELECT DatabaseName = t.[name] , d.DataSize , DataUsedSize = CAST(NULL AS BIGINT) , d.LogSize , LogUsedSize = CAST(NULL AS BIGINT) , RecoveryModel = t.recovery_model_desc , LogReuseWait = t.log_reuse_wait_desc FROM sys.databases t WITH(NOLOCK) LEFT JOIN ( SELECT [database_id] , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END) , LogSize = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END) FROM sys.master_files WITH(NOLOCK) GROUP BY [database_id] ) d ON d.[database_id] = t.[database_id] WHERE t.[state] = 0 AND t.[database_id] != 2 AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
Post ekzekuto de la supraj skriptoj, aperos fenestro enhavanta mallongajn informojn pri la datumbazoj de la elektita kazo de MS SQL Server:
Indas noti, ke plilongigitaj informoj estas montritaj surbaze de rajtoj. Se tie , tiam vi povas elekti datumojn el la vido . Se ne ekzistas tiaj rajtoj, tiam malpli da datumoj estas simple resenditaj por ne malrapidigi la peton.
Ĉi tie vi devas elekti la interesajn datumbazojn kaj alklaki la butonon "Bone".
Poste, la sekva skripto estos ekzekutita por ĉiu elektita datumbazo por analizi la staton de la indeksoj:
Analizo de la indeksa stato
declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IndexName SYSNAME NULL
, PagesCount BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber INT NOT NULL
, RowsCount BIGINT NOT NULL
, IndexType TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID INT NOT NULL
, DataCompression TINYINT NOT NULL
, IsUnique BIT NOT NULL
, IsPK BIT NOT NULL
, FillFactorValue INT NOT NULL
, IsFiltered BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID = i.[object_id]
, IndexID = i.index_id
, IndexName = i.[name]
, PagesCount = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber = p.[partition_number]
, RowsCount = ISNULL(p.[rows], 0)
, IndexType = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID = i.[data_space_id]
, DataCompression = p.[data_compression]
, IsUnique = i.[is_unique]
, IsPK = i.[is_primary_key]
, FillFactorValue = i.[fill_factor]
, IsFiltered = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id]
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, PartitionNumber INT NOT NULL
, Fragmentation FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID INT NOT NULL
, ColumnID INT NOT NULL
, ColumnName SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse BIT
, IsColumnSet BIT
, MaxLen INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID = [object_id]
, ColumnID = [column_id]
, ColumnName = [name]
, SystemTypeID = [system_type_id]
, IsSparse = [is_sparse]
, IsColumnSet = [is_column_set]
, MaxLen = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, OrderID INT NOT NULL
, ColumnID INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID = [object_id]
, IndexID = [index_id]
, OrderID = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IsLobLegacy BIT
, IsLob BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IndexColumns NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName = o.[name]
, SchemaName = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy = ISNULL(lob.IsLobLegacy, 0)
, IsLob = ISNULL(lob.IsLob, 0)
, IsSparse = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID = [object_id]
, IndexID = [index_id]
, TotalWrites = NULLIF([user_updates], 0)
, TotalReads = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks = NULLIF([user_seeks], 0)
, TotalScans = NULLIF([user_scans], 0)
, TotalLookups = NULLIF([user_lookups], 0)
, LastUsage = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id]
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)
Kiel videblas el la demandoj mem, provizoraj tabeloj estas uzataj sufiĉe ofte. Ĉi tio estas farita por ke ne estu rekompiloj, kaj en la kazo de granda skemo, la plano povas esti generita paralele dum enmetado de datumoj, ĉar enmeti tabelvariablojn eblas nur en unu fadeno.
Post ekzekuto de la supra skripto, aperos fenestro kun indeksa tabelo:
Vi ankaŭ povas montri aliajn detalajn informojn ĉi tie, kiel:
- Datumbazo
- nombro da sekcioj
- dato kaj horo de la lasta voko
- kunpremo
- dosiergrupo
mi t. d.
La parolantoj mem povas esti personecigitaj:
En la ĉeloj de la kolumno Fix, vi povas elekti kian agon estos farita dum optimumigo. Ankaŭ, kiam la skanado finiĝas, defaŭlta ago estas elektita surbaze de la elektitaj agordoj:
Vi devas elekti la deziratajn indeksojn por prilaborado.
Uzante la ĉefan menuon, vi povas konservi la skripton (la sama butono komencas la indeksan optimumigprocezon mem):
kaj konservu la tabelon en malsamaj formatoj (la sama butono permesas malfermi detalajn agordojn por analizi kaj optimumigi indeksojn):
Vi ankaŭ povas ĝisdatigi la informojn klakante sur la tria butono maldekstre en la ĉefa menuo apud la lupeo.
La butono kun lupeo permesas elekti la deziratajn datumbazojn por konsidero.
Nuntempe ne ekzistas ampleksa helpsistemo. Sekve, premante la butonon "?" simple aperigos modalan fenestron enhavantan bazajn informojn pri la programaro:
Krom ĉio priskribita supre, la ĉefa menuo havas serĉbreton:
Komencante la indeksan optimumigan procezon:
Vi ankaŭ povas vidi protokolon de faritaj agoj ĉe la malsupro de la fenestro:
En la detala agorda fenestro por indeksa analizo kaj optimumigo, vi povas agordi pli subtilajn opciojn:
Petoj por la aplikaĵo:
- ebligi selekteme ĝisdatigi statistikojn ne nur por indeksoj kaj ankaŭ diversmaniere (plene aŭ parte)
- ebligu ne nur elekti datumbazon, sed ankaŭ malsamajn servilojn (ĉi tio estas tre oportuna kiam estas multaj okazoj de MS SQL Server)
- Por pli granda fleksebleco en uzo, oni sugestas envolvi la komandojn en bibliotekojn kaj eligi ilin al PowerShell-komandoj, kiel oni faras, ekzemple, ĉi tie:
- ebligu konservi kaj ŝanĝi personajn agordojn kaj por la tuta aplikaĵo kaj, se necese, por ĉiu kazo de MS SQL Server kaj ĉiu datumbazo
- El alineoj 2 kaj 4 sekvas, ke vi volas krei grupojn per datumbazoj kaj grupoj per MS SQL Server-instancoj, por kiuj la agordoj estas la samaj.
- serĉi duplikatajn indeksojn (kompletaj kaj nekompletaj, kiuj aŭ iomete malsamaj aŭ malsamas nur en la inkluzivitaj kolumnoj)
- Ĉar SQLIndexManager estas uzata nur por MS SQL Server DBMS, necesas reflekti tion en la nomo, ekzemple, jene: SQLIndexManager por MS SQL Server
- Movu ĉiujn ne-GUI-partojn de la aplikaĵo en apartajn modulojn kaj reverku ilin en .NET Core 2.1
En la momento de la skribado, ero 6 el la deziroj aktive disvolviĝas kaj jam ekzistas subteno en la formo de serĉado de kompletaj kaj similaj duplikatoj:
Fontoj
fonto: www.habr.com