Endurskoðun á ókeypis tólinu SQLIndexManager

Eins og þú veist gegna vísitölur mikilvægu hlutverki í DBMS og veita skjóta leit að nauðsynlegum gögnum. Þess vegna er svo mikilvægt að þjónusta þá tímanlega. Nokkuð mikið efni hefur verið skrifað um greiningu og hagræðingu, meðal annars á Netinu. Til dæmis var þetta efni nýlega skoðað í þessa útgáfu.

Það eru margar greiddar og ókeypis lausnir fyrir þetta. Til dæmis er tilbúið ákvörðun, byggt á hagræðingaraðferð aðlögunarvísitölu.

Næst skulum við líta á ókeypis tólið SQLIndexManager, höfundur af AlanDenton.

Helsti tæknilegi munurinn á SQLIndexManager og fjölda annarra hliðstæðna er gefinn upp af höfundinum sjálfum hér и hér.

Í þessari grein munum við skoða verkefnið og rekstrargetu þessarar hugbúnaðarlausnar.

Rætt um þetta tól hér.
Með tímanum voru flestar athugasemdir og villur leiðréttar.

Svo skulum við halda áfram í SQLIndexManager tólið sjálft.

Forritið er skrifað í C# .NET Framework 4.5 í Visual Studio 2017 og notar DevExpress fyrir form:

Endurskoðun á ókeypis tólinu SQLIndexManager

og lítur svona út:

Endurskoðun á ókeypis tólinu SQLIndexManager

Allar beiðnir eru búnar til í eftirfarandi skrám:

  1. Index
  2. fyrirspurn
  3. QueryEngine
  4. ServerInfo

Endurskoðun á ókeypis tólinu SQLIndexManager

Þegar tengst er við gagnagrunn og sendar fyrirspurnir í DBMS er forritið undirritað sem hér segir:

ApplicationName=”SQLIndexManager”

Þegar þú ræsir forritið opnast formlegur gluggi til að bæta við tengingu:
Endurskoðun á ókeypis tólinu SQLIndexManager

Hér virkar ekki enn að hlaða heildarlista yfir öll MS SQL Server tilvik sem eru aðgengileg yfir staðarnet.

Þú getur líka bætt við tengingu með því að nota hnappinn lengst til vinstri á aðalvalmyndinni:

Endurskoðun á ókeypis tólinu SQLIndexManager

Næst verða eftirfarandi fyrirspurnir til DBMS settar af stað:

  1. Að afla upplýsinga um DBMS
    SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
         , Edition       = SERVERPROPERTY('Edition')
         , ServerVersion = SERVERPROPERTY('ProductVersion')
         , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
    

  2. Að fá lista yfir tiltæka gagnagrunna með stuttum eiginleikum þeirra
    SELECT DatabaseName = t.[name]
         , d.DataSize
         , DataUsedSize  = CAST(NULL AS BIGINT)
         , d.LogSize
         , LogUsedSize   = CAST(NULL AS BIGINT)
         , RecoveryModel = t.recovery_model_desc
         , LogReuseWait  = t.log_reuse_wait_desc
    FROM sys.databases t WITH(NOLOCK)
    LEFT JOIN (
        SELECT [database_id]
             , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
             , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
        FROM sys.master_files WITH(NOLOCK)
        GROUP BY [database_id]
    ) d ON d.[database_id] = t.[database_id]
    WHERE t.[state] = 0
        AND t.[database_id] != 2
        AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
    

Eftir að hafa keyrt ofangreindar forskriftir birtist gluggi sem inniheldur stuttar upplýsingar um gagnagrunna valins tilviks MS SQL Server:

Endurskoðun á ókeypis tólinu SQLIndexManager

Rétt er að taka fram að víðtækar upplýsingar eru sýndar út frá réttindum. Ef þar sysadmin, þá geturðu valið gögn úr skjánum sys.master_files. Ef engin slík réttindi eru til staðar þá er minni gögnum einfaldlega skilað til að hægja ekki á beiðninni.

Hér þarftu að velja áhugaverða gagnagrunna og smella á „Í lagi“ hnappinn.

Næst verður eftirfarandi handrit keyrt fyrir hvern valinn gagnagrunn til að greina stöðu vísitölunnar:

Stöðugreining vísitölu

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Eins og sést af fyrirspurnunum sjálfum eru tímabundnar töflur notaðar nokkuð oft. Þetta er gert þannig að engar endursamsetningar séu til staðar og ef um stórt kerfi er að ræða er hægt að búa til áætlunina samhliða þegar gögn eru sett inn, þar sem að setja inn töflubreytur er aðeins möguleg í einum þræði.

Eftir að hafa keyrt ofangreinda skriftu birtist gluggi með vísitölutöflu:

Endurskoðun á ókeypis tólinu SQLIndexManager

Þú getur líka birt aðrar nákvæmar upplýsingar hér, svo sem:

  1. gagnasafn
  2. fjölda hluta
  3. dagsetning og tími síðasta símtals
  4. þjöppun
  5. skráarhópur

og svo framvegis.
Hægt er að aðlaga hátalarana sjálfa:

Endurskoðun á ókeypis tólinu SQLIndexManager

Í reitunum í Festa dálknum geturðu valið hvaða aðgerð verður framkvæmd meðan á fínstillingu stendur. Einnig, þegar skönnuninni lýkur, er sjálfgefin aðgerð valin byggð á völdum stillingum:

Endurskoðun á ókeypis tólinu SQLIndexManager

Þú verður að velja viðeigandi vísitölur til vinnslu.

Með því að nota aðalvalmyndina geturðu vistað handritið (sami hnappur byrjar sjálft fínstillingarferlið vísitölu):

Endurskoðun á ókeypis tólinu SQLIndexManager

og vistaðu töfluna á mismunandi sniði (sami hnappur gerir þér kleift að opna nákvæmar stillingar til að greina og fínstilla vísitölur):

Endurskoðun á ókeypis tólinu SQLIndexManager

Einnig er hægt að uppfæra upplýsingarnar með því að smella á þriðja hnappinn til vinstri í aðalvalmyndinni við hlið stækkunarglersins.

Hnappurinn með stækkunargleri gerir þér kleift að velja viðeigandi gagnagrunna til athugunar.

Sem stendur er ekkert alhliða hjálparkerfi. Því að ýta á "?" hnappinn mun einfaldlega valda því að formlegur gluggi birtist sem inniheldur grunnupplýsingar um hugbúnaðarvöruna:

Endurskoðun á ókeypis tólinu SQLIndexManager

Til viðbótar við allt sem lýst er hér að ofan hefur aðalvalmyndin leitarstiku:

Endurskoðun á ókeypis tólinu SQLIndexManager

Þegar byrjað er á hagræðingarferli vísitölu:

Endurskoðun á ókeypis tólinu SQLIndexManager

Þú getur líka skoðað skrá yfir framkvæmdar aðgerðir neðst í glugganum:

Endurskoðun á ókeypis tólinu SQLIndexManager

Í ítarlega stillingarglugganum fyrir vísitölugreiningu og hagræðingu geturðu stillt fíngerðari valkosti:

Endurskoðun á ókeypis tólinu SQLIndexManager

Beiðnir um umsókn:

  1. gera það mögulegt að uppfæra tölfræði með vali, ekki aðeins fyrir vísitölur og einnig á mismunandi vegu (uppfært að fullu eða að hluta)
  2. gera það ekki aðeins mögulegt að velja gagnagrunn, heldur einnig mismunandi netþjóna (þetta er mjög þægilegt þegar það eru mörg tilvik af MS SQL Server)
  3. Fyrir meiri sveigjanleika í notkun er mælt með því að pakka skipunum inn í bókasöfn og gefa þær út í PowerShell skipanir, eins og gert er til dæmis hér:
  4. dbatools.io/skipanir
  5. gera það mögulegt að vista og breyta persónulegum stillingum bæði fyrir allt forritið og, ef nauðsyn krefur, fyrir hvert tilvik MS SQL Server og hvern gagnagrunn
  6. Af liðum 2 og 4 leiðir að þú vilt búa til hópa eftir gagnagrunnum og hópa eftir MS SQL Server tilvikum, þar sem stillingarnar eru þær sömu
  7. leitaðu að tvíteknum vísitölum (heildar og ófullkomnar, sem eru annaðhvort örlítið frábrugðnar eða aðeins mismunandi í meðfylgjandi dálkum)
  8. Þar sem SQLIndexManager er aðeins notað fyrir MS SQL Server DBMS, er nauðsynlegt að endurspegla þetta í nafninu, td sem hér segir: SQLIndexManager fyrir MS SQL Server
  9. Færðu alla hluta forritsins sem ekki eru GUI í aðskildar einingar og endurskrifaðu þær í .NET Core 2.1

Þegar þetta er skrifað er 6. lið óskanna í virkri þróun og þegar er stuðningur í formi leit að heildar og svipuðum afritum:

Endurskoðun á ókeypis tólinu SQLIndexManager

Heimildir

Heimild: www.habr.com

Bæta við athugasemd