SQLIndexManager անվճար գործիքի վերանայում

Ինչպես գիտեք, ինդեքսները կարևոր դեր են խաղում DBMS-ում՝ ապահովելով պահանջվող գրառումների արագ որոնում: Ահա թե ինչու շատ կարևոր է դրանք ժամանակին սպասարկել: Բավականին շատ նյութեր են գրվել վերլուծությունների ու օպտիմալացման մասին, այդ թվում՝ համացանցում։ Օրինակ, այս թեման վերջերս վերանայվել է այս հրապարակումը.

Դրա համար շատ վճարովի և անվճար լուծումներ կան: Օրինակ, կա պատրաստի որոշում, որը հիմնված է հարմարվողական ինդեքսների օպտիմալացման մեթոդի վրա:

Հաջորդը, եկեք նայենք անվճար կոմունալին SQLIndexManager, հեղինակել է Ալանդենթոն.

SQLIndexManager-ի և մի շարք այլ անալոգների միջև հիմնական տեխնիկական տարբերությունը տրվում է հենց հեղինակի կողմից այստեղ и այստեղ.

Այս հոդվածում մենք արտաքին տեսք կունենանք նախագծին և այս ծրագրային լուծման գործառնական հնարավորություններին:

Քննարկելով այս օգտակարությունը այստեղ.
Ժամանակի ընթացքում մեկնաբանությունների և սխալների մեծ մասը ուղղվեցին:

Այսպիսով, եկեք հիմա անցնենք հենց SQLIndexManager կոմունալին:

Հավելվածը գրված է C# .NET Framework 4.5-ով Visual Studio 2017-ում և օգտագործում է DevExpress-ը ձևերի համար.

և ունի այս տեսքը ՝

Բոլոր հարցումները ստեղծվում են հետևյալ ֆայլերում.

1. ինդեքս
2. Query
3. QueryEngine
4. ServerInfo

Տվյալների շտեմարանին միանալու և DBMS-ին հարցումներ ուղարկելիս հավելվածը ստորագրվում է հետևյալ կերպ.

ApplicationName=”SQLIndexManager”

Հավելվածը գործարկելիս կբացվի մոդալ պատուհան՝ կապ ավելացնելու համար.

Այստեղ տեղական ցանցերի միջոցով հասանելի բոլոր MS SQL Server օրինակների ամբողջական ցանկը բեռնելը դեռ չի աշխատում:

Կարող եք նաև կապ ավելացնել՝ օգտագործելով հիմնական ցանկի ձախ կոճակը.

Հաջորդը, DBMS-ին ուղղված հետևյալ հարցումները կգործարկվեն.

1. DBMS-ի մասին տեղեկատվության ստացում

   SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
        , Edition       = SERVERPROPERTY('Edition')
        , ServerVersion = SERVERPROPERTY('ProductVersion')
        , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
   

2. Ստանալով առկա տվյալների բազաների ցանկը՝ իրենց հակիրճ հատկություններով

   SELECT DatabaseName = t.[name]
        , d.DataSize
        , DataUsedSize  = CAST(NULL AS BIGINT)
        , d.LogSize
        , LogUsedSize   = CAST(NULL AS BIGINT)
        , RecoveryModel = t.recovery_model_desc
        , LogReuseWait  = t.log_reuse_wait_desc
   FROM sys.databases t WITH(NOLOCK)
   LEFT JOIN (
       SELECT [database_id]
            , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
            , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
       FROM sys.master_files WITH(NOLOCK)
       GROUP BY [database_id]
   ) d ON d.[database_id] = t.[database_id]
   WHERE t.[state] = 0
       AND t.[database_id] != 2
       AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
   

Վերոնշյալ սկրիպտները կատարելուց հետո կհայտնվի պատուհան, որը պարունակում է հակիրճ տեղեկատվություն MS SQL Server-ի ընտրված օրինակի տվյալների բազաների մասին.

Հարկ է նշել, որ ընդլայնված տեղեկատվությունը ցուցադրվում է իրավունքների հիման վրա: Եթե ​​այնտեղ sysadmin, ապա դուք կարող եք ընտրել տվյալներ տեսքից sys.master_files. Եթե ​​չկան այդպիսի իրավունքներ, ապա պարզապես ավելի քիչ տվյալներ են վերադարձվում՝ հարցումը չդանդաղեցնելու համար։

Այստեղ դուք պետք է ընտրեք հետաքրքրության տվյալների բազաները և սեղմեք «OK» կոճակը:

Հաջորդը, յուրաքանչյուր ընտրված տվյալների բազայի համար կկատարվի հետևյալ սկրիպտը՝ ինդեքսների վիճակը վերլուծելու համար.

Ինդեքսի կարգավիճակի վերլուծություն

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Ինչպես երևում է հենց հարցումներից, ժամանակավոր աղյուսակները բավականին հաճախ են օգտագործվում: Դա արվում է այնպես, որ վերակոմպիլյացիաներ չլինեն, իսկ մեծ սխեմայի դեպքում տվյալների տեղադրման ժամանակ պլանը կարող է գեներացվել զուգահեռ, քանի որ աղյուսակի փոփոխականների տեղադրումը հնարավոր է միայն մեկ թեմայում։

Վերոնշյալ սցենարը կատարելուց հետո կհայտնվի ինդեքսային աղյուսակով պատուհան.

Այստեղ կարող եք նաև ցուցադրել այլ մանրամասն տեղեկություններ, ինչպիսիք են՝

1. տվյալների բազա
2. բաժինների քանակը
3. վերջին զանգի ամսաթիվը և ժամը
4. սեղմում
5. ֆայլերի խումբ

եւ այլն:
Բանախոսներն իրենք կարող են հարմարեցվել.

Fix սյունակի բջիջներում կարող եք ընտրել, թե ինչ գործողություն է կատարվելու օպտիմալացման ժամանակ: Բացի այդ, երբ սկանավորումն ավարտվում է, ընտրված կարգավորումների հիման վրա ընտրվում է լռելյայն գործողություն.

Դուք պետք է ընտրեք ցանկալի ինդեքսները մշակման համար:

Օգտագործելով հիմնական ընտրացանկը, կարող եք պահպանել սկրիպտը (նույն կոճակը սկսում է ինքնին ինդեքսների օպտիմալացման գործընթացը).

և պահեք աղյուսակը տարբեր ձևաչափերով (նույն կոճակը թույլ է տալիս բացել մանրամասն կարգավորումներ ինդեքսների վերլուծության և օպտիմալացման համար).

Դուք կարող եք նաև թարմացնել տեղեկատվությունը, սեղմելով ձախ կողմում գտնվող երրորդ կոճակը հիմնական մենյուում՝ խոշորացույցի կողքին:

Խոշորացույցով կոճակը թույլ է տալիս դիտարկելու համար ընտրել ցանկալի տվյալների բազաները:

Ներկայումս չկա համապարփակ օգնության համակարգ: Հետևաբար, սեղմելով «?» կոճակը Պարզապես կհայտնվի մոդալ պատուհան, որը պարունակում է հիմնական տեղեկատվություն ծրագրային արտադրանքի մասին.

Բացի վերը նկարագրված ամեն ինչից, հիմնական ընտրացանկը ունի որոնման տող.

Ինդեքսների օպտիմալացման գործընթացը սկսելիս.

Դուք կարող եք նաև դիտել կատարված գործողությունների մատյանը պատուհանի ներքևում.

Ինդեքսների վերլուծության և օպտիմալացման մանրամասն կարգավորումների պատուհանում կարող եք կարգավորել ավելի նուրբ տարբերակներ.

Դիմումի հայտերը.

1. հնարավորություն է տալիս ընտրովի թարմացնել վիճակագրությունը ոչ միայն ինդեքսների համար, այլ նաև տարբեր ձևերով (ամբողջովին թարմացնել կամ մասնակի)
2. հնարավորություն է տալիս ոչ միայն ընտրել տվյալների բազա, այլ նաև տարբեր սերվերներ (սա շատ հարմար է, երբ կան MS SQL Server-ի բազմաթիվ օրինակներ)
3. Օգտագործման ավելի մեծ ճկունության համար առաջարկվում է հրամանները փաթաթել գրադարաններում և դրանք դուրս բերել PowerShell հրամաններում, ինչպես արվում է, օրինակ, այստեղ.
4. dbatools.io/commands
5. հնարավորություն է տալիս պահպանել և փոխել անձնական կարգավորումները ինչպես ողջ հավելվածի, այնպես էլ, անհրաժեշտության դեպքում, MS SQL Server-ի և տվյալների բազայի յուրաքանչյուր օրինակի համար:
6. 2-րդ և 4-րդ կետերից հետևում է, որ դուք ցանկանում եք ստեղծել խմբեր ըստ տվյալների բազաների և խմբեր ըստ MS SQL Server-ի օրինակների, որոնց համար կարգավորումները նույնն են:
7. որոնել կրկնօրինակ ինդեքսներ (ամբողջական և թերի, որոնք կամ փոքր-ինչ տարբեր են կամ տարբերվում են միայն ներառված սյունակներում)
8. Քանի որ SQLIndexManager-ն օգտագործվում է միայն MS SQL Server DBMS-ի համար, անհրաժեշտ է սա արտացոլել անվանման մեջ, օրինակ, հետևյալ կերպ. SQLIndexManager MS SQL Server-ի համար:
9. Հավելվածի բոլոր ոչ GUI մասերը տեղափոխեք առանձին մոդուլներ և վերագրեք դրանք .NET Core 2.1-ում:

Գրելու պահին ցանկությունների 6-րդ կետը ակտիվորեն մշակվում է և արդեն կա աջակցություն ամբողջական և նմանատիպ կրկնօրինակների որոնման տեսքով.

Տեղեկատվության աղբյուրներ

• հարմարվողական ինդեքսի օպտիմալացման մեթոդ
• SQLIndexManager կոմունալ
• SQLIndexManager կոմունալ ծրագրի հակիրճ տեխնիկական ակնարկ
• քննարկում SQLIndexManager կոմունալ ծրագրի վերաբերյալ
• SQL Index Manager – Անվճար GUI գործիք SQL Server-ի և Azure-ի վրա ինդեքսի պահպանման համար
• SQL Server ինդեքսի վերլուծություն և օպտիմիզացում

Source: www.habr.com