Баррасии асбоби ройгони SQLIndexManager

Тавре ки шумо медонед, индексҳо дар DBMS нақши муҳим доранд, ки ҷустуҷӯи фаврии сабтҳои заруриро таъмин мекунанд. Аз ин рӯ, ба онҳо сари вақт хидмат расонидан хеле муҳим аст. Дар бораи таҳлил ва оптимизатсия, аз ҷумла дар Интернет маводи хеле зиёд навишта шудааст. Масалан, ин мавзӯъ ба наздикӣ дар ин нашрия.

Барои ин бисёр роҳҳои пулакӣ ва ройгон мавҷуданд. Масалан, тайёр аст қарор қабул мекунад, дар асоси усули оптимизатсияи индекси мутобиқшавӣ.

Минбаъд, биёед барномаи ройгонро бубинем SQLIndexManager, муаллифи он АланДентон.

Фарқи асосии техникии SQLIndexManager ва як қатор аналогҳои дигар аз ҷониби худи муаллиф дода шудааст дар ин ҷо и дар ин ҷо.

Дар ин мақола, мо берун аз лоиҳа ва имкониятҳои амалии ин ҳалли нармафзорро дида мебароем.

Муҳокимаи ин утилита дар ин ҷо.
Бо гузашти вақт, аксари шарҳҳо ва хатогиҳо ислоҳ карда шуданд.

Пас, биёед акнун ба худи утилитаи SQLIndexManager гузарем.

Ин барнома дар C# .NET Framework 4.5 дар Visual Studio 2017 навишта шудааст ва барои шаклҳо DevExpress-ро истифода мебарад:

ва чунин ба назар мерасад:

Ҳама дархостҳо дар файлҳои зерин тавлид мешаванд:

1. Индекс
2. Савол
3. QueryEngine
4. ServerInfo

Ҳангоми пайвастшавӣ ба пойгоҳи додаҳо ва фиристодани дархостҳо ба DBMS, ариза ба таври зерин имзо карда мешавад:

ApplicationName=”SQLIndexManager”

Вақте ки шумо барномаро оғоз мекунед, равзанаи модалӣ барои илова кардани пайваст кушода мешавад:

Дар ин ҷо, боркунии рӯйхати пурраи ҳама намунаҳои MS SQL Server, ки тавассути шабакаҳои маҳаллӣ дастрасанд, ҳанӯз кор намекунад.

Шумо инчунин метавонед бо истифода аз тугмаи чапи чапи менюи асосӣ пайваст илова кунед:

Баъдан, дархостҳои зерин ба DBMS оғоз карда мешаванд:

1. Гирифтани маълумот дар бораи DBMS

   SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
        , Edition       = SERVERPROPERTY('Edition')
        , ServerVersion = SERVERPROPERTY('ProductVersion')
        , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
   

2. Гирифтани рӯйхати пойгоҳи додаҳои дастрас бо хосиятҳои мухтасари онҳо

   SELECT DatabaseName = t.[name]
        , d.DataSize
        , DataUsedSize  = CAST(NULL AS BIGINT)
        , d.LogSize
        , LogUsedSize   = CAST(NULL AS BIGINT)
        , RecoveryModel = t.recovery_model_desc
        , LogReuseWait  = t.log_reuse_wait_desc
   FROM sys.databases t WITH(NOLOCK)
   LEFT JOIN (
       SELECT [database_id]
            , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
            , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
       FROM sys.master_files WITH(NOLOCK)
       GROUP BY [database_id]
   ) d ON d.[database_id] = t.[database_id]
   WHERE t.[state] = 0
       AND t.[database_id] != 2
       AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
   

Пас аз иҷрои скриптҳои дар боло зикршуда, равзана пайдо мешавад, ки дар он маълумоти мухтасар дар бораи базаи маълумотҳои намунаи интихобшудаи MS SQL Server мавҷуд аст:

Қобили зикр аст, ки маълумоти васеъ дар асоси ҳуқуқҳо нишон дода мешавад. Агар он ҷо сисадмин, пас шумо метавонед маълумотро аз намоиш интихоб кунед sys.master_files. Агар чунин ҳуқуқҳо вуҷуд надошта бошанд, пас камтар маълумот танҳо баргардонида мешавад, то дархостро суст накунад.

Дар ин ҷо ба шумо лозим аст, ки пойгоҳи додаҳои манфиатдорро интихоб кунед ва тугмаи "OK" -ро клик кунед.

Минбаъд, скрипти зерин барои ҳар як пойгоҳи додаҳои интихобшуда барои таҳлили ҳолати индексҳо иҷро карда мешавад:

Таҳлили ҳолати индекс

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Тавре ки аз худи дархостҳо дида мешавад, ҷадвалҳои муваққатӣ аксар вақт истифода мешаванд. Ин барои он анҷом дода мешавад, ки такрори такрорӣ вуҷуд надошта бошад ва дар сурати схемаи калон нақшаро дар баробари ворид кардани маълумот метавон тавлид кард, зеро ворид кардани тағирёбандаҳои ҷадвал танҳо дар як ришта имконпазир аст.

Пас аз иҷрои скрипти боло, равзанаи дорои ҷадвали индекс пайдо мешавад:

Шумо инчунин метавонед дигар маълумоти муфассалро дар ин ҷо нишон диҳед, масалан:

1. пойгоҳи додаҳо
2. шумораи бахшҳо
3. сана ва вақти занги охирин
4. фишурдасозӣ
5. гурӯҳи файлҳо

ва ғайра.
Худи баромадкунандагонро метавон танзим кард:

Дар чашмакҳои сутуни Ислоҳ, шумо метавонед интихоб кунед, ки кадом амал ҳангоми оптимизатсия иҷро мешавад. Инчунин, вақте ки скан ба итмом мерасад, амали пешфарз дар асоси танзимоти интихобшуда интихоб карда мешавад:

Шумо бояд индексҳои дилхоҳро барои коркард интихоб кунед.

Бо истифода аз менюи асосӣ, шумо метавонед скриптро захира кунед (ҳамон тугма раванди оптимизатсияи индексро оғоз мекунад):

ва ҷадвалро дар форматҳои гуногун захира кунед (як тугма ба шумо имкон медиҳад, ки танзимоти муфассалро барои таҳлил ва оптимизатсияи индексҳо кушоед):

Шумо инчунин метавонед маълумотро бо пахш кардани тугмаи сеюм дар тарафи чапи менюи асосӣ дар паҳлӯи шишаи лупа навсозӣ кунед.

Тугмаи дорои шишаи лупа ба шумо имкон медиҳад, ки базаҳои дилхоҳро барои баррасӣ интихоб кунед.

Дар айни замон системаи ҳамаҷонибаи кӯмак вуҷуд надорад. Аз ин рӯ, пахш кардани тугмаи "?" танҳо боиси пайдо шудани равзанаи модалӣ мегардад, ки дорои маълумоти асосӣ дар бораи маҳсулоти нармафзор аст:

Илова ба ҳама чизҳои дар боло тавсифшуда, менюи асосӣ сатри ҷустуҷӯ дорад:

Ҳангоми оғоз кардани раванди оптимизатсияи индекс:

Шумо инчунин метавонед сабти амалҳои иҷрошударо дар поёни тиреза дидан кунед:

Дар равзанаи танзимоти муфассал барои таҳлил ва оптимизатсия, шумо метавонед имконоти нозуктарро танзим кунед:

Дархостҳо барои дархост:

1. имкон медиҳад, ки омор на танҳо барои индексҳо ва инчунин бо роҳҳои гуногун (пурра навсозӣ ё қисман) интихобан нав карда шавад.
2. на танҳо интихоби пойгоҳи додаҳо, балки серверҳои гуногунро низ имконпазир созед (ин ҳангоми мавҷудияти бисёр мисолҳои MS SQL Server хеле қулай аст)
3. Барои чандирии бештар дар истифода, тавсия дода мешавад, ки фармонҳоро дар китобхонаҳо печонед ва онҳоро ба фармонҳои PowerShell бароред, масалан, дар ин ҷо:
4. dbatools.io/commands
5. имкон медиҳад, ки танзимоти шахсиро ҳам барои тамоми барнома ва ҳам дар ҳолати зарурӣ барои ҳар як мисоли MS SQL Server ва ҳар як пойгоҳи додаҳо ҳифз ва тағир диҳед
6. Аз бандҳои 2 ва 4 чунин бармеояд, ки шумо мехоҳед гурӯҳҳоро аз рӯи пойгоҳи додаҳо ва гурӯҳҳо аз рӯи мисолҳои MS SQL Server эҷод кунед, ки танзимот барои онҳо якхелаанд.
7. ҷустуҷӯи индексҳои такрорӣ (пурра ва нопурра, ки каме фарқ мекунанд ё танҳо дар сутунҳои дохилшуда фарқ мекунанд)
8. Азбаски SQLIndexManager танҳо барои MS SQL Server DBMS истифода мешавад, инро дар ном инъикос кардан лозим аст, масалан, ба таври зерин: SQLIndexManager барои MS SQL Server
9. Ҳама қисмҳои ғайри GUI-и барномаро ба модулҳои алоҳида интиқол диҳед ва онҳоро дар .NET Core 2.1 аз нав нависед

Ҳангоми навиштан, банди 6-и хоҳишҳо фаъолона таҳия карда мешавад ва аллакай дар шакли ҷустуҷӯи такрори пурра ва шабеҳ дастгирӣ карда мешавад:

Манбаъҳои иттилоот

• Усули оптимизатсияи индекси мутобиқшавӣ
• Утилитаи SQLIndexManager
• шарҳи мухтасари техникии утилитаи SQLIndexManager
• мубоҳиса дар утилитаи SQLIndexManager
• Менеҷери Index SQL - Асбоби ройгони GUI барои нигоҳдории индекс дар SQL Server ва Azure
• Таҳлил ва оптимизатсияи индекси SQL Server

Манбаъ: will.com