Үнэгүй SQLIndexManager хэрэгслийн тойм

Таны мэдэж байгаагаар индексүүд нь DBMS-д чухал үүрэг гүйцэтгэдэг бөгөөд шаардлагатай бүртгэлийг хурдан хайж олох боломжийг олгодог. Тиймээс тэдэнд цаг тухайд нь үйлчлэх нь маш чухал юм. Шинжилгээ, оновчлолын талаар маш олон материал, тэр дундаа Интернет дээр бичсэн. Жишээлбэл, энэ сэдвийг саяхан хянан үзсэн энэ нийтлэлийг.

Үүний төлөө төлбөртэй, үнэ төлбөргүй олон шийдэл байдаг. Жишээлбэл, бэлэн бүтээгдэхүүн байдаг решение, дасан зохицох индексийг оновчтой болгох аргад суурилсан.

Дараа нь үнэгүй хэрэгслийг харцгаая SQLIndexManager, зохиогч АланДентон.

SQLIndexManager болон бусад олон аналогуудын хоорондох техникийн гол ялгааг зохиогч өөрөө өгсөн энд и энд.

Энэ нийтлэлд бид төсөл болон энэхүү програм хангамжийн шийдлийн үйл ажиллагааны чадавхийг гаднаас нь авч үзэх болно.

Энэ хэрэгслийн талаар ярилцаж байна энд.
Цаг хугацаа өнгөрөхөд ихэнх сэтгэгдэл, алдааг зассан.

Тиймээс одоо SQLIndexManager хэрэгсэл рүү шилжье.

Уг програм нь Visual Studio 4.5 дээр C# .NET Framework 2017 дээр бичигдсэн бөгөөд маягтанд DevExpress ашигладаг:

мөн иймэрхүү харагдаж байна:

Бүх хүсэлтийг дараах файлуудад үүсгэсэн:

1. индекс
2. Хайлт
3. QueryEngine
4. ServerInfo

Өгөгдлийн санд холбогдож, DBMS руу асуулга илгээх үед програмд ​​дараах байдлаар гарын үсэг зурна.

ApplicationName=”SQLIndexManager”

Таныг програмыг ажиллуулахад холболт нэмэх модаль цонх нээгдэнэ:

Энд дотоод сүлжээгээр нэвтрэх боломжтой MS SQL Server-ийн бүх тохиолдлын бүрэн жагсаалтыг ачаалах нь хараахан ажиллахгүй байна.

Та мөн үндсэн цэсний зүүн талын товчлуурыг ашиглан холболт нэмж болно.

Дараа нь DBMS-д дараах асуултууд гарч ирнэ.

1. DBMS-ийн талаар мэдээлэл авах

   SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
        , Edition       = SERVERPROPERTY('Edition')
        , ServerVersion = SERVERPROPERTY('ProductVersion')
        , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
   

2. Боломжтой мэдээллийн сангуудын товч шинж чанаруудын жагсаалтыг авах

   SELECT DatabaseName = t.[name]
        , d.DataSize
        , DataUsedSize  = CAST(NULL AS BIGINT)
        , d.LogSize
        , LogUsedSize   = CAST(NULL AS BIGINT)
        , RecoveryModel = t.recovery_model_desc
        , LogReuseWait  = t.log_reuse_wait_desc
   FROM sys.databases t WITH(NOLOCK)
   LEFT JOIN (
       SELECT [database_id]
            , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
            , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
       FROM sys.master_files WITH(NOLOCK)
       GROUP BY [database_id]
   ) d ON d.[database_id] = t.[database_id]
   WHERE t.[state] = 0
       AND t.[database_id] != 2
       AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
   

Дээрх скриптүүдийг ажиллуулсны дараа MS SQL Server-ийн сонгосон өгөгдлийн сангийн тухай товч мэдээллийг агуулсан цонх гарч ирнэ.

Өргөтгөсөн мэдээллийг эрх дээр үндэслэн харуулсан гэдгийг тэмдэглэх нь зүйтэй. Хэрвээ тэнд ссэдмин, дараа нь та харагдацаас өгөгдлийг сонгож болно sys.master_files. Хэрэв ийм эрх байхгүй бол хүсэлтийг удаашруулахгүйн тулд бага өгөгдлийг буцааж өгдөг.

Энд та сонирхсон мэдээллийн санг сонгоод "OK" товчийг дарах хэрэгтэй.

Дараа нь индексүүдийн төлөв байдалд дүн шинжилгээ хийхийн тулд сонгосон мэдээллийн сан бүрт дараах скриптийг гүйцэтгэнэ.

Индекс статусын шинжилгээ

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Асуултуудаас харахад түр зуурын хүснэгтүүдийг ихэвчлэн ашигладаг. Энэ нь дахин эмхэтгэл байхгүй байхаар хийгдсэн бөгөөд том схемийн хувьд хүснэгтийн хувьсагчдыг зөвхөн нэг хэлхээнд оруулах боломжтой тул өгөгдөл оруулах үед төлөвлөгөөг зэрэгцүүлэн үүсгэж болно.

Дээрх скриптийг ажиллуулсны дараа индексийн хүснэгт бүхий цонх гарч ирнэ.

Та мөн бусад дэлгэрэнгүй мэдээллийг энд харуулах боломжтой, тухайлбал:

1. мэдээллийн сан
2. хэсгүүдийн тоо
3. сүүлчийн дуудлагын огноо, цаг
4. шахаж ав
5. файлын бүлэг

гэх мэт.
Чанга яригчийг өөрсдөө тохируулж болно:

Засвар баганын нүднүүдээс оновчлолын үед ямар үйлдлийг гүйцэтгэхийг сонгож болно. Мөн скан хийж дуусахад сонгосон тохиргоон дээр үндэслэн өгөгдмөл үйлдлийг сонгоно:

Боловсруулахын тулд та хүссэн индексээ сонгох ёстой.

Үндсэн цэсийг ашиглан та скриптийг хадгалах боломжтой (ижил товчлуур нь индексийг оновчтой болгох процессыг өөрөө эхлүүлдэг):

Хүснэгтийг өөр өөр форматаар хадгалах (ижил товчлуур нь индексийг шинжлэх, оновчтой болгох нарийвчилсан тохиргоог нээх боломжийг олгодог):

Мөн томруулдаг шилний хажууд байрлах үндсэн цэсний зүүн талын гурав дахь товчлуур дээр дарж мэдээллийг шинэчлэх боломжтой.

Томруулдаг шилтэй товчлуур нь хүссэн мэдээллийн санг сонгох боломжийг танд олгоно.

Одоогоор цогц тусламжийн систем байхгүй байна. Тиймээс "?" товчийг дарна уу Програм хангамжийн бүтээгдэхүүний талаарх үндсэн мэдээллийг агуулсан модаль цонх гарч ирнэ:

Дээр дурдсан бүх зүйлээс гадна үндсэн цэс нь хайлтын талбартай:

Индексийг оновчтой болгох үйл явцыг эхлүүлэх үед:

Та мөн цонхны доод хэсэгт гүйцэтгэсэн үйлдлийн бүртгэлийг харж болно:

Индексийн шинжилгээ, оновчлолын нарийвчилсан тохиргооны цонхонд та илүү нарийн сонголтуудыг тохируулж болно:

Өргөдөл гаргах хүсэлт:

1. статистикийг зөвхөн индекс төдийгүй янз бүрийн аргаар (бүрэн эсвэл хэсэгчлэн шинэчлэх) сонгох боломжтой болгох
2. зөвхөн мэдээллийн бааз төдийгүй өөр өөр серверүүдийг сонгох боломжтой (MS SQL Server-ийн олон тохиолдлууд байгаа үед энэ нь маш тохиромжтой)
3. Ашиглахад илүү уян хатан байхын тулд тушаалуудыг номын санд боож, PowerShell командуудад гаргахыг санал болгож байна, жишээ нь энд:
4. dbatools.io/commands
5. Бүх програмын хувьд болон шаардлагатай бол MS SQL Server болон мэдээллийн сан бүрийн хувьд хувийн тохиргоог хадгалах, өөрчлөх боломжтой болгоно.
6. 2 ба 4-р зүйлээс харахад та өгөгдлийн баазаар бүлгүүд, тохиргоо нь адилхан MS SQL серверийн жишээн дээр бүлгүүдийг үүсгэхийг хүсч байна.
7. давхардсан индекс хайх (бүрэн ба бүрэн бус, бага зэрэг ялгаатай эсвэл зөвхөн оруулсан баганад ялгаатай)
8. SQLIndexManager нь зөвхөн MS SQL Server DBMS-д ашиглагддаг тул үүнийг нэрэнд, жишээлбэл, дараах байдлаар тусгах ёстой: MS SQL Server-д зориулсан SQLIndexManager
9. Програмын GUI бус бүх хэсгийг тусад нь модуль болгон зөөж, .NET Core 2.1 дээр дахин бичнэ үү.

Бичиж байх үед хүслийн 6-р зүйлийг идэвхтэй боловсруулж байгаа бөгөөд бүрэн болон ижил төстэй хуулбарыг хайх хэлбэрээр аль хэдийн дэмжлэг үзүүлж байна.

Эх сурвалжууд

• дасан зохицох индексийг оновчтой болгох арга
• SQLIndexManager хэрэгсэл
• SQLIndexManager хэрэгслийн техникийн товч тойм
• SQLIndexManager хэрэгслийн талаархи хэлэлцүүлэг
• SQL Index Manager – SQL Server болон Azure дээр индексийн засвар үйлчилгээ хийх үнэгүй GUI хэрэгсэл
• SQL серверийн индексийн шинжилгээ ба оновчлол

Эх сурвалж: www.habr.com