Tinjauan alat gratis SQLIndexManager

Seperti yang Anda ketahui, indeks memainkan peran penting dalam DBMS, menyediakan pencarian cepat untuk catatan yang diperlukan. Itulah mengapa sangat penting untuk melakukan servis pada waktu yang tepat. Cukup banyak materi yang ditulis tentang analisis dan optimasi, termasuk di Internet. Misalnya, topik ini baru-baru ini diulas di publikasi ini.

Ada banyak solusi berbayar dan gratis untuk ini. Misalnya ada yang sudah jadi keputusan, berdasarkan metode pengoptimalan indeks adaptif.

Selanjutnya, mari kita lihat utilitas gratisnya Manajer Indeks SQL, ditulis oleh Alan Denton.

Perbedaan teknis utama antara SQLIndexManager dan sejumlah analog lainnya diberikan oleh penulisnya sendiri di sini и di sini.

Dalam artikel ini, kita akan melihat proyek dan kemampuan operasional solusi perangkat lunak ini dari luar.

Membahas utilitas ini di sini.
Seiring waktu, sebagian besar komentar dan bug telah diperbaiki.

Jadi, sekarang mari beralih ke utilitas SQLIndexManager itu sendiri.

Aplikasi ini ditulis dalam C# .NET Framework 4.5 di Visual Studio 2017 dan menggunakan DevExpress untuk formulir:

dan terlihat seperti ini:

Semua permintaan dihasilkan dalam file berikut:

1. Indeks
2. Pertanyaan
3. Mesin Kueri
4. Informasi Server

Saat menyambung ke database dan mengirimkan kueri ke DBMS, aplikasi ditandatangani sebagai berikut:

ApplicationName=”SQLIndexManager”

Saat Anda meluncurkan aplikasi, jendela modal akan terbuka untuk menambahkan koneksi:

Di sini, memuat daftar lengkap semua instance MS SQL Server yang dapat diakses melalui jaringan lokal belum berfungsi.

Anda juga dapat menambahkan koneksi menggunakan tombol paling kiri pada menu utama:

Selanjutnya, pertanyaan berikut ke DBMS akan diluncurkan:

1. Memperoleh informasi tentang DBMS

   SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
        , Edition       = SERVERPROPERTY('Edition')
        , ServerVersion = SERVERPROPERTY('ProductVersion')
        , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
   

2. Mendapatkan daftar database yang tersedia dengan properti singkatnya

   SELECT DatabaseName = t.[name]
        , d.DataSize
        , DataUsedSize  = CAST(NULL AS BIGINT)
        , d.LogSize
        , LogUsedSize   = CAST(NULL AS BIGINT)
        , RecoveryModel = t.recovery_model_desc
        , LogReuseWait  = t.log_reuse_wait_desc
   FROM sys.databases t WITH(NOLOCK)
   LEFT JOIN (
       SELECT [database_id]
            , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
            , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
       FROM sys.master_files WITH(NOLOCK)
       GROUP BY [database_id]
   ) d ON d.[database_id] = t.[database_id]
   WHERE t.[state] = 0
       AND t.[database_id] != 2
       AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
   

Setelah menjalankan skrip di atas, sebuah jendela akan muncul berisi informasi singkat tentang database dari instance MS SQL Server yang dipilih:

Perlu dicatat bahwa informasi tambahan ditampilkan berdasarkan hak. Jika ada sysadmin, lalu Anda dapat memilih data dari tampilan sys.master_files. Jika tidak ada hak seperti itu, maka lebih sedikit data yang dikembalikan agar tidak memperlambat permintaan.

Di sini Anda perlu memilih database yang diinginkan dan klik tombol “OK”.

Selanjutnya, skrip berikut akan dijalankan untuk setiap database yang dipilih untuk menganalisis status indeks:

Analisis status indeks

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Seperti yang dapat dilihat dari kueri itu sendiri, tabel sementara cukup sering digunakan. Hal ini dilakukan agar tidak ada kompilasi ulang, dan dalam kasus skema besar, rencana dapat dibuat secara paralel saat memasukkan data, karena memasukkan variabel tabel hanya dapat dilakukan dalam satu thread.

Setelah menjalankan skrip di atas, sebuah jendela dengan tabel indeks akan muncul:

Anda juga dapat menampilkan informasi detail lainnya di sini, seperti:

1. basis data
2. jumlah bagian
3. tanggal dan waktu panggilan terakhir
4. kompresi
5. grup file

dan t. d.
Speakernya sendiri dapat disesuaikan:

Di sel kolom Perbaiki, Anda dapat memilih tindakan apa yang akan dilakukan selama pengoptimalan. Selain itu, ketika pemindaian selesai, tindakan default dipilih berdasarkan pengaturan yang dipilih:

Anda harus memilih indeks yang diinginkan untuk diproses.

Dengan menggunakan menu utama, Anda dapat menyimpan skrip (tombol yang sama memulai proses optimasi indeks itu sendiri):

dan simpan tabel dalam format berbeda (tombol yang sama memungkinkan Anda membuka pengaturan terperinci untuk menganalisis dan mengoptimalkan indeks):

Anda juga dapat memperbarui informasi dengan mengklik tombol ketiga di sebelah kiri menu utama di sebelah kaca pembesar.

Tombol dengan kaca pembesar memungkinkan Anda memilih database yang diinginkan untuk dipertimbangkan.

Saat ini tidak ada sistem bantuan yang komprehensif. Oleh karena itu, tekan tombol “?” hanya akan menyebabkan jendela modal muncul yang berisi informasi dasar tentang produk perangkat lunak:

Selain semua hal di atas, menu utama memiliki bilah pencarian:

Saat memulai proses pengoptimalan indeks:

Anda juga dapat melihat log tindakan yang dilakukan di bagian bawah jendela:

Di jendela pengaturan terperinci untuk analisis dan pengoptimalan indeks, Anda dapat mengonfigurasi opsi yang lebih halus:

Permintaan untuk aplikasi:

1. memungkinkan pembaruan statistik secara selektif tidak hanya untuk indeks dan juga dengan cara yang berbeda (memperbarui sepenuhnya atau sebagian)
2. memungkinkan tidak hanya untuk memilih database, tetapi juga server yang berbeda (ini sangat nyaman ketika ada banyak contoh MS SQL Server)
3. Untuk fleksibilitas yang lebih besar dalam penggunaan, disarankan untuk menggabungkan perintah di perpustakaan dan mengeluarkannya ke perintah PowerShell, seperti yang dilakukan, misalnya, di sini:
4. dbatools.io/commands
5. memungkinkan untuk menyimpan dan mengubah pengaturan pribadi untuk seluruh aplikasi dan, jika perlu, untuk setiap instance MS SQL Server dan setiap database
6. Dari paragraf 2 dan 4 berikut ini bahwa Anda ingin membuat grup berdasarkan database dan grup berdasarkan instance MS SQL Server, yang pengaturannya sama
7. mencari indeks duplikat (lengkap dan tidak lengkap, yang sedikit berbeda atau hanya berbeda pada kolom yang disertakan)
8. Karena SQLIndexManager hanya digunakan untuk DBMS MS SQL Server, hal ini perlu tercermin dalam namanya, misalnya sebagai berikut: SQLIndexManager untuk MS SQL Server
9. Pindahkan semua bagian aplikasi non-GUI ke dalam modul terpisah dan tulis ulang di .NET Core 2.1

Pada saat penulisan, butir 6 keinginan tersebut sedang aktif dikembangkan dan sudah ada dukungan berupa pencarian duplikat yang lengkap dan serupa:

sumber

• metode optimasi indeks adaptif
• Utilitas SQLIndexManager
• gambaran teknis singkat tentang utilitas SQLIndexManager
• diskusi tentang utilitas SQLIndexManager
• SQL Index Manager – Alat GUI Gratis untuk Pemeliharaan Indeks di SQL Server dan Azure
• Analisis dan Optimasi Indeks SQL Server

Sumber: www.habr.com