Rishikimi i mjetit falas SQLIndexManager

Siç e dini, indekset luajnë një rol të rëndësishëm në një DBMS, duke siguruar një kërkim të shpejtë në të dhënat e kërkuara. Kjo është arsyeja pse është kaq e rëndësishme t'i shërbeni ato në kohën e duhur. Është shkruar mjaft material për analizën dhe optimizimin, duke përfshirë edhe internetin. Për shembull, kjo temë është shqyrtuar kohët e fundit në këtë botim.

Ka shumë zgjidhje me pagesë dhe falas për këtë. Për shembull, ka një të gatshme zgjidhje, bazuar në një metodë përshtatëse të optimizimit të indeksit.

Tjetra, le të shohim mjetin falas SQLIndexManager, me autor AlanDenton.

Dallimi kryesor teknik midis SQLIndexManager dhe një numri analogësh të tjerë është dhënë nga vetë autori këtu и këtu.

Në këtë artikull, ne do t'i hedhim një vështrim nga jashtë projektit dhe aftësive operacionale të kësaj zgjidhjeje softuerike.

Duke diskutuar këtë mjet këtu.
Me kalimin e kohës, shumica e komenteve dhe gabimeve u korrigjuan.

Pra, le të kalojmë tani te vetë mjeti SQLIndexManager.

Aplikacioni është shkruar në C# .NET Framework 4.5 në Visual Studio 2017 dhe përdor DevExpress për format:

dhe duket si kjo:

Të gjitha kërkesat krijohen në skedarët e mëposhtëm:

1. indeks
2. Pyetje
3. QueryEngine
4. ServerInfo

Kur lidheni me një bazë të dhënash dhe dërgoni pyetje në DBMS, aplikacioni nënshkruhet si më poshtë:

ApplicationName=”SQLIndexManager”

Kur nisni aplikacionin, do të hapet një dritare modale për të shtuar një lidhje:

Këtu, ngarkimi i një liste të plotë të të gjitha rasteve të MS SQL Server të aksesueshme përmes rrjeteve lokale nuk funksionon ende.

Ju gjithashtu mund të shtoni një lidhje duke përdorur butonin më të majtë në menunë kryesore:

Më pas, pyetjet e mëposhtme për DBMS do të hapen:

1. Marrja e informacionit në lidhje me DBMS

   SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
        , Edition       = SERVERPROPERTY('Edition')
        , ServerVersion = SERVERPROPERTY('ProductVersion')
        , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)
   

2. Marrja e një liste të bazave të të dhënave të disponueshme me vetitë e tyre të shkurtra

   SELECT DatabaseName = t.[name]
        , d.DataSize
        , DataUsedSize  = CAST(NULL AS BIGINT)
        , d.LogSize
        , LogUsedSize   = CAST(NULL AS BIGINT)
        , RecoveryModel = t.recovery_model_desc
        , LogReuseWait  = t.log_reuse_wait_desc
   FROM sys.databases t WITH(NOLOCK)
   LEFT JOIN (
       SELECT [database_id]
            , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
            , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
       FROM sys.master_files WITH(NOLOCK)
       GROUP BY [database_id]
   ) d ON d.[database_id] = t.[database_id]
   WHERE t.[state] = 0
       AND t.[database_id] != 2
       AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
   

Pas ekzekutimit të skripteve të mësipërme, do të shfaqet një dritare që përmban informacion të shkurtër në lidhje me bazat e të dhënave të shembullit të zgjedhur të MS SQL Server:

Vlen të përmendet se informacioni i zgjeruar tregohet bazuar në të drejtat. Nëse atje sysadmin, atëherë mund të zgjidhni të dhënat nga pamja sys.master_files. Nëse nuk ka të drejta të tilla, atëherë më pak të dhëna thjesht kthehen në mënyrë që të mos ngadalësohet kërkesa.

Këtu ju duhet të zgjidhni bazat e të dhënave të interesit dhe të klikoni në butonin "OK".

Më pas, skripti i mëposhtëm do të ekzekutohet për secilën bazë të dhënash të zgjedhur për të analizuar gjendjen e indekseve:

Analiza e gjendjes së indeksit

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

Siç mund të shihet nga vetë pyetjet, tabelat e përkohshme përdoren mjaft shpesh. Kjo bëhet në mënyrë që të mos ketë ripërpilime, dhe në rastin e një skeme të madhe, plani mund të gjenerohet paralelisht gjatë futjes së të dhënave, pasi futja e variablave të tabelës është e mundur vetëm në një thread.

Pas ekzekutimit të skriptit të mësipërm, do të shfaqet një dritare me një tabelë indeksi:

Ju gjithashtu mund të shfaqni informacione të tjera të detajuara këtu, si p.sh.

1. bazën e të dhënave
2. numri i seksioneve
3. data dhe ora e thirrjes së fundit
4. ngjeshje
5. grup skedarësh

dhe kështu me radhë.
Vetë altoparlantët mund të personalizohen:

Në qelizat e kolonës Fix, mund të zgjidhni se çfarë veprimi do të kryhet gjatë optimizimit. Gjithashtu, kur skanimi përfundon, zgjidhet një veprim i paracaktuar bazuar në cilësimet e zgjedhura:

Ju duhet të zgjidhni indekset e dëshiruara për përpunim.

Duke përdorur menunë kryesore, mund të ruani skriptin (i njëjti buton fillon vetë procesin e optimizimit të indeksit):

dhe ruani tabelën në formate të ndryshme (i njëjti buton ju lejon të hapni cilësime të detajuara për analizimin dhe optimizimin e indekseve):

Ju gjithashtu mund të përditësoni informacionin duke klikuar në butonin e tretë në të majtë në menunë kryesore pranë xhamit zmadhues.

Butoni me një xham zmadhues ju lejon të zgjidhni bazat e të dhënave të dëshiruara për shqyrtim.

Aktualisht nuk ka një sistem gjithëpërfshirës të ndihmës. Prandaj, duke shtypur butonin "?" thjesht do të shkaktojë që të shfaqet një dritare modale që përmban informacione bazë për produktin softuer:

Përveç gjithçkaje të përshkruar më sipër, menyja kryesore ka një shirit kërkimi:

Kur filloni procesin e optimizimit të indeksit:

Ju gjithashtu mund të shikoni një regjistër të veprimeve të kryera në fund të dritares:

Në dritaren e cilësimeve të detajuara për analizën dhe optimizimin e indeksit, mund të konfiguroni opsione më delikate:

Kërkesat për aplikim:

1. bëjnë të mundur përditësimin në mënyrë selektive të statistikave jo vetëm për indekset, por edhe në mënyra të ndryshme (përditësuar plotësisht ose pjesërisht)
2. bëjnë të mundur jo vetëm zgjedhjen e një baze të dhënash, por edhe serverë të ndryshëm (kjo është shumë e përshtatshme kur ka shumë raste të MS SQL Server)
3. Për fleksibilitet më të madh në përdorim, sugjerohet që komandat të mbështillen në biblioteka dhe t'i nxirren ato në komandat PowerShell, siç bëhet, për shembull, këtu:
4. dbatools.io/commands
5. bëjnë të mundur ruajtjen dhe ndryshimin e cilësimeve personale si për të gjithë aplikacionin dhe, nëse është e nevojshme, për çdo shembull të MS SQL Server dhe çdo bazë të dhënash
6. Nga pikat 2 dhe 4, rezulton se dëshironi të krijoni grupe sipas bazave të të dhënave dhe grupe sipas rasteve të MS SQL Server, për të cilat cilësimet janë të njëjta
7. kërkoni për indekse të kopjuara (të plota dhe të paplota, të cilat janë ose paksa të ndryshme ose ndryshojnë vetëm në kolonat e përfshira)
8. Meqenëse SQLIndexManager përdoret vetëm për MS SQL Server DBMS, është e nevojshme të pasqyrohet kjo në emër, për shembull, si më poshtë: SQLIndexManager për MS SQL Server
9. Zhvendosni të gjitha pjesët jo-GUI të aplikacionit në module të veçanta dhe rishkruani ato në .NET Core 2.1

Në kohën e shkrimit, pika 6 e dëshirave po zhvillohet në mënyrë aktive dhe tashmë ka mbështetje në formën e kërkimit të kopjimeve të plota dhe të ngjashme:

burime

• metoda e optimizimit të indeksit adaptiv
• Shërbimi SQLIndexManager
• përmbledhje e shkurtër teknike e mjetit SQLIndexManager
• diskutim mbi mjetin SQLIndexManager
• Menaxheri i Indeksit SQL – Mjet GUI falas për mirëmbajtjen e indeksit në SQL Server dhe Azure
• Analiza dhe optimizimi i indeksit të serverit SQL

Burimi: www.habr.com