🥇 უფასო ხელსაწყოს SQLIndexManager

მოგეხსენებათ, ინდექსები მნიშვნელოვან როლს ასრულებენ DBMS-ში, რაც უზრუნველყოფს საჭირო ჩანაწერების სწრაფ ძიებას. ამიტომ ძალიან მნიშვნელოვანია მათი დროული მომსახურება. ანალიზისა და ოპტიმიზაციის შესახებ საკმაოდ ბევრი მასალა დაიწერა, მათ შორის ინტერნეტშიც. მაგალითად, ეს თემა ცოტა ხნის წინ განიხილება ეს პუბლიკაცია.

ამისთვის ბევრი ფასიანი და უფასო გადაწყვეტაა. მაგალითად, არსებობს მზა გადაწყვეტილება, ადაპტური ინდექსის ოპტიმიზაციის მეთოდის საფუძველზე.

შემდეგი, მოდით შევხედოთ უფასო პროგრამას SQLIndexManager, ავტორი ალანდენტონი.

მთავარი ტექნიკური განსხვავება SQLIndexManager-სა და სხვა უამრავ ანალოგს შორის მოცემულია თავად ავტორის მიერ აქ и აქ.

ამ სტატიაში ჩვენ გადავხედავთ პროექტს და ამ პროგრამული გადაწყვეტის ოპერაციულ შესაძლებლობებს.

ამ უტილიტის განხილვა აქ.
დროთა განმავლობაში კომენტარებისა და შეცდომების უმეტესობა გამოსწორდა.

ახლა მოდით გადავიდეთ თავად SQLIndexManager პროგრამაზე.

აპლიკაცია დაწერილია C# .NET Framework 4.5-ში Visual Studio 2017-ში და იყენებს DevExpress-ს ფორმებისთვის:

და ასე გამოიყურება:

ყველა მოთხოვნა გენერირებულია შემდეგ ფაილებში:

ინდექსი
შეკითხვის
QueryEngine
სერვერის ინფორმაცია

მონაცემთა ბაზასთან დაკავშირებისას და მოთხოვნების DBMS-ზე გაგზავნისას, აპლიკაცია ხელმოწერილია შემდეგნაირად:

ApplicationName=”SQLIndexManager”

აპლიკაციის გაშვებისას, მოდალური ფანჯარა გაიხსნება კავშირის დასამატებლად:

აქ, MS SQL Server-ის ყველა ინსტანციის სრული სიის ჩატვირთვა, რომლებიც ხელმისაწვდომია ლოკალურ ქსელებში, ჯერ არ მუშაობს.

თქვენ ასევე შეგიძლიათ დაამატოთ კავშირი მთავარ მენიუში მარცხენა ღილაკის გამოყენებით:

შემდეგი, DBMS-ში შემდეგი მოთხოვნები გაეშვება:

ინფორმაციის მიღება DBMS-ის შესახებ

SELECT ProductLevel  = SERVERPROPERTY('ProductLevel')
     , Edition       = SERVERPROPERTY('Edition')
     , ServerVersion = SERVERPROPERTY('ProductVersion')
     , IsSysAdmin    = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT)

ხელმისაწვდომი მონაცემთა ბაზების სიის მიღება მათი მოკლე თვისებებით

SELECT DatabaseName = t.[name]
     , d.DataSize
     , DataUsedSize  = CAST(NULL AS BIGINT)
     , d.LogSize
     , LogUsedSize   = CAST(NULL AS BIGINT)
     , RecoveryModel = t.recovery_model_desc
     , LogReuseWait  = t.log_reuse_wait_desc
FROM sys.databases t WITH(NOLOCK)
LEFT JOIN (
    SELECT [database_id]
         , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
         , LogSize  = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
    FROM sys.master_files WITH(NOLOCK)
    GROUP BY [database_id]
) d ON d.[database_id] = t.[database_id]
WHERE t.[state] = 0
    AND t.[database_id] != 2
    AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1

ზემოაღნიშნული სკრიპტების შესრულების შემდეგ გამოჩნდება ფანჯარა, რომელიც შეიცავს მოკლე ინფორმაციას MS SQL Server-ის არჩეული ინსტანციის მონაცემთა ბაზების შესახებ:

აღსანიშნავია, რომ გაფართოებული ინფორმაცია ნაჩვენებია უფლებების საფუძველზე. Თუ იქ sysadmin, შემდეგ შეგიძლიათ აირჩიოთ მონაცემები ხედიდან sys.master_files. თუ ასეთი უფლებები არ არსებობს, მაშინ ნაკლები მონაცემი უბრალოდ ბრუნდება ისე, რომ არ შეანელოს მოთხოვნა.

აქ თქვენ უნდა აირჩიოთ თქვენთვის საინტერესო მონაცემთა ბაზები და დააწკაპუნოთ ღილაკზე „OK“.

შემდეგი, შემდეგი სკრიპტი შესრულდება თითოეული შერჩეული მონაცემთა ბაზისთვის ინდექსების მდგომარეობის გასაანალიზებლად:

ინდექსის სტატუსის ანალიზი

declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID   BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages     BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, IndexName        SYSNAME NULL
, PagesCount       BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber  INT NOT NULL
, RowsCount        BIGINT NOT NULL
, IndexType        TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID      INT NOT NULL
, DataCompression  TINYINT NOT NULL
, IsUnique         BIT NOT NULL
, IsPK             BIT NOT NULL
, FillFactorValue  INT NOT NULL
, IsFiltered       BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID         = i.[object_id]
, IndexID          = i.index_id
, IndexName        = i.[name]
, PagesCount       = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber  = p.[partition_number]
, RowsCount        = ISNULL(p.[rows], 0)
, IndexType        = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID      = i.[data_space_id]
, DataCompression  = p.[data_compression]
, IsUnique         = i.[is_unique]
, IsPK             = i.[is_primary_key]
, FillFactorValue  = i.[fill_factor]
, IsFiltered       = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id] 
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID   INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID         INT NOT NULL
, IndexID          INT NOT NULL
, PartitionNumber  INT NOT NULL
, Fragmentation    FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID     INT NOT NULL
, ColumnID     INT NOT NULL
, ColumnName   SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse     BIT
, IsColumnSet  BIT
, MaxLen       INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID     = [object_id]
, ColumnID     = [column_id]
, ColumnName   = [name]
, SystemTypeID = [system_type_id]
, IsSparse     = [is_sparse]
, IsColumnSet  = [is_column_set]
, MaxLen       = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID   INT NOT NULL
, IndexID    INT NOT NULL
, OrderID    INT NOT NULL
, ColumnID   INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID   = [object_id]
, IndexID    = [index_id]
, OrderID    = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID   = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID    INT NOT NULL
, IndexID     INT NOT NULL
, IsLobLegacy BIT
, IsLob       BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID     = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob       = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID        INT NOT NULL
, IndexID         INT NOT NULL
, IndexColumns    NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName       = o.[name]
, SchemaName       = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats       = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy      = ISNULL(lob.IsLobLegacy, 0)
, IsLob            = ISNULL(lob.IsLob, 0)
, IsSparse         = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned    = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName    = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID      = [object_id]
, IndexID       = [index_id]
, TotalWrites   = NULLIF([user_updates], 0)
, TotalReads    = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks    = NULLIF([user_seeks], 0)
, TotalScans    = NULLIF([user_scans], 0)
, TotalLookups  = NULLIF([user_lookups], 0)
, LastUsage     = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id] 
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)

როგორც თავად შეკითხვებიდან ჩანს, დროებითი ცხრილები საკმაოდ ხშირად გამოიყენება. ეს კეთდება ისე, რომ არ მოხდეს ხელახალი კომპილაციები და დიდი სქემის შემთხვევაში, გეგმის გენერირება შესაძლებელია პარალელურად მონაცემთა ჩასმისას, ვინაიდან ცხრილის ცვლადების ჩასმა შესაძლებელია მხოლოდ ერთ ძაფში.

ზემოაღნიშნული სკრიპტის შესრულების შემდეგ გამოჩნდება ფანჯარა ინდექსის ცხრილით:

აქ ასევე შეგიძლიათ აჩვენოთ სხვა დეტალური ინფორმაცია, როგორიცაა:

მონაცემთა ბაზა
სექციების რაოდენობა
ბოლო ზარის თარიღი და დრო
შეკუმშვა
ფაილური ჯგუფი

i t. დ.
თავად დინამიკების მორგება შესაძლებელია:

Fix სვეტის უჯრედებში შეგიძლიათ აირჩიოთ რა მოქმედება შესრულდება ოპტიმიზაციის დროს. ასევე, როდესაც სკანირება დასრულდება, ნაგულისხმევი მოქმედება შეირჩევა არჩეული პარამეტრების საფუძველზე:

თქვენ უნდა აირჩიოთ სასურველი ინდექსები დასამუშავებლად.

მთავარი მენიუს გამოყენებით შეგიძლიათ შეინახოთ სკრიპტი (იგივე ღილაკი იწყებს ინდექსის ოპტიმიზაციის პროცესს თავად):

და შეინახეთ ცხრილი სხვადასხვა ფორმატში (იგივე ღილაკი საშუალებას გაძლევთ გახსნათ დეტალური პარამეტრები ინდექსების ანალიზისა და ოპტიმიზაციისთვის):

ასევე შეგიძლიათ განაახლოთ ინფორმაცია გამადიდებელი შუშის გვერდით მთავარ მენიუში მარცხნივ მესამე ღილაკზე დაჭერით.

ღილაკი გამადიდებელი შუშით საშუალებას გაძლევთ აირჩიოთ სასურველი მონაცემთა ბაზები განსახილველად.

ამჟამად არ არსებობს ყოვლისმომცველი დახმარების სისტემა. ამიტომ, დააჭირეთ ღილაკს "?" უბრალოდ გამოჩნდება მოდალური ფანჯარა, რომელიც შეიცავს ძირითად ინფორმაციას პროგრამული პროდუქტის შესახებ:

ზემოთ აღწერილი ყველაფრის გარდა, მთავარ მენიუს აქვს საძიებო ზოლი:

ინდექსის ოპტიმიზაციის პროცესის დაწყებისას:

თქვენ ასევე შეგიძლიათ ნახოთ შესრულებული მოქმედებების ჟურნალი ფანჯრის ბოლოში:

დეტალური პარამეტრების ფანჯარაში ინდექსის ანალიზისა და ოპტიმიზაციისთვის, შეგიძლიათ უფრო დახვეწილი ვარიანტების კონფიგურაცია:

განაცხადი განაცხადისთვის:

შესაძლებელს გახდის სტატისტიკის შერჩევით განახლებას არა მხოლოდ ინდექსებისთვის, არამედ სხვადასხვა გზით (სრულად ან ნაწილობრივ)
შესაძლებელს გახდის არა მხოლოდ მონაცემთა ბაზის, არამედ სხვადასხვა სერვერების არჩევას (ეს ძალიან მოსახერხებელია, როდესაც MS SQL Server-ის მრავალი მაგალითია)
გამოყენების უფრო დიდი მოქნილობისთვის, შემოთავაზებულია ბრძანებების შეფუთვა ბიბლიოთეკებში და გამოტანა PowerShell ბრძანებებში, როგორც ეს კეთდება, მაგალითად, აქ:
dbatools.io/commands
შესაძლებელს გახდის პერსონალური პარამეტრების შენახვას და შეცვლას როგორც მთელი აპლიკაციისთვის, ასევე, საჭიროების შემთხვევაში, MS SQL Server-ის და თითოეული მონაცემთა ბაზის თითოეული ინსტანციისთვის.
მე-2 და მე-4 პუნქტებიდან გამომდინარეობს, რომ გსურთ შექმნათ ჯგუფები მონაცემთა ბაზების მიხედვით და ჯგუფები MS SQL Server ინსტანციების მიხედვით, რომელთა პარამეტრები იგივეა.
მოძებნეთ დუბლიკატი ინდექსები (სრული და არასრული, რომლებიც ან ოდნავ განსხვავდებიან ან განსხვავდებიან მხოლოდ ჩართულ სვეტებში)
ვინაიდან SQLIndexManager გამოიყენება მხოლოდ MS SQL Server DBMS-ისთვის, აუცილებელია ამის ასახვა სახელში, მაგალითად, შემდეგნაირად: SQLIndexManager MS SQL Server-ისთვის
გადაიტანეთ აპლიკაციის ყველა არა GUI ნაწილი ცალკეულ მოდულებში და გადაწერეთ ისინი .NET Core 2.1-ში

წერის დროს, სურვილების მე-6 პუნქტი აქტიურად ვითარდება და უკვე არსებობს მხარდაჭერა სრული და მსგავსი დუბლიკატების ძიების სახით:

ინფორმაციის წყაროები

წყარო: www.habr.com

უფასო ინსტრუმენტის SQLIndexManager-ის მიმოხილვა

ინფორმაციის წყაროები

ახალი კომენტარის დამატება

უფასო ინსტრუმენტის SQLIndexManager-ის მიმოხილვა

ინფორმაციის წყაროები

ახალი კომენტარის დამატება პასუხის გასაუქმებლად

ახალი კომენტარის დამატება