Белгилүү болгондой, индекстер зарыл болгон жазууларды тез издөөнү камсыз кылуу менен СББда маанилүү ролду ойнойт. Ошондуктан аларды өз убагында тейлөө абдан маанилүү. Талдоо жана оптималдаштыруу жөнүндө көптөгөн материалдар, анын ичинде Интернетте жазылган. Мисалы, бул тема жакында эле каралып чыккан бул китеп.
Бул үчүн көптөгөн акы төлөнүүчү жана акысыз чечимдер бар. Мисалы, даяр бар чечим, ылайыкташтырылган индексти оптималдаштыруу ыкмасына негизделген.
Андан кийин, келгиле, акысыз утилитаны карап көрөлү SQLIndexManager, автору АланДентон.
SQLIndexManager менен башка бир катар аналогдордун ортосундагы негизги техникалык айырманы автор өзү берет бул жерде и бул жерде.
Бул макалада биз долбоорду жана бул программалык чечимдин иштөө мүмкүнчүлүктөрүн сырттан карап чыгабыз.
Бул утилитаны талкуулоо бул жерде.
Убакыттын өтүшү менен комментарийлердин жана мүчүлүштүктөрдүн көбү оңдолду.
Ошентип, SQLIndexManager утилитасынын өзүнө өтөбүз.
Тиркеме C# .NET Framework 4.5 ичинде Visual Studio 2017де жазылган жана формалар үчүн DevExpress колдонот:
жана мындай көрүнөт:
Бардык сурамдар төмөнкү файлдарда түзүлөт:
көрсөткүч
суроо
QueryEngine
ServerInfo
Маалыматтар базасына туташтырууда жана СББга суроо-талаптарды жөнөтүүдө арызга төмөнкүдөй кол коюлат:
ApplicationName=”SQLIndexManager”
Тиркемени ишке киргизгенде, байланышты кошуу үчүн модалдык терезе ачылат:
Бул жерде жергиликтүү тармактар аркылуу жеткиликтүү болгон бардык MS SQL Server инстанцияларынын толук тизмесин жүктөө азырынча иштебейт.
Сиз ошондой эле негизги менюдагы эң сол баскычты колдонуп байланышты кошо аласыз:
Андан кийин, МБСга төмөнкү сурамдар ишке киргизилет:
Алардын кыскача касиеттери менен жеткиликтүү маалымат базаларынын тизмесин алуу
SELECT DatabaseName = t.[name]
, d.DataSize
, DataUsedSize = CAST(NULL AS BIGINT)
, d.LogSize
, LogUsedSize = CAST(NULL AS BIGINT)
, RecoveryModel = t.recovery_model_desc
, LogReuseWait = t.log_reuse_wait_desc
FROM sys.databases t WITH(NOLOCK)
LEFT JOIN (
SELECT [database_id]
, DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END)
, LogSize = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END)
FROM sys.master_files WITH(NOLOCK)
GROUP BY [database_id]
) d ON d.[database_id] = t.[database_id]
WHERE t.[state] = 0
AND t.[database_id] != 2
AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
Жогорудагы скрипттерди аткаргандан кийин, MS SQL Server тандалган инстанциясынын маалымат базалары жөнүндө кыскача маалыматты камтыган терезе пайда болот:
Белгилей кетсек, кеңейтилген маалымат укуктардын негизинде көрсөтүлөт. Бар болсо sysadmin, анда сиз көрүнүштөн дайындарды тандай аласыз sys.master_files. Эгерде мындай укуктар жок болсо, анда суроо-талапты басаңдатпоо үчүн азыраак маалыматтар жөн гана кайтарылат.
Бул жерде сиз кызыккан маалымат базаларын тандап, "OK" баскычын чыкылдатыңыз.
Андан кийин, индекстердин абалын талдоо үчүн ар бир тандалган маалымат базасы үчүн төмөнкү скрипт аткарылат:
Индекс статусун талдоо
declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IndexName SYSNAME NULL
, PagesCount BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber INT NOT NULL
, RowsCount BIGINT NOT NULL
, IndexType TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID INT NOT NULL
, DataCompression TINYINT NOT NULL
, IsUnique BIT NOT NULL
, IsPK BIT NOT NULL
, FillFactorValue INT NOT NULL
, IsFiltered BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID = i.[object_id]
, IndexID = i.index_id
, IndexName = i.[name]
, PagesCount = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber = p.[partition_number]
, RowsCount = ISNULL(p.[rows], 0)
, IndexType = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID = i.[data_space_id]
, DataCompression = p.[data_compression]
, IsUnique = i.[is_unique]
, IsPK = i.[is_primary_key]
, FillFactorValue = i.[fill_factor]
, IsFiltered = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id]
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, PartitionNumber INT NOT NULL
, Fragmentation FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID INT NOT NULL
, ColumnID INT NOT NULL
, ColumnName SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse BIT
, IsColumnSet BIT
, MaxLen INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID = [object_id]
, ColumnID = [column_id]
, ColumnName = [name]
, SystemTypeID = [system_type_id]
, IsSparse = [is_sparse]
, IsColumnSet = [is_column_set]
, MaxLen = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, OrderID INT NOT NULL
, ColumnID INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID = [object_id]
, IndexID = [index_id]
, OrderID = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IsLobLegacy BIT
, IsLob BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IndexColumns NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName = o.[name]
, SchemaName = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy = ISNULL(lob.IsLobLegacy, 0)
, IsLob = ISNULL(lob.IsLob, 0)
, IsSparse = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID = [object_id]
, IndexID = [index_id]
, TotalWrites = NULLIF([user_updates], 0)
, TotalReads = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks = NULLIF([user_seeks], 0)
, TotalScans = NULLIF([user_scans], 0)
, TotalLookups = NULLIF([user_lookups], 0)
, LastUsage = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id]
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)
Сурамдардын өзүнөн көрүнүп тургандай, убактылуу таблицалар көп колдонулат. Бул эч кандай компиляциялар болбошу үчүн жасалат, ал эми чоң схемада план маалыматтарды киргизүүдө параллелдүү түзүлүшү мүмкүн, анткени таблица өзгөрмөлөрүн киргизүү бир жипте гана мүмкүн.
Жогорудагы скриптти аткаргандан кийин, индекс таблицасы бар терезе пайда болот:
Ошондой эле бул жерде башка толук маалыматты көрсөтө аласыз, мисалы:
маалымат базасы
бөлүмдөрдүн саны
акыркы чалуунун датасы жана убактысы
кысуу
файл тобу
м. ж.
Динамиктердин өзүн ыңгайлаштырса болот:
Оңдоо тилкесинин уячаларында оптималдаштыруу учурунда кандай иш-аракет аткарыла турганын тандай аласыз. Ошондой эле, сканерлөө аяктаганда, тандалган орнотуулардын негизинде демейки иш-аракет тандалат:
Сиз иштетүү үчүн керектүү индекстерди тандоо керек.
Негизги менюну колдонуп, сиз скриптти сактай аласыз (ошол эле баскыч индексти оптималдаштыруу процессин өзү баштайт):
жана таблицаны ар кандай форматтарда сактаңыз (ошол эле баскыч индекстерди талдоо жана оптималдаштыруу үчүн деталдуу орнотууларды ачууга мүмкүндүк берет):
Ошондой эле лупанын жанындагы негизги менюдагы сол жактагы үчүнчү баскычты чыкылдатуу менен маалыматты жаңырта аласыз.
Чоңойтуучу айнеги бар баскыч карап чыгуу үчүн керектүү маалымат базаларын тандоого мүмкүндүк берет.
Учурда комплекстүү жардам системасы жок. Ошондуктан, "?" баскычын басуу жөн гана программалык продукт жөнүндө негизги маалыматты камтыган модалдык терезе пайда болот:
Жогоруда айтылгандардан тышкары, негизги менюда издөө тилкеси бар:
Индексти оптималдаштыруу процессин баштаганда:
Сиз ошондой эле терезенин ылдый жагында аткарылган аракеттердин журналын көрө аласыз:
Индекс талдоо жана оптималдаштыруу үчүн деталдаштырылган орнотуулар терезесинде сиз кылдат параметрлерди конфигурациялай аласыз:
Өтүнмө боюнча сурамдар:
статистиканы индекстер үчүн гана эмес, ошондой эле ар кандай жолдор менен (толугу менен жаңыртуу же жарым-жартылай) жаңыртууга мүмкүндүк берет
маалымат базасын гана эмес, ар кандай серверлерди да тандоого мүмкүндүк берет (бул MS SQL серверинин көптөгөн нускалары болгондо абдан ыңгайлуу)
Колдонууда көбүрөөк ийкемдүүлүк үчүн, буйруктарды китепканаларга ороп, аларды PowerShell буйруктарына чыгаруу сунушталат, мисалы, бул жерде:
бүтүндөй тиркеме үчүн да, зарыл болсо, MS SQL серверинин ар бир инстанциясы жана ар бир маалымат базасы үчүн жеке орнотууларды сактоого жана өзгөртүүгө мүмкүндүк берет
2 жана 4-пункттардан, сиз маалымат базалары боюнча топторду жана MS SQL Server инстанциялары боюнча топторду түзгүңүз келет, алар үчүн орнотуулары бирдей
кайталанган индекстерди издөө (толук жана толук эмес, алар бир аз башкачараак же камтылган тилкелерде гана айырмаланат)
SQLIndexManager MS SQL Server DBMS үчүн гана колдонулгандыктан, муну атында чагылдыруу керек, мисалы, төмөнкүдөй: MS SQL Server үчүн SQLIndexManager
Колдонмонун бардык GUI эмес бөлүктөрүн өзүнчө модулдарга жылдырыңыз жана аларды .NET Core 2.1де кайра жазыңыз
Жазуу учурунда каалоолордун 6-пункту жигердүү иштеп жатат жана толук жана окшош дубликаттарды издөө түрүндө колдоо бар: