Kā zināms, indeksiem ir izšķiroša nozīme datubāzu pārvaldības sistēmās (DBVS), nodrošinot ātru nepieciešamo ierakstu meklēšanu. Tāpēc ir ļoti svarīgi tos savlaicīgi uzturēt. Par analīzi un optimizāciju ir uzrakstīts ievērojams daudzums materiālu, tostarp tiešsaistē. Piemēram, nesen šīs tēmas apskats tika sniegts .
Šim nolūkam ir daudz risinājumu, gan maksas, gan bezmaksas. Piemēram, ir jau gatavs , pamatojoties uz adaptīvo indeksa optimizācijas metodi.
Tālāk aplūkosim bezmaksas utilītu. , kura autors ir .
Galveno tehnisko atšķirību starp SQLIndexManager un vairākiem citiem analogiem sniedz pats autors. и .
Šajā rakstā mēs aplūkosim projektu un šī programmatūras risinājuma izmantošanas iespējas no ārpuses.
Šī lietderība tiek apspriesta .
Laika gaitā lielākā daļa komentāru un kļūdu tika izlabotas.
Tātad, tagad pāriesim pie pašas SQLIndexManager utilītas.
Lietojumprogramma ir rakstīta C# .NET Framework 4.5 vidē, izmantojot Visual Studio 2017, un veidlapām tiek izmantots DevExpress:
un izskatās šādi:
Visi pieprasījumi tiek ģenerēti šādos failos:
- Indekss
- Jautājums
- Vaicājumu dzinējs
- Servera informācija
Izveidojot savienojumu ar datubāzi un nosūtot vaicājumus uz DBVS, lietojumprogramma tiek parakstīta šādi:
ApplicationName=”SQLIndexManager” Palaižot lietojumprogrammu, tiks atvērts modālais logs, kurā tiks lūgts pievienot savienojumu:
Visu lokālajos tīklos pieejamo MS SQL Server instanču pilnīga saraksta lejupielāde šeit vēl nedarbojas.
Savienojumu var pievienot arī, izmantojot galvenās izvēlnes kreiso pogu:
Pēc tam DBVS tiks izpildīti šādi vaicājumi:
- Informācijas iegūšana par DBVS
SELECT ProductLevel = SERVERPROPERTY('ProductLevel') , Edition = SERVERPROPERTY('Edition') , ServerVersion = SERVERPROPERTY('ProductVersion') , IsSysAdmin = CAST(IS_SRVROLEMEMBER('sysadmin') AS BIT) - Pieejamo datubāzu saraksta iegūšana ar to īsajām īpašībām
SELECT DatabaseName = t.[name] , d.DataSize , DataUsedSize = CAST(NULL AS BIGINT) , d.LogSize , LogUsedSize = CAST(NULL AS BIGINT) , RecoveryModel = t.recovery_model_desc , LogReuseWait = t.log_reuse_wait_desc FROM sys.databases t WITH(NOLOCK) LEFT JOIN ( SELECT [database_id] , DataSize = SUM(CASE WHEN [type] = 0 THEN CAST(size AS BIGINT) END) , LogSize = SUM(CASE WHEN [type] = 1 THEN CAST(size AS BIGINT) END) FROM sys.master_files WITH(NOLOCK) GROUP BY [database_id] ) d ON d.[database_id] = t.[database_id] WHERE t.[state] = 0 AND t.[database_id] != 2 AND ISNULL(HAS_DBACCESS(t.[name]), 1) = 1
Pēc iepriekš minēto skriptu izpildes parādīsies logs ar īsu informāciju par izvēlētā MS SQL Server instances datubāzēm:
Ir vērts atzīmēt, ka paplašināta informācija tiek parādīta, pamatojoties uz atļaujām. Ja tādas ir , pēc tam varat atlasīt datus no skata Ja šādas tiesības nav pieejamas, tad vienkārši tiek atgriezts mazāk datu, lai nepalēninātu vaicājumu.
Šeit jāizvēlas jūs interesējošās datubāzes un jānoklikšķina uz pogas “Labi”.
Pēc tam katrai atlasītajai datubāzei tiks izpildīts šāds skripts, lai analizētu indeksu stāvokli:
Indeksa statusa analīze
declare @Fragmentation float=15;
declare @MinIndexSize bigint=768;
declare @MaxIndexSize bigint=1048576;
declare @PreDescribeSize bigint=32768;
SET NOCOUNT ON
SET ARITHABORT ON
SET NUMERIC_ROUNDABORT OFF
IF OBJECT_ID('tempdb.dbo.#AllocationUnits') IS NOT NULL
DROP TABLE #AllocationUnits
CREATE TABLE #AllocationUnits (
ContainerID BIGINT PRIMARY KEY
, ReservedPages BIGINT NOT NULL
, UsedPages BIGINT NOT NULL
)
INSERT INTO #AllocationUnits (ContainerID, ReservedPages, UsedPages)
SELECT [container_id]
, SUM([total_pages])
, SUM([used_pages])
FROM sys.allocation_units WITH(NOLOCK)
GROUP BY [container_id]
HAVING SUM([total_pages]) BETWEEN @MinIndexSize AND @MaxIndexSize
IF OBJECT_ID('tempdb.dbo.#ExcludeList') IS NOT NULL
DROP TABLE #ExcludeList
CREATE TABLE #ExcludeList (ID INT PRIMARY KEY)
INSERT INTO #ExcludeList
SELECT [object_id]
FROM sys.objects WITH(NOLOCK)
WHERE [type] IN ('V', 'U')
AND ( [is_ms_shipped] = 1 )
IF OBJECT_ID('tempdb.dbo.#Partitions') IS NOT NULL
DROP TABLE #Partitions
SELECT [object_id]
, [index_id]
, [partition_id]
, [partition_number]
, [rows]
, [data_compression]
INTO #Partitions
FROM sys.partitions WITH(NOLOCK)
WHERE [object_id] > 255
AND [rows] > 0
AND [object_id] NOT IN (SELECT * FROM #ExcludeList)
IF OBJECT_ID('tempdb.dbo.#Indexes') IS NOT NULL
DROP TABLE #Indexes
CREATE TABLE #Indexes (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IndexName SYSNAME NULL
, PagesCount BIGINT NOT NULL
, UnusedPagesCount BIGINT NOT NULL
, PartitionNumber INT NOT NULL
, RowsCount BIGINT NOT NULL
, IndexType TINYINT NOT NULL
, IsAllowPageLocks BIT NOT NULL
, DataSpaceID INT NOT NULL
, DataCompression TINYINT NOT NULL
, IsUnique BIT NOT NULL
, IsPK BIT NOT NULL
, FillFactorValue INT NOT NULL
, IsFiltered BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Indexes
SELECT ObjectID = i.[object_id]
, IndexID = i.index_id
, IndexName = i.[name]
, PagesCount = a.ReservedPages
, UnusedPagesCount = CASE WHEN ABS(a.ReservedPages - a.UsedPages) > 32 THEN a.ReservedPages - a.UsedPages ELSE 0 END
, PartitionNumber = p.[partition_number]
, RowsCount = ISNULL(p.[rows], 0)
, IndexType = i.[type]
, IsAllowPageLocks = i.[allow_page_locks]
, DataSpaceID = i.[data_space_id]
, DataCompression = p.[data_compression]
, IsUnique = i.[is_unique]
, IsPK = i.[is_primary_key]
, FillFactorValue = i.[fill_factor]
, IsFiltered = i.[has_filter]
FROM #AllocationUnits a
JOIN #Partitions p ON a.ContainerID = p.[partition_id]
JOIN sys.indexes i WITH(NOLOCK) ON i.[object_id] = p.[object_id] AND p.[index_id] = i.[index_id]
WHERE i.[type] IN (0, 1, 2, 5, 6)
AND i.[object_id] > 255
DECLARE @files TABLE (ID INT PRIMARY KEY)
INSERT INTO @files
SELECT DISTINCT [data_space_id]
FROM sys.database_files WITH(NOLOCK)
WHERE [state] != 0
AND [type] = 0
IF @@ROWCOUNT > 0 BEGIN
DELETE FROM i
FROM #Indexes i
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
WHERE ISNULL(dds.[data_space_id], i.DataSpaceID) IN (SELECT * FROM @files)
END
DECLARE @DBID INT
, @DBNAME SYSNAME
SET @DBNAME = DB_NAME()
SELECT @DBID = [database_id]
FROM sys.databases WITH(NOLOCK)
WHERE [name] = @DBNAME
IF OBJECT_ID('tempdb.dbo.#Fragmentation') IS NOT NULL
DROP TABLE #Fragmentation
CREATE TABLE #Fragmentation (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, PartitionNumber INT NOT NULL
, Fragmentation FLOAT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, PartitionNumber)
)
INSERT INTO #Fragmentation (ObjectID, IndexID, PartitionNumber, Fragmentation)
SELECT i.ObjectID
, i.IndexID
, i.PartitionNumber
, r.[avg_fragmentation_in_percent]
FROM #Indexes i
CROSS APPLY sys.dm_db_index_physical_stats(@DBID, i.ObjectID, i.IndexID, i.PartitionNumber, 'LIMITED') r
WHERE i.PagesCount <= @PreDescribeSize
AND r.[index_level] = 0
AND r.[alloc_unit_type_desc] = 'IN_ROW_DATA'
AND i.IndexType IN (0, 1, 2)
IF OBJECT_ID('tempdb.dbo.#Columns') IS NOT NULL
DROP TABLE #Columns
CREATE TABLE #Columns (
ObjectID INT NOT NULL
, ColumnID INT NOT NULL
, ColumnName SYSNAME NULL
, SystemTypeID TINYINT NULL
, IsSparse BIT
, IsColumnSet BIT
, MaxLen INT
, PRIMARY KEY (ObjectID, ColumnID)
)
INSERT INTO #Columns
SELECT ObjectID = [object_id]
, ColumnID = [column_id]
, ColumnName = [name]
, SystemTypeID = [system_type_id]
, IsSparse = [is_sparse]
, IsColumnSet = [is_column_set]
, MaxLen = [max_length]
FROM sys.columns WITH(NOLOCK)
WHERE [object_id] IN (SELECT DISTINCT i.ObjectID FROM #Indexes i)
IF OBJECT_ID('tempdb.dbo.#IndexColumns') IS NOT NULL
DROP TABLE #IndexColumns
CREATE TABLE #IndexColumns (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, OrderID INT NOT NULL
, ColumnID INT NOT NULL
, IsIncluded BIT NOT NULL
, PRIMARY KEY (ObjectID, IndexID, ColumnID)
)
INSERT INTO #IndexColumns
SELECT ObjectID = [object_id]
, IndexID = [index_id]
, OrderID = CASE WHEN [is_included_column] = 0 THEN [key_ordinal] ELSE [index_column_id] END
, ColumnID = [column_id]
, IsIncluded = ISNULL([is_included_column], 0)
FROM sys.index_columns ic WITH(NOLOCK)
WHERE EXISTS(
SELECT *
FROM #Indexes i
WHERE i.ObjectID = ic.[object_id]
AND i.IndexID = ic.[index_id]
AND i.IndexType IN (1, 2)
)
IF OBJECT_ID('tempdb.dbo.#Lob') IS NOT NULL
DROP TABLE #Lob
CREATE TABLE #Lob (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IsLobLegacy BIT
, IsLob BIT
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #Lob (ObjectID, IndexID, IsLobLegacy, IsLob)
SELECT c.ObjectID
, IndexID = ISNULL(i.IndexID, 1)
, IsLobLegacy = MAX(CASE WHEN c.SystemTypeID IN (34, 35, 99) THEN 1 END)
, IsLob = 0
FROM #Columns c
LEFT JOIN #IndexColumns i ON c.ObjectID = i.ObjectID AND c.ColumnID = i.ColumnID
WHERE c.SystemTypeID IN (34, 35, 99)
GROUP BY c.ObjectID
, i.IndexID
IF OBJECT_ID('tempdb.dbo.#Sparse') IS NOT NULL
DROP TABLE #Sparse
CREATE TABLE #Sparse (ObjectID INT PRIMARY KEY)
INSERT INTO #Sparse
SELECT DISTINCT ObjectID
FROM #Columns
WHERE IsSparse = 1
OR IsColumnSet = 1
IF OBJECT_ID('tempdb.dbo.#AggColumns') IS NOT NULL
DROP TABLE #AggColumns
CREATE TABLE #AggColumns (
ObjectID INT NOT NULL
, IndexID INT NOT NULL
, IndexColumns NVARCHAR(MAX)
, IncludedColumns NVARCHAR(MAX)
, PRIMARY KEY (ObjectID, IndexID)
)
INSERT INTO #AggColumns
SELECT t.ObjectID
, t.IndexID
, IndexColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 0
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
, IncludedColumns = STUFF((
SELECT ', [' + c.ColumnName + ']'
FROM #IndexColumns i
JOIN #Columns c ON i.ObjectID = c.ObjectID AND i.ColumnID = c.ColumnID
WHERE i.ObjectID = t.ObjectID
AND i.IndexID = t.IndexID
AND i.IsIncluded = 1
ORDER BY i.OrderID
FOR XML PATH(''), TYPE).value('(./text())[1]', 'NVARCHAR(MAX)'), 1, 2, '')
FROM (
SELECT DISTINCT ObjectID, IndexID
FROM #Indexes
WHERE IndexType IN (1, 2)
) t
SELECT i.ObjectID
, i.IndexID
, i.IndexName
, ObjectName = o.[name]
, SchemaName = s.[name]
, i.PagesCount
, i.UnusedPagesCount
, i.PartitionNumber
, i.RowsCount
, i.IndexType
, i.IsAllowPageLocks
, u.TotalWrites
, u.TotalReads
, u.TotalSeeks
, u.TotalScans
, u.TotalLookups
, u.LastUsage
, i.DataCompression
, f.Fragmentation
, IndexStats = STATS_DATE(i.ObjectID, i.IndexID)
, IsLobLegacy = ISNULL(lob.IsLobLegacy, 0)
, IsLob = ISNULL(lob.IsLob, 0)
, IsSparse = CAST(CASE WHEN p.ObjectID IS NULL THEN 0 ELSE 1 END AS BIT)
, IsPartitioned = CAST(CASE WHEN dds.[data_space_id] IS NOT NULL THEN 1 ELSE 0 END AS BIT)
, FileGroupName = fg.[name]
, i.IsUnique
, i.IsPK
, i.FillFactorValue
, i.IsFiltered
, a.IndexColumns
, a.IncludedColumns
FROM #Indexes i
JOIN sys.objects o WITH(NOLOCK) ON o.[object_id] = i.ObjectID
JOIN sys.schemas s WITH(NOLOCK) ON s.[schema_id] = o.[schema_id]
LEFT JOIN #AggColumns a ON a.ObjectID = i.ObjectID AND a.IndexID = i.IndexID
LEFT JOIN #Sparse p ON p.ObjectID = i.ObjectID
LEFT JOIN #Fragmentation f ON f.ObjectID = i.ObjectID AND f.IndexID = i.IndexID AND f.PartitionNumber = i.PartitionNumber
LEFT JOIN (
SELECT ObjectID = [object_id]
, IndexID = [index_id]
, TotalWrites = NULLIF([user_updates], 0)
, TotalReads = NULLIF([user_seeks] + [user_scans] + [user_lookups], 0)
, TotalSeeks = NULLIF([user_seeks], 0)
, TotalScans = NULLIF([user_scans], 0)
, TotalLookups = NULLIF([user_lookups], 0)
, LastUsage = (
SELECT MAX(dt)
FROM (
VALUES ([last_user_seek])
, ([last_user_scan])
, ([last_user_lookup])
, ([last_user_update])
) t(dt)
)
FROM sys.dm_db_index_usage_stats WITH(NOLOCK)
WHERE [database_id] = @DBID
) u ON i.ObjectID = u.ObjectID AND i.IndexID = u.IndexID
LEFT JOIN #Lob lob ON lob.ObjectID = i.ObjectID AND lob.IndexID = i.IndexID
LEFT JOIN sys.destination_data_spaces dds WITH(NOLOCK) ON i.DataSpaceID = dds.[partition_scheme_id] AND i.PartitionNumber = dds.[destination_id]
JOIN sys.filegroups fg WITH(NOLOCK) ON ISNULL(dds.[data_space_id], i.DataSpaceID) = fg.[data_space_id]
WHERE o.[type] IN ('V', 'U')
AND (
f.Fragmentation >= @Fragmentation
OR
i.PagesCount > @PreDescribeSize
OR
i.IndexType IN (5, 6)
)
Kā liecina paši vaicājumi, pagaidu tabulas tiek izmantotas diezgan bieži. Tas tiek darīts, lai izvairītos no atkārtotas kompilācijas, un lielas shēmas gadījumā plānu var ģenerēt paralēli, ievietojot datus, jo ievietošana ar tabulas mainīgajiem ir iespējama tikai vienā pavedienā.
Pēc iepriekš minētā skripta izpildes parādīsies logs ar indeksu tabulu:
Šeit varat parādīt arī citu detalizētu informāciju, piemēram:
- datubāze
- sekciju skaits
- pēdējās piekļuves datums un laiks
- saspiešana
- failu grupa
uc
Pašus skaļruņus var pielāgot:
Kolonā “Labot” varat atlasīt darbību, kas jāveic optimizācijas laikā. Turklāt, kad skenēšana ir pabeigta, tiek atlasīta noklusējuma darbība, pamatojoties uz atlasītajiem iestatījumiem:
Apstrādei ir jāizvēlas nepieciešamie indeksi.
Skriptu var saglabāt, izmantojot galveno izvēlni (tā pati poga sāk pašu indeksa optimizācijas procesu):
un saglabājiet tabulu dažādos formātos (tā pati poga ļauj atvērt detalizētus iestatījumus indeksu analīzei un optimizēšanai):
Informāciju var atjaunināt arī, galvenajā izvēlnē noklikšķinot uz trešās pogas no kreisās puses blakus palielināmajam stiklam.
Palielināmā stikla poga ļauj atlasīt vēlamās datubāzes pārskatīšanai.
Pašlaik nav pilnvērtīgas palīdzības sistēmas. Tāpēc, noklikšķinot uz pogas "?", tiks atvērts modālais logs ar pamatinformāciju par programmatūru:
Papildus visam iepriekš aprakstītajam galvenajā izvēlnē ir meklēšanas josla:
Uzsākot indeksa optimizācijas procesu:
Loga apakšdaļā varat arī apskatīt veikto darbību žurnālu:
Detalizēto iestatījumu logā indeksa analīzei un optimizācijai varat konfigurēt detalizētākas opcijas:
Ieteikumi pieteikumam:
- ļauj selektīvi atjaunināt statistiku ne tikai indeksiem, bet arī dažādos veidos (pilnībā vai daļēji atjaunināt)
- ļauj izvēlēties ne tikai datubāzi, bet arī dažādus serverus (tas ir ļoti ērti, ja ir daudz MS SQL Server instances)
- Lai nodrošinātu lielāku lietošanas elastību, ieteicams komandas ietvert bibliotēkās un izvadīt tās kā PowerShell komandas, kā tas ir darīts, piemēram, šeit:
- ļauj saglabāt un mainīt personiskos iestatījumus gan visai lietojumprogrammai, gan, ja nepieciešams, katram MS SQL Server gadījumam un katrai datubāzei
- No 2. un 4. punkta izriet vēlme veidot grupas pēc datubāzēm un grupas pēc MS SQL Server instancēm, kurām iestatījumi ir vienādi.
- meklēt dublētus indeksus (pilnus un nepilnīgus, kas vai nu daudz neatšķiras, vai atšķiras tikai iekļautajās kolonnās)
- Tā kā SQLIndexManager tiek izmantots tikai MS SQL Server DBMS, tas ir jāatspoguļo nosaukumā, piemēram, šādi: SQLIndexManager MS SQL Server.
- Visas lietojumprogrammas daļas, kas nav saistītas ar grafisko lietotāja saskarni, jāpārvieto uz atsevišķiem moduļiem un jāpārraksta, izmantojot .NET Core 2.1.
Rakstīšanas brīdī funkciju pieprasījumu 6. punkts tiek aktīvi izstrādāts un jau atbalsta pilnīgu un līdzīgu dublikātu meklēšanu:
avoti
Avots: www.habr.com
