🥇LINQ հարցումների օպտիմալացման որոշ ասպեկտներ C#.NET-ում MS SQL Server-ի համար

LINQ-ը մուտք է գործել .NET որպես տվյալների մանիպուլյացիայի նոր հզոր լեզու: LINQ-ը SQL-ին, որպես դրա մաս, թույլ է տալիս բավականին հարմար շփվել DBMS-ի հետ՝ օգտագործելով, օրինակ, Entity Framework-ը: Այնուամենայնիվ, այն բավականին հաճախ օգտագործելով, մշակողները մոռանում են նայել, թե ինչպիսի SQL հարցում կստեղծի հարցման ենթակա մատակարարը, ձեր դեպքում Entity Framework-ը:

Դիտարկենք երկու հիմնական կետ՝ օգտագործելով օրինակ:
Դա անելու համար ստեղծեք թեստային տվյալների բազա SQL Server-ում և դրա մեջ ստեղծեք երկու աղյուսակ՝ օգտագործելով հետևյալ հարցումը.

Աղյուսակների ստեղծում

USE [TEST]
GO

SET ANSI_NULLS ON
GO

SET QUOTED_IDENTIFIER ON
GO

CREATE TABLE [dbo].[Ref](
	[ID] [int] NOT NULL,
	[ID2] [int] NOT NULL,
	[Name] [nvarchar](255) NOT NULL,
	[InsertUTCDate] [datetime] NOT NULL,
 CONSTRAINT [PK_Ref] PRIMARY KEY CLUSTERED 
(
	[ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]
GO

ALTER TABLE [dbo].[Ref] ADD  CONSTRAINT [DF_Ref_InsertUTCDate]  DEFAULT (getutcdate()) FOR [InsertUTCDate]
GO

USE [TEST]
GO

SET ANSI_NULLS ON
GO

SET QUOTED_IDENTIFIER ON
GO

CREATE TABLE [dbo].[Customer](
	[ID] [int] NOT NULL,
	[Name] [nvarchar](255) NOT NULL,
	[Ref_ID] [int] NOT NULL,
	[InsertUTCDate] [datetime] NOT NULL,
	[Ref_ID2] [int] NOT NULL,
 CONSTRAINT [PK_Customer] PRIMARY KEY CLUSTERED 
(
	[ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]
GO

ALTER TABLE [dbo].[Customer] ADD  CONSTRAINT [DF_Customer_Ref_ID]  DEFAULT ((0)) FOR [Ref_ID]
GO

ALTER TABLE [dbo].[Customer] ADD  CONSTRAINT [DF_Customer_InsertUTCDate]  DEFAULT (getutcdate()) FOR [InsertUTCDate]
GO

Այժմ եկեք լրացնենք Ref աղյուսակը՝ գործարկելով հետևյալ սցենարը.

Ref աղյուսակի լրացում

USE [TEST]
GO

DECLARE @ind INT=1;

WHILE(@ind<1200000)
BEGIN
	INSERT INTO [dbo].[Ref]
           ([ID]
           ,[ID2]
           ,[Name])
    SELECT
           @ind
           ,@ind
           ,CAST(@ind AS NVARCHAR(255));

	SET @ind=@ind+1;
END 
GO

Եկեք նմանապես լրացնենք Հաճախորդի աղյուսակը՝ օգտագործելով հետևյալ սցենարը.

Հաճախորդների աղյուսակի լրացում

USE [TEST]
GO

DECLARE @ind INT=1;
DECLARE @ind_ref INT=1;

WHILE(@ind<=12000000)
BEGIN
	IF(@ind%3=0) SET @ind_ref=1;
	ELSE IF (@ind%5=0) SET @ind_ref=2;
	ELSE IF (@ind%7=0) SET @ind_ref=3;
	ELSE IF (@ind%11=0) SET @ind_ref=4;
	ELSE IF (@ind%13=0) SET @ind_ref=5;
	ELSE IF (@ind%17=0) SET @ind_ref=6;
	ELSE IF (@ind%19=0) SET @ind_ref=7;
	ELSE IF (@ind%23=0) SET @ind_ref=8;
	ELSE IF (@ind%29=0) SET @ind_ref=9;
	ELSE IF (@ind%31=0) SET @ind_ref=10;
	ELSE IF (@ind%37=0) SET @ind_ref=11;
	ELSE SET @ind_ref=@ind%1190000;
	
	INSERT INTO [dbo].[Customer]
	           ([ID]
	           ,[Name]
	           ,[Ref_ID]
	           ,[Ref_ID2])
	     SELECT
	           @ind,
	           CAST(@ind AS NVARCHAR(255)),
	           @ind_ref,
	           @ind_ref;


	SET @ind=@ind+1;
END
GO

Այսպիսով, մենք ստացանք երկու աղյուսակ, որոնցից մեկը ունի ավելի քան 1 միլիոն տող տվյալներ, իսկ մյուսը՝ ավելի քան 10 միլիոն տող տվյալներ։

Այժմ Visual Studio-ում դուք պետք է ստեղծեք փորձնական Visual C# Console App (.NET Framework) նախագիծ.

Հաջորդը, դուք պետք է գրադարան ավելացնեք, որպեսզի Entity Framework-ը փոխազդի տվյալների բազայի հետ:
Այն ավելացնելու համար աջ սեղմեք նախագծի վրա և ընտրեք Կառավարեք NuGet փաթեթները համատեքստի ընտրացանկից.

Այնուհետև, NuGet փաթեթի կառավարման պատուհանում, որը հայտնվում է, որոնման պատուհանում մուտքագրեք «Entity Framework» բառը և ընտրեք Entity Framework փաթեթը և տեղադրեք այն.

Հաջորդը, App.config ֆայլում, configSections տարրը փակելուց հետո, անհրաժեշտ է ավելացնել հետևյալ բլոկը.

<connectionStrings>
    <add name="DBConnection" connectionString="data source=ИМЯ_ЭКЗЕМПЛЯРА_MSSQL;Initial Catalog=TEST;Integrated Security=True;" providerName="System.Data.SqlClient" />
</connectionStrings>

ConnectionString-ում դուք պետք է մուտքագրեք կապի տողը:

Այժմ եկեք 3 ինտերֆեյս ստեղծենք առանձին ֆայլերում.

IBaseEntityID ինտերֆեյսի ներդրում

namespace TestLINQ
{
    public interface IBaseEntityID
    {
        int ID { get; set; }
    }
}

IBaseEntityName ինտերֆեյսի իրականացում

namespace TestLINQ
{
    public interface IBaseEntityName
    {
        string Name { get; set; }
    }
}

IBaseNameInsertUTCDate ինտերֆեյսի իրականացում

namespace TestLINQ
{
    public interface IBaseNameInsertUTCDate
    {
        DateTime InsertUTCDate { get; set; }
    }
}

Եվ առանձին ֆայլում մենք կստեղծենք բազային դասի BaseEntity մեր երկու սուբյեկտների համար, որը կներառի ընդհանուր դաշտեր.

BaseEntity բազային դասի իրականացում

namespace TestLINQ
{
    public class BaseEntity : IBaseEntityID, IBaseEntityName, IBaseNameInsertUTCDate
    {
        public int ID { get; set; }
        public string Name { get; set; }
        public DateTime InsertUTCDate { get; set; }
    }
}

Հաջորդը, մենք կստեղծենք մեր երկու միավորները առանձին ֆայլերում.

Ref դասի իրականացում

using System.ComponentModel.DataAnnotations.Schema;

namespace TestLINQ
{
    [Table("Ref")]
    public class Ref : BaseEntity
    {
        public int ID2 { get; set; }
    }
}

Հաճախորդների դասի իրականացում

using System.ComponentModel.DataAnnotations.Schema;

namespace TestLINQ
{
    [Table("Customer")]
    public class Customer: BaseEntity
    {
        public int Ref_ID { get; set; }
        public int Ref_ID2 { get; set; }
    }
}

Այժմ եկեք ստեղծենք UserContext համատեքստ առանձին ֆայլում.

UserContex դասի իրականացում

using System.Data.Entity;

namespace TestLINQ
{
    public class UserContext : DbContext
    {
        public UserContext()
            : base("DbConnection")
        {
            Database.SetInitializer<UserContext>(null);
        }

        public DbSet<Customer> Customer { get; set; }
        public DbSet<Ref> Ref { get; set; }
    }
}

Մենք ստացանք պատրաստի լուծում LINQ-ի SQL-ով օպտիմալացման թեստեր անցկացնելու համար MS SQL Server-ի համար EF-ի միջոցով.

Այժմ Program.cs ֆայլում մուտքագրեք հետևյալ կոդը.

Program.cs ֆայլ

using System;
using System.Collections.Generic;
using System.Linq;

namespace TestLINQ
{
    class Program
    {
        static void Main(string[] args)
        {
            using (UserContext db = new UserContext())
            {
                var dblog = new List<string>();
                db.Database.Log = dblog.Add;

                var query = from e1 in db.Customer
                            from e2 in db.Ref
                            where (e1.Ref_ID == e2.ID)
                                 && (e1.Ref_ID2 == e2.ID2)
                            select new { Data1 = e1.Name, Data2 = e2.Name };

                var result = query.Take(1000).ToList();

                Console.WriteLine(dblog[1]);

                Console.ReadKey();
            }
        }
    }
}

Հաջորդը, եկեք գործարկենք մեր նախագիծը:

Աշխատանքի վերջում վահանակի վրա կցուցադրվի հետևյալը.

Ստեղծվել է SQL հարցում

SELECT TOP (1000) 
    [Extent1].[Ref_ID] AS [Ref_ID], 
    [Extent1].[Name] AS [Name], 
    [Extent2].[Name] AS [Name1]
    FROM  [dbo].[Customer] AS [Extent1]
    INNER JOIN [dbo].[Ref] AS [Extent2] ON ([Extent1].[Ref_ID] = [Extent2].[ID]) AND ([Extent1].[Ref_ID2] = [Extent2].[ID2])

Այսինքն, ընդհանուր առմամբ, LINQ հարցումը բավականին լավ է ստեղծել SQL հարցում MS SQL Server DBMS-ին:

Այժմ եկեք փոխենք AND պայմանը OR-ի LINQ հարցումում.

LINQ հարցում

var query = from e1 in db.Customer
                            from e2 in db.Ref
                            where (e1.Ref_ID == e2.ID)
                                || (e1.Ref_ID2 == e2.ID2)
                            select new { Data1 = e1.Name, Data2 = e2.Name };

Եվ նորից գործարկենք մեր հավելվածը։

Կատարումը կխափանվի սխալով, քանի որ հրամանի կատարման ժամանակը գերազանցում է 30 վայրկյանը.

Եթե նայեք հարցմանը, որը ստեղծվել է LINQ-ի կողմից.

, ապա կարող եք համոզվել, որ ընտրությունը տեղի է ունենում երկու բազմությունների (աղյուսակների) դեկարտյան արտադրյալի միջոցով.

Ստեղծվել է SQL հարցում

SELECT TOP (1000) 
    [Extent1].[Ref_ID] AS [Ref_ID], 
    [Extent1].[Name] AS [Name], 
    [Extent2].[Name] AS [Name1]
    FROM  [dbo].[Customer] AS [Extent1]
    CROSS JOIN [dbo].[Ref] AS [Extent2]
    WHERE [Extent1].[Ref_ID] = [Extent2].[ID] OR [Extent1].[Ref_ID2] = [Extent2].[ID2]

LINQ հարցումը վերաշարադրենք հետևյալ կերպ.

Օպտիմիզացված LINQ հարցում

var query = (from e1 in db.Customer
                   join e2 in db.Ref
                   on e1.Ref_ID equals e2.ID
                   select new { Data1 = e1.Name, Data2 = e2.Name }).Union(
                        from e1 in db.Customer
                        join e2 in db.Ref
                        on e1.Ref_ID2 equals e2.ID2
                        select new { Data1 = e1.Name, Data2 = e2.Name });

Այնուհետև մենք ստանում ենք հետևյալ SQL հարցումը.

SQL հարցում

SELECT 
    [Limit1].[C1] AS [C1], 
    [Limit1].[C2] AS [C2], 
    [Limit1].[C3] AS [C3]
    FROM ( SELECT DISTINCT TOP (1000) 
        [UnionAll1].[C1] AS [C1], 
        [UnionAll1].[Name] AS [C2], 
        [UnionAll1].[Name1] AS [C3]
        FROM  (SELECT 
            1 AS [C1], 
            [Extent1].[Name] AS [Name], 
            [Extent2].[Name] AS [Name1]
            FROM  [dbo].[Customer] AS [Extent1]
            INNER JOIN [dbo].[Ref] AS [Extent2] ON [Extent1].[Ref_ID] = [Extent2].[ID]
        UNION ALL
            SELECT 
            1 AS [C1], 
            [Extent3].[Name] AS [Name], 
            [Extent4].[Name] AS [Name1]
            FROM  [dbo].[Customer] AS [Extent3]
            INNER JOIN [dbo].[Ref] AS [Extent4] ON [Extent3].[Ref_ID2] = [Extent4].[ID2]) AS [UnionAll1]
    )  AS [Limit1]

Ավաղ, LINQ հարցումներում կարող է լինել միայն մեկ միացման պայման, ուստի այստեղ հնարավոր է կատարել համարժեք հարցում՝ օգտագործելով երկու հարցում յուրաքանչյուր պայմանի համար, այնուհետև դրանք միավորելով Union-ի միջոցով՝ հեռացնելու կրկնօրինակները տողերից:
Այո, հարցումները հիմնականում համարժեք չեն լինելու՝ հաշվի առնելով, որ ամբողջական կրկնօրինակ տողերը կարող են վերադարձվել: Սակայն իրական կյանքում լրիվ կրկնօրինակ տողեր պետք չեն, և մարդիկ փորձում են ազատվել դրանցից։

Հիմա եկեք համեմատենք այս երկու հարցումների կատարման պլանները.

CROSS JOIN-ի համար կատարման միջին ժամանակը 195 վայրկյան է.
INNER JOIN-UNION-ի համար կատարման միջին ժամանակը 24 վայրկյանից պակաս է.

Как видно из результатов, для двух таблиц с миллионами записей оптимизированный LINQ-запрос работает в разы быстрее, чем неоптимизированный.

Для варианта с И в условиях LINQ-запрос вида:

LINQ հարցում

var query = from e1 in db.Customer
                            from e2 in db.Ref
                            where (e1.Ref_ID == e2.ID)
                                 && (e1.Ref_ID2 == e2.ID2)
                            select new { Data1 = e1.Name, Data2 = e2.Name };

почти всегда будет сгенерирован правильный SQL-запрос, который будет выполняться в среднем примерно 1 сек:

Также для манипуляций LINQ to Objects вместо запроса вида:

LINQ-запрос (1-й вариант)

var query = from e1 in seq1
                            from e2 in seq2
                            where (e1.Key1==e2.Key1)
                               && (e1.Key2==e2.Key2)
                            select new { Data1 = e1.Data, Data2 = e2.Data };

можно использовать запрос вида:

LINQ-запрос (2-й вариант)

var query = from e1 in seq1
                            join e2 in seq2
                            on new { e1.Key1, e1.Key2 } equals new { e2.Key1, e2.Key2 }
                            select new { Data1 = e1.Data, Data2 = e2.Data };

Որտեղ:

Определение двух массивов

Para[] seq1 = new[] { new Para { Key1 = 1, Key2 = 2, Data = "777" }, new Para { Key1 = 2, Key2 = 3, Data = "888" }, new Para { Key1 = 3, Key2 = 4, Data = "999" } };
Para[] seq2 = new[] { new Para { Key1 = 1, Key2 = 2, Data = "777" }, new Para { Key1 = 2, Key2 = 3, Data = "888" }, new Para { Key1 = 3, Key2 = 5, Data = "999" } };

, а тип Para определяется следующим образом:

Определение типа Para

class Para
{
        public int Key1, Key2;
        public string Data;
}

Таким образом мы рассмотрели некоторые аспекты в оптимизации LINQ-запросов к MS SQL Server.

К сожалению даже опытные и ведущие .NET-разработчики забывают о том, что необходимо понимать что делают за кадром те инструкции, которые они используют. Иначе они становятся конфигураторами и могут заложить бомбу замедленного действия в будущем как при масштабировании программного решения, так и при незначительных изменениях внешних условий среды.

Также небольшой обзор проводился и այստեղ.

Исходники для теста-сам проект, создание таблиц в базе данных TEST, а также наполнение данными этих таблиц находится այստեղ.
Նաև այս պահոցում՝ Plans թղթապանակում, կան OR պայմաններով հարցումների կատարման պլաններ:

Source: www.habr.com

LINQ հարցումների օպտիմալացման որոշ ասպեկտներ C#.NET-ում MS SQL Server-ի համար

Добавить комментарий Չեղարկել պատասխանել