MS SQL સર્વર માટે C#.NET માં LINQ ક્વેરીઝને ઑપ્ટિમાઇઝ કરવાના કેટલાક પાસાઓ

LINQ એક શક્તિશાળી નવી ડેટા મેનીપ્યુલેશન લેંગ્વેજ તરીકે .NET દાખલ કર્યું. તેના ભાગ રૂપે LINQ થી SQL તમને DBMS સાથે, ઉદાહરણ તરીકે, એન્ટિટી ફ્રેમવર્કનો ઉપયોગ કરીને ખૂબ અનુકૂળ રીતે વાતચીત કરવાની મંજૂરી આપે છે. જો કે, ઘણી વાર તેનો ઉપયોગ કરીને, વિકાસકર્તાઓ એ જોવાનું ભૂલી જાય છે કે તમારા કિસ્સામાં એન્ટિટી ફ્રેમવર્ક, ક્વેરી કરવા યોગ્ય પ્રદાતા કેવા પ્રકારની SQL ક્વેરી જનરેટ કરશે.

ચાલો ઉદાહરણનો ઉપયોગ કરીને બે મુખ્ય મુદ્દાઓ જોઈએ.
આ કરવા માટે, SQL સર્વરમાં ટેસ્ટ ડેટાબેઝ બનાવો અને નીચેની ક્વેરીનો ઉપયોગ કરીને તેમાં બે કોષ્ટકો બનાવો:

કોષ્ટકો બનાવી રહ્યા છીએ

USE [TEST]
GO

SET ANSI_NULLS ON
GO

SET QUOTED_IDENTIFIER ON
GO

CREATE TABLE [dbo].[Ref](
	[ID] [int] NOT NULL,
	[ID2] [int] NOT NULL,
	[Name] [nvarchar](255) NOT NULL,
	[InsertUTCDate] [datetime] NOT NULL,
 CONSTRAINT [PK_Ref] PRIMARY KEY CLUSTERED 
(
	[ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]
GO

ALTER TABLE [dbo].[Ref] ADD  CONSTRAINT [DF_Ref_InsertUTCDate]  DEFAULT (getutcdate()) FOR [InsertUTCDate]
GO

USE [TEST]
GO

SET ANSI_NULLS ON
GO

SET QUOTED_IDENTIFIER ON
GO

CREATE TABLE [dbo].[Customer](
	[ID] [int] NOT NULL,
	[Name] [nvarchar](255) NOT NULL,
	[Ref_ID] [int] NOT NULL,
	[InsertUTCDate] [datetime] NOT NULL,
	[Ref_ID2] [int] NOT NULL,
 CONSTRAINT [PK_Customer] PRIMARY KEY CLUSTERED 
(
	[ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]
GO

ALTER TABLE [dbo].[Customer] ADD  CONSTRAINT [DF_Customer_Ref_ID]  DEFAULT ((0)) FOR [Ref_ID]
GO

ALTER TABLE [dbo].[Customer] ADD  CONSTRAINT [DF_Customer_InsertUTCDate]  DEFAULT (getutcdate()) FOR [InsertUTCDate]
GO

હવે ચાલો નીચેની સ્ક્રિપ્ટ ચલાવીને રેફ ટેબલ તૈયાર કરીએ:

રેફ ટેબલ ભરવું

USE [TEST]
GO

DECLARE @ind INT=1;

WHILE(@ind<1200000)
BEGIN
	INSERT INTO [dbo].[Ref]
           ([ID]
           ,[ID2]
           ,[Name])
    SELECT
           @ind
           ,@ind
           ,CAST(@ind AS NVARCHAR(255));

	SET @ind=@ind+1;
END 
GO

ચાલો એ જ રીતે નીચેની સ્ક્રિપ્ટનો ઉપયોગ કરીને ગ્રાહક કોષ્ટક ભરીએ:

ગ્રાહક કોષ્ટકની વસ્તી

USE [TEST]
GO

DECLARE @ind INT=1;
DECLARE @ind_ref INT=1;

WHILE(@ind<=12000000)
BEGIN
	IF(@ind%3=0) SET @ind_ref=1;
	ELSE IF (@ind%5=0) SET @ind_ref=2;
	ELSE IF (@ind%7=0) SET @ind_ref=3;
	ELSE IF (@ind%11=0) SET @ind_ref=4;
	ELSE IF (@ind%13=0) SET @ind_ref=5;
	ELSE IF (@ind%17=0) SET @ind_ref=6;
	ELSE IF (@ind%19=0) SET @ind_ref=7;
	ELSE IF (@ind%23=0) SET @ind_ref=8;
	ELSE IF (@ind%29=0) SET @ind_ref=9;
	ELSE IF (@ind%31=0) SET @ind_ref=10;
	ELSE IF (@ind%37=0) SET @ind_ref=11;
	ELSE SET @ind_ref=@ind%1190000;
	
	INSERT INTO [dbo].[Customer]
	           ([ID]
	           ,[Name]
	           ,[Ref_ID]
	           ,[Ref_ID2])
	     SELECT
	           @ind,
	           CAST(@ind AS NVARCHAR(255)),
	           @ind_ref,
	           @ind_ref;


	SET @ind=@ind+1;
END
GO

આમ, અમને બે કોષ્ટકો મળ્યા, જેમાંથી એકમાં ડેટાની 1 મિલિયનથી વધુ પંક્તિઓ છે, અને બીજીમાં 10 મિલિયનથી વધુ પંક્તિઓ ડેટા છે.

હવે વિઝ્યુઅલ સ્ટુડિયોમાં તમારે ટેસ્ટ વિઝ્યુઅલ C# કન્સોલ એપ (.NET ફ્રેમવર્ક) પ્રોજેક્ટ બનાવવાની જરૂર છે:

આગળ, તમારે ડેટાબેઝ સાથે ક્રિયાપ્રતિક્રિયા કરવા માટે એન્ટિટી ફ્રેમવર્ક માટે લાઇબ્રેરી ઉમેરવાની જરૂર છે.
તેને ઉમેરવા માટે, પ્રોજેક્ટ પર જમણું-ક્લિક કરો અને સંદર્ભ મેનૂમાંથી NuGet Packages મેનેજ કરો પસંદ કરો:

પછી, દેખાતી NuGet પેકેજ મેનેજમેન્ટ વિન્ડોમાં, સર્ચ વિન્ડોમાં "એન્ટિટી ફ્રેમવર્ક" શબ્દ દાખલ કરો અને એન્ટિટી ફ્રેમવર્ક પેકેજ પસંદ કરો અને તેને ઇન્સ્ટોલ કરો:

આગળ, App.config ફાઇલમાં, configSections તત્વ બંધ કર્યા પછી, તમારે નીચેનો બ્લોક ઉમેરવાની જરૂર છે:

<connectionStrings>
    <add name="DBConnection" connectionString="data source=ИМЯ_ЭКЗЕМПЛЯРА_MSSQL;Initial Catalog=TEST;Integrated Security=True;" providerName="System.Data.SqlClient" />
</connectionStrings>

કનેક્શનસ્ટ્રિંગમાં તમારે કનેક્શન સ્ટ્રિંગ દાખલ કરવાની જરૂર છે.

હવે ચાલો અલગ ફાઈલોમાં 3 ઈન્ટરફેસ બનાવીએ:

1. IBaseEntityID ઇન્ટરફેસનો અમલ

   namespace TestLINQ
   {
       public interface IBaseEntityID
       {
           int ID { get; set; }
       }
   }
   

2. IBaseEntityName ઇન્ટરફેસનું અમલીકરણ

   namespace TestLINQ
   {
       public interface IBaseEntityName
       {
           string Name { get; set; }
       }
   }
   

3. IBaseNameInsertUTCDate ઇન્ટરફેસનું અમલીકરણ

   namespace TestLINQ
   {
       public interface IBaseNameInsertUTCDate
       {
           DateTime InsertUTCDate { get; set; }
       }
   }
   

અને એક અલગ ફાઇલમાં અમે અમારી બે એન્ટિટી માટે બેઝ ક્લાસ BaseEntity બનાવીશું, જેમાં સામાન્ય ક્ષેત્રો શામેલ હશે:

બેઝ ક્લાસ BaseEntity નો અમલ

namespace TestLINQ
{
    public class BaseEntity : IBaseEntityID, IBaseEntityName, IBaseNameInsertUTCDate
    {
        public int ID { get; set; }
        public string Name { get; set; }
        public DateTime InsertUTCDate { get; set; }
    }
}

આગળ, અમે અમારી બે સંસ્થાઓને અલગ-અલગ ફાઇલોમાં બનાવીશું:

1. સંદર્ભ વર્ગનું અમલીકરણ

   using System.ComponentModel.DataAnnotations.Schema;
   
   namespace TestLINQ
   {
       [Table("Ref")]
       public class Ref : BaseEntity
       {
           public int ID2 { get; set; }
       }
   }
   

2. ગ્રાહક વર્ગનું અમલીકરણ

   using System.ComponentModel.DataAnnotations.Schema;
   
   namespace TestLINQ
   {
       [Table("Customer")]
       public class Customer: BaseEntity
       {
           public int Ref_ID { get; set; }
           public int Ref_ID2 { get; set; }
       }
   }
   

હવે ચાલો એક અલગ ફાઇલમાં UserContext સંદર્ભ બનાવીએ:

UserContex વર્ગનું અમલીકરણ

using System.Data.Entity;

namespace TestLINQ
{
    public class UserContext : DbContext
    {
        public UserContext()
            : base("DbConnection")
        {
            Database.SetInitializer<UserContext>(null);
        }

        public DbSet<Customer> Customer { get; set; }
        public DbSet<Ref> Ref { get; set; }
    }
}

અમને MS SQL સર્વર માટે EF દ્વારા LINQ થી SQL સાથે ઑપ્ટિમાઇઝેશન પરીક્ષણો કરવા માટે તૈયાર ઉકેલ પ્રાપ્ત થયો છે:

હવે Program.cs ફાઇલમાં નીચેનો કોડ દાખલ કરો:

Program.cs ફાઇલ

using System;
using System.Collections.Generic;
using System.Linq;

namespace TestLINQ
{
    class Program
    {
        static void Main(string[] args)
        {
            using (UserContext db = new UserContext())
            {
                var dblog = new List<string>();
                db.Database.Log = dblog.Add;

                var query = from e1 in db.Customer
                            from e2 in db.Ref
                            where (e1.Ref_ID == e2.ID)
                                 && (e1.Ref_ID2 == e2.ID2)
                            select new { Data1 = e1.Name, Data2 = e2.Name };

                var result = query.Take(1000).ToList();

                Console.WriteLine(dblog[1]);

                Console.ReadKey();
            }
        }
    }
}

આગળ, ચાલો અમારો પ્રોજેક્ટ શરૂ કરીએ.

કાર્યના અંતે, નીચેના કન્સોલ પર પ્રદર્શિત થશે:

જનરેટ કરેલ SQL ક્વેરી

SELECT TOP (1000) 
    [Extent1].[Ref_ID] AS [Ref_ID], 
    [Extent1].[Name] AS [Name], 
    [Extent2].[Name] AS [Name1]
    FROM  [dbo].[Customer] AS [Extent1]
    INNER JOIN [dbo].[Ref] AS [Extent2] ON ([Extent1].[Ref_ID] = [Extent2].[ID]) AND ([Extent1].[Ref_ID2] = [Extent2].[ID2])

એટલે કે, સામાન્ય રીતે, LINQ ક્વેરી એ MS SQL સર્વર DBMS માટે ખૂબ સારી રીતે SQL ક્વેરી જનરેટ કરી છે.

હવે ચાલો LINQ ક્વેરી માં AND શરતને OR માં બદલીએ:

LINQ ક્વેરી

var query = from e1 in db.Customer
                            from e2 in db.Ref
                            where (e1.Ref_ID == e2.ID)
                                || (e1.Ref_ID2 == e2.ID2)
                            select new { Data1 = e1.Name, Data2 = e2.Name };

અને ચાલો ફરીથી અમારી એપ્લિકેશન શરૂ કરીએ.

આદેશના અમલીકરણનો સમય 30 સેકન્ડથી વધુ હોવાને કારણે એક્ઝેક્યુશન ભૂલ સાથે ક્રેશ થશે:

જો તમે LINQ દ્વારા જનરેટ કરાયેલી ક્વેરી જુઓ:

, પછી તમે ખાતરી કરી શકો છો કે પસંદગી બે સેટ (કોષ્ટકો) ના કાર્ટેશિયન ઉત્પાદન દ્વારા થાય છે:

જનરેટ કરેલ SQL ક્વેરી

SELECT TOP (1000) 
    [Extent1].[Ref_ID] AS [Ref_ID], 
    [Extent1].[Name] AS [Name], 
    [Extent2].[Name] AS [Name1]
    FROM  [dbo].[Customer] AS [Extent1]
    CROSS JOIN [dbo].[Ref] AS [Extent2]
    WHERE [Extent1].[Ref_ID] = [Extent2].[ID] OR [Extent1].[Ref_ID2] = [Extent2].[ID2]

ચાલો નીચે પ્રમાણે LINQ ક્વેરી ફરીથી લખીએ:

ઑપ્ટિમાઇઝ LINQ ક્વેરી

var query = (from e1 in db.Customer
                   join e2 in db.Ref
                   on e1.Ref_ID equals e2.ID
                   select new { Data1 = e1.Name, Data2 = e2.Name }).Union(
                        from e1 in db.Customer
                        join e2 in db.Ref
                        on e1.Ref_ID2 equals e2.ID2
                        select new { Data1 = e1.Name, Data2 = e2.Name });

પછી અમને નીચેની SQL ક્વેરી મળે છે:

SQL ક્વેરી

SELECT 
    [Limit1].[C1] AS [C1], 
    [Limit1].[C2] AS [C2], 
    [Limit1].[C3] AS [C3]
    FROM ( SELECT DISTINCT TOP (1000) 
        [UnionAll1].[C1] AS [C1], 
        [UnionAll1].[Name] AS [C2], 
        [UnionAll1].[Name1] AS [C3]
        FROM  (SELECT 
            1 AS [C1], 
            [Extent1].[Name] AS [Name], 
            [Extent2].[Name] AS [Name1]
            FROM  [dbo].[Customer] AS [Extent1]
            INNER JOIN [dbo].[Ref] AS [Extent2] ON [Extent1].[Ref_ID] = [Extent2].[ID]
        UNION ALL
            SELECT 
            1 AS [C1], 
            [Extent3].[Name] AS [Name], 
            [Extent4].[Name] AS [Name1]
            FROM  [dbo].[Customer] AS [Extent3]
            INNER JOIN [dbo].[Ref] AS [Extent4] ON [Extent3].[Ref_ID2] = [Extent4].[ID2]) AS [UnionAll1]
    )  AS [Limit1]

અરે, LINQ ક્વેરીઝમાં ફક્ત એક જ જોડવાની શરત હોઈ શકે છે, તેથી અહીં દરેક શરત માટે બે ક્વેરીનો ઉપયોગ કરીને અને પછી પંક્તિઓમાંથી ડુપ્લિકેટ્સ દૂર કરવા માટે યુનિયન દ્વારા તેમને જોડીને સમકક્ષ ક્વેરી કરવી શક્ય છે.
હા, ક્વેરી સામાન્ય રીતે બિન-સમાન હશે, તે ધ્યાનમાં લેતા કે સંપૂર્ણ ડુપ્લિકેટ પંક્તિઓ પરત કરવામાં આવી શકે છે. જો કે, વાસ્તવિક જીવનમાં, સંપૂર્ણ ડુપ્લિકેટ લાઇનની જરૂર નથી અને લોકો તેમાંથી છૂટકારો મેળવવાનો પ્રયાસ કરે છે.

હવે ચાલો આ બે પ્રશ્નોના અમલીકરણ યોજનાઓની તુલના કરીએ:

1. CROSS JOIN માટે સરેરાશ અમલ સમય 195 સેકન્ડ છે:
   
2. INNER JoIN-UNION માટે સરેરાશ અમલ સમય 24 સેકન્ડ કરતાં ઓછો છે:
   

Как видно из результатов, для двух таблиц с миллионами записей оптимизированный LINQ-запрос работает в разы быстрее, чем неоптимизированный.

Для варианта с И в условиях LINQ-запрос вида:

LINQ ક્વેરી

var query = from e1 in db.Customer
                            from e2 in db.Ref
                            where (e1.Ref_ID == e2.ID)
                                 && (e1.Ref_ID2 == e2.ID2)
                            select new { Data1 = e1.Name, Data2 = e2.Name };

почти всегда будет сгенерирован правильный SQL-запрос, который будет выполняться в среднем примерно 1 сек:

Также для манипуляций LINQ to Objects вместо запроса вида:

LINQ-запрос (1-й вариант)

var query = from e1 in seq1
                            from e2 in seq2
                            where (e1.Key1==e2.Key1)
                               && (e1.Key2==e2.Key2)
                            select new { Data1 = e1.Data, Data2 = e2.Data };

можно использовать запрос вида:

LINQ-запрос (2-й вариант)

var query = from e1 in seq1
                            join e2 in seq2
                            on new { e1.Key1, e1.Key2 } equals new { e2.Key1, e2.Key2 }
                            select new { Data1 = e1.Data, Data2 = e2.Data };

ક્યાં:

Определение двух массивов

Para[] seq1 = new[] { new Para { Key1 = 1, Key2 = 2, Data = "777" }, new Para { Key1 = 2, Key2 = 3, Data = "888" }, new Para { Key1 = 3, Key2 = 4, Data = "999" } };
Para[] seq2 = new[] { new Para { Key1 = 1, Key2 = 2, Data = "777" }, new Para { Key1 = 2, Key2 = 3, Data = "888" }, new Para { Key1 = 3, Key2 = 5, Data = "999" } };

, а тип Para определяется следующим образом:

Определение типа Para

class Para
{
        public int Key1, Key2;
        public string Data;
}

Таким образом мы рассмотрели некоторые аспекты в оптимизации LINQ-запросов к MS SQL Server.

К сожалению даже опытные и ведущие .NET-разработчики забывают о том, что необходимо понимать что делают за кадром те инструкции, которые они используют. Иначе они становятся конфигураторами и могут заложить бомбу замедленного действия в будущем как при масштабировании программного решения, так и при незначительных изменениях внешних условий среды.

Также небольшой обзор проводился и અહીં.

Исходники для теста-сам проект, создание таблиц в базе данных TEST, а также наполнение данными этих таблиц находится અહીં.
આ રીપોઝીટરીમાં, પ્લાન ફોલ્ડરમાં, OR શરતો સાથે ક્વેરી ચલાવવા માટેની યોજનાઓ છે.

સોર્સ: www.habr.com