ObjectRepository - .NET ইন-মেমরি রিপোজিটরি প্যাটার্ন আপনার বাড়ির প্রকল্পের জন্য

কেন সব তথ্য মেমরিতে সংরক্ষণ করবেন?

ওয়েবসাইট বা ব্যাকএন্ড ডেটা সঞ্চয় করার জন্য, বেশিরভাগ বুদ্ধিমান মানুষের প্রথম ইচ্ছা হবে একটি SQL ডাটাবেস বেছে নেওয়া। 

কিন্তু কখনও কখনও মনে আসে যে ডেটা মডেল SQL এর জন্য উপযুক্ত নয়: উদাহরণস্বরূপ, একটি অনুসন্ধান বা সামাজিক গ্রাফ তৈরি করার সময়, আপনাকে বস্তুর মধ্যে জটিল সম্পর্ক অনুসন্ধান করতে হবে। 

সবচেয়ে খারাপ পরিস্থিতি হয় যখন আপনি একটি দলে কাজ করেন এবং একজন সহকর্মী জানেন না কিভাবে দ্রুত প্রশ্ন তৈরি করতে হয়। আপনি N+1 সমস্যার সমাধান করতে এবং অতিরিক্ত সূচী তৈরি করতে কত সময় ব্যয় করেছেন যাতে মূল পৃষ্ঠায় SELECT একটি যুক্তিসঙ্গত সময়ের মধ্যে সম্পূর্ণ হয়?

আরেকটি জনপ্রিয় পদ্ধতি হল NoSQL। বেশ কয়েক বছর আগে এই বিষয়ের চারপাশে অনেক হাইপ ছিল - যেকোনো সুবিধাজনক উপলক্ষ্যের জন্য তারা MongoDB মোতায়েন করেছিল এবং json নথির আকারে উত্তর পেয়ে খুশি ছিল (প্রসঙ্গক্রমে, নথিতে বৃত্তাকার লিঙ্কগুলির কারণে আপনাকে কতগুলি ক্রাচ ঢোকাতে হয়েছিল?).

আমি অন্য, বিকল্প পদ্ধতি চেষ্টা করার পরামর্শ দিচ্ছি - কেন অ্যাপ্লিকেশন মেমরিতে সমস্ত ডেটা সংরক্ষণ করার চেষ্টা করবেন না, পর্যায়ক্রমে এটিকে র্যান্ডম স্টোরেজে (ফাইল, রিমোট ডাটাবেস) সংরক্ষণ করবেন? 

মেমরি সস্তা হয়ে গেছে, এবং বেশিরভাগ ছোট এবং মাঝারি আকারের প্রকল্পগুলির জন্য যে কোনও সম্ভাব্য ডেটা 1 GB মেমরিতে ফিট হবে৷ (উদাহরণস্বরূপ, আমার প্রিয় হোম প্রকল্প আর্থিক ট্র্যাকার, যা দৈনিক পরিসংখ্যান এবং আমার খরচ, ব্যালেন্স, এবং দেড় বছরের লেনদেনের ইতিহাস রাখে, শুধুমাত্র 45 MB মেমরি খরচ করে।)

পেশাদাররা:

• ডেটাতে অ্যাক্সেস সহজ হয়ে যায় - আপনাকে প্রশ্ন, অলস লোডিং, ORM বৈশিষ্ট্যগুলি নিয়ে চিন্তা করতে হবে না, আপনি সাধারণ C# অবজেক্টের সাথে কাজ করেন;
• বিভিন্ন থ্রেড থেকে অ্যাক্সেস সম্পর্কিত কোন সমস্যা নেই;
• খুব দ্রুত - কোনও নেটওয়ার্ক অনুরোধ নেই, কোনও কোয়েরি ভাষায় কোডের অনুবাদ নেই, অবজেক্টের (ডি)ক্রমিককরণের প্রয়োজন নেই;
• যেকোন আকারে ডেটা সংরক্ষণ করা গ্রহণযোগ্য - তা ডিস্কের XML-এ হোক বা SQL সার্ভারে, বা Azure টেবিল স্টোরেজ-এ।

কনস:

• অনুভূমিক স্কেলিং হারিয়ে গেছে, এবং ফলস্বরূপ, শূন্য ডাউনটাইম স্থাপনা করা যাবে না;
• অ্যাপ্লিকেশন ক্র্যাশ হলে, আপনি আংশিকভাবে ডেটা হারাতে পারেন। (কিন্তু আমাদের অ্যাপ্লিকেশন কখনই ক্র্যাশ হয় না, তাই না?)

এটা কিভাবে কাজ করে?

অ্যালগরিদম নিম্নরূপ:

• শুরুতে, ডেটা স্টোরেজের সাথে একটি সংযোগ স্থাপন করা হয় এবং ডেটা লোড করা হয়;
• একটি অবজেক্ট মডেল, প্রাথমিক সূচী এবং রিলেশনাল ইনডেক্স (1:1, 1:অনেক) তৈরি করা হয়;
• অবজেক্ট প্রপার্টি (INotifyPropertyChanged) পরিবর্তনের জন্য এবং সংগ্রহে উপাদান যোগ বা অপসারণের জন্য একটি সাবস্ক্রিপশন তৈরি করা হয় (INotifyCollectionChanged);
• যখন সাবস্ক্রিপশনটি ট্রিগার করা হয়, পরিবর্তিত বস্তুটি ডেটা স্টোরেজে লেখার জন্য সারিতে যোগ করা হয়;
• স্টোরেজের পরিবর্তনগুলি পর্যায়ক্রমে (একটি টাইমারে) একটি ব্যাকগ্রাউন্ড থ্রেডে সংরক্ষণ করা হয়;
• আপনি যখন অ্যাপ্লিকেশন থেকে প্রস্থান করেন, পরিবর্তনগুলিও সঞ্চয়স্থানে সংরক্ষিত হয়৷

কোড উদাহরণ

প্রয়োজনীয় নির্ভরতা যোগ করা হচ্ছে

// Основная библиотека
Install-Package OutCode.EscapeTeams.ObjectRepository
    
// Хранилище данных, в котором будут сохраняться изменения
// Используйте то, которым будете пользоваться.
Install-Package OutCode.EscapeTeams.ObjectRepository.File
Install-Package OutCode.EscapeTeams.ObjectRepository.LiteDb
Install-Package OutCode.EscapeTeams.ObjectRepository.AzureTableStorage
    
// Опционально - если нужно хранить модель данных для Hangfire
// Install-Package OutCode.EscapeTeams.ObjectRepository.Hangfire

আমরা ডেটা মডেল বর্ণনা করি যা স্টোরেজে সংরক্ষণ করা হবে

public class ParentEntity : BaseEntity
{
    public ParentEntity(Guid id) => Id = id;
}
    
public class ChildEntity : BaseEntity
{
    public ChildEntity(Guid id) => Id = id;
    public Guid ParentId { get; set; }
    public string Value { get; set; }
}

তারপর অবজেক্ট মডেল:

public class ParentModel : ModelBase
{
    public ParentModel(ParentEntity entity)
    {
        Entity = entity;
    }
    
    public ParentModel()
    {
        Entity = new ParentEntity(Guid.NewGuid());
    }
    
    public Guid? NullableId => null;
    
    // Пример связи 1:Many
    public IEnumerable<ChildModel> Children => Multiple<ChildModel>(x => x.ParentId);
    
    protected override BaseEntity Entity { get; }
}
    
public class ChildModel : ModelBase
{
    private ChildEntity _childEntity;
    
    public ChildModel(ChildEntity entity)
    {
        _childEntity = entity;
    }
    
    public ChildModel() 
    {
        _childEntity = new ChildEntity(Guid.NewGuid());
    }
    
    public Guid ParentId
    {
        get => _childEntity.ParentId;
        set => UpdateProperty(() => _childEntity.ParentId, value);
    }
    
    public string Value
    {
        get => _childEntity.Value;
        set => UpdateProperty(() => _childEntity.Value, value
    }
    
    // Доступ с поиском по индексу
    public ParentModel Parent => Single<ParentModel>(ParentId);
    
    protected override BaseEntity Entity => _childEntity;
}

এবং অবশেষে, ডেটা অ্যাক্সেস করার জন্য সংগ্রহস্থল ক্লাস নিজেই:

public class MyObjectRepository : ObjectRepositoryBase
{
    public MyObjectRepository(IStorage storage) : base(storage, NullLogger.Instance)
    {
        IsReadOnly = true; // Для тестов, позволяет не сохранять изменения в базу
    
        AddType((ParentEntity x) => new ParentModel(x));
        AddType((ChildEntity x) => new ChildModel(x));
    
        // Если используется Hangfire и необходимо хранить модель данных для Hangfire в ObjectRepository
        // this.RegisterHangfireScheme(); 
    
        Initialize();
    }
}

একটি ObjectRepository উদাহরণ তৈরি করুন:

var memory = new MemoryStream();
var db = new LiteDatabase(memory);
var dbStorage = new LiteDbStorage(db);
    
var repository = new MyObjectRepository(dbStorage);
await repository.WaitForInitialize();

যদি প্রকল্পটি হ্যাংফায়ার ব্যবহার করবে

public void ConfigureServices(IServiceCollection services, ObjectRepository objectRepository)
{
    services.AddHangfire(s => s.UseHangfireStorage(objectRepository));
}

একটি নতুন বস্তু সন্নিবেশ করা হচ্ছে:

var newParent = new ParentModel()
repository.Add(newParent);

এই কল দিয়ে, বস্তু অভিভাবক মডেল ডাটাবেসে লেখার জন্য স্থানীয় ক্যাশে এবং সারি উভয়ই যোগ করা হয়। অতএব, এই অপারেশনটি O(1) নেয়, এবং এই বস্তুটি অবিলম্বে কাজ করা যেতে পারে।

উদাহরণস্বরূপ, রিপোজিটরিতে এই অবজেক্টটি খুঁজে বের করতে এবং প্রত্যাবর্তিত বস্তুটি একই উদাহরণ তা যাচাই করতে:

var parents = repository.Set<ParentModel>();
var myParent = parents.Find(newParent.Id);
Assert.IsTrue(ReferenceEquals(myParent, newParent));

কি হচ্ছে? সেট () প্রত্যাবর্তন টেবিল ডিকশনারি, যেটা বহন করে সমসাময়িক অভিধান এবং প্রাথমিক এবং মাধ্যমিক সূচকের অতিরিক্ত কার্যকারিতা প্রদান করে। এটি আপনাকে সমস্ত বস্তুর উপর সম্পূর্ণরূপে পুনরাবৃত্তি না করে আইডি (বা অন্যান্য নির্বিচারে ব্যবহারকারী সূচী) দ্বারা অনুসন্ধানের পদ্ধতিগুলিকে অনুমতি দেয়।

বস্তু যোগ করার সময় অবজেক্টো রিপোজিটরি তাদের বৈশিষ্ট্য পরিবর্তন করার জন্য একটি সাবস্ক্রিপশন যোগ করা হয়, তাই বৈশিষ্ট্যের কোনো পরিবর্তনের ফলে এই বস্তুটি লেখার সারিতে যোগ করা হয়। 
বাইরে থেকে বৈশিষ্ট্যগুলি আপডেট করা একটি POCO অবজেক্টের সাথে কাজ করার মতোই দেখায়:

myParent.Children.First().Property = "Updated value";

আপনি নিম্নলিখিত উপায়ে একটি বস্তু মুছে ফেলতে পারেন:

repository.Remove(myParent);
repository.RemoveRange(otherParents);
repository.Remove<ParentModel>(x => !x.Children.Any());

এটি মুছে ফেলার সারিতে বস্তুটিকে যোগ করে।

কিভাবে সঞ্চয় কাজ করে?

অবজেক্টো রিপোজিটরি যখন নিরীক্ষণ করা বস্তু পরিবর্তন হয় (হয় যোগ করা বা মুছে ফেলা, বা বৈশিষ্ট্য পরিবর্তন), একটি ঘটনা উত্থাপন করে মডেল পরিবর্তিতসদস্যতা নিয়েছে স্টোরেজ. বাস্তবায়ন স্টোরেজ যখন একটি ঘটনা ঘটে মডেল পরিবর্তিত পরিবর্তনগুলিকে 3টি সারিতে রাখা হয় - যোগ করার জন্য, আপডেট করার জন্য এবং মুছে ফেলার জন্য।

এছাড়াও বাস্তবায়ন স্টোরেজ আরম্ভ করার পরে, তারা একটি টাইমার তৈরি করে যার ফলে প্রতি 5 সেকেন্ডে পরিবর্তনগুলি সংরক্ষণ করা হয়। 

উপরন্তু, একটি সংরক্ষণ কল জোর করার জন্য একটি API আছে: ObjectRepository.Save().

প্রতিটি সংরক্ষণের আগে, অর্থহীন ক্রিয়াকলাপগুলি প্রথমে সারি থেকে সরানো হয় (উদাহরণস্বরূপ, সদৃশ ইভেন্ট - যখন একটি বস্তু দুবার পরিবর্তন করা হয় বা দ্রুত বস্তু যুক্ত/মুছে ফেলা হয়), এবং শুধুমাত্র তখনই সেভ করা হয়। 

সমস্ত ক্ষেত্রে, সমগ্র বর্তমান অবজেক্ট সংরক্ষিত হয়, তাই এটা সম্ভব যে বস্তুগুলিকে সারিতে যুক্ত করার সময় থেকে অবজেক্টের নতুন সংস্করণগুলি সহ, পরিবর্তন করা হয়েছে তার থেকে ভিন্ন ক্রমে সংরক্ষণ করা হয়েছে।

কি কি আছে?

• সমস্ত লাইব্রেরি .NET স্ট্যান্ডার্ড 2.0 এর উপর ভিত্তি করে। যেকোনো আধুনিক .NET প্রকল্পে ব্যবহার করা যেতে পারে।
• API থ্রেড নিরাপদ। অভ্যন্তরীণ সংগ্রহ উপর ভিত্তি করে বাস্তবায়িত হয় সমসাময়িক অভিধান, ইভেন্ট হ্যান্ডলারদের হয় তালা আছে বা তাদের প্রয়োজন নেই। 
  মনে রাখার মত একমাত্র জিনিস কল করা ObjectRepository.Save();
• নির্বিচারে সূচী (স্বতন্ত্রতা প্রয়োজন):

repository.Set<ChildModel>().AddIndex(x => x.Value);
repository.Set<ChildModel>().Find(x => x.Value, "myValue");

কে এটা ব্যবহার করে?

ব্যক্তিগতভাবে, আমি সমস্ত শখের প্রকল্পগুলিতে এই পদ্ধতিটি ব্যবহার করা শুরু করেছি কারণ এটি সুবিধাজনক এবং ডেটা অ্যাক্সেস লেয়ার লেখার জন্য বা ভারী অবকাঠামো স্থাপনের জন্য বড় খরচের প্রয়োজন হয় না। ব্যক্তিগতভাবে, litedb বা একটি ফাইলে ডেটা সংরক্ষণ করা সাধারণত আমার জন্য যথেষ্ট। 

কিন্তু অতীতে, যখন এখন বিলুপ্ত স্টার্টআপ EscapeTeams (আমি ভাবলাম এটা এখানে, টাকা - কিন্তু না, আবার অভিজ্ঞতা) - Azure টেবিল স্টোরেজে ডেটা সঞ্চয় করতে ব্যবহৃত হয়।

ভবিষ্যতের জন্য পরিকল্পনা

আমি এই পদ্ধতির প্রধান অসুবিধাগুলির একটি ঠিক করতে চাই - অনুভূমিক স্কেলিং। এটি করার জন্য, আপনাকে হয় বিতরণ করা লেনদেন (sic!), অথবা একটি দৃঢ়-ইচ্ছাকৃত সিদ্ধান্ত নিতে হবে যে বিভিন্ন দৃষ্টান্ত থেকে একই ডেটা পরিবর্তন করা উচিত নয়, অথবা "শেষ কে সঠিক" নীতি অনুসারে তাদের পরিবর্তন করতে দিন।

প্রযুক্তিগত দৃষ্টিকোণ থেকে, আমি নিম্নলিখিত স্কিমটি যতটা সম্ভব দেখতে পাচ্ছি:

• অবজেক্ট মডেলের পরিবর্তে ইভেন্টলগ এবং স্ন্যাপশট সংরক্ষণ করুন
• অন্যান্য দৃষ্টান্ত খুঁজুন (সেটিংসে সমস্ত দৃষ্টান্তের শেষ পয়েন্ট যোগ করুন? udp আবিষ্কার? মাস্টার/দাস?)
• RAFT এর মতো যেকোন কনসেনসাস অ্যালগরিদমের মাধ্যমে EventLog উদাহরণগুলির মধ্যে প্রতিলিপি করুন৷

আরও একটি সমস্যা রয়েছে যা আমাকে উদ্বিগ্ন করে - ক্যাসকেড মুছে ফেলা, বা অন্য অবজেক্ট থেকে লিঙ্ক রয়েছে এমন বস্তুর মুছে ফেলার ক্ষেত্রে সনাক্তকরণ। 

উত্স কোড

আপনি যদি এখানে সমস্ত পথ পড়ে থাকেন, তবে যা বাকি থাকে তা হল কোডটি পড়তে; এটি গিটহাবে পাওয়া যাবে:
https://github.com/DiverOfDark/ObjectRepository

উত্স: www.habr.com