বিশ্লেষণাত্মক প্ল্যাটফর্মে নিম্ন-কোডের প্রয়োগ

প্রিয় পাঠক, শুভ বিকাল!

শীঘ্র বা পরে ডেটা সংগ্রহ এবং বিশ্লেষণের জন্য আইটি প্ল্যাটফর্ম তৈরি করার কাজটি যে কোনও সংস্থার জন্য উদ্ভূত হয় যার ব্যবসা একটি বুদ্ধিবৃত্তিকভাবে লোড করা পরিষেবা সরবরাহের মডেল বা প্রযুক্তিগতভাবে জটিল পণ্য তৈরির উপর ভিত্তি করে। বিশ্লেষণাত্মক প্ল্যাটফর্ম তৈরি করা একটি জটিল এবং সময়সাপেক্ষ কাজ। যাইহোক, যে কোন কাজ সহজ করা যেতে পারে। এই নিবন্ধে আমি বিশ্লেষণাত্মক সমাধান তৈরি করতে সাহায্য করার জন্য লো-কোড টুল ব্যবহার করার ক্ষেত্রে আমার অভিজ্ঞতা শেয়ার করতে চাই। এই অভিজ্ঞতা নিওফ্লেক্স কোম্পানির বিগ ডেটা সলিউশন নির্দেশনায় বেশ কয়েকটি প্রকল্প বাস্তবায়নের সময় অর্জিত হয়েছিল। 2005 সাল থেকে, নিওফ্লেক্সের বিগ ডেটা সলিউশন নির্দেশিকা ডেটা গুদাম এবং হ্রদ তৈরির সমস্যাগুলি নিয়ে কাজ করছে, তথ্য প্রক্রিয়াকরণের গতিকে অপ্টিমাইজ করার সমস্যার সমাধান করছে এবং ডেটা মান ব্যবস্থাপনার জন্য একটি পদ্ধতিতে কাজ করছে।

কেউ দুর্বল এবং/অথবা দৃঢ়ভাবে কাঠামোগত ডেটার সচেতন সঞ্চয় এড়াতে সক্ষম হবে না। সম্ভবত আমরা ছোট ব্যবসা সম্পর্কে কথা বলা হয়. সর্বোপরি, একটি ব্যবসার পরিমাপ করার সময়, একজন প্রতিশ্রুতিশীল উদ্যোক্তা একটি আনুগত্য প্রোগ্রাম বিকাশের সমস্যাগুলির মুখোমুখি হবেন, বিক্রয়ের পয়েন্টগুলির কার্যকারিতা বিশ্লেষণ করতে চাইবেন, লক্ষ্যযুক্ত বিজ্ঞাপন সম্পর্কে চিন্তা করবেন এবং সাথে থাকা পণ্যগুলির চাহিদা দ্বারা বিভ্রান্ত হবেন। . প্রথম আনুমানিকভাবে, সমস্যাটি "হাঁটুতে" সমাধান করা যেতে পারে। কিন্তু ব্যবসা বাড়ার সাথে সাথে একটি বিশ্লেষণাত্মক প্ল্যাটফর্মে আসা এখনও অনিবার্য।

যাইহোক, কোন ক্ষেত্রে ডেটা অ্যানালিটিক্স কাজগুলি "রকেট সায়েন্স" ক্লাস সমস্যায় পরিণত হতে পারে? সম্ভবত এই মুহুর্তে যখন আমরা সত্যিই বড় ডেটা সম্পর্কে কথা বলছি।
রকেট সায়েন্সকে সহজ করতে, আপনি হাতির টুকরো টুকরো টুকরো করে খেতে পারেন।

আপনার অ্যাপ্লিকেশন/পরিষেবা/মাইক্রোসার্ভিসগুলি যত বেশি বিচ্ছিন্ন এবং স্বায়ত্তশাসিত হবে, আপনার, আপনার সহকর্মীদের এবং পুরো ব্যবসার জন্য হাতিটিকে হজম করা তত সহজ হবে।

DevOps টিমের প্রকৌশল অনুশীলনের উপর ভিত্তি করে ল্যান্ডস্কেপ পুনর্নির্মাণ করে আমাদের প্রায় সমস্ত ক্লায়েন্ট এই অনুমানে এসেছেন।

কিন্তু এমনকি একটি "পৃথক, হাতি" ডায়েটের সাথেও, আমাদের আইটি ল্যান্ডস্কেপের "ওভারস্যাচুরেশন" এর একটি ভাল সুযোগ রয়েছে। এই মুহুর্তে এটি থামানো, শ্বাস ফেলা এবং পাশের দিকে তাকানো মূল্যবান লো-কোড ইঞ্জিনিয়ারিং প্ল্যাটফর্ম.

লো-কোড সিস্টেমের UI ইন্টারফেসে "টেনে আনা" তীরগুলির দিকে সরাসরি কোড লেখা থেকে দূরে সরে যাওয়ার সময় অনেক বিকাশকারী তাদের কর্মজীবনের শেষ পরিণতির সম্ভাবনা দেখে ভীত। কিন্তু মেশিন টুলের আবির্ভাব প্রকৌশলীদের অন্তর্ধানের দিকে পরিচালিত করেনি, বরং তাদের কাজকে একটি নতুন স্তরে নিয়ে এসেছে!

এর কারণ খুঁজে বের করা যাক.

সরবরাহ, টেলিকম শিল্প, মিডিয়া গবেষণা, আর্থিক খাতের ক্ষেত্রে ডেটা বিশ্লেষণ সর্বদা নিম্নলিখিত প্রশ্নের সাথে যুক্ত থাকে:

• স্বয়ংক্রিয় বিশ্লেষণের গতি;
• প্রধান ডেটা উৎপাদন প্রবাহকে প্রভাবিত না করে পরীক্ষা চালানোর ক্ষমতা;
• প্রস্তুত তথ্য নির্ভরযোগ্যতা;
• ট্র্যাকিং এবং সংস্করণ পরিবর্তন করুন;
• ডেটা প্রমাণ, ডেটা বংশ, সিডিসি;
• উত্পাদন পরিবেশে নতুন বৈশিষ্ট্যগুলির দ্রুত বিতরণ;
• এবং কুখ্যাত: উন্নয়ন এবং সমর্থন খরচ.

অর্থাৎ, প্রকৌশলীদের উচ্চ-স্তরের কাজগুলির একটি বিশাল সংখ্যা রয়েছে, যা শুধুমাত্র নিম্ন-স্তরের উন্নয়নমূলক কাজগুলি সম্পর্কে তাদের চেতনা পরিষ্কার করে যথেষ্ট দক্ষতার সাথে সম্পন্ন করা যেতে পারে।

বিকাশকারীদের একটি নতুন স্তরে যাওয়ার পূর্বশর্ত ছিল ব্যবসার বিবর্তন এবং ডিজিটালাইজেশন। বিকাশকারীর মানও পরিবর্তিত হচ্ছে: বিকাশকারীদের একটি উল্লেখযোগ্য ঘাটতি রয়েছে যারা ব্যবসার স্বয়ংক্রিয় হওয়ার ধারণাগুলিতে নিজেকে নিমজ্জিত করতে পারে।

আসুন নিম্ন-স্তরের এবং উচ্চ-স্তরের প্রোগ্রামিং ভাষার সাথে একটি সাদৃশ্য আঁকুন। নিম্ন-স্তরের ভাষা থেকে উচ্চ-স্তরের ভাষাগুলির দিকে রূপান্তর হল "হার্ডওয়্যারের ভাষায় সরাসরি নির্দেশাবলী" লেখা থেকে "মানুষের ভাষায় নির্দেশাবলী" এর দিকে একটি রূপান্তর। অর্থাৎ বিমূর্ততার কিছু স্তর যোগ করা। এই ক্ষেত্রে, উচ্চ-স্তরের প্রোগ্রামিং ভাষা থেকে লো-কোড প্ল্যাটফর্মে রূপান্তর হল "মানুষের ভাষায় নির্দেশাবলী" থেকে "ব্যবসায়ের ভাষায় নির্দেশাবলী" এর দিকে একটি রূপান্তর। যদি এমন কোনও বিকাশকারী থাকে যারা এই সত্যের দ্বারা দুঃখিত হয়, তবে তারা দুঃখিত হয়েছে, সম্ভবত, জাভা স্ক্রিপ্টের জন্মের মুহূর্ত থেকে, যা অ্যারে সাজানোর ফাংশন ব্যবহার করে। এবং এই ফাংশন, অবশ্যই, একই উচ্চ-স্তরের প্রোগ্রামিং অন্যান্য মাধ্যমে ফণা অধীনে সফ্টওয়্যার বাস্তবায়ন আছে.

অতএব, লো-কোড হল বিমূর্ততার অন্য স্তরের চেহারা।

কম-কোড ব্যবহার করে অভিজ্ঞতার প্রয়োগ

লো-কোডের বিষয়টি বেশ বিস্তৃত, কিন্তু এখন আমি আমাদের একটি প্রকল্পের উদাহরণ ব্যবহার করে "লো-কোড ধারণা" এর ব্যবহারিক প্রয়োগ সম্পর্কে কথা বলতে চাই।

Neoflex-এর বিগ ডেটা সলিউশন বিভাগ ব্যবসার আর্থিক খাতে, ডেটা গুদাম এবং হ্রদ তৈরি এবং বিভিন্ন রিপোর্টিং স্বয়ংক্রিয় করার ক্ষেত্রে আরও বিশেষজ্ঞ। এই কুলুঙ্গিতে, লো-কোডের ব্যবহার দীর্ঘদিন ধরে একটি আদর্শ হয়ে উঠেছে। অন্যান্য কম-কোড সরঞ্জামগুলির মধ্যে, আমরা ইটিএল প্রক্রিয়াগুলি সংগঠিত করার জন্য সরঞ্জামগুলি উল্লেখ করতে পারি: ইনফরমেটিকা ​​পাওয়ার সেন্টার, আইবিএম ডেটাস্টেজ, পেন্টাহো ডেটা ইন্টিগ্রেশন। অথবা ওরাকল অ্যাপেক্স, যা ডেটা অ্যাক্সেস এবং সম্পাদনা করার জন্য ইন্টারফেসের দ্রুত বিকাশের পরিবেশ হিসাবে কাজ করে। যাইহোক, লো-কোড ডেভেলপমেন্ট টুলের ব্যবহার সর্বদা বিক্রেতার উপর স্পষ্ট নির্ভরতা সহ একটি বাণিজ্যিক প্রযুক্তি স্ট্যাকের উপর উচ্চ লক্ষ্যযুক্ত অ্যাপ্লিকেশন তৈরি করা জড়িত নয়।

লো-কোড প্ল্যাটফর্মগুলি ব্যবহার করে, আপনি ডেটা স্ট্রিমগুলির অর্কেস্ট্রেশন সংগঠিত করতে পারেন, ডেটা সায়েন্স প্ল্যাটফর্ম তৈরি করতে পারেন বা, উদাহরণস্বরূপ, ডেটা গুণমান পরীক্ষা করার জন্য মডিউলগুলি তৈরি করতে পারেন৷

লো-কোড ডেভেলপমেন্ট টুল ব্যবহার করার অভিজ্ঞতার একটি প্রয়োগ উদাহরণ হল Neoflex এবং Mediascope, রাশিয়ান মিডিয়া রিসার্চ মার্কেটের অন্যতম নেতার মধ্যে সহযোগিতা। এই কোম্পানির ব্যবসায়িক উদ্দেশ্যগুলির মধ্যে একটি হল ডেটা তৈরি করা যার ভিত্তিতে বিজ্ঞাপনদাতা, ইন্টারনেট প্ল্যাটফর্ম, টিভি চ্যানেল, রেডিও স্টেশন, বিজ্ঞাপন সংস্থা এবং ব্র্যান্ডগুলি বিজ্ঞাপন কেনার বিষয়ে সিদ্ধান্ত নেয় এবং তাদের বিপণন যোগাযোগের পরিকল্পনা করে।

মিডিয়া গবেষণা ব্যবসার একটি প্রযুক্তিগতভাবে লোড ক্ষেত্র। ভিডিও সিকোয়েন্সগুলি সনাক্ত করা, দেখার বিশ্লেষণ করে এমন ডিভাইসগুলি থেকে ডেটা সংগ্রহ করা, ওয়েব সংস্থানগুলিতে কার্যকলাপ পরিমাপ করা - এই সমস্ত কিছু বোঝায় যে কোম্পানির একটি বিশাল আইটি কর্মী এবং বিশ্লেষণাত্মক সমাধানগুলি তৈরিতে প্রচুর অভিজ্ঞতা রয়েছে৷ কিন্তু তথ্যের পরিমাণে সূচকীয় বৃদ্ধি, এর উৎসের সংখ্যা এবং বৈচিত্র্য আইটি ডেটা শিল্পকে ক্রমাগত উন্নতি করতে বাধ্য করে। ইতিমধ্যে কার্যকরী মিডিয়াস্কোপ বিশ্লেষণাত্মক প্ল্যাটফর্মকে স্কেল করার সবচেয়ে সহজ সমাধান হল আইটি কর্মীদের বৃদ্ধি করা। কিন্তু একটি অনেক বেশি কার্যকর সমাধান হল উন্নয়ন প্রক্রিয়াকে ত্বরান্বিত করা। এই দিকে অগ্রসর হওয়া পদক্ষেপগুলির মধ্যে একটি হতে পারে কম-কোড প্ল্যাটফর্মের ব্যবহার।

প্রকল্প শুরু হওয়ার সময়, কোম্পানির ইতিমধ্যে একটি কার্যকরী পণ্য সমাধান ছিল। যাইহোক, MSSQL-এ সমাধানের বাস্তবায়ন উন্নয়নের গ্রহণযোগ্য খরচ বজায় রেখে স্কেলিং কার্যকারিতার জন্য প্রত্যাশাগুলি সম্পূর্ণরূপে পূরণ করতে পারেনি।

আমাদের সামনে কাজটি সত্যিই উচ্চাভিলাষী ছিল - নিওফ্লেক্স এবং মিডিয়াস্কোপকে এক বছরেরও কম সময়ের মধ্যে একটি শিল্প সমাধান তৈরি করতে হয়েছিল, শুরুর তারিখের প্রথম ত্রৈমাসিকের মধ্যে এমভিপি প্রকাশের সাপেক্ষে।

লো-কোড কম্পিউটিং-এর উপর ভিত্তি করে একটি নতুন ডেটা প্ল্যাটফর্ম তৈরির ভিত্তি হিসেবে Hadoop প্রযুক্তি স্ট্যাককে বেছে নেওয়া হয়েছিল। HDFS কাঠের ফাইল ব্যবহার করে ডেটা স্টোরেজের জন্য আদর্শ হয়ে উঠেছে। প্ল্যাটফর্মে অবস্থিত ডেটা অ্যাক্সেস করতে, Hive ব্যবহার করা হয়েছিল, যেখানে সমস্ত উপলব্ধ স্টোরফ্রন্টগুলি বহিরাগত টেবিলের আকারে উপস্থাপিত হয়। কাফকা এবং অ্যাপাচি নিফাই ব্যবহার করে স্টোরেজে ডেটা লোড করা হয়েছে।

এই ধারণার লো-কোড টুলটি একটি বিশ্লেষণাত্মক প্ল্যাটফর্ম তৈরির সবচেয়ে শ্রম-নিবিড় কাজটিকে অপ্টিমাইজ করতে ব্যবহৃত হয়েছিল - ডেটা গণনার কাজ।

লো-কোড ডেটাগ্রাম টুলটিকে ডেটা ম্যাপিংয়ের প্রধান প্রক্রিয়া হিসাবে বেছে নেওয়া হয়েছিল। নিওফ্লেক্স ডেটাগ্রাম রূপান্তর এবং ডেটা প্রবাহ বিকাশের জন্য একটি হাতিয়ার।
এই টুল ব্যবহার করে, আপনি ম্যানুয়ালি স্কালা কোড না লিখেও করতে পারেন। মডেল চালিত আর্কিটেকচার পদ্ধতি ব্যবহার করে স্কালা কোড স্বয়ংক্রিয়ভাবে তৈরি হয়।

এই পদ্ধতির একটি সুস্পষ্ট সুবিধা উন্নয়ন প্রক্রিয়া গতিশীল করা হয়. যাইহোক, গতি ছাড়াও, নিম্নলিখিত সুবিধা রয়েছে:

• সোর্স/রিসিভারের বিষয়বস্তু এবং গঠন দেখা;
• পৃথক ক্ষেত্র (বংশ) ডেটা প্রবাহ বস্তুর উত্স ট্রেসিং;
• মধ্যবর্তী ফলাফল দেখার সাথে রূপান্তরের আংশিক সঞ্চালন;
• সোর্স কোড পর্যালোচনা করা এবং কার্যকর করার আগে এটি সামঞ্জস্য করা;
• রূপান্তর স্বয়ংক্রিয় বৈধতা;
• স্বয়ংক্রিয় ডেটা ডাউনলোড 1 মধ্যে 1.

ট্রান্সফর্মেশন জেনারেট করার জন্য লো-কোড সলিউশনে প্রবেশের বাধা খুবই কম: ডেভেলপারকে এসকিউএল জানতে হবে এবং ETL টুলের সাথে কাজ করার অভিজ্ঞতা থাকতে হবে। এটি উল্লেখ করার মতো যে কোড-চালিত রূপান্তর জেনারেটর শব্দের বিস্তৃত অর্থে ETL সরঞ্জাম নয়। নিম্ন-কোড সরঞ্জামগুলির নিজস্ব কোড কার্যকর করার পরিবেশ নাও থাকতে পারে। অর্থাৎ, লো-কোড সলিউশন ইনস্টল করার আগেও ক্লাস্টারে বিদ্যমান পরিবেশে জেনারেট করা কোডটি কার্যকর করা হবে। এবং এটি সম্ভবত কম-কোড কর্মের জন্য আরেকটি প্লাস। যেহেতু, একটি কম-কোড টিমের সমান্তরালে, একটি "ক্লাসিক" দল কাজ করতে পারে যা কার্যকারিতা প্রয়োগ করে, উদাহরণস্বরূপ, বিশুদ্ধ স্কালা কোডে। উৎপাদনে উভয় দল থেকে উন্নতি আনা সহজ এবং নির্বিঘ্ন হবে।

এটি সম্ভবত লক্ষণীয় যে কম-কোড ছাড়াও, নো-কোড সমাধানও রয়েছে। এবং তাদের মূলে, এইগুলি ভিন্ন জিনিস। লো-কোড ডেভেলপারকে জেনারেট করা কোডে আরও হস্তক্ষেপ করতে দেয়। ডেটাগ্রামের ক্ষেত্রে, জেনারেট করা স্কালা কোড দেখা ও সম্পাদনা করা সম্ভব; নো-কোড এমন সুযোগ নাও দিতে পারে। এই পার্থক্যটি শুধুমাত্র সমাধানের নমনীয়তার ক্ষেত্রেই নয়, ডেটা ইঞ্জিনিয়ারদের কাজের স্বাচ্ছন্দ্য এবং অনুপ্রেরণার ক্ষেত্রেও অত্যন্ত তাৎপর্যপূর্ণ।

সমাধান আর্কিটেকচার

আসুন জেনে নেওয়ার চেষ্টা করি যে কীভাবে একটি কম-কোড টুল ডেটা গণনার কার্যকারিতা বিকাশের গতিকে অপ্টিমাইজ করার সমস্যার সমাধান করতে সহায়তা করে। প্রথমে, আসুন সিস্টেমের কার্যকরী আর্কিটেকচারটি দেখি। এই ক্ষেত্রে একটি উদাহরণ মিডিয়া গবেষণার জন্য ডেটা উত্পাদন মডেল।

আমাদের ক্ষেত্রে ডেটা উত্সগুলি খুব ভিন্ন এবং বৈচিত্র্যময়:

• পিপল মিটার (টিভি মিটার) হল সফ্টওয়্যার এবং হার্ডওয়্যার ডিভাইস যা টেলিভিশন প্যানেল উত্তরদাতাদের কাছ থেকে ব্যবহারকারীর আচরণ পড়ে - কে, কখন এবং কী টিভি চ্যানেল এই সমীক্ষায় অংশগ্রহণ করছে পরিবারের মধ্যে দেখা হয়েছে। সরবরাহকৃত তথ্য মিডিয়া প্যাকেজ এবং মিডিয়া পণ্যের সাথে যুক্ত সম্প্রচার দেখার বিরতির একটি প্রবাহ। ডেটা লেকে লোড করার পর্যায়ে ডেটা ডেমোগ্রাফিক অ্যাট্রিবিউট, জিওস্ট্র্যাটিফিকেশন, টাইম জোন এবং একটি নির্দিষ্ট মিডিয়া পণ্যের টেলিভিশন দেখার বিশ্লেষণের জন্য প্রয়োজনীয় অন্যান্য তথ্য দিয়ে সমৃদ্ধ করা যেতে পারে। গৃহীত পরিমাপ বিজ্ঞাপন প্রচারাভিযান বিশ্লেষণ বা পরিকল্পনা করতে, দর্শকদের কার্যকলাপ এবং পছন্দগুলি মূল্যায়ন করতে এবং সম্প্রচার নেটওয়ার্ক সংকলন করতে ব্যবহার করা যেতে পারে;
• টেলিভিশন সম্প্রচার স্ট্রিমিং এবং ইন্টারনেটে ভিডিও রিসোর্স বিষয়বস্তু দেখার পরিমাপ করার জন্য মনিটরিং সিস্টেম থেকে ডেটা আসতে পারে;
• সাইট-কেন্দ্রিক এবং ব্যবহারকারী-কেন্দ্রিক উভয় মিটার সহ ওয়েব পরিবেশে পরিমাপের সরঞ্জাম। ডেটা লেকের জন্য ডেটা প্রদানকারী একটি গবেষণা বার ব্রাউজার অ্যাড-অন এবং একটি অন্তর্নির্মিত VPN সহ একটি মোবাইল অ্যাপ্লিকেশন হতে পারে৷
• অনলাইন প্রশ্নাবলী পূরণের ফলাফল এবং কোম্পানির সমীক্ষায় টেলিফোন সাক্ষাৎকারের ফলাফল একত্রিত করে এমন সাইটগুলি থেকেও ডেটা আসতে পারে;
• অংশীদার কোম্পানির লগ থেকে তথ্য ডাউনলোড করে ডেটা লেকের অতিরিক্ত সমৃদ্ধি ঘটতে পারে।

সোর্স সিস্টেম থেকে কাঁচা ডেটার প্রাথমিক পর্যায়ে লোড হচ্ছে এর বাস্তবায়ন বিভিন্ন উপায়ে সংগঠিত হতে পারে। যদি এই উদ্দেশ্যে লো-কোড ব্যবহার করা হয়, মেটাডেটা ভিত্তিক লোডিং স্ক্রিপ্টগুলির স্বয়ংক্রিয় প্রজন্ম সম্ভব। এই ক্ষেত্রে, ম্যাপিং লক্ষ্য করার জন্য উন্নয়নশীল উত্সের স্তরে যাওয়ার দরকার নেই। স্বয়ংক্রিয় লোডিং বাস্তবায়নের জন্য, আমাদের উত্সের সাথে একটি সংযোগ স্থাপন করতে হবে এবং তারপর লোডিং ইন্টারফেসে লোড করা সত্তার তালিকা নির্ধারণ করতে হবে। এইচডিএফএস-এর ডিরেক্টরি কাঠামো স্বয়ংক্রিয়ভাবে তৈরি হবে এবং উৎস সিস্টেমে ডেটা স্টোরেজ কাঠামোর সাথে মিল থাকবে।

যাইহোক, এই প্রকল্পের পরিপ্রেক্ষিতে, আমরা লো-কোড প্ল্যাটফর্মের এই বৈশিষ্ট্যটি ব্যবহার না করার সিদ্ধান্ত নিয়েছি কারণ মিডিয়াস্কোপ কোম্পানি ইতিমধ্যেই Nifi + Kafka সংমিশ্রণ ব্যবহার করে একটি অনুরূপ পরিষেবা তৈরি করার জন্য স্বাধীনভাবে কাজ শুরু করেছে।

এটি অবিলম্বে ইঙ্গিত করা মূল্যবান যে এই সরঞ্জামগুলি বিনিময়যোগ্য নয়, বরং পরিপূরক। নিফি এবং কাফকা সরাসরি (নিফি -> কাফকা) এবং বিপরীত (কাফকা -> নিফি) সংযোগে উভয়ই কাজ করতে সক্ষম। মিডিয়া গবেষণা প্ল্যাটফর্মের জন্য, বান্ডেলের প্রথম সংস্করণ ব্যবহার করা হয়েছিল।

আমাদের ক্ষেত্রে, NayFi-এর সোর্স সিস্টেম থেকে বিভিন্ন ধরনের ডেটা প্রসেস করে কাফকা ব্রোকারের কাছে পাঠানোর প্রয়োজন ছিল। এই ক্ষেত্রে, PublishKafka Nifi প্রসেসর ব্যবহার করে একটি নির্দিষ্ট কাফকা বিষয়ে বার্তা পাঠানো হয়েছিল। এই পাইপলাইনগুলির অর্কেস্ট্রেশন এবং রক্ষণাবেক্ষণ একটি ভিজ্যুয়াল ইন্টারফেসে বাহিত হয়। নিফি টুল এবং নিফি + কাফকা সংমিশ্রণের ব্যবহারকে ডেভেলপমেন্টের জন্য একটি লো-কোড পদ্ধতিও বলা যেতে পারে, যা বিগ ডেটা প্রযুক্তিতে প্রবেশে কম বাধা দেয় এবং অ্যাপ্লিকেশন ডেভেলপমেন্ট প্রক্রিয়াকে দ্রুততর করে।

প্রকল্প বাস্তবায়নের পরবর্তী পর্যায়টি ছিল একটি একক শব্দার্থিক স্তর বিন্যাসে বিস্তারিত তথ্য আনা। যদি একটি সত্তার ঐতিহাসিক বৈশিষ্ট্য থাকে, তাহলে গণনাটি প্রশ্নে বিভাজনের প্রসঙ্গে সঞ্চালিত হয়। যদি সত্তাটি ঐতিহাসিক না হয়, তবে বস্তুর সম্পূর্ণ বিষয়বস্তু পুনরায় গণনা করা ঐচ্ছিকভাবে সম্ভব, অথবা সম্পূর্ণরূপে এই বস্তুটি পুনরায় গণনা করতে অস্বীকার করা (পরিবর্তনের অভাবের কারণে)। এই পর্যায়ে, সমস্ত সত্তার জন্য কী তৈরি করা হয়। কীগুলি মাস্টার অবজেক্টের সাথে সম্পর্কিত Hbase ডিরেক্টরিতে সংরক্ষিত হয়, যা বিশ্লেষণাত্মক প্ল্যাটফর্মের কী এবং উত্স সিস্টেমের কীগুলির মধ্যে একটি চিঠিপত্র ধারণ করে। পারমাণবিক সত্তার একত্রীকরণ বিশ্লেষণাত্মক তথ্যের প্রাথমিক গণনার ফলাফলের সাথে সমৃদ্ধকরণের সাথে থাকে। ডেটা গণনার কাঠামো ছিল স্পার্ক। একটি একক শব্দার্থবিদ্যায় ডেটা আনার জন্য বর্ণিত কার্যকারিতাও কম-কোড ডেটাগ্রাম টুল থেকে ম্যাপিংয়ের উপর ভিত্তি করে প্রয়োগ করা হয়েছিল।

টার্গেট আর্কিটেকচারের জন্য ব্যবসায়িক ব্যবহারকারীদের জন্য ডেটাতে SQL অ্যাক্সেস প্রয়োজন। এই বিকল্পের জন্য Hive ব্যবহার করা হয়েছিল। আপনি যখন কম-কোড টুলে "রেজিস্টার হাইভ টেবিল" বিকল্পটি সক্ষম করেন তখন অবজেক্টগুলি স্বয়ংক্রিয়ভাবে হাইভে নিবন্ধিত হয়।

গণনা প্রবাহ নিয়ন্ত্রণ

ওয়ার্কফ্লো ফ্লো ডিজাইন তৈরি করার জন্য ডেটাগ্রামের একটি ইন্টারফেস রয়েছে। Oozie সময়সূচী ব্যবহার করে ম্যাপিং চালু করা যেতে পারে। স্ট্রীম ডেভেলপার ইন্টারফেসে, সমান্তরাল, ক্রমিক, বা এক্সিকিউশন-নির্ভর ডেটা রূপান্তরের জন্য স্কিম তৈরি করা সম্ভব। শেল স্ক্রিপ্ট এবং জাভা প্রোগ্রামের জন্য সমর্থন আছে। অ্যাপাচি লিভি সার্ভার ব্যবহার করাও সম্ভব। Apache Livy সরাসরি উন্নয়ন পরিবেশ থেকে অ্যাপ্লিকেশন চালানোর জন্য ব্যবহৃত হয়।

যদি কোম্পানির ইতিমধ্যেই নিজস্ব প্রসেস অর্কেস্ট্রেটর থাকে, তাহলে বিদ্যমান প্রবাহে ম্যাপিং এম্বেড করতে REST API ব্যবহার করা সম্ভব। উদাহরণস্বরূপ, PLSQL এবং Kotlin-এ লেখা অর্কেস্ট্রেটরগুলিতে স্কালাতে ম্যাপিংগুলি এম্বেড করার আমাদের বেশ সফল অভিজ্ঞতা ছিল৷ লো-কোড টুলের REST API-এ ম্যাপিং ডিজাইনের উপর ভিত্তি করে একটি এক্সিকিউটেবল ইয়ার তৈরি করা, ম্যাপিং কল করা, ম্যাপিংয়ের একটি সিকোয়েন্স কল করা এবং অবশ্যই ম্যাপিং চালানোর জন্য ইউআরএলে প্যারামিটার পাঠানোর মতো ক্রিয়াকলাপগুলি অন্তর্ভুক্ত করে।

ওজির পাশাপাশি, এয়ারফ্লো ব্যবহার করে একটি গণনা প্রবাহ সংগঠিত করা সম্ভব। সম্ভবত আমি ওজি এবং এয়ারফ্লো-এর মধ্যে তুলনা করার বিষয়ে বেশিক্ষণ থাকব না, তবে সহজভাবে বলব যে একটি মিডিয়া গবেষণা প্রকল্পে কাজের প্রসঙ্গে, পছন্দটি এয়ারফ্লো-এর পক্ষে পড়েছিল। এই সময়ের প্রধান যুক্তিগুলি ছিল একটি আরও সক্রিয় সম্প্রদায় যা পণ্য বিকাশ করছে এবং একটি আরও উন্নত ইন্টারফেস + API।

বায়ুপ্রবাহও ভাল কারণ এটি গণনা প্রক্রিয়া বর্ণনা করতে প্রিয় পাইথন ব্যবহার করে। এবং সাধারণভাবে, এতগুলি ওপেন সোর্স ওয়ার্কফ্লো ম্যানেজমেন্ট প্ল্যাটফর্ম নেই। প্রসেস (একটি গ্যান্ট চার্ট সহ) সঞ্চালন চালু করা এবং পর্যবেক্ষণ করা শুধুমাত্র এয়ারফ্লো-এর কর্মে পয়েন্ট যোগ করে।

কম-কোড সমাধান ম্যাপিং চালু করার জন্য কনফিগারেশন ফাইল বিন্যাস স্পার্ক-সাবমিট হয়ে গেছে। এটি দুটি কারণে ঘটেছে। প্রথমত, স্পার্ক-সাবমিট আপনাকে কনসোল থেকে সরাসরি একটি জার ফাইল চালানোর অনুমতি দেয়। দ্বিতীয়ত, এতে ওয়ার্কফ্লো কনফিগার করার জন্য প্রয়োজনীয় সমস্ত তথ্য থাকতে পারে (যা Dag তৈরি করে এমন স্ক্রিপ্ট লেখা সহজ করে)।
আমাদের ক্ষেত্রে এয়ারফ্লো ওয়ার্কফ্লো সবচেয়ে সাধারণ উপাদান ছিল SparkSubmitOperator.

SparkSubmitOperator আপনাকে জারগুলি চালানোর অনুমতি দেয় - প্যাকেজ করা ডেটাগ্রাম ম্যাপিংগুলি তাদের জন্য প্রাক-উত্পন্ন ইনপুট পরামিতি সহ।

এটি উল্লেখ করার মতো যে প্রতিটি এয়ারফ্লো টাস্ক একটি পৃথক থ্রেডে চলে এবং অন্যান্য কাজ সম্পর্কে কিছুই জানে না। অতএব, কাজগুলির মধ্যে মিথস্ক্রিয়া নিয়ন্ত্রণ অপারেটর ব্যবহার করে সঞ্চালিত হয়, যেমন DummyOperator বা BranchPythonOperator।

একসাথে নেওয়া, কনফিগারেশন ফাইলের সার্বজনীনকরণের সাথে একত্রে ডেটাগ্রাম লো-কোড সমাধানের ব্যবহার (ড্যাগ গঠন) ডেটা লোডিং প্রবাহের বিকাশের প্রক্রিয়াটিকে একটি উল্লেখযোগ্য ত্বরণ এবং সরলীকরণের দিকে পরিচালিত করে।

হিসাব দেখান

বিশ্লেষণাত্মক তথ্য উৎপাদনে সম্ভবত সবচেয়ে বুদ্ধিবৃত্তিকভাবে লোড করা পর্যায় হল শোকেস নির্মাণের ধাপ। গবেষণা সংস্থার ডেটা গণনা প্রবাহের একটির পরিপ্রেক্ষিতে, এই পর্যায়ে, ডেটা একটি রেফারেন্স সম্প্রচারে হ্রাস করা হয়, সময় অঞ্চলগুলির জন্য অ্যাকাউন্ট সংশোধন করে এবং সম্প্রচার গ্রিডের সাথে লিঙ্ক করা হয়। স্থানীয় সম্প্রচার নেটওয়ার্ক (স্থানীয় সংবাদ এবং বিজ্ঞাপন) এর জন্য সামঞ্জস্য করাও সম্ভব। অন্যান্য জিনিসগুলির মধ্যে, এই পদক্ষেপটি দেখার বিরতির বিশ্লেষণের উপর ভিত্তি করে মিডিয়া পণ্যগুলির ক্রমাগত দেখার ব্যবধানগুলিকে ভেঙে দেয়। অবিলম্বে, দেখার মানগুলি তাদের তাত্পর্য (একটি সংশোধন ফ্যাক্টরের গণনা) সম্পর্কে তথ্যের উপর ভিত্তি করে "ভারিত" হয়।

শোকেস প্রস্তুত করার একটি পৃথক পদক্ষেপ হল ডেটা যাচাইকরণ। বৈধকরণ অ্যালগরিদম গাণিতিক বিজ্ঞান মডেলের একটি সংখ্যা ব্যবহার জড়িত. যাইহোক, একটি কম-কোড প্ল্যাটফর্মের ব্যবহার আপনাকে একটি জটিল অ্যালগরিদমকে বেশ কয়েকটি পৃথক দৃশ্যত পঠনযোগ্য ম্যাপিংয়ে ভাঙতে দেয়। প্রতিটি ম্যাপিং একটি সংকীর্ণ কাজ করে। ফলস্বরূপ, মধ্যবর্তী ডিবাগিং, লগিং এবং ডেটা প্রস্তুতি পর্যায়ের ভিজ্যুয়ালাইজেশন সম্ভব।

বৈধকরণ অ্যালগরিদমকে নিম্নোক্ত সাবস্টেজে আলাদা করার সিদ্ধান্ত নেওয়া হয়েছিল:

• 60 দিনের জন্য অঞ্চলের সমস্ত নেটওয়ার্ক দেখার সাথে একটি অঞ্চলে টিভি নেটওয়ার্ক দেখার নির্ভরতা তৈরি করা।
• সমস্ত রিগ্রেশন পয়েন্টের জন্য এবং গণনা করা দিনের জন্য স্টুডেন্টাইজড অবশিষ্টাংশের গণনা (রিগ্রেশন মডেল দ্বারা ভবিষ্যদ্বাণী করা থেকে প্রকৃত মানের বিচ্যুতি)।
• অস্বাভাবিক অঞ্চল-নেটওয়ার্ক জোড়ার একটি নির্বাচন, যেখানে নিষ্পত্তি দিবসের ছাত্র ভারসাম্য আদর্শকে ছাড়িয়ে যায় (অপারেশন সেটিংস দ্বারা নির্দিষ্ট)।
• এই অঞ্চলে নেটওয়ার্ক দেখেছেন এমন প্রতিটি উত্তরদাতার জন্য অস্বাভাবিক অঞ্চল-টিভি নেটওয়ার্ক জোড়ার জন্য সংশোধন করা ছাত্রকৃত অবশিষ্টাংশের পুনঃগণনা, নমুনা থেকে এই উত্তরদাতাকে দেখার সময় বাদ দেওয়ার সময় এই উত্তরদাতার অবদান (ছাত্রীকৃত অবশিষ্টাংশে পরিবর্তনের পরিমাণ) নির্ধারণ করে .
• এমন প্রার্থীদের জন্য অনুসন্ধান করুন যাদের বাদ দেওয়া বেতন-দিবসের স্টুডেন্টাইজড ব্যালেন্সকে স্বাভাবিক অবস্থায় ফিরিয়ে আনে।

উপরের উদাহরণটি এই অনুমানটিকে নিশ্চিত করে যে একজন ডেটা ইঞ্জিনিয়ারের মনে ইতিমধ্যেই অনেক বেশি কিছু আছে... এবং, এটি যদি সত্যিই একজন "ইঞ্জিনিয়ার" হয় এবং "কোডার" না হয় তবে নিম্ন-কোড সরঞ্জামগুলি ব্যবহার করার সময় পেশাদার অবনতির ভয় অবশেষে পিছু হটতে হবে।

লো-কোড আর কি করতে পারে?

স্কালাতে ম্যানুয়ালি কোড লেখার প্রয়োজন ছাড়াই ব্যাচ এবং স্ট্রিম ডেটা প্রসেসিংয়ের জন্য একটি লো-কোড টুলের প্রয়োগের সুযোগ সেখানে শেষ হয় না।

ডেটালেকের বিকাশে লো-কোডের ব্যবহার ইতিমধ্যে আমাদের জন্য একটি মান হয়ে উঠেছে। আমরা সম্ভবত বলতে পারি যে Hadoop স্ট্যাকের উপর ভিত্তি করে সমাধানগুলি RDBMS-এর উপর ভিত্তি করে ক্লাসিক DWH-এর বিকাশের পথ অনুসরণ করে। Hadoop স্ট্যাকের নিম্ন-কোড সরঞ্জামগুলি ডেটা প্রক্রিয়াকরণের কাজ এবং চূড়ান্ত BI ইন্টারফেস তৈরির কাজ উভয়ই সমাধান করতে পারে। অধিকন্তু, এটি লক্ষ করা উচিত যে BI বলতে কেবল ডেটার উপস্থাপনা নয়, ব্যবসায়িক ব্যবহারকারীদের দ্বারা এর সম্পাদনাও হতে পারে। আর্থিক খাতের জন্য বিশ্লেষণাত্মক প্ল্যাটফর্ম তৈরি করার সময় আমরা প্রায়ই এই কার্যকারিতা ব্যবহার করি।

অন্যান্য জিনিসের মধ্যে, লো-কোড এবং বিশেষ করে, ডেটাগ্রাম ব্যবহার করে, পৃথক ক্ষেত্রগুলিতে (বংশ) পরমাণু সহ ডেটা স্ট্রিম অবজেক্টের উত্স ট্র্যাক করার সমস্যার সমাধান করা সম্ভব। এটি করার জন্য, লো-কোড টুলটি অ্যাপাচি অ্যাটলাস এবং ক্লাউডেরা নেভিগেটরের সাথে ইন্টারফেস প্রয়োগ করে। মূলত, ডেভেলপারকে অ্যাটলাস অভিধানে বস্তুর একটি সেট নিবন্ধন করতে হবে এবং ম্যাপিং তৈরি করার সময় নিবন্ধিত বস্তুর উল্লেখ করতে হবে। ডেটার উত্স ট্র্যাক করার পদ্ধতি বা বস্তুর নির্ভরতা বিশ্লেষণ করার পদ্ধতি অনেক সময় সাশ্রয় করে যখন গণনা অ্যালগরিদমগুলিতে উন্নতি করা প্রয়োজন। উদাহরণস্বরূপ, আর্থিক বিবৃতি প্রস্তুত করার সময়, এই বৈশিষ্ট্যটি আপনাকে আইনী পরিবর্তনের সময়কাল আরও আরামদায়কভাবে বেঁচে থাকার অনুমতি দেয়। সর্বোপরি, আমরা একটি বিশদ স্তরের বস্তুর প্রেক্ষাপটে আন্তঃ-ফর্ম নির্ভরতা যত ভালভাবে বুঝতে পারব, তত কম আমরা "আকস্মিক" ত্রুটিগুলির সম্মুখীন হব এবং পুনর্নির্মাণের সংখ্যা কমিয়ে ফেলব।

ডেটা গুণমান এবং নিম্ন-কোড

মিডিয়াস্কোপ প্রকল্পে লো-কোড টুল দ্বারা বাস্তবায়িত আরেকটি কাজ ছিল ডেটা কোয়ালিটি ক্লাস টাস্ক। গবেষণা কোম্পানি প্রকল্পের জন্য ডেটা যাচাইকরণ পাইপলাইন বাস্তবায়নের একটি বিশেষ বৈশিষ্ট্য ছিল প্রধান ডেটা গণনা প্রবাহের কর্মক্ষমতা এবং গতির উপর প্রভাবের অভাব। স্বাধীন ডেটা যাচাইকরণ প্রবাহকে অর্কেস্ট্রেট করতে সক্ষম হওয়ার জন্য, ইতিমধ্যে পরিচিত অ্যাপাচি এয়ারফ্লো ব্যবহার করা হয়েছিল। ডেটা উৎপাদনের প্রতিটি ধাপ প্রস্তুত হওয়ায়, DQ পাইপলাইনের একটি পৃথক অংশ সমান্তরালভাবে চালু করা হয়েছিল।

বিশ্লেষণাত্মক প্ল্যাটফর্মে এটির সূচনার মুহূর্ত থেকে ডেটার গুণমান নিরীক্ষণ করা ভাল অনুশীলন হিসাবে বিবেচিত হয়। মেটাডেটা সম্পর্কে তথ্য থাকার ফলে, তথ্য প্রাথমিক স্তরে প্রবেশ করার মুহূর্ত থেকে আমরা প্রাথমিক শর্তগুলির সাথে সম্মতি পরীক্ষা করতে পারি - শূন্য, সীমাবদ্ধতা, বিদেশী কী নয়। এই কার্যকারিতা ডাটাগ্রামে ডাটা কোয়ালিটি ফ্যামিলির স্বয়ংক্রিয়ভাবে তৈরি হওয়া ম্যাপিংয়ের উপর ভিত্তি করে প্রয়োগ করা হয়। এই ক্ষেত্রে কোড জেনারেশন মডেল মেটাডেটার উপর ভিত্তি করে। মিডিয়াস্কোপ প্রকল্পে, ইন্টারফেসটি এন্টারপ্রাইজ আর্কিটেক্ট পণ্যের মেটাডেটা দিয়ে পরিচালিত হয়েছিল।

এন্টারপ্রাইজ আর্কিটেক্টের সাথে লো-কোড টুল পেয়ার করার মাধ্যমে, নিম্নলিখিত চেকগুলি স্বয়ংক্রিয়ভাবে তৈরি হয়েছিল:

• "নাল নয়" সংশোধক সহ ক্ষেত্রগুলিতে "নাল" মানগুলির উপস্থিতি পরীক্ষা করা হচ্ছে;
• প্রাথমিক কী এর সদৃশ উপস্থিতি পরীক্ষা করা হচ্ছে;
• একটি সত্তার বিদেশী কী চেক করা হচ্ছে;
• ক্ষেত্রগুলির একটি সেটের উপর ভিত্তি করে একটি স্ট্রিংয়ের স্বতন্ত্রতা পরীক্ষা করা হচ্ছে।

ডেটা প্রাপ্যতা এবং নির্ভরযোগ্যতার আরও জটিল চেকের জন্য, স্কালা এক্সপ্রেশনের সাথে একটি ম্যাপিং তৈরি করা হয়েছিল, যা জেপেলিনের বিশ্লেষকদের দ্বারা প্রস্তুত করা একটি বাহ্যিক স্পার্ক SQL চেক কোড ইনপুট হিসাবে নেয়।

অবশ্যই, চেকগুলির স্বয়ংক্রিয় প্রজন্ম ধীরে ধীরে অর্জন করতে হবে। বর্ণিত প্রকল্পের কাঠামোর মধ্যে, এটি নিম্নলিখিত পদক্ষেপগুলি দ্বারা পূর্বে ছিল:

• জেপেলিন নোটবুকে DQ প্রয়োগ করা হয়েছে;
• DQ ম্যাপিং-এ নির্মিত;
• একটি পৃথক সত্তার জন্য চেকের একটি সম্পূর্ণ সেট ধারণকারী পৃথক বিশাল ম্যাপিংয়ের আকারে DQ;
• ইউনিভার্সাল প্যারামিটারাইজড ডিকিউ ম্যাপিং যা ইনপুট হিসাবে মেটাডেটা এবং ব্যবসায়িক চেক সম্পর্কে তথ্য গ্রহণ করে।

সম্ভবত একটি প্যারামিটারাইজড চেক পরিষেবা তৈরি করার প্রধান সুবিধা হল উত্পাদন পরিবেশে কার্যকারিতা সরবরাহ করতে যে সময় লাগে তা হ্রাস করা। নতুন মানের পরীক্ষাগুলি বিকাশ এবং পরীক্ষার পরিবেশের মাধ্যমে পরোক্ষভাবে কোড সরবরাহের ক্লাসিক প্যাটার্নকে বাইপাস করতে পারে:

• EA-তে মডেল পরিবর্তন করা হলে সমস্ত মেটাডেটা চেক স্বয়ংক্রিয়ভাবে তৈরি হয়;
• ডেটা প্রাপ্যতা চেক (সময়ে কোনো ডেটার উপস্থিতি নির্ধারণ) এমন একটি ডিরেক্টরির উপর ভিত্তি করে তৈরি করা যেতে পারে যা বস্তুর প্রেক্ষাপটে ডেটার পরবর্তী অংশের উপস্থিতির প্রত্যাশিত সময় সংরক্ষণ করে;
• জেপেলিন নোটবুকের মধ্যে বিশ্লেষকদের দ্বারা ব্যবসার তথ্য যাচাইকরণ পরীক্ষা তৈরি করা হয়। সেখান থেকে সরাসরি উৎপাদন পরিবেশে DQ মডিউল সেটআপ টেবিলে পাঠানো হয়।

উৎপাদনে সরাসরি স্ক্রিপ্ট পাঠানোর কোন ঝুঁকি নেই। এমনকি একটি সিনট্যাক্স ত্রুটির সাথেও, সর্বাধিক যেটি আমাদের হুমকি দেয় তা হল একটি পরীক্ষা করতে ব্যর্থ হওয়া, কারণ ডেটা গণনা প্রবাহ এবং গুণমান পরীক্ষা লঞ্চ প্রবাহ একে অপরের থেকে আলাদা।

মোটকথা, DQ পরিষেবাটি উত্পাদন পরিবেশে স্থায়ীভাবে চলছে এবং পরবর্তী ডেটা উপস্থিত হওয়ার মুহুর্তে এটি কাজ শুরু করতে প্রস্তুত।

পরিবর্তে একটি উপসংহারের

লো-কোড ব্যবহারের সুবিধা সুস্পষ্ট। বিকাশকারীদের স্ক্র্যাচ থেকে অ্যাপ্লিকেশনটি বিকাশ করার দরকার নেই। এবং অতিরিক্ত কাজ থেকে মুক্ত একজন প্রোগ্রামার দ্রুত ফলাফল তৈরি করে। গতি, ঘুরে, অপ্টিমাইজেশান সমস্যা সমাধানের জন্য অতিরিক্ত সময় খালি করে। অতএব, এই ক্ষেত্রে, আপনি একটি ভাল এবং দ্রুত সমাধান উপর নির্ভর করতে পারেন।

অবশ্যই, লো-কোড একটি প্যানেসিয়া নয়, এবং যাদু নিজেই ঘটবে না:

• নিম্ন-কোড শিল্প একটি "শক্তিশালী হচ্ছে" পর্যায়ে যাচ্ছে, এবং এখনও কোন অভিন্ন শিল্প মান নেই;
• অনেক কম-কোড সমাধান বিনামূল্যে নয়, এবং সেগুলি ক্রয় করা একটি সচেতন পদক্ষেপ হওয়া উচিত, যা সেগুলি ব্যবহারের আর্থিক সুবিধার উপর পূর্ণ আত্মবিশ্বাসের সাথে করা উচিত;
• অনেক কম-কোড সমাধান সবসময় GIT/SVN এর সাথে ভাল কাজ করে না। অথবা জেনারেট করা কোড লুকানো থাকলে ব্যবহার করতে অসুবিধা হয়;
• আর্কিটেকচারটি প্রসারিত করার সময়, নিম্ন-কোড সমাধানটি পরিমার্জন করার প্রয়োজন হতে পারে - যা, ফলস্বরূপ, কম-কোড সমাধান সরবরাহকারীর উপর "সংযুক্তি এবং নির্ভরতা" এর প্রভাবকে উস্কে দেয়।
• একটি পর্যাপ্ত স্তরের নিরাপত্তা সম্ভব, তবে এটি খুবই শ্রম-নিবিড় এবং কম-কোড সিস্টেম ইঞ্জিনগুলিতে প্রয়োগ করা কঠিন। লো-কোড প্ল্যাটফর্মগুলি শুধুমাত্র তাদের ব্যবহার থেকে সুবিধা চাওয়ার নীতিতে নয়। নির্বাচন করার সময়, সংস্থার সম্পূর্ণ আইটি ল্যান্ডস্কেপের স্তরে অ্যাক্সেস নিয়ন্ত্রণ এবং অর্পণ/শনাক্তকরণ ডেটার বৃদ্ধির জন্য কার্যকারিতার প্রাপ্যতা সম্পর্কে প্রশ্ন জিজ্ঞাসা করা মূল্যবান।

যাইহোক, যদি নির্বাচিত সিস্টেমের সমস্ত ত্রুটিগুলি আপনার কাছে পরিচিত হয় এবং এর ব্যবহারের সুবিধাগুলি, তবুও, প্রভাবশালী সংখ্যাগরিষ্ঠের মধ্যে থাকে, তবে ভয় ছাড়াই ছোট কোডে এগিয়ে যান। তদুপরি, এটিতে উত্তরণ অনিবার্য - যেমন কোনও বিবর্তন অনিবার্য।

লো-কোড প্ল্যাটফর্মে একজন ডেভেলপার যদি কম-কোড ছাড়াই দুইজন ডেভেলপারের চেয়ে দ্রুত তার কাজ করে, তাহলে এটি কোম্পানিকে সব দিক থেকে একটি প্রধান সূচনা দেয়। লো-কোড সমাধানে প্রবেশের থ্রেশহোল্ড "প্রথাগত" প্রযুক্তির তুলনায় কম, এবং এটি কর্মীদের ঘাটতির বিষয়ে ইতিবাচক প্রভাব ফেলে। কম-কোড সরঞ্জামগুলি ব্যবহার করার সময়, কার্যকরী দলগুলির মধ্যে মিথস্ক্রিয়া দ্রুত করা এবং ডেটা বিজ্ঞান গবেষণার নির্বাচিত পথের সঠিকতা সম্পর্কে দ্রুত সিদ্ধান্ত নেওয়া সম্ভব। নিম্ন-স্তরের প্ল্যাটফর্মগুলি একটি প্রতিষ্ঠানের ডিজিটাল রূপান্তরকে চালিত করতে পারে কারণ উত্পাদিত সমাধানগুলি অ-প্রযুক্তিগত বিশেষজ্ঞরা (বিশেষত ব্যবসায়িক ব্যবহারকারী) দ্বারা বোঝা যায়।

আপনার যদি কঠোর সময়সীমা, লোড ব্যবসায়িক যুক্তি, প্রযুক্তিগত দক্ষতার অভাব থাকে এবং আপনার বাজারের জন্য আপনার সময়কে গতি বাড়াতে হয়, তাহলে লো-কোড আপনার প্রয়োজন মেটানোর এক উপায়।

ঐতিহ্যগত উন্নয়ন সরঞ্জামগুলির গুরুত্ব অস্বীকার করার কোন উপায় নেই, তবে অনেক ক্ষেত্রে, কম-কোড সমাধান ব্যবহার করা হল সমাধান করা কাজগুলির দক্ষতা বাড়ানোর সর্বোত্তম উপায়।

উত্স: www.habr.com