বিগ ডেটার যুগের পতন

অনেক বিদেশী লেখক একমত যে বিগ ডেটার যুগ শেষ হয়ে গেছে। এবং এই ক্ষেত্রে, বিগ ডেটা শব্দটি হ্যাডুপের উপর ভিত্তি করে প্রযুক্তিগুলিকে বোঝায়। অনেক লেখক এমনকি আত্মবিশ্বাসের সাথে সেই তারিখের নাম দিতে পারেন যখন বিগ ডেটা এই পৃথিবী ছেড়ে চলে গেছে এবং এই তারিখটি 05.06.2019/XNUMX/XNUMX।

কী ঘটেছিল এই গুরুত্বপূর্ণ দিনে?

এই দিনে, MAPR তার কাজ স্থগিত করার প্রতিশ্রুতি দেয় যদি এটি আরও অপারেশনের জন্য তহবিল খুঁজে না পায়। MAPR পরে 2019 সালের আগস্টে HP দ্বারা অধিগ্রহণ করা হয়েছিল। কিন্তু জুনে ফিরে আসা, কেউ সাহায্য করতে পারে না কিন্তু বিগ ডেটা মার্কেটের এই সময়ের ট্র্যাজেডিটি নোট করতে পারে। এই মাসে বাজারের একটি নেতৃস্থানীয় খেলোয়াড় CLOUDERA-এর স্টক মূল্যে পতন দেখা গেছে, যা একই বছরের জানুয়ারিতে দীর্ঘস্থায়ীভাবে অলাভজনক HORTOWORKS-এর সাথে একীভূত হয়েছিল। পতনটি বেশ তাৎপর্যপূর্ণ ছিল এবং এর পরিমাণ ছিল 43%; শেষ পর্যন্ত, CLOUDERA-এর মূলধন 4,1 থেকে 1,4 বিলিয়ন ডলারে নেমে এসেছে।

এটা বলা অসম্ভব যে হাডুপ-ভিত্তিক প্রযুক্তির ক্ষেত্রে একটি বুদবুদের গুজব ডিসেম্বর 2014 থেকে প্রচারিত হয়েছে, তবে এটি সাহসের সাথে আরও পাঁচ বছর ধরে ধরে রেখেছে। এই গুজবগুলি গুগলের প্রত্যাখ্যানের উপর ভিত্তি করে তৈরি হয়েছিল, যে সংস্থাটি হ্যাডুপ প্রযুক্তির উদ্ভব হয়েছিল, তার আবিষ্কার থেকে। কিন্তু প্রযুক্তিটি ক্লাউড প্রসেসিং সরঞ্জামগুলিতে কোম্পানিগুলির রূপান্তর এবং কৃত্রিম বুদ্ধিমত্তার দ্রুত বিকাশের সময় রুট করে। অতএব, পিছনে তাকালে, আমরা আত্মবিশ্বাসের সাথে বলতে পারি যে মৃত্যু প্রত্যাশিত ছিল।

এইভাবে, বিগ ডেটার যুগের অবসান হয়েছে, কিন্তু বিগ ডেটাতে কাজ করার প্রক্রিয়ায়, সংস্থাগুলি এটিতে কাজ করার সমস্ত সূক্ষ্মতা, বিগ ডেটা ব্যবসায় যে সুবিধাগুলি আনতে পারে তা উপলব্ধি করেছে এবং কৃত্রিম ব্যবহার করতে শিখেছে। বুদ্ধিমত্তা কাঁচা তথ্য থেকে মূল্য নিষ্কাশন.

এই প্রযুক্তিটি কী প্রতিস্থাপন করবে এবং কীভাবে বিশ্লেষণ প্রযুক্তি আরও বিকাশ করবে সেই প্রশ্নটি আরও আকর্ষণীয় হয়ে ওঠে।

বর্ধিত বিশ্লেষণ

বর্ণিত ঘটনাগুলির সময়, ডেটা বিশ্লেষণের ক্ষেত্রে কাজ করা সংস্থাগুলি স্থির থাকেনি। 2019 সালে ঘটে যাওয়া লেনদেনের তথ্যের ভিত্তিতে কী বিচার করা যেতে পারে। এই বছর, বাজারে সবচেয়ে বড় লেনদেন করা হয়েছিল - সেলসফোর্স দ্বারা 15,7 বিলিয়ন ডলারে বিশ্লেষণাত্মক প্ল্যাটফর্ম মূক অধিগ্রহণ। গুগল এবং লুকারের মধ্যে একটি ছোট চুক্তি হয়েছে। এবং অবশ্যই, বিগ ডেটা প্ল্যাটফর্ম Attunity-এর Qlik দ্বারা অধিগ্রহণের বিষয়টি লক্ষ্য করতে কেউ ব্যর্থ হতে পারে না।

BI বাজারের নেতারা এবং গার্টনার বিশেষজ্ঞরা তথ্য বিশ্লেষণের পদ্ধতিতে একটি বিশাল পরিবর্তন ঘোষণা করছেন; এই পরিবর্তনটি BI বাজারকে সম্পূর্ণরূপে ধ্বংস করবে এবং BI-এর সাথে AI-এর প্রতিস্থাপনের দিকে নিয়ে যাবে। এই প্রসঙ্গে, এটি লক্ষ করা উচিত যে AI সংক্ষিপ্ত রূপ "কৃত্রিম বুদ্ধিমত্তা" নয় বরং "অগমেন্টেড ইন্টেলিজেন্স"। আসুন "অগমেন্টেড অ্যানালিটিক্স" শব্দের পিছনে কী রয়েছে তা ঘনিষ্ঠভাবে দেখে নেওয়া যাক।

অগমেন্টেড অ্যানালিটিক্স, অগমেন্টেড রিয়েলিটির মতো, বেশ কয়েকটি সাধারণ ধারণার উপর ভিত্তি করে:

• NLP (প্রাকৃতিক ভাষা প্রক্রিয়াকরণ) ব্যবহার করে যোগাযোগ করার ক্ষমতা, যেমন মানুষের ভাষায়;
• কৃত্রিম বুদ্ধিমত্তার ব্যবহার, এর মানে হল যে ডেটা মেশিন বুদ্ধিমত্তা দ্বারা প্রি-প্রসেস করা হবে;
• এবং অবশ্যই, সিস্টেমের ব্যবহারকারীদের জন্য উপলব্ধ সুপারিশ, যা কৃত্রিম বুদ্ধিমত্তা দ্বারা উত্পন্ন হয়েছিল।

বিশ্লেষণাত্মক প্ল্যাটফর্মের নির্মাতাদের মতে, তাদের ব্যবহার এমন ব্যবহারকারীদের জন্য উপলব্ধ হবে যাদের বিশেষ দক্ষতা নেই, যেমন SQL বা অনুরূপ স্ক্রিপ্টিং ভাষার জ্ঞান নেই, যাদের পরিসংখ্যানগত বা গাণিতিক প্রশিক্ষণ নেই, যাদের জনপ্রিয় ভাষার জ্ঞান নেই। ডেটা প্রসেসিং এবং সংশ্লিষ্ট লাইব্রেরিতে বিশেষীকরণ। "সিটিজেন ডেটা সায়েন্টিস্ট" নামে পরিচিত এই ধরনের ব্যক্তিদের শুধুমাত্র অসামান্য ব্যবসায়িক যোগ্যতা থাকতে হবে। তাদের কাজ হল টিপস এবং পূর্বাভাস থেকে ব্যবসার অন্তর্দৃষ্টি ক্যাপচার করা যা কৃত্রিম বুদ্ধিমত্তা তাদের দেবে এবং তারা NLP ব্যবহার করে তাদের অনুমান পরিমার্জন করতে পারে।

এই শ্রেণীর সিস্টেমের সাথে ব্যবহারকারীদের কাজ করার প্রক্রিয়া বর্ণনা করে, কেউ নিম্নলিখিত চিত্রটি কল্পনা করতে পারে। একজন ব্যক্তি, কর্মক্ষেত্রে আসছেন এবং সংশ্লিষ্ট অ্যাপ্লিকেশনটি চালু করছেন, সাধারণ পদ্ধতির রিপোর্ট এবং ড্যাশবোর্ডগুলি ছাড়াও যা বিশ্লেষণ করা যেতে পারে (বাছাই করা, গোষ্ঠীবদ্ধ করা, গাণিতিক ক্রিয়াকলাপ সম্পাদন করা), কিছু টিপস এবং সুপারিশ দেখেন, যেমন: " KPI, বিক্রয় সংখ্যা অর্জন করতে, আপনাকে "বাগান" বিভাগ থেকে পণ্যের উপর ছাড় প্রয়োগ করতে হবে৷" এছাড়াও, একজন ব্যক্তি একটি কর্পোরেট মেসেঞ্জারের সাথে যোগাযোগ করতে পারেন: স্কাইপ, স্ল্যাক ইত্যাদি। টেক্সট বা ভয়েস দ্বারা রোবট প্রশ্ন জিজ্ঞাসা করতে পারেন: "আমাকে সবচেয়ে লাভজনক পাঁচটি ক্লায়েন্ট দিন।" উপযুক্ত উত্তর পাওয়ার পর, তাকে অবশ্যই তার ব্যবসায়িক অভিজ্ঞতার ভিত্তিতে সর্বোত্তম সিদ্ধান্ত নিতে হবে এবং কোম্পানির মুনাফা আনতে হবে।

আপনি যদি একধাপ পিছিয়ে যান এবং বিশ্লেষণ করা তথ্যের গঠন দেখেন এবং এই পর্যায়ে, বর্ধিত বিশ্লেষণ পণ্যগুলি মানুষের জীবনকে সহজ করে তুলতে পারে। আদর্শভাবে, এটি অনুমান করা হয় যে ব্যবহারকারীকে শুধুমাত্র বিশ্লেষণাত্মক পণ্যটিকে পছন্দসই তথ্যের উত্সগুলিতে নির্দেশ করতে হবে এবং প্রোগ্রামটি নিজেই একটি ডেটা মডেল তৈরি, টেবিল লিঙ্ক এবং অনুরূপ কাজগুলির যত্ন নেবে।

এই সমস্ত, প্রথমত, ডেটার "গণতন্ত্রীকরণ" নিশ্চিত করা উচিত, যেমন যে কোনো ব্যক্তি কোম্পানির কাছে উপলব্ধ তথ্যের সম্পূর্ণ অ্যারে বিশ্লেষণ করতে পারে। সিদ্ধান্ত গ্রহণের প্রক্রিয়া অবশ্যই পরিসংখ্যানগত বিশ্লেষণ পদ্ধতি দ্বারা সমর্থিত হতে হবে। ডেটা অ্যাক্সেসের সময় ন্যূনতম হওয়া উচিত, তাই স্ক্রিপ্ট এবং SQL কোয়েরি লেখার প্রয়োজন নেই। এবং অবশ্যই, আপনি উচ্চ বেতনের ডেটা সায়েন্স বিশেষজ্ঞদের অর্থ সাশ্রয় করতে পারেন।

কাল্পনিকভাবে, প্রযুক্তি ব্যবসার জন্য খুব উজ্জ্বল সম্ভাবনা সরবরাহ করে।

কি বিগ ডেটা প্রতিস্থাপন করছে?

কিন্তু, আসলে, আমি বিগ ডেটা দিয়ে আমার নিবন্ধটি শুরু করেছি। এবং আমি আধুনিক BI সরঞ্জামগুলিতে একটি সংক্ষিপ্ত ভ্রমণ ছাড়া এই বিষয়টি বিকাশ করতে পারিনি, যার ভিত্তি প্রায়শই বিগ ডেটা। বড় ডেটার ভাগ্য এখন স্পষ্টভাবে নির্ধারিত, এবং এটি ক্লাউড প্রযুক্তি। আমি BI বিক্রেতাদের সাথে করা লেনদেনের উপর ফোকাস করেছি যাতে দেখা যায় যে এখন প্রতিটি বিশ্লেষণাত্মক সিস্টেমের পিছনে ক্লাউড স্টোরেজ রয়েছে এবং ক্লাউড পরিষেবাগুলির সামনের প্রান্ত হিসাবে BI রয়েছে৷

ORACLE এবং Microsoft এর মতো ডাটাবেসের ক্ষেত্রে এই জাতীয় স্তম্ভগুলি সম্পর্কে ভুলে না গিয়ে, তাদের ব্যবসার বিকাশের নির্বাচিত দিকটি নোট করা প্রয়োজন এবং এটিই মেঘ। সমস্ত অফার করা পরিষেবাগুলি ক্লাউডে পাওয়া যেতে পারে, তবে কিছু ক্লাউড পরিষেবা আর প্রিমাইজে উপলব্ধ নেই৷ তারা মেশিন লার্নিং মডেলের ব্যবহারে উল্লেখযোগ্য কাজ করেছে, ব্যবহারকারীদের জন্য উপলব্ধ লাইব্রেরি তৈরি করেছে এবং মডেল নির্বাচন থেকে শুরু করার সময় সেট করা পর্যন্ত তাদের সাথে কাজ করার সুবিধার জন্য ইন্টারফেস কনফিগার করেছে।

ক্লাউড পরিষেবাগুলি ব্যবহার করার আরেকটি গুরুত্বপূর্ণ সুবিধা, যা নির্মাতাদের দ্বারা কণ্ঠস্বর করা হয়, প্রশিক্ষণ মডেলগুলির জন্য যে কোনও বিষয়ে প্রায় সীমাহীন ডেটা সেটের উপলব্ধতা।

যাইহোক, প্রশ্ন উঠছে: আমাদের দেশে ক্লাউড প্রযুক্তি কতদূর শিকড় নেবে?

উত্স: www.habr.com