🥇 ডেটা বিভাগ। ২ 2013 সাল. পূর্ববর্তী

2013 বছরে আইবিএস, যা তখন তৈরি বলে মনে হয়েছিল ডেটা বিভাগ, আমাকে বিগ ডেটার সমস্যা এলাকা এবং সাধারণভাবে ডেটা সম্পর্কিত একটি ব্রেনডাম্প (একচেটিয়াভাবে কর্পোরেট তেল এবং গ্যাস গ্রাহকদের সাথে মিথস্ক্রিয়ার অভিজ্ঞতার উপর ভিত্তি করে) করতে বলেছে। তাই আমি 7 বছর পরে এটি জুড়ে এসেছি এবং ভেবেছিলাম এটি মজার ছিল। কিছু জিনিস স্পষ্ট। কিছু সম্পূর্ণ সত্য নয়, কিন্তু... 7 বছর কেটে গেছে।

আমি ইংরেজিতে লিখেছিলাম এবং এখন আমি এটি রাশিয়ান ভাষায় অনুবাদ করার কথা ভাবলাম। যদি কিছু এখনও প্রাসঙ্গিক হয়? (আমি বুলেটিনগুলি অনুবাদ করব, তবে অলসতা থেকে ইংরেজিতে লক্ষণগুলি ছেড়ে দিন। সবুজ ভাল, লাল বিপজ্জনক, নীল একটি স্বপ্ন)।

আমি "আজ" থেকে ন্যূনতম মন্তব্যগুলি আনুষ্ঠানিক করব তির্যকযাতে এটি পরিষ্কার এবং আলাদা করা যায়।

তাই, ডেটা! আমাদের জন্য ডেটা...

ডেটা বিভাগ হল রক্তের বিভাগ, কারণ ডেটা তুলনা করা যেতে পারে, উদাহরণস্বরূপ, একটি ব্যবসায়িক সংস্থার শিরা এবং ধমনী দিয়ে প্রবাহিত রক্তের সাথে। যাইহোক, যদিও রক্ত একই, জীব বিভিন্ন এবং তাই উৎপাদন খুব কঠিন, কিন্তু এটি উন্নয়নের একটি সুযোগের প্রতিনিধিত্ব করে।

এমন কিছু লোক আছে যাদের জন্য ডাটা তাদের চোখে ঝাঁপিয়ে পড়ে - এইগুলি আমরা.
এবং এমন কিছু লোক আছে যারা দুর্ভাগ্যবশত, ডেটা পয়েন্ট ফাঁকা দেখতে পান না। এই, আবার, হায়, আমাদের গ্রাহকদের!

এবং তাই, ব্যবসায়িক নীতি...

আমরা বিক্রি করি ব্যবসা, এবং না আইটি (সকল আইটি বিশেষজ্ঞরা আমাকে একবারে ক্ষমা করতে পারেন) কারণ আমরা বিশ্বের সমস্যাগুলি সমাধান করছি, এবং ভাল, আরও অর্থ।
সমস্ত ব্যবসায়িক সমস্যা থিম্যাটিক শিল্প উল্লম্বের চারপাশে কেন্দ্রীভূত এবং পর্যাপ্ত প্রয়োজন হবে বিশেষীকরণ.
প্রমাণের চেষ্টা "ডেটা" এর মান অথবা, আরও কঠিন, একটি ব্যবসার জন্য "ডেটা ম্যানেজমেন্ট" এর মূল্য হল চিরন্তন কষ্ট এবং বেদনা। মূলত, এটি এমন একজন ব্যক্তির কাছে আসার মতো যে ভাল বোধ করছে এবং বলছে: "দোস্ত, আমরা এখন আপনার রক্তের চিকিত্সা করতে যাচ্ছি, এবং, দোস্ত, এটি ব্যয়বহুল!"
আমার "ভেজা স্বপ্ন" হল SaaS মডেলের মধ্যে "ডেটা এক্সট্রাকশন" এবং "বিশ্লেষণ" বিক্রি করা ছোট এবং মাঝারি ব্যবসাযারা দুর্দান্ত ইন্টারফেস সহ 123টি ক্লাউড পরিষেবাগুলিতে আরোহণ করেছে: প্রকল্প পরিচালনা, হেল্পডেস্ক, অ্যাকাউন্টিং, সিআরএম, বেতন, টাইম রিপোর্টিং, মার্কেটিং, ... আপনি এটির নাম দিন এবং ডেটাতে নিজেদের কবর দিয়েছিলেন। Youcalc এবং সফলতাকারী (সম্ভবত আর নেই) এটা ভাল!
টিঙ্কার করতে পছন্দ করে এমন লোকেদের সন্ধান করুন "কষ্ট" তথ্য সহ। এগুলি বিরল এবং অদ্ভুত (চা পাতার মতো), তবে ব্যবসার চাবিকাঠি। উদাহরণস্বরূপ, একজন কবি পারস্পরিক সম্পর্কে খুব ভাল হতে পারে।
ইঞ্জিনিয়ারদের প্রয়োজন! Crunchers যে সমস্যাগুলিকে ডেটা থেকে সমাধানে টেনে নিয়েছিল তা চালু করার প্রয়োজন। এবং সিদ্ধান্তের সাফল্য বা ব্যর্থতা সম্পূর্ণরূপে তাদের উপর নির্ভর করে।
উন্নয়ন মুক্ত উৎস প্রকল্পগুলি অত্যন্ত মূল্যবান এবং স্ক্র্যাচ থেকে কার্যত জটিল সমাধানগুলিকে "একত্র করা" সম্ভব করে তোলে।
কিন্তু... আমাদের ভুলে যাওয়া উচিত নয় যে হ্যাদুপ একটি লাইব্রেরি, এবং লুসিনও একটি লাইব্রেরি, এবং এর মধ্যে দূরত্ব লাইব্রেরি এবং শিল্প পণ্য অনেক
নির্মিত সমাধান উল্লেখযোগ্যভাবে অভিযোজিত হতে হবে, কারণ মডুলারিটি и অখণ্ডতা - গুরুত্বপূর্ণ দিক.
কর্মতত্পর (আল্লাহ্ আমাকে ক্ষমা কর) গ্রাহকের সাথে মিথস্ক্রিয়া এবং যাচাইকরণের একটি মূল কৌশল অনুমান, যা অনেক হবে.
সমস্ত কোডিং এবং UI আউটসোর্স করা বিশেষভাবে সম্ভব এবং প্রয়োজনীয়। সমস্ত ব্যবসা বিশ্লেষণ এবং স্পেসিফিকেশন ব্যাকএন্ড ছেড়ে যেতে হবে মধ্যে এবং একটি মূল যোগ্যতা হিসাবে বিবেচিত।
ব্যবসায়িক সিদ্ধান্ত গ্রহণকারীদের অবশ্যই ক্রমাগত "অবহিত" হতে হবে সঠিকভাবে তথ্য সঙ্গে কাজ করার প্রয়োজন এবং ক্রমাগত তাদের বিশ্লেষণ করার জন্য নতুন উপায় অনুসন্ধান. আমাদের কর্মীদের প্রযুক্তিগত এবং ব্যবসায়িক দক্ষতার সংমিশ্রণ সমগ্র সংস্থার মর্যাদা বাড়াতে সাহায্য করবে।
ইন্টারনেটের - অনুপ্রেরণার একটি অফুরন্ত উৎস আছে (তখন এত বিড়াল ছিল না) এন্টারপ্রাইজ ডেটা ম্যানেজমেন্টের পদ্ধতির সাথে সম্পর্কিত, যদিও উদ্দেশ্য এবং সুযোগ উল্লেখযোগ্যভাবে পরিবর্তিত হয়।

প্রযুক্তিগত অনুমান...

দেশে উন্নয়নের বিপুল সম্ভাবনা রয়েছে সরলীকরণ কিভাবে ডেটা মানুষকে দেখানো হয়। আপনি এটিকে "iPhonization" শব্দটি বলতে পারেন৷
তা সত্ত্বেও বিআই বিক্রেতারা সরাসরি দাবি করছেন শেষ ব্যবহারকারীদের কাছে বিশ্লেষণ আনুন, (এবং তারা অবশ্যই এই দিকে অগ্রসর হচ্ছে) - অগ্রগতি এখনও ঘটেনি। মানুষ শুধু ভালো বোঝে না বহুমাত্রিক তথ্য।
একটি ইউজার ইন্টারফেস যা কম-বেশি জটিল, ঢিলেঢালাভাবে স্ট্রাকচার্ড ডেটা উপস্থাপন করে মুখী ফর্ম - এছাড়াও একটি সীমাহীন সংখ্যক সমস্যা উপস্থাপন করে। উপসংহার: চাটুকার তত ভাল।
উত্স থেকে স্বয়ংক্রিয় ডেটা নিষ্কাশনের ভিত্তিতে নির্মিত একটি প্ল্যাটফর্ম (যা সবসময় এই জাতীয় নিষ্কাশনের জন্য ডিজাইন করা হয় না) উত্স, সংযোগকারীর স্থায়িত্ব এবং অবকাঠামোর উপর উল্লেখযোগ্যভাবে নির্ভরশীল। প্ল্যাটফর্ম (মেসেঞ্জার) সর্বদা ফলাফল প্রদানে ব্যর্থতার জন্য দায়ী করা হবে। আস্থা – এই ধরনের প্ল্যাটফর্মের মূলধন। মূলধন যা উপার্জন করা কঠিন এবং হারানো সহজ।
ব্যবসায়িক দৃষ্টিকোণ থেকে, বিগ ডেটা বিশ্লেষণ এবং এর মধ্যে কোনও পার্থক্য নেই শুধু ডেটা. প্রায়শই 2x2 এর মতো সহজ সংখ্যার পিছনে লক্ষ লক্ষ ডলার মূল্যের সুযোগ থাকে। একটি ভাল উদাহরণ নরওয়েজিয়ান শেলফে অবকাঠামো উপাদানের জীবনের শেষ তথ্য। ভবিষ্যত ক্যাপ এর সব তারিখ কখন. সমস্ত সরঞ্জামের মেরামত এক অক্ষে করা হয়েছিল এবং তারা জানতে পেরেছিল যে এন বছরে শেলফ আর্মাগেডন আসছে - একজন খুব ধনী ব্যক্তি তার চেয়ার থেকে উঠেছিলেন এবং দ্রুত এই শব্দগুলির সাথে ঘর থেকে প্রণাম করেছিলেন: "দুঃখিত, আমি তা করি না। অনেক সময় আছে, আমার বহর প্রস্তুত করতে হবে..."
এক্সেল, এবং মূলত ডেটার একটি সুস্পষ্ট এবং সংক্ষিপ্ত সারণী উপস্থাপনা, প্রচুর শক্তি এবং একটি দুর্দান্ত ভবিষ্যত রয়েছে। আমি সুন্দর টেবিলে বিশ্বাস করি (এবং এখনও) এবং এটাই!
এই সমস্ত "বিশ্লেষণ" এর প্রধান ধনুক সিদ্ধান্ত অটোমেশন. সবচেয়ে বড় সুযোগ আছে, কিন্তু সর্বোচ্চ ঝুঁকিও আছে, সেই কারণেই সুযোগগুলি সমৃদ্ধ, সেই কারণেই ঝুঁকি আছে, সেই কারণেই সুযোগ রয়েছে, সেই কারণেই সেগুলি টফি... 🙂 ওয়েল ড্রিলিং ব্যবস্থাপনা, উদাহরণস্বরূপ...
যদি "অখণ্ডতা" একটি মূল বৈশিষ্ট্য হয়, তাহলে ডেটা প্রকৃতপক্ষে একটি পরিষেবা হিসাবে উপস্থাপন করা উচিত। বিশ্রাম নিয়ম, কিন্তু আমরা অপ্টিমাইজেশান সম্পর্কে ভুলবেন না উচিত প্রমোদ, যা এখন প্রায়শই অখণ্ডতার জন্য বলি দেওয়া হয় কারণ কম্পিউটিং শক্তি বাড়তে থাকে।
মূল তথ্য - যেকোন ব্যবসায়িক সমস্যা সমাধানের আগে এটিকে স্থানীয়করণ, নিষ্কাশন, মানসম্মত করা দরকার। মাস্টার ডেটা ছোট, কিন্তু সমস্যা বড়! শব্দার্থবিদ্যার ভাইয়েরা যেমন বলে, বিশ্বের সমস্ত সমস্যার 50% কারণ মানুষ একই জিনিসকে বিভিন্ন নামে ডাকে, এবং বাকি 50% কারণ তারা বিভিন্ন জিনিসকে একই নামে ডাকে।
কোন encapsulation স্টোরেজ স্তরে, এটি সমাধানের উন্মুক্ততাকে সীমিত করে এবং SILO-ফিকেশনের দিকে নিয়ে যায়। আপনি যদি একজন বড় বিক্রেতা হন তবে এটি ভাল, অন্যথায় এটি এমন। (এখানে আমরা অবশ্যই কথা বলছি, ব্লক স্তর সম্পর্কে নয় এবং AWS S3 সম্পর্কে নয়, যা ইতিমধ্যে 6 বছর বয়সী ছিল, তবে ফাইলগুলি সম্পর্কে).
রিলেশনাল মডেলিং ডেটা আর আমাদের বন্ধু নয়। RDF এবং কী-মান - দুর্দান্ত! আমরা 2000টি টেবিলে 15 টেবিলের মডেল সহ রিলেশনাল ডাটাবেসের জাদুকরী রূপান্তর দেখেছি এবং ব্যবহারকারীদের কেউ কিছুই হারায়নি।
ইন্টারনেট কাজ করে কারণ এটি বিদ্যমান URL টি সম্বোধনের একীভূত পদ্ধতি হিসাবে। URL এর গুরুত্ব বা বরং কোনো URI এন্টারপ্রাইজ তথ্য সম্পদ জন্য overestimate করা কঠিন.
টেক্সট মাইনিং এবং NLP জনপ্রিয়. ইন্টারনেটএ. কিন্তু কর্পোরেট সেক্টরেও অসংগঠিত কর্পোরেট ডেটা থেকে স্ট্রাকচার্ড ডেটা বের করে দারুণ সাফল্য অর্জন করা যেতে পারে।
সিনার্জি কাঠামোবদ্ধ ডেটা এবং অসংগঠিত ডেটা থেকে বের করা তথ্যের মধ্যে, যেমন ফাইল - বিশ্লেষণাত্মক Klondike.
তথ্য নিষ্কাশন করার সময়, অধিকার সম্পর্কে ভুলবেন না এবং কপিরাইট.
তথ্য নিষ্কাশন কোম্পানি একটি গঠন করা আবশ্যকহ্যাকার বিভাগ, শব্দের ভালো অর্থে। ইয়েলো পেজ ক্রলার বট সুরক্ষা ব্যবস্থার বিরুদ্ধে চড়াই-উতরাই যুদ্ধের দ্বারা অনুপ্রাণিত।
ডেটা নিয়ে কাজ করার আগে, এটি করা প্রয়োজন "দেখা" তার সম্পূর্ণতা. এটা ব্যাখ্যা করা কঠিন। ট্যাবুলার ফর্ম মনে আসা. কিছু জন্য, গ্রাফিকাল উপস্থাপনা, কিন্তু কোনো গ্রাফ ইতিমধ্যেই একটি ব্যাখ্যা. এক বা অন্য উপায় ... "দেখুন"!
ফ্রন্টএন্ডে ব্যবহারকারীর "বিশ্বাস" এর সমস্যাটি পুনরাবৃত্তি করা। সংযোগকারী/ডেটা জেনারেশন প্রসেসে বিশ্বাস, ডেটাতে বিশ্বাস, করা সিদ্ধান্তের উপর আস্থা.

উত্স: www.habr.com

ডেটা বিভাগ। ২ 2013 সাল. পূর্ববর্তী

একটি মন্তব্য জুড়ুন উত্তর বাতিল