কীভাবে দ্রুত এবং সহজে তিমি দিয়ে ডেটা অনুসন্ধান করা যায়

এই নিবন্ধটি সবচেয়ে সহজ এবং দ্রুততম ডেটা আবিষ্কার টুল সম্পর্কে কথা বলে, যেটির কাজ আপনি KDPV-এ দেখতে পাচ্ছেন। মজার বিষয় হল, তিমি একটি দূরবর্তী গিট সার্ভারে হোস্ট করার জন্য ডিজাইন করা হয়েছে। কাটা অধীনে বিস্তারিত.

কিভাবে Airbnb এর ডেটা ডিসকভারি টুল আমার জীবন বদলে দিয়েছে

আমার কর্মজীবনে, আমি কিছু মজার সমস্যা নিয়ে কাজ করার জন্য যথেষ্ট ভাগ্যবান ছিলাম: আমি এমআইটিতে আমার ডিগ্রি করার সময় প্রবাহ গণিত অধ্যয়ন করেছি, ক্রমবর্ধমান মডেলগুলিতে কাজ করেছি এবং একটি ওপেন সোর্স প্রকল্পের সাথে পাইলিফ্ট Wayfair এ, এবং Airbnb-এ নতুন হোমপেজ টার্গেটিং মডেল এবং CUPED উন্নতি বাস্তবায়ন করেছে। কিন্তু এই সমস্ত কাজ কখনই চটকদার ছিল না—আসলে, আমি প্রায়শই আমার বেশিরভাগ সময় অনুসন্ধান, গবেষণা এবং ডেটা যাচাই করতে ব্যয় করতাম। যদিও এটি কর্মক্ষেত্রে একটি ধ্রুবক অবস্থা ছিল, এটি আমার কাছে মনে হয়নি যে এটি একটি সমস্যা ছিল যতক্ষণ না আমি এয়ারবিএনবি-তে না পৌঁছাই যেখানে এটি একটি ডেটা আবিষ্কার টুল দিয়ে সমাধান করা হয়েছিল - ডেটাপোর্টাল.

আমি কোথায় {{data}} পেতে পারি? ডেটাপোর্টাল.
এই কলাম মানে কি? ডেটাপোর্টাল.
আজকে {{metric}} কেমন চলছে? ডেটাপোর্টাল.
জীবনের একটি অনুভূতি কি? ভিতরে ডেটাপোর্টাল, সম্ভবত

ঠিক আছে, আপনি ছবিটি উপস্থাপন করেছেন। ডেটা খুঁজে পেতে এবং এর অর্থ কী, এটি কীভাবে তৈরি করা হয়েছিল এবং কীভাবে এটি ব্যবহার করা যায় তা বুঝতে কয়েক মিনিট সময় লাগে, ঘন্টা নয়। আমি নোটগুলি খুঁড়তে, পুনরাবৃত্তিমূলক SQL প্রশ্নগুলি লিখতে এবং প্রসঙ্গ পুনরায় তৈরি করার চেষ্টা করার জন্য স্ল্যাকে সহকর্মীদের উল্লেখ করার পরিবর্তে সাধারণ সিদ্ধান্তে, বা নতুন অ্যালগরিদম, (... বা ডেটা সম্পর্কে এলোমেলো প্রশ্নের উত্তর দিতে) আমার সময় ব্যয় করতে পারি। যে অন্য কেউ ইতিমধ্যেই ছিল

সমস্যা কি?

আমি বুঝতে পেরেছিলাম যে আমার বেশিরভাগ বন্ধুর কাছে এই ধরনের একটি টুল অ্যাক্সেস ছিল না। কয়েকটি কোম্পানি ডেটাপোর্টালের মতো একটি প্ল্যাটফর্ম টুল তৈরি এবং রক্ষণাবেক্ষণের জন্য বিশাল সম্পদ উৎসর্গ করতে ইচ্ছুক। এবং কিছু ওপেন সোর্স সলিউশন থাকলেও, সেগুলিকে স্কেল করার জন্য ডিজাইন করা হয়, যার ফলে ডেডিকেটেড DevOps ইঞ্জিনিয়ার ছাড়া সেট আপ করা এবং রক্ষণাবেক্ষণ করা কঠিন হয়ে পড়ে। তাই নতুন কিছু তৈরি করার সিদ্ধান্ত নিয়েছি।

তিমি: একটি নির্বোধভাবে সহজ ডেটা আবিষ্কারের টুল

এবং হ্যাঁ, মূর্খভাবে সহজ বলতে আমি বোকার মতো সরল বলতে চাই। তিমির মাত্র দুটি উপাদান আছে:

1. একটি পাইথন লাইব্রেরি যা মেটাডেটা সংগ্রহ করে এবং মার্কডাউনে ফর্ম্যাট করে।
2. এই ডেটার মাধ্যমে অনুসন্ধানের জন্য মরিচা কমান্ড লাইন ইন্টারফেস।

রক্ষণাবেক্ষণের জন্য অভ্যন্তরীণ অবকাঠামোর দৃষ্টিকোণ থেকে, কেবলমাত্র প্রচুর পাঠ্য ফাইল এবং একটি প্রোগ্রাম রয়েছে যা পাঠ্য আপডেট করে। এটাই, তাই গিথুবের মতো গিট সার্ভারে হোস্টিং করা তুচ্ছ। শেখার জন্য কোনো নতুন কোয়েরি ভাষা নেই, কোনো ব্যবস্থাপনা পরিকাঠামো নেই, কোনো ব্যাকআপ নেই৷ সবাই গিট জানে, তাই সিঙ্ক এবং সহযোগিতা বিনামূল্যে। এর কার্যকারিতা একটি ঘনিষ্ঠভাবে কটাক্ষপাত করা যাক তিমি v1.0.

সম্পূর্ণ বৈশিষ্ট্যযুক্ত গিট-ভিত্তিক GUI

তিমিকে একটি দূরবর্তী গিট সার্ভারের সাগরে সাঁতার কাটতে ডিজাইন করা হয়েছে। সে খুব সহজ কনফিগারযোগ্য: কিছু সংযোগ সংজ্ঞায়িত করুন, Github অ্যাকশন স্ক্রিপ্টটি অনুলিপি করুন (বা আপনার নির্বাচিত CI/CD প্ল্যাটফর্মের জন্য একটি লিখুন) এবং আপনার কাছে এখনই একটি ডেটা আবিষ্কার ওয়েব টুল থাকবে। আপনি Github-এ সরাসরি আপনার স্প্রেডশীটগুলি অনুসন্ধান করতে, দেখতে, নথিভুক্ত করতে এবং ভাগ করতে সক্ষম হবেন৷

Github অ্যাকশন ব্যবহার করে তৈরি করা স্টাব টেবিলের একটি উদাহরণ। সম্পূর্ণ কাজ ডেমো এই বিভাগে দেখুন.

আপনার সংগ্রহস্থলের জন্য বিদ্যুত দ্রুত CLI অনুসন্ধান করুন

আপনার টেবিল জুড়ে শক্তিশালী, মিলিসেকেন্ড লুকআপ প্রদান করে কমান্ড লাইনে তিমি বেঁচে থাকে এবং শ্বাস নেয়। এমনকি লক্ষ লক্ষ টেবিলের সাথে, আমরা কিছু চতুর ক্যাশিং প্রক্রিয়া ব্যবহার করে এবং মরিচা-এ ব্যাকএন্ড পুনর্নির্মাণ করে তিমিকে অবিশ্বাস্যভাবে পারফরম্যান্স করতে সক্ষম হয়েছি। আপনি কোনো সার্চ বিলম্ব লক্ষ্য করবেন না [হ্যালো গুগল ডিএস]।

তিমির ডেমো, মিলিয়ন টেবিল লুকআপ।

মেট্রিক্সের স্বয়ংক্রিয় গণনা [বিটাতে]

ডেটা বিজ্ঞানী হিসাবে আমার সবচেয়ে প্রিয় জিনিসগুলির মধ্যে একটি হল ডেটার গুণমান পরীক্ষা করার জন্য বারবার একই প্রশ্নগুলি চালাচ্ছে। হোয়েল প্লেইন এসকিউএল-এ মেট্রিক্স সংজ্ঞায়িত করার ক্ষমতা সমর্থন করে যা আপনার মেটাডেটা ক্লিনআপ পাইপলাইনগুলির সাথে চলার জন্য নির্ধারিত হবে। স্টাব টেবিলের ভিতরে একটি YAML মেট্রিক্স ব্লক সংজ্ঞায়িত করুন, এবং তিমি স্বয়ংক্রিয়ভাবে একটি সময়সূচীতে চলবে এবং মেট্রিক্সে নেস্ট করা প্রশ্নগুলি চালাবে।

```metrics
metric-name:
  sql: |
    select count(*) from table
```

গিথুবের সাথে মিলিত, এই পদ্ধতির অর্থ হল তিমি মেট্রিক সংজ্ঞাগুলির জন্য সত্যের একটি সহজ কেন্দ্রীয় উত্স হিসাবে কাজ করতে পারে। তিমি এমনকি "~/ টাইমস্ট্যাম্পের সাথে মানগুলিও সংরক্ষণ করে। whale/metrics" যদি আপনি কিছু চার্টিং বা আরও গভীর গবেষণা করতে চান।

ভবিষ্যৎ

আমাদের তিমির প্রাক-রিলিজ সংস্করণগুলির ব্যবহারকারীদের সাথে কথা বলার পরে, আমরা বুঝতে পেরেছি যে লোকেদের আরও কার্যকারিতা প্রয়োজন৷ কেন একটি টেবিল লুকআপ টুল? কেন একটি মেট্রিক্স অনুসন্ধান টুল না? কেন মনিটরিং হচ্ছে না? কেন একটি এসকিউএল কোয়েরি এক্সিকিউশন টুল নয়? যদিও তিমি v1 মূলত একটি সাধারণ CLI সহচর সরঞ্জাম হিসাবে কল্পনা করা হয়েছিল Dataportal/Amundsen, এটি ইতিমধ্যেই একটি সম্পূর্ণ বৈশিষ্ট্যযুক্ত স্বতন্ত্র প্ল্যাটফর্মে বিকশিত হয়েছে এবং আমরা আশা করি এটি ডেটা সায়েন্টিস্টের টুলকিটের একটি অবিচ্ছেদ্য অংশ হয়ে উঠবে৷

আপনি যদি উন্নয়ন প্রক্রিয়ায় কিছু দেখতে চান তবে আমাদের সাথে যোগ দিন স্ল্যাক সম্প্রদায়ের কাছে, সমস্যা খুলুন এ গিটহাবঅথবা সরাসরি যোগাযোগ করুন লিঙ্কডইন. আমাদের ইতিমধ্যেই বেশ কয়েকটি দুর্দান্ত বৈশিষ্ট্য রয়েছে - জিনজা টেমপ্লেট, বুকমার্ক, অনুসন্ধান ফিল্টার, স্ল্যাক সতর্কতা, জুপিটার ইন্টিগ্রেশন, এমনকি মেট্রিক্সের জন্য একটি CLI ড্যাশবোর্ড - তবে আমরা আপনার ইনপুট পছন্দ করব৷

উপসংহার

Dataframe দ্বারা তিমি বিকশিত এবং রক্ষণাবেক্ষণ করে, একটি স্টার্টআপ যা আমি সম্প্রতি অন্যান্য লোকেদের সাথে সহ-প্রতিষ্ঠার আনন্দ পেয়েছি। ডাটা সায়েন্টিস্টদের জন্য তিমি তৈরি করা হলেও ডাটাফ্রেম ডাটা সায়েন্টিস্টদের জন্য তৈরি। আপনারা যারা আরও ঘনিষ্ঠভাবে সহযোগিতা করতে চান, নির্দ্বিধায় করুন ঠিকানাআমরা আপনাকে অপেক্ষমাণ তালিকায় যুক্ত করব।

এবং প্রচার কোড দ্বারা HABR, আপনি ব্যানারে নির্দেশিত ডিসকাউন্টের অতিরিক্ত 10% পেতে পারেন।

• ডেটা সায়েন্স অনলাইন বুটক্যাম্প
• স্ক্র্যাচ থেকে ডেটা বিশ্লেষক পেশা প্রশিক্ষণ
• ডেটা বিশ্লেষণ অনলাইন বুটক্যাম্প
• স্ক্র্যাচ থেকে ডেটা সায়েন্সের পেশা শিক্ষকতা
• ওয়েব ডেভেলপমেন্ট কোর্সের জন্য পাইথন

আরও কোর্স

• ডেটা অ্যানালিটিক্স কোর্স
• DevOps কোর্স
• পেশা ওয়েব ডেভেলপার
• স্ক্র্যাচ থেকে পেশা iOS বিকাশকারী
• স্ক্র্যাচ থেকে পেশা অ্যান্ড্রয়েড বিকাশকারী
• স্ক্র্যাচ থেকে পেশা জাভা বিকাশকারী
• জাভাস্ক্রিপ্ট কোর্স
• মেশিন লার্নিং কোর্স
• কোর্স "ডেটা সায়েন্সের জন্য গণিত এবং মেশিন লার্নিং"
• উন্নত কোর্স "মেশিন লার্নিং প্রো + ডিপ লার্নিং"

বৈশিষ্ট্যযুক্ত প্রবন্ধ

• অনলাইন কোর্স ছাড়াই কীভাবে ডেটা সায়েন্টিস্ট হওয়া যায়
• 450 ফ্রি আইভি লীগ কোর্স
• কিভাবে সপ্তাহে 5 দিন মেশিন লার্নিং পড়া যায় একটানা 9 মাস
• একজন ডেটা বিশ্লেষক কত উপার্জন করেন: 2020 সালে রাশিয়া এবং বিদেশে বেতন এবং শূন্যপদগুলির একটি ওভারভিউ
• মাইনিং শিল্পে মেশিন লার্নিং এবং কম্পিউটার ভিশন

উত্স: www.habr.com