ইন্টারনেটে R বা Python অনুসন্ধান করার মাধ্যমে, আপনি লক্ষ লক্ষ নিবন্ধ এবং আলোচনার কিলোমিটার পাবেন যার মধ্যে একটি ভাল, দ্রুত এবং ডেটা নিয়ে কাজ করার জন্য আরও সুবিধাজনক। কিন্তু দুর্ভাগ্যবশত, এই সমস্ত নিবন্ধ এবং বিতর্ক বিশেষভাবে কার্যকর নয়।

এই নিবন্ধটির উদ্দেশ্য হল উভয় ভাষার সবচেয়ে জনপ্রিয় প্যাকেজের মৌলিক ডেটা প্রক্রিয়াকরণ কৌশলগুলির তুলনা করা। এবং পাঠকদের দ্রুত এমন কিছু আয়ত্ত করতে সহায়তা করুন যা তারা এখনও জানেন না। যারা পাইথনে লেখেন, তাদের জন্য R-এ একই জিনিস কীভাবে করবেন তা খুঁজে বের করুন এবং এর বিপরীতে।

নিবন্ধের সময় আমরা R-এর সবচেয়ে জনপ্রিয় প্যাকেজগুলির সিনট্যাক্স বিশ্লেষণ করব। এগুলি হল লাইব্রেরিতে অন্তর্ভুক্ত প্যাকেজগুলি tidyverseএবং প্যাকেজও data.table. এবং তাদের সিনট্যাক্সের সাথে তুলনা করুন pandas, পাইথনের সবচেয়ে জনপ্রিয় ডেটা বিশ্লেষণ প্যাকেজ।

আমরা ধাপে ধাপে ডেটা বিশ্লেষণের পুরো পথটি লোড করা থেকে পাইথন এবং আর ব্যবহার করে বিশ্লেষণাত্মক উইন্ডো ফাংশন সম্পাদন করব।

সন্তুষ্ট

এই নিবন্ধটি একটি চিট শীট হিসাবে ব্যবহার করা যেতে পারে যদি আপনি ভুলে যান যে কীভাবে বিবেচনাধীন প্যাকেজগুলির মধ্যে একটিতে কিছু ডেটা প্রসেসিং অপারেশন করতে হয়৷

1. R এবং Python এর মধ্যে প্রধান সিনট্যাক্স পার্থক্য
   1.1. প্যাকেজ ফাংশন অ্যাক্সেস করা
   1.2. অ্যাসাইনমেন্ট
   1.3. ইন্ডেক্স
   1.4. পদ্ধতি এবং OOP
   1.5. পাইপলাইন
   1.6. উপাত্ত কাঠামো
2. আমরা যে প্যাকেজগুলি ব্যবহার করব সে সম্পর্কে কয়েকটি শব্দ
   2.1. পরিপাটি
   2.2. ডেটা.ট্যাবল
   2.3. পান্ডাস
3. প্যাকেজ ইনস্টল করা হচ্ছে
4. তথ্য প্রস্তুত হচ্ছে
5. ডেটাফ্রেম তৈরি করা
6. আপনার প্রয়োজনীয় কলাম নির্বাচন করা হচ্ছে
7. ফিল্টারিং সারি
8. গ্রুপিং এবং অ্যাগ্রিগেশন
9. টেবিলের উল্লম্ব ইউনিয়ন (UNION)
10. টেবিলের অনুভূমিক যোগদান (JOIN)
11. প্রাথমিক উইন্ডো ফাংশন এবং গণনা করা কলাম
12. R এবং Python-এ ডেটা প্রসেসিং পদ্ধতির মধ্যে চিঠিপত্রের সারণী
13. উপসংহার
14. আপনি কোন প্যাকেজ ব্যবহার করেন সে সম্পর্কে একটি সংক্ষিপ্ত সমীক্ষা

আপনি যদি ডেটা বিশ্লেষণে আগ্রহী হন তবে আপনি আমার খুঁজে পেতে পারেন টেলিগ্রাম и ইউটিউব চ্যানেল যার বেশিরভাগ বিষয়বস্তু আর ভাষাকে নিবেদিত।

R এবং Python এর মধ্যে প্রধান সিনট্যাক্স পার্থক্য

আপনার জন্য পাইথন থেকে R-এ স্যুইচ করা সহজ করতে, বা এর বিপরীতে, আমি কয়েকটি প্রধান পয়েন্ট দেব যা আপনাকে মনোযোগ দিতে হবে।

প্যাকেজ ফাংশন অ্যাক্সেস করা

একবার একটি প্যাকেজ R-এ লোড হয়ে গেলে, প্যাকেজের ফাংশন অ্যাক্সেস করার জন্য আপনাকে প্যাকেজের নাম উল্লেখ করতে হবে না। বেশিরভাগ ক্ষেত্রে এটি R-এ সাধারণ নয়, তবে এটি গ্রহণযোগ্য। আপনার কোডে এর একটি ফাংশন প্রয়োজন হলে আপনাকে প্যাকেজ আমদানি করতে হবে না, তবে প্যাকেজের নাম এবং ফাংশনের নাম উল্লেখ করে এটিকে কল করুন। R-এ প্যাকেজ এবং ফাংশনের নামের মধ্যে বিভাজক হল একটি ডাবল কোলন। package_name::function_name().

পাইথনে, বিপরীতে, একটি প্যাকেজের ফাংশনকে স্পষ্টভাবে নাম উল্লেখ করে কল করাকে ক্লাসিক বলে মনে করা হয়। যখন একটি প্যাকেজ ডাউনলোড করা হয়, তখন এটি সাধারণত একটি সংক্ষিপ্ত নাম দেওয়া হয়, যেমন pandas সাধারণত একটি ছদ্মনাম ব্যবহার করা হয় pd. একটি প্যাকেজ ফাংশন একটি ডট মাধ্যমে অ্যাক্সেস করা হয় package_name.function_name().

অ্যাসাইনমেন্ট

R-এ, একটি বস্তুর মান নির্ধারণের জন্য একটি তীর ব্যবহার করা সাধারণ। obj_name <- value, যদিও একটি একক সমান চিহ্ন অনুমোদিত, R-এ একক সমান চিহ্নটি প্রাথমিকভাবে ফাংশন আর্গুমেন্টে মান পাস করতে ব্যবহৃত হয়।

পাইথনে, অ্যাসাইনমেন্ট একচেটিয়াভাবে একক সমান চিহ্ন দিয়ে করা হয় obj_name = value.

ইন্ডেক্স

এখানেও বেশ উল্লেখযোগ্য পার্থক্য রয়েছে। R-এ, সূচীকরণ এক থেকে শুরু হয় এবং ফলাফল পরিসরে সমস্ত নির্দিষ্ট উপাদান অন্তর্ভুক্ত করে,

পাইথনে, সূচীকরণ শূন্য থেকে শুরু হয় এবং নির্বাচিত পরিসরে সূচীতে নির্দিষ্ট করা শেষ উপাদানটি অন্তর্ভুক্ত করা হয় না। তাই ডিজাইন x[i:j] পাইথনে j উপাদান অন্তর্ভুক্ত হবে না।

R স্বরলিপিতে নেতিবাচক সূচীকরণের মধ্যেও পার্থক্য রয়েছে x[-1] শেষটি ছাড়া ভেক্টরের সমস্ত উপাদান ফিরিয়ে দেবে। পাইথনে, একটি অনুরূপ স্বরলিপি শুধুমাত্র শেষ উপাদান প্রদান করবে।

পদ্ধতি এবং OOP

R তার নিজস্ব উপায়ে OOP প্রয়োগ করে, আমি নিবন্ধে এটি সম্পর্কে লিখেছি "আর ভাষাতে OOP (পার্ট 1): S3 ক্লাস". সাধারণভাবে, R একটি কার্যকরী ভাষা, এবং এর মধ্যে থাকা সবকিছুই ফাংশনের উপর নির্মিত। অতএব, উদাহরণস্বরূপ, এক্সেল ব্যবহারকারীদের জন্য, যান tydiverse এর চেয়ে সহজ হবে pandas. যদিও এটা আমার বিষয়গত মতামত হতে পারে।

সংক্ষেপে, R-এর অবজেক্টের পদ্ধতি নেই (যদি আমরা S3 ক্লাসের কথা বলি, তবে অন্যান্য OOP বাস্তবায়ন রয়েছে যা অনেক কম সাধারণ)। শুধুমাত্র সাধারণীকৃত ফাংশন আছে যেগুলি বস্তুর শ্রেণীর উপর নির্ভর করে ভিন্নভাবে প্রক্রিয়া করে।

পাইপলাইন

সম্ভবত এই জন্য নাম pandas এটি সম্পূর্ণরূপে সঠিক হবে না, তবে আমি অর্থ ব্যাখ্যা করার চেষ্টা করব।

মধ্যবর্তী গণনাগুলি সংরক্ষণ না করার জন্য এবং কাজের পরিবেশে অপ্রয়োজনীয় বস্তু তৈরি না করার জন্য, আপনি এক ধরণের পাইপলাইন ব্যবহার করতে পারেন। সেগুলো. একটি গণনার ফলাফল একটি ফাংশন থেকে পরবর্তীতে পাস করুন এবং মধ্যবর্তী ফলাফলগুলি সংরক্ষণ করবেন না।

আসুন নিম্নলিখিত কোড উদাহরণটি নেওয়া যাক, যেখানে আমরা পৃথক বস্তুতে মধ্যবর্তী গণনা সংরক্ষণ করি:

temp_object <- func1()
temp_object2 <- func2(temp_object )
obj <- func3(temp_object2 )

আমরা ক্রমানুসারে 3টি অপারেশন করেছি এবং প্রতিটির ফলাফল একটি পৃথক বস্তুতে সংরক্ষণ করা হয়েছিল। কিন্তু আসলে, আমাদের এই মধ্যবর্তী বস্তুর প্রয়োজন নেই।

বা আরও খারাপ, কিন্তু এক্সেল ব্যবহারকারীদের কাছে আরও পরিচিত।

obj  <- func3(func2(func1()))

এই ক্ষেত্রে, আমরা মধ্যবর্তী গণনার ফলাফল সংরক্ষণ করিনি, তবে নেস্টেড ফাংশন সহ কোড পড়া অত্যন্ত অসুবিধাজনক।

আমরা R-এ ডেটা প্রক্রিয়াকরণের বিভিন্ন পদ্ধতির দিকে তাকাব এবং তারা বিভিন্ন উপায়ে একই ধরনের ক্রিয়াকলাপ সম্পাদন করে।

লাইব্রেরিতে পাইপলাইন tidyverse অপারেটর দ্বারা বাস্তবায়িত %>%.

obj <- func1() %>% 
            func2() %>%
            func3()

এইভাবে আমরা কাজের ফলাফল গ্রহণ করি func1() এবং প্রথম যুক্তি হিসাবে এটি পাস func2(), তারপর আমরা প্রথম যুক্তি হিসাবে এই গণনার ফলাফল পাস করি func3(). এবং শেষ পর্যন্ত, আমরা বস্তুতে সঞ্চালিত সমস্ত গণনা লিখি obj <-.

উপরের সবগুলোই এই মেমের মাধ্যমে শব্দের চেয়ে ভালোভাবে চিত্রিত করা হয়েছে:

В data.table চেইন একই ভাবে ব্যবহার করা হয়।

newDT <- DT[where, select|update|do, by][where, select|update|do, by][where, select|update|do, by]

প্রতিটি বর্গাকার বন্ধনীতে আপনি আগের অপারেশনের ফলাফল ব্যবহার করতে পারেন।

В pandas এই ধরনের অপারেশন একটি বিন্দু দ্বারা পৃথক করা হয়.

obj = df.fun1().fun2().fun3()

সেগুলো. আমরা আমাদের টেবিল নিতে df এবং তার পদ্ধতি ব্যবহার করুন fun1(), তারপর আমরা প্রাপ্ত ফলাফলে পদ্ধতিটি প্রয়োগ করি fun2()পরে fun3(). ফলস্বরূপ ফলাফল একটি বস্তুর মধ্যে সংরক্ষণ করা হয় আপত্তি .

উপাত্ত কাঠামো

R এবং Python-এ ডেটা স্ট্রাকচার একই রকম, কিন্তু ভিন্ন নাম আছে।

বিবরণ
আর-এ নাম
পাইথন/পান্ডাসে নাম

টেবিল গঠন
data.frame, data.table, tibble
ডেটাফ্রেম

মানগুলির এক-মাত্রিক তালিকা
ভেক্টর
বিশুদ্ধ পাইথনে পান্ডা বা তালিকায় সিরিজ

মাল্টি-লেভেল নন-টেবুলার স্ট্রাকচার
তালিকা
অভিধান (ডিক্ট)

আমরা নীচে সিনট্যাক্সের অন্যান্য বৈশিষ্ট্য এবং পার্থক্যগুলি দেখব।

আমরা যে প্যাকেজগুলি ব্যবহার করব সে সম্পর্কে কয়েকটি শব্দ

প্রথমে, আমি আপনাকে সেই প্যাকেজগুলি সম্পর্কে কিছু বলব যা আপনি এই নিবন্ধের সময় পরিচিত হবেন।

পরিপাটি

অফিসিয়াল ওয়েবসাইট: tidyverse.org

লাইব্রেরি tidyverse হেডলি উইকহ্যাম লিখেছেন, RStudio-এর সিনিয়র রিসার্চ সায়েন্টিস্ট। tidyverse প্যাকেজগুলির একটি চিত্তাকর্ষক সেট রয়েছে যা ডেটা প্রক্রিয়াকরণকে সহজ করে, যার মধ্যে 5টি CRAN সংগ্রহস্থল থেকে শীর্ষ 10টি ডাউনলোডের অন্তর্ভুক্ত।

লাইব্রেরির মূল অংশে নিম্নলিখিত প্যাকেজগুলি রয়েছে: ggplot2, dplyr, tidyr, readr, purrr, tibble, stringr, forcats. এই প্যাকেজগুলির প্রতিটি একটি নির্দিষ্ট সমস্যা সমাধানের লক্ষ্যে। উদাহরণ স্বরূপ dplyr ডেটা ম্যানিপুলেশনের জন্য তৈরি করা হয়েছে, tidyr একটি ঝরঝরে ফর্ম তথ্য আনতে, stringr স্ট্রিং দিয়ে কাজ সহজ করে, এবং ggplot2 সবচেয়ে জনপ্রিয় তথ্য ভিজ্যুয়ালাইজেশন টুল এক.

সুবিধা tidyverse সরলতা এবং সহজে পাঠ্য সিনট্যাক্স, যা অনেক দিক থেকে এসকিউএল কোয়েরি ভাষার মতো।

ডেটা.ট্যাবল

অফিসিয়াল ওয়েবসাইট: r-datatable.com

দ্বারা data.table H2O.ai-এর ম্যাট ডল।

লাইব্রেরির প্রথম প্রকাশ 2006 সালে হয়েছিল।

প্যাকেজ সিনট্যাক্স এর মতো সুবিধাজনক নয় tidyverse এবং R-এ ক্লাসিক ডেটাফ্রেমগুলির আরও বেশি স্মরণ করিয়ে দেয়, কিন্তু একই সময়ে কার্যকারিতা উল্লেখযোগ্যভাবে প্রসারিত।

এই প্যাকেজের টেবিলের সাথে সমস্ত ম্যানিপুলেশনগুলি বর্গাকার বন্ধনীতে বর্ণনা করা হয়েছে এবং আপনি যদি বাক্য গঠন অনুবাদ করেন data.table এসকিউএল-এ, আপনি এরকম কিছু পাবেন: data.table[ WHERE, SELECT, GROUP BY ]

এই প্যাকেজের শক্তি হল বিপুল পরিমাণ ডেটা প্রক্রিয়াকরণের গতি।

পান্ডাস

অফিসিয়াল ওয়েবসাইট: pandas.pydata.org

লাইব্রেরির নামটি এসেছে ইকোনোমেট্রিক শব্দ "প্যানেল ডেটা" থেকে, যা তথ্যের বহুমাত্রিক কাঠামোগত সেটগুলিকে বর্ণনা করতে ব্যবহৃত হয়।

দ্বারা pandas আমেরিকান ওয়েস ম্যাককিনি।

পাইথনে ডেটা বিশ্লেষণের ক্ষেত্রে সমান pandas না. একটি অত্যন্ত বহুমুখী, উচ্চ-স্তরের প্যাকেজ যা আপনাকে ডেটার সাথে যে কোনও ম্যানিপুলেশন করতে দেয়, যে কোনও উত্স থেকে ডেটা লোড করা থেকে শুরু করে এটিকে কল্পনা করা পর্যন্ত।

অতিরিক্ত প্যাকেজ ইনস্টল করা হচ্ছে

এই নিবন্ধে আলোচনা করা প্যাকেজগুলি মৌলিক R এবং Python বিতরণে অন্তর্ভুক্ত নয়। যদিও একটি ছোট সতর্কতা রয়েছে, আপনি যদি অ্যানাকোন্ডা বিতরণ ইনস্টল করেন তবে অতিরিক্তভাবে ইনস্টল করুন pandas প্রয়োজন নেই।

R-এ প্যাকেজ ইনস্টল করা হচ্ছে

আপনি যদি অন্তত একবার RStudio ডেভেলপমেন্ট এনভায়রনমেন্ট খুলে থাকেন, তাহলে আপনি সম্ভবত ইতিমধ্যেই জানেন কিভাবে R-এ প্রয়োজনীয় প্যাকেজ ইনস্টল করতে হয়। প্যাকেজ ইনস্টল করতে, স্ট্যান্ডার্ড কমান্ড ব্যবহার করুন। install.packages() এটি সরাসরি R নিজেই চালানোর মাধ্যমে।

# установка пакетов
install.packages("vroom")
install.packages("readr")
install.packages("dplyr")
install.packages("data.table")

ইনস্টলেশনের পরে, প্যাকেজগুলিকে সংযুক্ত করতে হবে, যার জন্য বেশিরভাগ ক্ষেত্রে কমান্ড ব্যবহার করা হয় library().

# подключение или импорт пакетов в рабочее окружение
library(vroom)
library(readr)
library(dplyr)
library(data.table)

পাইথনে প্যাকেজ ইনস্টল করা হচ্ছে

সুতরাং, আপনার যদি বিশুদ্ধ পাইথন ইনস্টল করা থাকে, তাহলে pandas আপনাকে ম্যানুয়ালি এটি ইনস্টল করতে হবে। আপনার অপারেটিং সিস্টেমের উপর নির্ভর করে একটি কমান্ড লাইন বা টার্মিনাল খুলুন এবং নিম্নলিখিত কমান্ডটি লিখুন।

pip install pandas

তারপরে আমরা পাইথনে ফিরে যাই এবং কমান্ড সহ ইনস্টল করা প্যাকেজ আমদানি করি import.

import pandas as pd

তথ্য প্রস্তুত হচ্ছে

ডেটা মাইনিং ডেটা বিশ্লেষণের সবচেয়ে গুরুত্বপূর্ণ পদক্ষেপগুলির মধ্যে একটি। Python এবং R উভয়ই, যদি ইচ্ছা হয়, আপনাকে যেকোন উত্স থেকে ডেটা পাওয়ার ব্যাপক সুযোগ প্রদান করে: স্থানীয় ফাইল, ইন্টারনেট থেকে ফাইল, ওয়েবসাইট, সব ধরনের ডেটাবেস।

পুরো নিবন্ধ জুড়ে আমরা বেশ কয়েকটি ডেটাসেট ব্যবহার করব:

1. Google Analytics থেকে দুটি ডাউনলোড।
2. টাইটানিক প্যাসেঞ্জার ডেটাসেট।

সমস্ত তথ্য আমার উপর আছে GitHub csv এবং tsv ফাইলের আকারে। আমরা কোথা থেকে তাদের অনুরোধ করব?

R-এ ডেটা লোড হচ্ছে: tidyverse, vroom, readr

একটি লাইব্রেরিতে ডেটা লোড করতে tidyverse দুটি প্যাকেজ আছে: vroom, readr. vroom আরও আধুনিক, তবে ভবিষ্যতে প্যাকেজগুলি একত্রিত হতে পারে।

থেকে উদ্ধৃতি অফিসিয়াল ডকুমেন্টেশন vroom.

vroom বনাম পাঠক
এর মুক্তি কি করে vroom জন্য মানে readr? আপাতত আমরা দুটি প্যাকেজ আলাদাভাবে বিকশিত হওয়ার পরিকল্পনা করছি, তবে সম্ভবত আমরা ভবিষ্যতে প্যাকেজগুলিকে একত্রিত করব। ভ্রুমের অলস পড়ার একটি অসুবিধা হল নির্দিষ্ট ডেটা সমস্যাগুলি সামনে রিপোর্ট করা যায় না, তাই কীভাবে তাদের একত্রিত করা যায় সে সম্পর্কে কিছু চিন্তাভাবনা প্রয়োজন।

vroom বনাম পাঠক
মুক্তি মানে কি? vroom থেকে readr? এই মুহুর্তে আমরা পৃথকভাবে উভয় প্যাকেজ বিকাশ করার পরিকল্পনা করছি, তবে আমরা সম্ভবত ভবিষ্যতে তাদের একত্রিত করব। অলস পড়ার একটি অসুবিধা vroom ডেটার সাথে কিছু সমস্যা আগে থেকে রিপোর্ট করা যায় না, তাই আপনাকে ভাবতে হবে কিভাবে সেগুলিকে একত্রিত করা যায়।

এই নিবন্ধে আমরা উভয় ডেটা লোডিং প্যাকেজ দেখব:

R: vroom প্যাকেজে ডেটা লোড হচ্ছে

# install.packages("vroom")
library(vroom)

# Чтение данных
## vroom
ga_nov  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

R: readr-এ ডেটা লোড হচ্ছে

# install.packages("readr")
library(readr)

# Чтение данных
## readr
ga_nov  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

প্যাকেজে vroom, csv/tsv ডেটা বিন্যাস নির্বিশেষে, একই নামের ফাংশন দ্বারা লোড করা হয় vroom(), প্যাকেজে readr আমরা প্রতিটি বিন্যাসের জন্য একটি ভিন্ন ফাংশন ব্যবহার করি read_tsv() и read_csv().

R: data.table-এ ডেটা লোড হচ্ছে

В data.table ডেটা লোড করার জন্য একটি ফাংশন আছে fread().

R: data.table প্যাকেজে ডেটা লোড হচ্ছে

# install.packages("data.table")
library(data.table)

## data.table
ga_nov  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

পাইথনে ডেটা লোড হচ্ছে: পান্ডা

যদি আমরা R প্যাকেজগুলির সাথে তুলনা করি, তাহলে এই ক্ষেত্রে সিনট্যাক্সটি সবচেয়ে কাছের pandas হতে হবে readrথেকে pandas যেকোন জায়গা থেকে ডেটার অনুরোধ করতে পারে এবং এই প্যাকেজে ফাংশনের একটি সম্পূর্ণ পরিবার রয়েছে read_*().

• read_csv()
• read_excel()
• read_sql()
• read_json()
• read_html()

এবং অন্যান্য অনেক ফাংশন বিভিন্ন ফরম্যাট থেকে ডেটা পড়ার জন্য ডিজাইন করা হয়েছে। কিন্তু আমাদের উদ্দেশ্যে এটি যথেষ্ট read_table() বা read_csv() যুক্তি ব্যবহার করে সেপ্টেম্বর কলাম বিভাজক নির্দিষ্ট করতে।

পাইথনে ডেটা লোড হচ্ছে: পান্ডা

import pandas as pd

ga_nov  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_nowember.csv", sep = "t")
ga_dec  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_december.csv", sep = "t")
titanic = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/titanic.csv")

ডেটাফ্রেম তৈরি করা

টেবিল বিরাটকায়, যা আমরা লোড, একটি ক্ষেত্র আছে লিঙ্গ, যা যাত্রীর লিঙ্গ শনাক্তকারী সংরক্ষণ করে।

কিন্তু যাত্রীর লিঙ্গের পরিপ্রেক্ষিতে ডেটার আরও সুবিধাজনক উপস্থাপনার জন্য, আপনার লিঙ্গ কোডের পরিবর্তে নাম ব্যবহার করা উচিত।

এটি করার জন্য, আমরা একটি ছোট ডিরেক্টরি তৈরি করব, একটি টেবিল যেখানে যথাক্রমে শুধুমাত্র 2টি কলাম (কোড এবং লিঙ্গের নাম) এবং 2টি সারি থাকবে।

R: tidyverse, dplyr-এ একটি ডেটাফ্রেম তৈরি করা

নীচের কোড উদাহরণে, আমরা ফাংশন ব্যবহার করে পছন্দসই ডেটাফ্রেম তৈরি করি tibble() .

R: dplyr-এ একটি ডেটাফ্রেম তৈরি করা

## dplyr
### создаём справочник
gender <- tibble(id = c(1, 2),
                 gender = c("female", "male"))

R: data.table এ একটি ডেটাফ্রেম তৈরি করা

R: data.table এ একটি ডেটাফ্রেম তৈরি করা

## data.table
### создаём справочник
gender <- data.table(id = c(1, 2),
                    gender = c("female", "male"))

পাইথনে একটি ডেটাফ্রেম তৈরি করা হচ্ছে: পান্ডা

В pandas ফ্রেম তৈরি বিভিন্ন পর্যায়ে বাহিত হয়, প্রথমে আমরা একটি অভিধান তৈরি করি এবং তারপরে আমরা অভিধানটিকে একটি ডেটাফ্রেমে রূপান্তর করি।

পাইথনে একটি ডেটাফ্রেম তৈরি করা হচ্ছে: পান্ডা

# создаём дата фрейм
gender_dict = {'id': [1, 2],
               'gender': ["female", "male"]}
# преобразуем словарь в датафрейм
gender = pd.DataFrame.from_dict(gender_dict)

কলাম নির্বাচন করা হচ্ছে

আপনি যে টেবিলগুলির সাথে কাজ করেন সেগুলিতে কয়েক ডজন বা এমনকি শত শত কলাম ডেটা থাকতে পারে। কিন্তু বিশ্লেষণ চালানোর জন্য, একটি নিয়ম হিসাবে, আপনার উত্স টেবিলে উপলব্ধ সমস্ত কলামের প্রয়োজন নেই।

অতএব, উৎস টেবিলের সাথে আপনি যে প্রথম ক্রিয়াকলাপগুলি সম্পাদন করবেন তা হল এটিকে অপ্রয়োজনীয় তথ্য থেকে মুছে ফেলা এবং এই তথ্যটি দখল করে রাখা স্মৃতি মুক্ত করা।

R-এ কলাম নির্বাচন করা হচ্ছে: tidyverse, dplyr

শব্দবিন্যাস dplyr SQL ক্যোয়ারী ভাষার সাথে খুব মিল, যদি আপনি এটির সাথে পরিচিত হন তবে আপনি দ্রুত এই প্যাকেজটি আয়ত্ত করতে পারবেন।

কলাম নির্বাচন করতে, ফাংশন ব্যবহার করুন select().

নীচে কোডের উদাহরণ রয়েছে যা দিয়ে আপনি নিম্নলিখিত উপায়ে কলাম নির্বাচন করতে পারেন:

• প্রয়োজনীয় কলামের নাম তালিকা করা
• রেগুলার এক্সপ্রেশন ব্যবহার করে কলামের নাম পড়ুন
• ডেটা টাইপ বা কলামে থাকা ডেটার অন্য কোনো বৈশিষ্ট্য দ্বারা

R: dplyr-এ কলাম নির্বাচন করা হচ্ছে

# Выбор нужных столбцов
## dplyr
### выбрать по названию столбцов
select(ga_nov, date, source, sessions)
### исключь по названию столбцов
select(ga_nov, -medium, -bounces)
### выбрать по регулярному выражению, стобцы имена которых заканчиваются на s
select(ga_nov, matches("s$"))
### выбрать по условию, выбираем только целочисленные столбцы
select_if(ga_nov, is.integer)

R: data.table-এ কলাম নির্বাচন করা হচ্ছে

মধ্যে একই অপারেশন data.table একটু ভিন্নভাবে সঞ্চালিত হয়, নিবন্ধের শুরুতে আমি বর্গাকার বন্ধনীর ভিতরে কী আর্গুমেন্ট রয়েছে তার একটি বর্ণনা দিয়েছিলাম data.table.

DT[i,j,by]

যেখানে:
i - কোথায়, i.e. সারি দ্বারা ফিল্টারিং
j - নির্বাচন করুন|আপডেট|করুন, যেমন কলাম নির্বাচন এবং তাদের রূপান্তর
দ্বারা - ডেটা গ্রুপিং

R: data.table-এ কলাম নির্বাচন করা হচ্ছে

## data.table
### выбрать по названию столбцов
ga_nov[ , .(date, source, sessions) ]
### исключь по названию столбцов
ga_nov[ , .SD, .SDcols = ! names(ga_nov) %like% "medium|bounces" ]
### выбрать по регулярному выражению
ga_nov[, .SD, .SDcols = patterns("s$")]

পরিবর্তনশীল .SD আপনাকে সমস্ত কলাম অ্যাক্সেস করতে দেয়, এবং .SDcols আপনার প্রয়োজনীয় কলামগুলির নাম ফিল্টার করতে নিয়মিত এক্সপ্রেশন বা অন্যান্য ফাংশন ব্যবহার করে প্রয়োজনীয় কলামগুলি ফিল্টার করুন।

পাইথন, পান্ডায় কলাম নির্বাচন করা হচ্ছে

নাম অনুসারে কলাম নির্বাচন করতে pandas তাদের নামের তালিকা দেওয়াই যথেষ্ট। এবং রেগুলার এক্সপ্রেশন ব্যবহার করে নাম অনুসারে কলাম নির্বাচন বা বাদ দিতে, আপনাকে ফাংশন ব্যবহার করতে হবে drop() и filter(), এবং যুক্তি অক্ষ=1, যা দিয়ে আপনি নির্দেশ করেন যে সারিগুলির পরিবর্তে কলামগুলি প্রক্রিয়া করা প্রয়োজন৷

ডেটা টাইপ দ্বারা একটি ক্ষেত্র নির্বাচন করতে, ফাংশনটি ব্যবহার করুন select_dtypes(), এবং আর্গুমেন্ট মধ্যে অন্তর্ভুক্ত করা বা বর্জন করা আপনাকে কোন ক্ষেত্রগুলি নির্বাচন করতে হবে তার সাথে সম্পর্কিত ডেটা প্রকারের একটি তালিকা পাস করুন৷

পাইথনে কলাম নির্বাচন করা হচ্ছে: পান্ডা

# Выбор полей по названию
ga_nov[['date', 'source', 'sessions']]
# Исключить по названию
ga_nov.drop(['medium', 'bounces'], axis=1)
# Выбрать по регулярному выражению
ga_nov.filter(regex="s$", axis=1)
# Выбрать числовые поля
ga_nov.select_dtypes(include=['number'])
# Выбрать текстовые поля
ga_nov.select_dtypes(include=['object'])

ফিল্টারিং সারি

উদাহরণস্বরূপ, সোর্স টেবিলে কয়েক বছরের ডেটা থাকতে পারে, তবে আপনাকে শুধুমাত্র শেষ মাসের বিশ্লেষণ করতে হবে। আবার, অতিরিক্ত লাইন ডেটা প্রসেসিং প্রক্রিয়াকে ধীর করে দেবে এবং পিসি মেমরিকে আটকে দেবে।

R-এ ফিল্টারিং সারি: tydyverse, dplyr

В dplyr ফাংশনটি সারি ফিল্টার করতে ব্যবহৃত হয় filter(). এটি প্রথম যুক্তি হিসাবে একটি ডেটাফ্রেম নেয়, তারপরে আপনি ফিল্টারিং শর্তগুলি তালিকাভুক্ত করেন।

একটি টেবিল ফিল্টার করার জন্য যৌক্তিক অভিব্যক্তি লেখার সময়, এই ক্ষেত্রে, উদ্ধৃতি ছাড়া এবং টেবিলের নাম ঘোষণা ছাড়াই কলামের নাম উল্লেখ করুন।

ফিল্টার করার জন্য একাধিক লজিক্যাল এক্সপ্রেশন ব্যবহার করার সময়, নিম্নলিখিত অপারেটরগুলি ব্যবহার করুন:

• & অথবা কমা - যৌক্তিক AND
• | - যৌক্তিক বা

R এ ফিল্টারিং সারি: dplyr

# фильтрация строк
## dplyr
### фильтрация строк по одному условию
filter(ga_nov, source == "google")
### фильтр по двум условиям соединённым логическим и
filter(ga_nov, source == "google" & sessions >= 10)
### фильтр по двум условиям соединённым логическим или
filter(ga_nov, source == "google" | sessions >= 10)

R-এ ফিল্টারিং সারি: data.table

আমি ইতিমধ্যে উপরে লিখেছি, ইন data.table ডেটা রূপান্তর সিনট্যাক্স বর্গাকার বন্ধনীতে আবদ্ধ।

DT[i,j,by]

যেখানে:
i - কোথায়, i.e. সারি দ্বারা ফিল্টারিং
j - নির্বাচন করুন|আপডেট|করুন, যেমন কলাম নির্বাচন এবং তাদের রূপান্তর
দ্বারা - ডেটা গ্রুপিং

সারি ফিল্টার করতে আর্গুমেন্ট ব্যবহার করা হয় i, যার বর্গাকার বন্ধনীতে প্রথম অবস্থান রয়েছে।

উদ্ধৃতি চিহ্ন ছাড়া এবং টেবিলের নাম উল্লেখ না করেই লজিক্যাল এক্সপ্রেশনে কলাম অ্যাক্সেস করা হয়।

লজিক্যাল এক্সপ্রেশন একে অপরের সাথে একইভাবে সম্পর্কিত dplyr & এবং | অপারেটরদের মাধ্যমে।

R-এ ফিল্টারিং সারি: data.table

## data.table
### фильтрация строк по одному условию
ga_nov[source == "google"]
### фильтр по двум условиям соединённым логическим и
ga_nov[source == "google" & sessions >= 10]
### фильтр по двум условиям соединённым логическим или
ga_nov[source == "google" | sessions >= 10]

পাইথনে ফিল্টারিং স্ট্রিং: পান্ডা

মধ্যে সারি দ্বারা ফিল্টার pandas মধ্যে ফিল্টারিং অনুরূপ data.table, এবং বর্গাকার বন্ধনীতে করা হয়।

এই ক্ষেত্রে, ডেটাফ্রেমের নাম নির্দেশ করে কলামগুলিতে অ্যাক্সেস করা হয়; তারপর কলামের নামটি বর্গাকার বন্ধনীতে উদ্ধৃতি চিহ্নগুলিতেও নির্দেশিত হতে পারে (উদাহরণ df['col_name']), অথবা পিরিয়ডের পরে উদ্ধৃতি ছাড়াই (উদাহরণ df.col_name).

আপনি যদি বেশ কয়েকটি শর্ত দ্বারা একটি ডেটাফ্রেম ফিল্টার করতে চান তবে প্রতিটি শর্ত অবশ্যই বন্ধনীতে স্থাপন করতে হবে। যৌক্তিক অবস্থা অপারেটর দ্বারা একে অপরের সাথে সংযুক্ত করা হয় & и |.

পাইথনে ফিল্টারিং স্ট্রিং: পান্ডা

# Фильтрация строк таблицы
### фильтрация строк по одному условию
ga_nov[ ga_nov['source'] == "google" ]
### фильтр по двум условиям соединённым логическим и
ga_nov[(ga_nov['source'] == "google") & (ga_nov['sessions'] >= 10)]
### фильтр по двум условиям соединённым логическим или
ga_nov[(ga_nov['source'] == "google") | (ga_nov['sessions'] >= 10)]

গ্রুপিং এবং ডেটার একত্রীকরণ

ডেটা বিশ্লেষণে সর্বাধিক ব্যবহৃত অপারেশনগুলির মধ্যে একটি হল গ্রুপিং এবং একত্রীকরণ।

এই ক্রিয়াকলাপগুলি সম্পাদনের জন্য সিনট্যাক্স আমরা পর্যালোচনা করা সমস্ত প্যাকেজ জুড়ে ছড়িয়ে ছিটিয়ে আছে।

এই ক্ষেত্রে, আমরা একটি উদাহরণ হিসাবে একটি ডেটাফ্রেম নেব বিরাটকায়, এবং কেবিন শ্রেণীর উপর নির্ভর করে টিকিটের সংখ্যা এবং গড় মূল্য গণনা করুন।

R-এ ডেটার গ্রুপিং এবং একত্রীকরণ: tidyverse, dplyr

В dplyr ফাংশন গ্রুপিং জন্য ব্যবহৃত হয় group_by(), এবং একত্রিতকরণের জন্য summarise(). আসলে, dplyr ফাংশন একটি সম্পূর্ণ পরিবার আছে summarise_*(), কিন্তু এই নিবন্ধের উদ্দেশ্য হল মৌলিক সিনট্যাক্স তুলনা করা, তাই আমরা এই ধরনের জঙ্গলে যাব না।

মৌলিক একত্রীকরণ ফাংশন:

• sum() — সমষ্টি
• min() / max() - সর্বনিম্ন এবং সর্বোচ্চ মান
• mean() - গড়
• median() - মধ্যমা
• length() - পরিমাণ

R: dplyr-এ গ্রুপিং এবং অ্যাগ্রিগেশন

## dplyr
### группировка и агрегация строк
group_by(titanic, Pclass) %>%
  summarise(passangers = length(PassengerId),
            avg_price  = mean(Fare))

কাজ করতে group_by() আমরা প্রথম যুক্তি হিসাবে টেবিল পাস বিরাটকায়, এবং তারপর ক্ষেত্র নির্দেশিত Pclass, যার দ্বারা আমরা আমাদের টেবিল গ্রুপ করব। অপারেটর ব্যবহার করে এই অপারেশনের ফলাফল %>% ফাংশন প্রথম যুক্তি হিসাবে পাস summarise(), এবং 2টি আরও ক্ষেত্র যোগ করেছে: যাত্রী и গড়_মূল্য. প্রথম, ফাংশন ব্যবহার করে length() টিকিটের সংখ্যা গণনা করে এবং দ্বিতীয়টিতে ফাংশনটি ব্যবহার করে mean() টিকিটের গড় মূল্য পেয়েছেন।

R: data.table-এ ডেটার গ্রুপিং এবং একত্রীকরণ

В data.table যুক্তিটি একত্রিতকরণের জন্য ব্যবহৃত হয় j যেটি বর্গাকার বন্ধনীতে এবং গ্রুপিংয়ের জন্য দ্বিতীয় অবস্থানে রয়েছে by বা keybyযা তৃতীয় অবস্থানে রয়েছে।

এই ক্ষেত্রে একত্রীকরণ ফাংশনগুলির তালিকাটি বর্ণনা করা অনুরূপ dplyr, কারণ এই মৌলিক R সিনট্যাক্স থেকে ফাংশন.

R: data.table-এ গ্রুপিং এবং অ্যাগ্রিগেশন

## data.table
### фильтрация строк по одному условию
titanic[, .(passangers = length(PassengerId),
            avg_price  = mean(Fare)),
        by = Pclass]

পাইথনে ডেটার গ্রুপিং এবং একত্রীকরণ: পান্ডা

গ্রুপিং ইন pandas অনুরূপ, একই, সমতুল্য dplyr, কিন্তু সমষ্টি অনুরূপ নয় dplyr একদমই না data.table.

গ্রুপ করতে, পদ্ধতিটি ব্যবহার করুন groupby(), যেটিতে আপনাকে কলামগুলির একটি তালিকা পাস করতে হবে যার দ্বারা ডেটাফ্রেমটি গোষ্ঠীবদ্ধ হবে৷

একত্রিতকরণের জন্য আপনি পদ্ধতিটি ব্যবহার করতে পারেন agg()যা একটি অভিধান গ্রহণ করে। অভিধান কীগুলি হল সেই কলামগুলি যার উপর আপনি একত্রীকরণ ফাংশন প্রয়োগ করবেন এবং মানগুলি হল একত্রীকরণ ফাংশনের নাম৷

একত্রীকরণ ফাংশন:

• sum() — সমষ্টি
• min() / max() - সর্বনিম্ন এবং সর্বোচ্চ মান
• mean() - গড়
• median() - মধ্যমা
• count() - পরিমাণ

ক্রিয়া reset_index() নিচের উদাহরণে এটি নেস্টেড ইনডেক্স রিসেট করতে ব্যবহৃত হয় pandas ডেটা একত্রিতকরণের পরে ডিফল্ট।

প্রতীক আপনাকে পরবর্তী লাইনে যেতে দেয়।

পাইথনে গ্রুপিং এবং অ্যাগ্রিগেশন: পান্ডা

# группировка и агрегация данных
titanic.groupby(["Pclass"]).
    agg({'PassengerId': 'count', 'Fare': 'mean'}).
        reset_index()

টেবিলের উল্লম্ব যোগদান

একটি অপারেশন যাতে আপনি একই কাঠামোর দুই বা ততোধিক টেবিলে যোগদান করেন। আমরা যে ডেটা লোড করেছি তাতে টেবিল রয়েছে ga_nov и ga_dec. এই টেবিলগুলি গঠনে অভিন্ন, যেমন একই কলাম আছে, এবং এই কলামে ডেটা প্রকার।

এটি নভেম্বর এবং ডিসেম্বর মাসের জন্য Google Analytics থেকে একটি আপলোড, এই বিভাগে আমরা এই ডেটাগুলিকে একটি টেবিলে একত্রিত করব।

উল্লম্বভাবে R-এ সারণি যোগ করা: tidyverse, dplyr

В dplyr আপনি ফাংশনটি ব্যবহার করে 2টি টেবিলকে একটিতে একত্রিত করতে পারেন bind_rows(), তার আর্গুমেন্ট হিসাবে টেবিল পাস.

R এ ফিল্টারিং সারি: dplyr

# Вертикальное объединение таблиц
## dplyr
bind_rows(ga_nov, ga_dec)

R: data.table-এ উল্লম্বভাবে যোগদান করা টেবিল

এটিও জটিল কিছু নয়, আসুন ব্যবহার করি rbind().

R-এ ফিল্টারিং সারি: data.table

## data.table
rbind(ga_nov, ga_dec)

পাইথনে টেবিলে উল্লম্বভাবে যোগদান করা: পান্ডা

В pandas ফাংশনটি টেবিলে যোগ দিতে ব্যবহৃত হয় concat(), যেটিতে আপনাকে ফ্রেমের একটি তালিকা একত্রিত করতে হবে।

পাইথনে ফিল্টারিং স্ট্রিং: পান্ডা

# вертикальное объединение таблиц
pd.concat([ga_nov, ga_dec])

টেবিলের অনুভূমিক যোগদান

একটি অপারেশন যেখানে দ্বিতীয় থেকে কলামগুলি কী দ্বারা প্রথম টেবিলে যোগ করা হয়। কিছু রেফারেন্স ডেটা (উদাহরণস্বরূপ, একটি পণ্যের মূল্য) সহ একটি ফ্যাক্ট টেবিল (উদাহরণস্বরূপ, বিক্রয় ডেটা সহ একটি টেবিল) সমৃদ্ধ করার সময় এটি প্রায়শই ব্যবহৃত হয়।

যোগদান বিভিন্ন ধরনের আছে:

পূর্বে লোড করা টেবিলে বিরাটকায় আমাদের একটি কলাম আছে লিঙ্গ, যা যাত্রীর লিঙ্গ কোডের সাথে মিলে যায়:

1 - মহিলা
2 - পুরুষ

এছাড়াও, আমরা একটি টেবিল তৈরি করেছি - একটি রেফারেন্স বই লিঙ্গ. যাত্রীদের লিঙ্গ সম্পর্কিত ডেটার আরও সুবিধাজনক উপস্থাপনার জন্য, আমাদের ডিরেক্টরি থেকে লিঙ্গের নাম যোগ করতে হবে লিঙ্গ টেবিলে বিরাটকায়.

অনুভূমিক টেবিল R-এ যোগ দিন: tidyverse, dplyr

В dplyr অনুভূমিক যোগদানের জন্য ফাংশনগুলির একটি সম্পূর্ণ পরিবার রয়েছে:

• inner_join()
• left_join()
• right_join()
• full_join()
• semi_join()
• nest_join()
• anti_join()

আমার অনুশীলনে সবচেয়ে বেশি ব্যবহৃত হয় left_join().

প্রথম দুটি আর্গুমেন্ট হিসাবে, উপরে তালিকাভুক্ত ফাংশনগুলি যোগ দিতে দুটি টেবিল নেয় এবং তৃতীয় আর্গুমেন্ট হিসাবে by যোগদানের জন্য আপনাকে অবশ্যই কলামগুলি নির্দিষ্ট করতে হবে।

অনুভূমিক টেবিল R: dplyr-এ যোগ দিন

# объединяем таблицы
left_join(titanic, gender,
          by = c("Sex" = "id"))

R: data.table-এ টেবিলের অনুভূমিক যোগদান

В data.table আপনাকে ফাংশনটি ব্যবহার করে কী দ্বারা টেবিলে যোগ দিতে হবে merge().

data.table এ মার্জ() ফাংশনের আর্গুমেন্ট

• x, y — যোগদানের জন্য টেবিল
• দ্বারা — কলাম যেটি যোগদানের চাবিকাঠি যদি উভয় টেবিলে একই নাম থাকে
• by.x, by.y — কলামের নামগুলি একত্রিত করতে হবে, যদি টেবিলে তাদের আলাদা নাম থাকে
• all, all.x, all.y — জয়েন টাইপ, সবগুলি উভয় টেবিল থেকে সমস্ত সারি ফেরত দেবে, all.x বাম যোগদান অপারেশনের সাথে সম্পর্কিত (প্রথম টেবিলের সমস্ত সারি ছেড়ে যাবে), all.y — এর সাথে মিলে যায় রাইট জয়েন অপারেশন (দ্বিতীয় টেবিলের সব সারি ছেড়ে যাবে)।

R: data.table-এ টেবিলের অনুভূমিক যোগদান

# объединяем таблицы
merge(titanic, gender, by.x = "Sex", by.y = "id", all.x = T)

পাইথনে অনুভূমিক টেবিল যোগ দিন: পান্ডা

পাশাপাশি ইন data.table, ইন pandas ফাংশনটি টেবিলে যোগ দিতে ব্যবহৃত হয় merge().

পান্ডায় মার্জ() ফাংশনের আর্গুমেন্ট

• কিভাবে — সংযোগের ধরন: বাম, ডান, বাইরের, ভিতরের
• on — কলাম যেটি একটি কী যদি উভয় টেবিলে একই নাম থাকে
• left_on, right_on — কী কলামের নাম, যদি টেবিলে তাদের আলাদা নাম থাকে

পাইথনে অনুভূমিক টেবিল যোগ দিন: পান্ডা

# объединяем по ключу
titanic.merge(gender, how = "left", left_on = "Sex", right_on = "id")

প্রাথমিক উইন্ডো ফাংশন এবং গণনা করা কলাম

উইন্ডো ফাংশন একত্রীকরণ ফাংশনের অর্থে অনুরূপ, এবং প্রায়শই ডেটা বিশ্লেষণেও ব্যবহৃত হয়। কিন্তু একত্রীকরণ ফাংশনের বিপরীতে, উইন্ডো ফাংশন আউটগোয়িং ডেটাফ্রেমের সারির সংখ্যা পরিবর্তন করে না।

মূলত, উইন্ডো ফাংশন ব্যবহার করে, আমরা কিছু মানদণ্ড অনুযায়ী আগত ডেটাফ্রেমকে অংশে বিভক্ত করি, যেমন একটি ক্ষেত্রের মান, বা বেশ কয়েকটি ক্ষেত্রের দ্বারা। এবং আমরা প্রতিটি উইন্ডোতে গাণিতিক ক্রিয়াকলাপ চালাই। এই অপারেশনগুলির ফলাফল প্রতিটি লাইনে ফেরত দেওয়া হবে, যেমন সারণীতে মোট সারির সংখ্যা পরিবর্তন না করে।

উদাহরণস্বরূপ, টেবিলটি নেওয়া যাক বিরাটকায়. প্রতিটি টিকিটের কেবিন ক্লাসের মধ্যে কত শতাংশ খরচ হয়েছে তা আমরা গণনা করতে পারি।

এটি করার জন্য, আমাদের প্রতিটি লাইনে বর্তমান কেবিন শ্রেণীর একটি টিকিটের মোট মূল্য পেতে হবে যেটি এই লাইনের টিকিটটি রয়েছে, তারপর প্রতিটি টিকিটের মূল্যকে একই কেবিন শ্রেণীর সমস্ত টিকিটের মোট মূল্য দ্বারা ভাগ করুন। .

R-এ উইন্ডো ফাংশন: tidyverse, dplyr

সারি গ্রুপিং ব্যবহার না করে নতুন কলাম যোগ করতে, ইন dplyr ফাংশন পরিবেশন করে mutate().

আপনি ক্ষেত্র অনুসারে ডেটা গ্রুপ করে উপরে বর্ণিত সমস্যার সমাধান করতে পারেন Pclass এবং একটি নতুন কলামে ক্ষেত্রটির সংক্ষিপ্তকরণ ভাড়া. এর পরে, টেবিলটি আনগ্রুপ করুন এবং ক্ষেত্রের মানগুলি ভাগ করুন ভাড়া পূর্ববর্তী ধাপে যা ঘটেছে।

R: dplyr-এ উইন্ডো ফাংশন

group_by(titanic, Pclass) %>%
  mutate(Pclass_cost = sum(Fare)) %>%
  ungroup() %>%
  mutate(ticket_fare_rate = Fare / Pclass_cost)

R-এ উইন্ডো ফাংশন: data.table

সমাধান অ্যালগরিদম হিসাবে একই থাকে dplyr, আমাদের ক্ষেত্র অনুসারে টেবিলটিকে উইন্ডোতে বিভক্ত করতে হবে Pclass. একটি নতুন কলামে প্রতিটি সারির সাথে সংশ্লিষ্ট গ্রুপের পরিমাণ আউটপুট করুন এবং একটি কলাম যোগ করুন যেখানে আমরা তার গ্রুপের প্রতিটি টিকিটের মূল্যের ভাগ গণনা করি।

নতুন কলাম যোগ করতে data.table অপারেটর উপস্থিত :=. নীচে প্যাকেজ ব্যবহার করে একটি সমস্যা সমাধানের একটি উদাহরণ data.table

R-এ উইন্ডো ফাংশন: data.table

titanic[,c("Pclass_cost","ticket_fare_rate") := .(sum(Fare), Fare / Pclass_cost), 
        by = Pclass]

পাইথনে উইন্ডো ফাংশন: পান্ডা

একটি নতুন কলাম যোগ করার একটি উপায় pandas - ফাংশন ব্যবহার করুন assign(). সারি গোষ্ঠীভুক্ত না করে কেবিন শ্রেণী অনুসারে টিকিটের মূল্য সংক্ষিপ্ত করতে, আমরা ফাংশনটি ব্যবহার করব transform().

নীচে একটি সমাধানের একটি উদাহরণ যেখানে আমরা টেবিলে যোগ করি বিরাটকায় একই 2 কলাম।

পাইথনে উইন্ডো ফাংশন: পান্ডা

titanic.assign(Pclass_cost      =  titanic.groupby('Pclass').Fare.transform(sum),
               ticket_fare_rate = lambda x: x['Fare'] / x['Pclass_cost'])

ফাংশন এবং পদ্ধতি চিঠিপত্র টেবিল

নীচে আমরা বিবেচনা করা প্যাকেজগুলিতে ডেটা সহ বিভিন্ন ক্রিয়াকলাপ সম্পাদনের পদ্ধতিগুলির মধ্যে চিঠিপত্রের একটি সারণী রয়েছে৷

বিবরণ
পরিপাটি
ডেটা.ট্যাবল
পান্ডাস

তথ্য প্রস্তুত হচ্ছে
vroom()/ readr::read_csv() / readr::read_tsv()
fread()
read_csv()

ডেটাফ্রেম তৈরি করা
tibble()
data.table()
dict() + from_dict()

কলাম নির্বাচন করা হচ্ছে
select()
যুক্তি j, বর্গাকার বন্ধনীতে দ্বিতীয় অবস্থান
আমরা বর্গাকার বন্ধনীতে প্রয়োজনীয় কলামের তালিকা পাস করি / drop() / filter() / select_dtypes()

ফিল্টারিং সারি
filter()
যুক্তি i, বর্গাকার বন্ধনীতে প্রথম অবস্থান
আমরা বর্গাকার বন্ধনীতে ফিল্টারিং শর্তগুলি তালিকাভুক্ত করি / filter()

গ্রুপিং এবং অ্যাগ্রিগেশন
group_by() + summarise()
আর্গুমেন্ট j + by
groupby() + agg()

টেবিলের উল্লম্ব ইউনিয়ন (UNION)
bind_rows()
rbind()
concat()

টেবিলের অনুভূমিক যোগদান (JOIN)
left_join() / *_join()
merge()
merge()

মৌলিক উইন্ডো ফাংশন এবং গণনা করা কলাম যোগ করা
group_by() + mutate()
যুক্তি j অপারেটর ব্যবহার করে := + যুক্তি by
transform() + assign()

উপসংহার

সম্ভবত নিবন্ধে আমি ডেটা প্রসেসিংয়ের সর্বোত্তম বাস্তবায়নের বর্ণনা দিয়েছি না, তাই আপনি যদি মন্তব্যে আমার ভুলগুলি সংশোধন করেন বা আর / পাইথনে ডেটা নিয়ে কাজ করার জন্য অন্যান্য কৌশলগুলির সাথে নিবন্ধে দেওয়া তথ্যের পরিপূরক হলে আমি খুশি হব।

আমি উপরে যেমনটি লিখেছি, নিবন্ধটির উদ্দেশ্য কোন ভাষাটি ভাল তার উপর কারও মতামত চাপানো নয়, তবে উভয় ভাষা শেখার সুযোগ সহজ করা, বা প্রয়োজনে তাদের মধ্যে স্থানান্তর করা।

আপনি যদি নিবন্ধটি পছন্দ করেন তবে আমি আমার নতুন গ্রাহকদের পেয়ে খুশি হব ইউটিউব и টেলিগ্রাম চ্যানেল

সাক্ষাত্কার

নিচের কোন প্যাকেজগুলো আপনি আপনার কাজে ব্যবহার করেন?

মন্তব্যে আপনি আপনার পছন্দের কারণ লিখতে পারেন।

শুধুমাত্র নিবন্ধিত ব্যবহারকারীরা জরিপে অংশগ্রহণ করতে পারবেন। সাইন ইন করুনকরুন।

আপনি কোন ডেটা প্রসেসিং প্যাকেজ ব্যবহার করেন (আপনি বেশ কয়েকটি বিকল্প নির্বাচন করতে পারেন)

• 45,2%পরিপাটি 19

• 33,3%data.table14

• 54,8%পান্ডা23

42 জন ব্যবহারকারী ভোট দিয়েছেন। 9 জন ব্যবহারকারী বিরত ছিলেন।

উত্স: www.habr.com