উদাহরণ সহ লিনাক্সে ফাইল বর্ণনাকারী

একবার, একটি সাক্ষাত্কারের সময়, আমাকে জিজ্ঞাসা করা হয়েছিল, আপনি যদি ডিস্কের স্থান ফুরিয়ে যাওয়ার কারণে কোনও পরিষেবা কাজ না করতে দেখেন তবে আপনি কী করবেন?

অবশ্যই, আমি উত্তর দিয়েছিলাম যে এই জায়গাটি কী দখল করেছে তা আমি দেখব এবং সম্ভব হলে আমি জায়গাটি পরিষ্কার করব।
তারপর ইন্টারভিউয়ার জিজ্ঞাসা করলেন, যদি পার্টিশনে কোনো ফাঁকা জায়গা না থাকে, কিন্তু আপনি এমন কোনো ফাইলও দেখতে পান না যা সমস্ত স্থান দখল করবে?

এর জন্য আমি বলেছিলাম যে আপনি সর্বদা খোলা ফাইল বর্ণনাকারীর দিকে তাকাতে পারেন, উদাহরণস্বরূপ lsof কমান্ড দিয়ে, এবং বুঝতে পারেন কোন অ্যাপ্লিকেশনটি সমস্ত উপলব্ধ স্থান গ্রহণ করেছে, এবং তারপরে আপনি ডেটা প্রয়োজন কিনা তার উপর নির্ভর করে পরিস্থিতি অনুসারে কাজ করতে পারেন। .

ইন্টারভিউয়ার আমাকে শেষ শব্দে বাধা দিয়েছিলেন, তার প্রশ্নে যোগ করেছেন: "ধরুন আমাদের ডেটার প্রয়োজন নেই, এটি কেবল একটি ডিবাগ লগ, কিন্তু অ্যাপ্লিকেশনটি কাজ করে না কারণ এটি একটি ডিবাগ লিখতে পারে না"?

"ঠিক আছে," আমি উত্তর দিলাম, "আমরা অ্যাপ্লিকেশন কনফিগারেশনে ডিবাগ বন্ধ করে আবার চালু করতে পারি।"
সাক্ষাত্কারকারী আপত্তি করেছিলেন: "না, আমরা অ্যাপ্লিকেশনটি পুনরায় চালু করতে পারি না, আমাদের এখনও মেমরিতে গুরুত্বপূর্ণ ডেটা সংরক্ষিত আছে এবং গুরুত্বপূর্ণ ক্লায়েন্টরা পরিষেবার সাথেই সংযুক্ত থাকে, যা আমরা আবার সংযোগ করতে বাধ্য করতে পারি না।"

"ঠিক আছে," আমি বললাম, "যদি আমরা অ্যাপ্লিকেশনটি পুনরায় চালু করতে না পারি এবং ডেটা আমাদের কাছে গুরুত্বপূর্ণ না হয়, তাহলে আমরা ফাইল বর্ণনাকারীর মাধ্যমে এই খোলা ফাইলটি পরিষ্কার করতে পারি, এমনকি যদি আমরা এটি ls কমান্ডে দেখতে না পাই। ফাইল সিস্টেমে।"

ইন্টারভিউয়ার সন্তুষ্ট ছিল, কিন্তু আমি না.

তখন আমি ভাবলাম, আমার জ্ঞান পরীক্ষা করা ব্যক্তিটি কেন গভীরভাবে খনন করে না? কিন্তু সব পরে যদি তথ্য গুরুত্বপূর্ণ? যদি আমরা একটি প্রক্রিয়া পুনরায় আরম্ভ করতে না পারি, এবং প্রক্রিয়াটি এমন একটি পার্টিশনের ফাইল সিস্টেমে লিখতে পারে যার কোনো ফাঁকা স্থান নেই? আমরা যদি ইতিমধ্যেই লেখা ডেটাই না হারাতে পারি, তবে সেই ডেটাও যা এই প্রক্রিয়াটি লিখে বা লেখার চেষ্টা করে?

Tuzik

আমার কর্মজীবনের প্রথম দিকে, আমি একটি ছোট অ্যাপ্লিকেশন তৈরি করার চেষ্টা করেছি যা ব্যবহারকারীর তথ্য সংরক্ষণের জন্য প্রয়োজন। এবং তারপর আমি ভাবলাম, কিভাবে আমি ব্যবহারকারীকে তার ডেটার সাথে মেলাতে পারি। উদাহরণস্বরূপ, আমার কাছে ইভানভ ইভান ইভানোভিচ আছে, এবং তার কাছে কিছু তথ্য আছে, কিন্তু আমি কীভাবে তাদের সাথে বন্ধুত্ব করতে পারি? আমি সরাসরি নির্দেশ করতে পারি যে "তুজিক" নামের কুকুরটি এই ইভানেরই। কিন্তু যদি সে তার নাম পরিবর্তন করে এবং ইভানের পরিবর্তে, উদাহরণস্বরূপ, অলিয়া হয়ে যায়? তারপরে দেখা যাচ্ছে যে আমাদের ওলিয়া ইভানোভনা ইভানোভা আর একটি কুকুর থাকবে না এবং আমাদের তুজিক এখনও অস্তিত্বহীন ইভানের অন্তর্গত হবে। একটি ডাটাবেস যা প্রতিটি ব্যবহারকারীকে একটি অনন্য শনাক্তকারী (আইডি) দিয়েছে এই সমস্যাটি সমাধান করতে সাহায্য করেছে, এবং আমার Tuzik এই আইডির সাথে আবদ্ধ ছিল, যা প্রকৃতপক্ষে একটি সিরিয়াল নম্বর ছিল। সুতরাং, টেক্কার মালিকের আইডি নম্বর 2 ছিল এবং এক সময়ে ইভান এই আইডির অধীনে ছিল এবং তারপরে ওলিয়া একই আইডির অধীনে ছিল। মানবতা ও পশুপালনের সমস্যা কার্যত সমাধান করা হয়েছিল।

ফাইল বর্ণনাকারী

এই ফাইলের সাথে কাজ করা ফাইল এবং প্রোগ্রামের সমস্যাটি প্রায় আমাদের কুকুর এবং মানুষের মতোই। ধরুন আমি ivan.txt নামে একটি ফাইল খুলে তাতে tuzik শব্দটি লিখতে শুরু করেছি, কিন্তু ফাইলটিতে শুধুমাত্র প্রথম অক্ষর "t" লিখতে পেরেছি, এবং এই ফাইলটির নাম পরিবর্তন করে কেউ দিয়েছে, উদাহরণস্বরূপ, olya.txt। কিন্তু ফাইলটি একই রয়ে গেছে, এবং আমি এখনও এটিতে আমার টেক্কা রেকর্ড করতে চাই। প্রতিবার একটি সিস্টেম কল দ্বারা একটি ফাইল খোলা হয় খোলা যেকোনো প্রোগ্রামিং ভাষায় আমি একটি অনন্য আইডি পাই যা আমাকে একটি ফাইলের দিকে নির্দেশ করে, এই আইডিটি ফাইল বর্ণনাকারী। এবং এই ফাইলটি পরবর্তীতে কী এবং কে করবে তাতে কিছু যায় আসে না, এটি মুছে ফেলা যেতে পারে, এটির নাম পরিবর্তন করা যেতে পারে, মালিক পরিবর্তন করা যেতে পারে, বা পড়ার এবং লেখার অধিকার কেড়ে নেওয়া যেতে পারে, আমার এখনও অ্যাক্সেস থাকবে এটিতে, কারণ ফাইলটি খোলার সময়, আমার এটি পড়ার এবং/অথবা লেখার অধিকার ছিল এবং আমি এটির সাথে কাজ শুরু করতে পেরেছিলাম, যার অর্থ আমাকে এটি চালিয়ে যেতে হবে।

লিনাক্সে, libc লাইব্রেরি প্রতিটি চলমান অ্যাপ্লিকেশনের (প্রসেস) জন্য 3 নম্বরযুক্ত 0,1,2টি বর্ণনাকারী ফাইল খোলে। আরও তথ্য লিঙ্কে পাওয়া যাবে মানুষ stdio и মানুষ stdout

• ফাইল বর্ণনাকারী 0 কে STDIN বলা হয় এবং এটি অ্যাপ্লিকেশন ইনপুটের সাথে যুক্ত
• ফাইল বর্ণনাকারী 1 কে STDOUT বলা হয় এবং অ্যাপ্লিকেশন দ্বারা ডেটা আউটপুট করার জন্য ব্যবহৃত হয়, যেমন প্রিন্ট কমান্ড
• ফাইল বর্ণনাকারী 2 কে STDERR বলা হয় এবং ত্রুটি বার্তা আউটপুট করতে অ্যাপ্লিকেশন দ্বারা ব্যবহৃত হয়।

যদি আপনার প্রোগ্রামে আপনি পড়ার বা লেখার জন্য কোনও ফাইল খোলেন, তবে সম্ভবত আপনি প্রথম ফ্রি আইডি পাবেন এবং এটি 3 নম্বর হবে।

ফাইল বর্ণনাকারীর তালিকা যেকোন প্রক্রিয়ার জন্য দেখা যেতে পারে যদি আপনি এটির পিআইডি জানেন।

উদাহরণস্বরূপ, ব্যাশ কনসোলটি খুলুন এবং আমাদের প্রক্রিয়াটির পিআইডি দেখুন

[user@localhost ]$ echo $$
15771

দ্বিতীয় কনসোলে রান করা যাক

[user@localhost ]$ ls -lah /proc/15771/fd/
total 0
dr-x------ 2 user user  0 Oct  7 15:42 .
dr-xr-xr-x 9 user user  0 Oct  7 15:42 ..
lrwx------ 1 user user 64 Oct  7 15:42 0 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 1 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 2 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 255 -> /dev/pts/21

আপনি এই নিবন্ধটির উদ্দেশ্যে ফাইল বর্ণনাকারী নম্বর 255কে নিরাপদে উপেক্ষা করতে পারেন; এটি ব্যাশের দ্বারাই খোলা হয়েছিল, লিঙ্কযুক্ত লাইব্রেরির দ্বারা নয়।

এখন সমস্ত 3টি বর্ণনাকারী ফাইল সিউডো টার্মিনাল ডিভাইসের সাথে যুক্ত /dev/pts, কিন্তু আমরা এখনও তাদের ম্যানিপুলেট করতে পারি, উদাহরণস্বরূপ, একটি দ্বিতীয় কনসোলে চালান

[user@localhost ]$ echo "hello world" > /proc/15771/fd/0

এবং প্রথম কনসোলে আমরা দেখতে পাব

[user@localhost ]$ hello world

পুনঃনির্দেশ এবং পাইপ

আপনি সহজেই এই 3টি বর্ণনাকারী ফাইলগুলিকে যেকোন প্রক্রিয়ায় ওভাররাইড করতে পারেন, ব্যাশ সহ, উদাহরণস্বরূপ দুটি প্রক্রিয়া সংযোগকারী একটি পাইপের মাধ্যমে, দেখুন

[user@localhost ]$ cat /dev/zero | sleep 10000

আপনি নিজেই এই কমান্ডটি চালাতে পারেন strace -f এবং ভিতরে কি ঘটছে তা দেখুন, তবে আমি আপনাকে সংক্ষেপে বলব।

PID 15771 এর সাথে আমাদের প্যারেন্ট ব্যাশ প্রক্রিয়া আমাদের কমান্ডকে পার্স করে এবং ঠিক কতগুলি কমান্ড চালাতে চাই তা বুঝতে পারে, আমাদের ক্ষেত্রে সেগুলির মধ্যে দুটি রয়েছে: বিড়াল এবং ঘুম। ব্যাশ জানে যে এটি দুটি চাইল্ড প্রসেস তৈরি করতে হবে এবং সেগুলিকে একটি পাইপে একত্রিত করতে হবে৷ মোট, ব্যাশের 2টি চাইল্ড প্রসেস এবং একটি পাইপ লাগবে।

চাইল্ড প্রসেস তৈরি করার আগে ব্যাশ একটি সিস্টেম কল চালায় নল এবং অস্থায়ী পাইপ বাফারে নতুন ফাইল বর্ণনাকারী গ্রহণ করে, কিন্তু এই বাফারটি এখনও আমাদের দুটি চাইল্ড প্রসেসকে সংযুক্ত করে না।

অভিভাবক প্রক্রিয়ার জন্য, দেখে মনে হচ্ছে ইতিমধ্যে একটি পাইপ আছে, কিন্তু এখনও কোন শিশু প্রক্রিয়া নেই:

PID    command
15771  bash
lrwx------ 1 user user 64 Oct  7 15:42 0 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 1 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 2 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 3 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:42 4 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:42 255 -> /dev/pts/21

তারপর সিস্টেম কল ব্যবহার করে ক্লোন bash দুটি চাইল্ড প্রসেস তৈরি করে এবং আমাদের তিনটি প্রসেস দেখতে এরকম হবে:

PID    command
15771  bash
lrwx------ 1 user user 64 Oct  7 15:42 0 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 1 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 2 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 3 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:42 4 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:42 255 -> /dev/pts/21
PID    command
9004  bash
lrwx------ 1 user user 64 Oct  7 15:57 0 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:57 1 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:57 2 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:57 3 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:57 4 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:57 255 -> /dev/pts/21
PID    command
9005  bash
lrwx------ 1 user user 64 Oct  7 15:57 0 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:57 1 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:57 2 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:57 3 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:57 4 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:57 255 -> /dev/pts/21

ভুলে যাবেন না যে ক্লোন সমস্ত ফাইল বর্ণনাকারীর সাথে প্রক্রিয়াটিকে ক্লোন করে, তাই তারা অভিভাবক প্রক্রিয়া এবং শিশুর ক্ষেত্রে একই রকম হবে। পিআইডি 15771 এর সাথে অভিভাবক প্রক্রিয়ার কাজ হল শিশু প্রক্রিয়াগুলি নিরীক্ষণ করা, তাই এটি কেবল শিশুদের কাছ থেকে প্রতিক্রিয়ার জন্য অপেক্ষা করে।

অতএব, এটির পাইপের প্রয়োজন নেই এবং এটি 3 এবং 4 নম্বরের ফাইল বর্ণনাকারীকে বন্ধ করে দেয়।

PID 9004 এর সাথে প্রথম চাইল্ড ব্যাশ প্রক্রিয়ায়, সিস্টেম কল dup2, আমাদের STDOUT ফাইলের বর্ণনাকারী নম্বর 1 কে পাইপের দিকে নির্দেশ করে একটি ফাইল বর্ণনাকারীতে পরিবর্তন করে, আমাদের ক্ষেত্রে এটি 3 নম্বর। এইভাবে, PID 9004 এর সাথে প্রথম চাইল্ড প্রসেস যা STDOUT-এ লিখবে তা স্বয়ংক্রিয়ভাবে পাইপ বাফারে শেষ হবে।

PID 9005 এর সাথে দ্বিতীয় চাইল্ড প্রক্রিয়ায়, bash ফাইল বর্ণনাকারী STDIN নম্বর 2 পরিবর্তন করতে dup0 ব্যবহার করে। এখন PID 9005 এর সাথে আমাদের দ্বিতীয় ব্যাশ যা পড়বে তা পাইপ থেকে পড়া হবে।

এর পরে, 3 এবং 4 নম্বরযুক্ত ফাইল বর্ণনাকারীগুলিও চাইল্ড প্রসেসে বন্ধ হয়ে গেছে, যেহেতু সেগুলি আর ব্যবহার করা হয় না।

আমি ইচ্ছাকৃতভাবে ফাইল বর্ণনাকারী 255 উপেক্ষা করি; এটি ব্যাশের দ্বারা অভ্যন্তরীণ উদ্দেশ্যে ব্যবহৃত হয় এবং শিশু প্রক্রিয়াগুলিতেও বন্ধ হয়ে যাবে।

এর পরে, পিআইডি 9004 এর সাথে প্রথম চাইল্ড প্রক্রিয়ায়, ব্যাশ একটি সিস্টেম কল ব্যবহার করা শুরু করে Exec এক্সিকিউটেবল ফাইল যা আমরা কমান্ড লাইনে নির্দিষ্ট করেছি, আমাদের ক্ষেত্রে এটি হল /usr/bin/cat।

PID 9005-এর সাথে দ্বিতীয় চাইল্ড প্রক্রিয়ায়, bash আমাদের নির্দিষ্ট করা দ্বিতীয় এক্সিকিউটেবল চালায়, আমাদের ক্ষেত্রে /usr/bin/sleep।

exec সিস্টেম কল ফাইল হ্যান্ডেলগুলি বন্ধ করে না যদি না সেগুলি O_CLOEXEC পতাকা দিয়ে খোলা হয় যখন ওপেন কল করা হয়েছিল। আমাদের ক্ষেত্রে, এক্সিকিউটেবল ফাইলগুলি চালু করার পরে, সমস্ত বর্তমান ফাইল বর্ণনাকারী সংরক্ষণ করা হবে।

কনসোলে চেক করুন:

[user@localhost ]$ pgrep -P 15771
9004
9005
[user@localhost ]$ ls -lah /proc/15771/fd/
total 0
dr-x------ 2 user user  0 Oct  7 15:42 .
dr-xr-xr-x 9 user user  0 Oct  7 15:42 ..
lrwx------ 1 user user 64 Oct  7 15:42 0 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 1 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 2 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:42 255 -> /dev/pts/21
[user@localhost ]$ ls -lah /proc/9004/fd
total 0
dr-x------ 2 user user  0 Oct  7 15:57 .
dr-xr-xr-x 9 user user  0 Oct  7 15:57 ..
lrwx------ 1 user user 64 Oct  7 15:57 0 -> /dev/pts/21
l-wx------ 1 user user 64 Oct  7 15:57 1 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:57 2 -> /dev/pts/21
lr-x------ 1 user user 64 Oct  7 15:57 3 -> /dev/zero
[user@localhost ]$ ls -lah /proc/9005/fd
total 0
dr-x------ 2 user user  0 Oct  7 15:57 .
dr-xr-xr-x 9 user user  0 Oct  7 15:57 ..
lr-x------ 1 user user 64 Oct  7 15:57 0 -> pipe:[253543032]
lrwx------ 1 user user 64 Oct  7 15:57 1 -> /dev/pts/21
lrwx------ 1 user user 64 Oct  7 15:57 2 -> /dev/pts/21
[user@localhost ]$ ps -up 9004
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
user  9004  0.0  0.0 107972   620 pts/21   S+   15:57   0:00 cat /dev/zero
[user@localhost ]$ ps -up 9005
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
user  9005  0.0  0.0 107952   360 pts/21   S+   15:57   0:00 sleep 10000

আপনি দেখতে পাচ্ছেন, আমাদের পাইপের অনন্য সংখ্যা উভয় প্রক্রিয়াতেই একই। এইভাবে আমাদের একই পিতামাতার সাথে দুটি ভিন্ন প্রক্রিয়ার মধ্যে একটি সংযোগ রয়েছে।

যারা ব্যাশ ব্যবহার করে এমন সিস্টেম কলগুলির সাথে পরিচিত নন তাদের জন্য, আমি স্ট্রেসের মাধ্যমে কমান্ডগুলি চালানোর এবং অভ্যন্তরীণভাবে কী ঘটছে তা দেখার সুপারিশ করছি, উদাহরণস্বরূপ:

strace -s 1024 -f bash -c "ls | grep hello"

আসুন কম ডিস্কে স্থান নিয়ে আমাদের সমস্যায় ফিরে আসি এবং প্রক্রিয়াটি পুনরায় চালু না করে ডেটা সংরক্ষণ করার চেষ্টা করি। আসুন একটি ছোট প্রোগ্রাম লিখি যা ডিস্কে প্রতি সেকেন্ডে প্রায় 1 মেগাবাইট লিখবে। তদুপরি, যদি কোনো কারণে আমরা ডিস্কে ডেটা লিখতে অক্ষম হই, আমরা কেবল এটি উপেক্ষা করব এবং এক সেকেন্ডের মধ্যে আবার ডেটা লেখার চেষ্টা করব। উদাহরণে আমি পাইথন ব্যবহার করছি, আপনি অন্য কোনো প্রোগ্রামিং ভাষা ব্যবহার করতে পারেন।

[user@localhost ]$ cat openforwrite.py 
import datetime
import time

mystr="a"*1024*1024+"n"
with open("123.txt", "w") as f:
    while True:
        try:
            f.write(str(datetime.datetime.now()))
            f.write(mystr)
            f.flush()
            time.sleep(1)
        except:
            pass

চলুন প্রোগ্রাম রান করুন এবং ফাইল বর্ণনাকারী দেখুন

[user@localhost ]$ python openforwrite.py &
[1] 3762
[user@localhost ]$ ps axuf | grep [o]penforwrite
user  3762  0.0  0.0 128600  5744 pts/22   S+   16:28   0:00  |   _ python openforwrite.py
[user@localhost ]$ ls -la /proc/3762/fd
total 0
dr-x------ 2 user user  0 Oct  7 16:29 .
dr-xr-xr-x 9 user user  0 Oct  7 16:29 ..
lrwx------ 1 user user 64 Oct  7 16:29 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  7 16:29 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  7 16:29 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  7 16:29 3 -> /home/user/123.txt

আপনি দেখতে পাচ্ছেন, আমাদের 3টি স্ট্যান্ডার্ড ফাইল বর্ণনাকারী রয়েছে এবং আরও একটি আমরা খুলেছি। ফাইলের আকার পরীক্ষা করা যাক:

[user@localhost ]$ ls -lah 123.txt 
-rw-rw-r-- 1 user user 117M Oct  7 16:30 123.txt

ডেটা লেখা হচ্ছে, আমরা ফাইলের অনুমতিগুলি পরিবর্তন করার চেষ্টা করি:

[user@localhost ]$ sudo chown root: 123.txt
[user@localhost ]$ ls -lah 123.txt 
-rw-rw-r-- 1 root root 168M Oct  7 16:31 123.txt
[user@localhost ]$ ls -lah 123.txt 
-rw-rw-r-- 1 root root 172M Oct  7 16:31 123.txt

আমরা দেখতে পাই যে ডেটা এখনও লেখা হচ্ছে, যদিও আমাদের ব্যবহারকারীর ফাইলে লেখার অনুমতি নেই। আসুন এটি অপসারণ করার চেষ্টা করি:

[user@localhost ]$ sudo rm 123.txt 
[user@localhost ]$ ls 123.txt
ls: cannot access 123.txt: No such file or directory

তথ্য কোথায় লেখা হয়? এবং তারা কি আদৌ লেখা আছে? আমরা পরীক্ষা করি:

[user@localhost ]$ ls -la /proc/3762/fd
total 0
dr-x------ 2 user user  0 Oct  7 16:29 .
dr-xr-xr-x 9 user user  0 Oct  7 16:29 ..
lrwx------ 1 user user 64 Oct  7 16:29 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  7 16:29 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  7 16:29 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  7 16:29 3 -> /home/user/123.txt (deleted)

হ্যাঁ, আমাদের ফাইল বর্ণনাকারী এখনও বিদ্যমান এবং আমরা এই ফাইল বর্ণনাকারীকে আমাদের পুরানো ফাইলের মতো ব্যবহার করতে পারি, আমরা এটি পড়তে, পরিষ্কার করতে এবং অনুলিপি করতে পারি।

আসুন ফাইলের আকার দেখি:

[user@localhost ]$ lsof | grep 123.txt
python    31083             user    3w      REG                8,5   19923457   2621522 /home/user/123.txt

ফাইলের আকার হল 19923457। আসুন ফাইলটি পরিষ্কার করার চেষ্টা করি:

[user@localhost ]$ truncate -s 0 /proc/31083/fd/3
[user@localhost ]$ lsof | grep 123.txt
python    31083             user    3w      REG                8,5  136318390   2621522 /home/user/123.txt

আপনি দেখতে পাচ্ছেন, ফাইলের আকার কেবল বাড়ছে এবং আমাদের ট্রাঙ্ক কাজ করেনি। এর সিস্টেম কল ডকুমেন্টেশন তাকান খোলা. যদি আমরা একটি ফাইল খোলার সময় O_APPEND পতাকা ব্যবহার করি, তাহলে প্রতিটি লেখার সাথে, অপারেটিং সিস্টেম ফাইলের আকার পরীক্ষা করে এবং ফাইলের একেবারে শেষ পর্যন্ত ডেটা লেখে এবং এটি পারমাণবিকভাবে করে। এটি একাধিক থ্রেড বা প্রসেসকে একই ফাইলে লেখার অনুমতি দেয়। কিন্তু আমাদের কোডে আমরা এই পতাকা ব্যবহার করি না। আমরা অতিরিক্ত লেখার জন্য ফাইলটি খুললেই ট্রাঙ্কের পরে lsof-এ একটি ভিন্ন ফাইলের আকার দেখতে পাব, যার মানে আমাদের কোডে

with open("123.txt", "w") as f:

আমাদের লাগাতে হবে

with open("123.txt", "a") as f:

"w" পতাকা দিয়ে পরীক্ষা করা হচ্ছে

[user@localhost ]$ strace -e trace=open python openforwrite.py 2>&1| grep 123.txt
open("123.txt", O_WRONLY|O_CREAT|O_TRUNC, 0666) = 3

এবং "a" পতাকা সহ

[user@localhost ]$ strace -e trace=open python openforwrite.py 2>&1| grep 123.txt
open("123.txt", O_WRONLY|O_CREAT|O_APPEND, 0666) = 3

প্রোগ্রামিং একটি ইতিমধ্যে চলমান প্রক্রিয়া

প্রায়শই প্রোগ্রামাররা, প্রোগ্রাম তৈরি এবং পরীক্ষা করার সময়, ডিবাগার ব্যবহার করে (উদাহরণস্বরূপ GDB) বা অ্যাপ্লিকেশনটিতে লগিংয়ের বিভিন্ন স্তর। লিনাক্স প্রকৃতপক্ষে একটি ইতিমধ্যে চলমান প্রোগ্রাম লিখতে এবং পরিবর্তন করার ক্ষমতা প্রদান করে, উদাহরণস্বরূপ, ভেরিয়েবলের মান পরিবর্তন করা, একটি ব্রেকপয়েন্ট সেট করা ইত্যাদি ইত্যাদি।

একটি ফাইল লেখার জন্য পর্যাপ্ত ডিস্ক স্থান না সম্পর্কে মূল প্রশ্নে ফিরে, আসুন সমস্যাটি অনুকরণ করার চেষ্টা করি।

আসুন আমাদের পার্টিশনের জন্য একটি ফাইল তৈরি করি, যা আমরা একটি পৃথক ডিস্ক হিসাবে মাউন্ট করব:

[user@localhost ~]$ dd if=/dev/zero of=~/tempfile_for_article.dd bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00525929 s, 2.0 GB/s
[user@localhost ~]$

আসুন একটি ফাইল সিস্টেম তৈরি করি:

[user@localhost ~]$ mkfs.ext4 ~/tempfile_for_article.dd
mke2fs 1.42.9 (28-Dec-2013)
/home/user/tempfile_for_article.dd is not a block special device.
Proceed anyway? (y,n) y
...
Writing superblocks and filesystem accounting information: done
[user@localhost ~]$

ফাইল সিস্টেম মাউন্ট করুন:

[user@localhost ~]$ sudo mount ~/tempfile_for_article.dd /mnt/
[sudo] password for user: 
[user@localhost ~]$ df -h | grep mnt
/dev/loop0      8.7M  172K  7.9M   3% /mnt

আমরা আমাদের মালিকের সাথে একটি ডিরেক্টরি তৈরি করি:

[user@localhost ~]$ sudo mkdir /mnt/logs
[user@localhost ~]$ sudo chown user: /mnt/logs

শুধুমাত্র আমাদের প্রোগ্রামে লেখার জন্য ফাইলটি খুলুন:

with open("/mnt/logs/123.txt", "w") as f:

চালান

[user@localhost ]$ python openforwrite.py 

আমরা কয়েক সেকেন্ড অপেক্ষা করি

[user@localhost ~]$ df -h | grep mnt
/dev/loop0      8.7M  8.0M     0 100% /mnt

সুতরাং, আমরা এই নিবন্ধের শুরুতে বর্ণিত সমস্যা আছে. বিনামূল্যে স্থান 0, 100% দখল করা হয়েছে।

আমরা মনে রাখি যে টাস্কের শর্ত অনুসারে, আমরা খুব গুরুত্বপূর্ণ ডেটা রেকর্ড করার চেষ্টা করছি যা হারিয়ে যাবে না। এবং একই সময়ে, আমাদের প্রক্রিয়াটি পুনরায় চালু না করে পরিষেবাটি ঠিক করতে হবে।

ধরা যাক আমাদের এখনও ডিস্ক স্পেস আছে, কিন্তু একটি ভিন্ন পার্টিশনে, উদাহরণস্বরূপ /হোমে।

আসুন আমাদের কোড "ফ্লাইতে পুনরায় প্রোগ্রাম" করার চেষ্টা করি।

আসুন আমাদের প্রক্রিয়াটির পিআইডিটি দেখি, যা সমস্ত ডিস্কের স্থান খেয়ে ফেলেছে:

[user@localhost ~]$ ps axuf | grep [o]penfor
user 10078 27.2  0.0 128600  5744 pts/22   R+   11:06   0:02  |   _ python openforwrite.py

gdb এর মাধ্যমে প্রক্রিয়াটির সাথে সংযোগ করুন

[user@localhost ~]$ gdb -p 10078
...
(gdb) 

চলুন খোলা ফাইল বর্ণনাকারী দেখুন:

(gdb) shell ls -lah /proc/10078/fd/
total 0
dr-x------ 2 user user  0 Oct  8 11:06 .
dr-xr-xr-x 9 user user  0 Oct  8 11:06 ..
lrwx------ 1 user user 64 Oct  8 11:09 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:09 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:06 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:09 3 -> /mnt/logs/123.txt

আমরা ফাইল বর্ণনাকারী নম্বর 3 সম্পর্কে তথ্য দেখি, যা আমাদের আগ্রহী

(gdb) shell cat /proc/10078/fdinfo/3
pos:    8189952
flags:  0100001
mnt_id: 482

Python কি সিস্টেম কল করে তা মাথায় রেখে (উপরে দেখুন আমরা কোথায় স্ট্রেস চালিয়েছি এবং ওপেন কল পেয়েছি), যখন একটি ফাইল খোলার জন্য আমাদের কোড প্রক্রিয়াকরণ করা হয়, আমরা আমাদের প্রক্রিয়ার পক্ষ থেকে নিজেরাই একই কাজ করি, তবে আমাদের প্রয়োজন O_WRONLY|O_CREAT| O_TRUNC বিট একটি সাংখ্যিক মান দিয়ে প্রতিস্থাপন করে। এটি করার জন্য, কার্নেল উত্সগুলি খুলুন, উদাহরণস্বরূপ এখানে এবং দেখুন কোন পতাকা কি জন্য দায়ী

# O_WRONLY 00000001 সংজ্ঞায়িত করুন
# O_CREAT 00000100 সংজ্ঞায়িত করুন
# O_TRUNC 00001000 সংজ্ঞায়িত করুন

আমরা সমস্ত মানকে একত্রিত করি, আমরা 00001101 পাই

আমরা জিডিবি থেকে আমাদের কল চালাই

(gdb) call open("/home/user/123.txt", 00001101,0666)
$1 = 4

তাই আমরা 4 নম্বর সহ একটি নতুন ফাইল বর্ণনাকারী এবং অন্য একটি পার্টিশনে একটি নতুন খোলা ফাইল পেয়েছি, আমরা পরীক্ষা করি:

(gdb) shell ls -lah /proc/10078/fd/
total 0
dr-x------ 2 user user  0 Oct  8 11:06 .
dr-xr-xr-x 9 user user  0 Oct  8 11:06 ..
lrwx------ 1 user user 64 Oct  8 11:09 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:09 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:06 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:09 3 -> /mnt/logs/123.txt
l-wx------ 1 user user 64 Oct  8 11:15 4 -> /home/user/123.txt

আমরা পাইপের উদাহরণটি মনে রাখি - কিভাবে bash ফাইল বর্ণনাকারীকে পরিবর্তন করে, এবং আমরা ইতিমধ্যেই dup2 সিস্টেম কল শিখেছি।

আমরা একটি ফাইল বর্ণনাকারীকে অন্য ফাইলের সাথে প্রতিস্থাপন করার চেষ্টা করি

(gdb) call dup2(4,3)
$2 = 3

চেক করুন:

(gdb) shell ls -lah /proc/10078/fd/
total 0
dr-x------ 2 user user  0 Oct  8 11:06 .
dr-xr-xr-x 9 user user  0 Oct  8 11:06 ..
lrwx------ 1 user user 64 Oct  8 11:09 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:09 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:06 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:09 3 -> /home/user/123.txt
l-wx------ 1 user user 64 Oct  8 11:15 4 -> /home/user/123.txt

আমরা ফাইল বর্ণনাকারী 4 বন্ধ করি, যেহেতু আমাদের এটির প্রয়োজন নেই:

(gdb) call close (4)
$1 = 0

এবং gdb থেকে প্রস্থান করুন

(gdb) quit
A debugging session is active.

    Inferior 1 [process 10078] will be detached.

Quit anyway? (y or n) y
Detaching from program: /usr/bin/python2.7, process 10078

নতুন ফাইল চেক করা হচ্ছে:

[user@localhost ~]$ ls -lah /home/user/123.txt
-rw-rw-r-- 1 user user 5.1M Oct  8 11:18 /home/user/123.txt
[user@localhost ~]$ ls -lah /home/user/123.txt
-rw-rw-r-- 1 user user 7.1M Oct  8 11:18 /home/user/123.txt

আপনি দেখতে পাচ্ছেন, ডেটা একটি নতুন ফাইলে লেখা হয়েছে, আসুন পুরানোটি পরীক্ষা করি:

[user@localhost ~]$ ls -lah /mnt/logs/123.txt 
-rw-rw-r-- 1 user user 7.9M Oct  8 11:08 /mnt/logs/123.txt

কোন ডেটা হারিয়ে যায় না, অ্যাপ্লিকেশন কাজ করে, লগগুলি একটি নতুন অবস্থানে লেখা হয়।

আসুন কাজটি একটু জটিল করি

আসুন কল্পনা করি যে ডেটা আমাদের কাছে গুরুত্বপূর্ণ, তবে আমাদের কোনও পার্টিশনে ডিস্কের স্থান নেই এবং আমরা ডিস্কটি সংযুক্ত করতে পারি না।

আমরা যা করতে পারি তা হল আমাদের ডেটা কোথাও পুনঃনির্দেশিত করা, উদাহরণস্বরূপ পাইপে, এবং পাল্টে কিছু প্রোগ্রামের মাধ্যমে পাইপ থেকে নেটওয়ার্কে ডেটা পুনঃনির্দেশ করা যায়, উদাহরণস্বরূপ নেটক্যাট।
আমরা mkfifo কমান্ড দিয়ে একটি নামযুক্ত পাইপ তৈরি করতে পারি। এটি ফাইল সিস্টেমে একটি ছদ্ম ফাইল তৈরি করবে যদিও এটিতে কোনও ফাঁকা জায়গা না থাকে।

অ্যাপ্লিকেশন পুনরায় চালু করুন এবং চেক করুন:

[user@localhost ]$ python openforwrite.py 
[user@localhost ~]$ ps axuf | grep [o]pen
user  5946 72.9  0.0 128600  5744 pts/22   R+   11:27   0:20  |   _ python openforwrite.py
[user@localhost ~]$ ls -lah /proc/5946/fd
total 0
dr-x------ 2 user user  0 Oct  8 11:27 .
dr-xr-xr-x 9 user user  0 Oct  8 11:27 ..
lrwx------ 1 user user 64 Oct  8 11:28 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:28 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:27 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:28 3 -> /mnt/logs/123.txt
[user@localhost ~]$ df -h | grep mnt
/dev/loop0      8.7M  8.0M     0 100% /mnt

কোন ডিস্ক স্থান নেই, কিন্তু আমরা সফলভাবে সেখানে একটি নামযুক্ত পাইপ তৈরি করি:

[user@localhost ~]$ mkfifo /mnt/logs/megapipe
[user@localhost ~]$ ls -lah /mnt/logs/megapipe 
prw-rw-r-- 1 user user 0 Oct  8 11:28 /mnt/logs/megapipe

এখন আমাদের নেটওয়ার্কের মাধ্যমে অন্য সার্ভারে এই পাইপে যে সমস্ত ডেটা যায় তা কোনওভাবে মোড়ানো দরকার; একই নেটক্যাট এটির জন্য উপযুক্ত।

remote-server.example.com সার্ভারে আমরা চালু করি

[user@localhost ~]$ nc -l 7777 > 123.txt 

আমাদের সমস্যাযুক্ত সার্ভারে আমরা একটি পৃথক টার্মিনালে চালু করি

[user@localhost ~]$ nc remote-server.example.com 7777 < /mnt/logs/megapipe 

এখন পাইপে শেষ হওয়া সমস্ত ডেটা স্বয়ংক্রিয়ভাবে নেটক্যাটে stdin-এ যাবে, যা 7777 পোর্টের নেটওয়ার্কে পাঠাবে।

আমাদের যা করতে হবে তা হল এই নামের পাইপে আমাদের ডেটা লেখা শুরু করা।

আমরা ইতিমধ্যে অ্যাপ্লিকেশন চলমান আছে:

[user@localhost ~]$ ps axuf | grep [o]pen
user  5946 99.8  0.0 128600  5744 pts/22   R+   11:27 169:27  |   _ python openforwrite.py
[user@localhost ~]$ ls -lah /proc/5946/fd
total 0
dr-x------ 2 user user  0 Oct  8 11:27 .
dr-xr-xr-x 9 user user  0 Oct  8 11:27 ..
lrwx------ 1 user user 64 Oct  8 11:28 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:28 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:27 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:28 3 -> /mnt/logs/123.txt

সমস্ত পতাকার মধ্যে, আমাদের শুধুমাত্র O_WRONLY দরকার যেহেতু ফাইলটি ইতিমধ্যেই বিদ্যমান এবং আমাদের এটি পরিষ্কার করার দরকার নেই

[user@localhost ~]$ gdb -p 5946
...
(gdb) call open("/mnt/logs/megapipe", 00000001,0666)
$1 = 4
(gdb) shell ls -lah /proc/5946/fd
total 0
dr-x------ 2 user user  0 Oct  8 11:27 .
dr-xr-xr-x 9 user user  0 Oct  8 11:27 ..
lrwx------ 1 user user 64 Oct  8 11:28 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:28 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:27 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:28 3 -> /mnt/logs/123.txt
l-wx------ 1 user user 64 Oct  8 14:20 4 -> /mnt/logs/megapipe
(gdb) call dup2(4,3)
$2 = 3
(gdb) shell ls -lah /proc/5946/fd
total 0
dr-x------ 2 user user  0 Oct  8 11:27 .
dr-xr-xr-x 9 user user  0 Oct  8 11:27 ..
lrwx------ 1 user user 64 Oct  8 11:28 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:28 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:27 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:28 3 -> /mnt/logs/megapipe
l-wx------ 1 user user 64 Oct  8 14:20 4 -> /mnt/logs/megapipe
(gdb) call close(4)
$3 = 0
(gdb) shell ls -lah /proc/5946/fd
total 0
dr-x------ 2 user user  0 Oct  8 11:27 .
dr-xr-xr-x 9 user user  0 Oct  8 11:27 ..
lrwx------ 1 user user 64 Oct  8 11:28 0 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:28 1 -> /dev/pts/22
lrwx------ 1 user user 64 Oct  8 11:27 2 -> /dev/pts/22
l-wx------ 1 user user 64 Oct  8 11:28 3 -> /mnt/logs/megapipe
(gdb) quit
A debugging session is active.

    Inferior 1 [process 5946] will be detached.

Quit anyway? (y or n) y
Detaching from program: /usr/bin/python2.7, process 5946

দূরবর্তী সার্ভার remote-server.example.com চেক করা হচ্ছে

[user@localhost ~]$ ls -lah 123.txt 
-rw-rw-r-- 1 user user 38M Oct  8 14:21 123.txt

তথ্য আসছে, আমরা সমস্যা সার্ভার চেক

[user@localhost ~]$ ls -lah /mnt/logs/
total 7.9M
drwxr-xr-x 2 user user 1.0K Oct  8 11:28 .
drwxr-xr-x 4 root     root     1.0K Oct  8 10:55 ..
-rw-rw-r-- 1 user user 7.9M Oct  8 14:17 123.txt
prw-rw-r-- 1 user user    0 Oct  8 14:22 megapipe

ডেটা সংরক্ষণ করা হয়, সমস্যা সমাধান করা হয়।

আমি দেগিরো থেকে আমার সহকর্মীদের হ্যালো বলার এই সুযোগটি গ্রহণ করি।
রেডিও-টি পডকাস্ট শুনুন।

সব ভাল।

হোমওয়ার্ক হিসাবে, আমি আপনাকে পরামর্শ দিচ্ছি যে আপনি নিম্নলিখিত কমান্ডটি চালালে প্রক্রিয়া ফাইল বর্ণনাকারী ক্যাট এবং ঘুমের মধ্যে কী থাকবে তা নিয়ে ভাবুন:

[user@localhost ~]$ cat /dev/zero 2>/dev/null| sleep 10000

উত্স: www.habr.com