ভূমিকা

এটি সব একটি ছোট স্ক্রিপ্ট দিয়ে শুরু হয়েছিল যা ঠিকানার তথ্য একত্রিত করার কথা ছিল ই-মেইল HR বিভাগের ডাটাবেস থেকে প্রাপ্ত কর্মচারী পদ সহ মেলিং তালিকা ব্যবহারকারীদের তালিকা থেকে প্রাপ্ত কর্মচারী। উভয় তালিকাই ইউনিকোড পাঠ্য ফাইলগুলিতে রপ্তানি করা হয়েছিল হল UTF-8 এবং ইউনিক্স লাইন শেষের সাথে সংরক্ষিত।

সামগ্রী mail.txt

Иванов Андрей;[email protected]

সামগ্রী buhg.txt

Иванова Алла;маляр
Ёлкина Элла;крановщица
Иванов Андрей;слесарь
Абаканов Михаил;маляр

একত্রিত করতে, ফাইলগুলি ইউনিক্স কমান্ড দ্বারা বাছাই করা হয়েছিল সাজান এবং ইউনিক্স প্রোগ্রামের ইনপুটে জমা দেওয়া হয় যোগদানের, যা অপ্রত্যাশিতভাবে একটি ত্রুটির সাথে ব্যর্থ হয়েছে:

$> sort buhg.txt > buhg.srt
$> sort mail.txt > mail.srt
$> join buhg.srt mail.srt > result
join: buhg.srt:4: is not sorted: Иванов Андрей;слесарь

আপনার চোখ দিয়ে বাছাই করার ফলাফলটি দেখায় যে, সাধারণভাবে, বাছাইটি সঠিক, তবে পুরুষ এবং মহিলা উপাধিগুলির কাকতালীয় ক্ষেত্রে, মহিলাগুলি পুরুষদের আগে আসে:

$> sort buhg.txt
Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванова Алла;маляр
Иванов Андрей;слесарь

ইউনিকোডে বাছাই করা ত্রুটির মতো বা সাজানোর অ্যালগরিদমে নারীবাদের প্রকাশের মতো দেখায়। প্রথমটি অবশ্যই, আরও যুক্তিযুক্ত।

আপাতত বন্ধ করা যাক যোগদানের এবং ফোকাস করুন সাজান. আসুন বৈজ্ঞানিক পোকিং ব্যবহার করে সমস্যাটি সমাধান করার চেষ্টা করি। প্রথমত, এর থেকে লোকেল পরিবর্তন করা যাক en_US উপর ru_RU. সাজানোর জন্য, পরিবেশ পরিবর্তনশীল সেট করা যথেষ্ট হবে LC_COLLATE, কিন্তু আমরা তুচ্ছ বিষয়ে সময় নষ্ট করব না:

$> LANG=ru_RU.UTF-8 sort buhg.txt
Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванова Алла;маляр
Иванов Андрей;слесарь

কিছুই বদলায়নি।

আসুন ফাইলগুলিকে একটি একক-বাইট এনকোডিংয়ে পুনরায় কোড করার চেষ্টা করি:

$> iconv -f UTF-8 -t KOI8-R buhg.txt 
 | LANG=ru_RU.KOI8-R sort 
 | iconv -f KOI8-R -t UTF8

আবার কিছুই বদলায়নি।

আপনি কিছুই করতে পারবেন না, আপনাকে ইন্টারনেটে একটি সমাধান খুঁজতে হবে। রাশিয়ান উপাধি সম্পর্কে সরাসরি কিছুই নেই, তবে অন্যান্য সাজানোর অদ্ভুততা সম্পর্কে প্রশ্ন রয়েছে। উদাহরণস্বরূপ, এখানে একটি সমস্যা: ইউনিক্স সর্ট '-' (ড্যাশ) অক্ষরকে অদৃশ্য হিসাবে বিবেচনা করে. সংক্ষেপে, "ab", "aa", "ac" স্ট্রিংগুলি "aa", "ab", "ac" হিসাবে সাজানো হয়েছে।

উত্তরটি সর্বত্র আদর্শ: প্রোগ্রামার লোকেল ব্যবহার করুন "সি" এবং আপনি খুশি হবেন। আসুন চেষ্টা করি:

$> LANG=C sort buhg.txt
Ёлкина Элла;крановщица
Абаканов Михаил;маляр
Иванов Андрей;слесарь
Иванова Алла;адвокат

কিছু পরিবর্তন হয়েছে. ইভানভস সঠিক ক্রমে সারিবদ্ধ হয়েছিল, যদিও ইয়োকিনা কোথাও পিছলে গিয়েছিল। মূল সমস্যায় ফিরে আসা যাক:

$> LANG=C sort buhg.txt > buhg.srt
$> LANG=C sort mail.txt > mail.srt
$> LANG=C join buhg.srt mail.srt > result

ইন্টারনেটের প্রতিশ্রুতি অনুযায়ী এটি ত্রুটি ছাড়াই কাজ করেছে। এবং এই প্রথম লাইনে Yolkina সত্ত্বেও.

সমস্যাটি সমাধান করা হয়েছে বলে মনে হচ্ছে, তবে কেবল ক্ষেত্রে, আসুন অন্য রাশিয়ান এনকোডিং চেষ্টা করি - উইন্ডোজ CP1251:

$> iconv -f UTF-8 -t CP1251 buhg.txt 
 | LANG=ru_RU.CP1251 sort 
 | iconv -f CP1251 -t UTF8

বাছাই ফলাফল, অদ্ভুতভাবে যথেষ্ট, লোকেলের সাথে মিলে যাবে "সি", এবং পুরো উদাহরণ, সেই অনুযায়ী, ত্রুটি ছাড়াই চলে। এক প্রকার রহস্যবাদ।

আমি প্রোগ্রামিংয়ে রহস্যবাদ পছন্দ করি না কারণ এটি সাধারণত ভুলগুলিকে মুখোশ করে। এটি কীভাবে কাজ করে তা আমাদের গুরুত্ব সহকারে দেখতে হবে। সাজান এবং এটা কি প্রভাবিত করে? LC_COLLATE .

শেষে আমি প্রশ্নের উত্তর দেওয়ার চেষ্টা করব:

কেন মহিলাদের উপাধিগুলি ভুলভাবে সাজানো হয়েছিল?
কেন LANG=ru_RU.CP1251 সমতুল্য হতে পরিণত ল্যাং = সি
কেন সাজান и যোগদানের সাজানো স্ট্রিং এর ক্রম সম্পর্কে বিভিন্ন ধারণা
কেন আমার সব উদাহরণে ত্রুটি আছে?
অবশেষে আপনার পছন্দ অনুযায়ী স্ট্রিং বাছাই কিভাবে

ইউনিকোডে সাজানো

প্রথম স্টপ হবে প্রযুক্তিগত প্রতিবেদন নং 10 এনটাইটেলড ইউনিকোড কোলেশন অ্যালগরিদম অনলাইন unicode.org. প্রতিবেদনটিতে প্রচুর প্রযুক্তিগত বিশদ রয়েছে, তাই আমাকে মূল ধারণাগুলির একটি সংক্ষিপ্ত সারাংশ দেওয়া যাক।

হালকা খাবার — “তুলনা” স্ট্রিং হল যেকোন সাজানোর অ্যালগরিদমের ভিত্তি। অ্যালগরিদমগুলি নিজেই আলাদা হতে পারে ("বুদবুদ", "একত্রীকরণ", "দ্রুত"), কিন্তু তারা যে ক্রমে প্রদর্শিত হবে তা নির্ধারণ করতে তারা সবাই এক জোড়া স্ট্রিংয়ের তুলনা ব্যবহার করবে।

প্রাকৃতিক ভাষায় স্ট্রিং বাছাই করা একটি মোটামুটি জটিল সমস্যা। এমনকি সহজতম একক-বাইট এনকোডিংগুলিতেও, বর্ণমালার অক্ষরগুলির ক্রম, এমনকি ইংরেজি ল্যাটিন বর্ণমালা থেকে কিছুটা আলাদা, এই অক্ষরগুলি এনকোড করা সংখ্যাসূচক মানগুলির সাথে আর মিলবে না। তাই জার্মান বর্ণমালায় অক্ষর Ö মধ্যে দাঁড়িয়ে আছে О и P, এবং এনকোডিং এ CP850 তিনি মধ্যে পায় ÿ и Ü.

আপনি একটি নির্দিষ্ট এনকোডিং থেকে বিমূর্ত করার চেষ্টা করতে পারেন এবং "আদর্শ" অক্ষরগুলি বিবেচনা করতে পারেন যা কিছু ক্রমে সাজানো হয়, যেমনটি ইউনিকোডে করা হয়। এনকোডিং UTF8, UTF16 বা এক বাইট KOI8-R (যদি ইউনিকোডের একটি সীমিত উপসেট প্রয়োজন হয়) অক্ষরের বিভিন্ন সাংখ্যিক উপস্থাপনা দেবে, তবে বেস টেবিলের একই উপাদানগুলিকে উল্লেখ করবে।

এটা দেখা যাচ্ছে যে এমনকি যদি আমরা স্ক্র্যাচ থেকে একটি প্রতীক টেবিল তৈরি করি, আমরা এটিতে একটি সার্বজনীন প্রতীক অর্ডার বরাদ্দ করতে সক্ষম হব না। বিভিন্ন জাতীয় বর্ণমালায় যা একই অক্ষর ব্যবহার করে, এই অক্ষরের ক্রম ভিন্ন হতে পারে। উদাহরণস্বরূপ, ফরাসি ভাষায় Æ একটি লিগ্যাচার হিসাবে বিবেচিত হবে এবং একটি স্ট্রিং হিসাবে সাজানো হবে৷ AE. নরওয়েজিয়ান ভাষায় Æ একটি পৃথক চিঠি হবে, যা পরে অবস্থিত Z. উপায় দ্বারা, মত ligatures ছাড়াও Æ বেশ কিছু চিহ্ন দিয়ে লেখা চিঠি আছে। তাই চেক বর্ণমালায় একটি অক্ষর আছে Ch, যা মাঝখানে দাঁড়িয়ে আছে H и I.

বর্ণমালার পার্থক্য ছাড়াও, অন্যান্য জাতীয় ঐতিহ্য রয়েছে যা বাছাইকে প্রভাবিত করে। বিশেষ করে, প্রশ্ন উঠেছে: অভিধানে বড় হাতের এবং ছোট হাতের অক্ষর সমন্বিত শব্দগুলি কী ক্রমে উপস্থিত হওয়া উচিত? বিরাম চিহ্ন ব্যবহারের দ্বারা বাছাইও প্রভাবিত হতে পারে। স্প্যানিশ ভাষায়, একটি প্রশ্নবোধক বাক্যের শুরুতে একটি উল্টানো প্রশ্ন চিহ্ন ব্যবহার করা হয় (আপনি সঙ্গীত পছন্দ করেন?) এই ক্ষেত্রে, এটা স্পষ্ট যে জিজ্ঞাসামূলক বাক্যগুলিকে বর্ণমালার বাইরে একটি পৃথক ক্লাস্টারে গোষ্ঠীভুক্ত করা উচিত নয়, তবে অন্যান্য বিরাম চিহ্নের সাথে লাইনগুলি কীভাবে সাজানো যায়?

আমি ইউরোপীয় ভাষার থেকে খুব আলাদা ভাষায় স্ট্রিং বাছাই করার বিষয়ে চিন্তা করব না। মনে রাখবেন যে ভাষাগুলিতে ডান-থেকে-বামে বা উপরে-থেকে-নিচের লেখার দিকনির্দেশ সহ, লাইনের অক্ষরগুলি সম্ভবত পড়ার ক্রমে সংরক্ষণ করা হয় এবং এমনকি অ-বর্ণানুক্রমিক লেখার সিস্টেমগুলিরও অক্ষর অনুসারে লাইনের অক্ষর ক্রম করার নিজস্ব উপায় রয়েছে। . উদাহরণস্বরূপ, হায়ারোগ্লিফগুলি শৈলী অনুসারে অর্ডার করা যেতে পারে (চীনা অক্ষর কী) বা উচ্চারণ দ্বারা। সত্যি বলতে, ইমোজিগুলি কীভাবে সাজানো উচিত সে সম্পর্কে আমার কোন ধারণা নেই, তবে আপনি তাদের জন্যও কিছু নিয়ে আসতে পারেন।

উপরে তালিকাভুক্ত বৈশিষ্ট্যগুলির উপর ভিত্তি করে, ইউনিকোড টেবিলের উপর ভিত্তি করে স্ট্রিংগুলির তুলনা করার জন্য প্রাথমিক প্রয়োজনীয়তাগুলি প্রণয়ন করা হয়েছিল:

স্ট্রিংগুলির তুলনা কোড টেবিলে অক্ষরের অবস্থানের উপর নির্ভর করে না;
একটি একক অক্ষর গঠনকারী অক্ষরগুলির ক্রমগুলি ক্যানোনিকাল আকারে হ্রাস করা হয় (A + উপরের বৃত্তটি একই রকম Å);
স্ট্রিংগুলির তুলনা করার সময়, একটি অক্ষরকে স্ট্রিংয়ের প্রসঙ্গে বিবেচনা করা হয় এবং প্রয়োজনে তার প্রতিবেশীদের সাথে তুলনার একটি ইউনিটে মিলিত হয় (Ch চেক ভাষায়) বা কয়েকটিতে বিভক্ত (Æ ফরাসি মধ্যে);
সমস্ত জাতীয় বৈশিষ্ট্য (বর্ণমালা, বড় হাতের/ছোট হাতের অক্ষর, বিরাম চিহ্ন, লেখার ধরন) অর্ডারের ম্যানুয়াল অ্যাসাইনমেন্ট (ইমোজি) পর্যন্ত কনফিগার করতে হবে;
তুলনা শুধুমাত্র বাছাই করার জন্য নয়, অন্যান্য অনেক জায়গায়ও গুরুত্বপূর্ণ, উদাহরণস্বরূপ সারি ব্যাপ্তি নির্দিষ্ট করার জন্য ({A... z} প্রতিস্থাপন করা সজোরে আঘাত);
তুলনা মোটামুটি দ্রুত করা উচিত.

উপরন্তু, প্রতিবেদনের লেখকরা তুলনামূলক বৈশিষ্ট্য তৈরি করেছেন যে অ্যালগরিদম বিকাশকারীদের উপর নির্ভর করা উচিত নয়:

তুলনা অ্যালগরিদম প্রতিটি ভাষার জন্য অক্ষরগুলির একটি পৃথক সেট প্রয়োজন হবে না (রাশিয়ান এবং ইউক্রেনীয় ভাষাগুলি বেশিরভাগ সিরিলিক অক্ষর ভাগ করে);
তুলনা ইউনিকোড টেবিলের অক্ষরের ক্রম উপর নির্ভর করা উচিত নয়;
স্ট্রিং ওজন স্ট্রিংয়ের একটি বৈশিষ্ট্য হওয়া উচিত নয়, যেহেতু বিভিন্ন সাংস্কৃতিক প্রসঙ্গে একই স্ট্রিংয়ের বিভিন্ন ওজন থাকতে পারে;
একত্রিত বা বিভক্ত করার সময় সারি ওজন পরিবর্তিত হতে পারে (থেকে x < y এটা যে অনুসরণ করে না xz < yz);
বাছাই অ্যালগরিদমের দৃষ্টিকোণ থেকে একই ওজনের বিভিন্ন স্ট্রিং সমান বলে বিবেচিত হয়। এই ধরনের স্ট্রিংগুলির অতিরিক্ত ক্রম প্রবর্তন করা সম্ভব, তবে এটি কর্মক্ষমতা হ্রাস করতে পারে;
বারবার সাজানোর সময়, একই ওজন সহ সারিগুলি অদলবদল করা যেতে পারে। দৃঢ়তা একটি নির্দিষ্ট বাছাই অ্যালগরিদমের একটি সম্পত্তি, এবং একটি স্ট্রিং তুলনা অ্যালগরিদমের একটি সম্পত্তি নয় (আগের অনুচ্ছেদ দেখুন);
সাংস্কৃতিক ঐতিহ্য পরিমার্জিত/পরিবর্তনের সাথে সাথে বাছাই করার নিয়মগুলি সময়ের সাথে পরিবর্তিত হতে পারে।

এটিও নির্ধারণ করা হয়েছে যে তুলনা অ্যালগরিদম প্রক্রিয়াকৃত স্ট্রিংগুলির শব্দার্থবিদ্যা সম্পর্কে কিছুই জানে না। সুতরাং, শুধুমাত্র সংখ্যার স্ট্রিংগুলিকে সংখ্যা হিসাবে তুলনা করা উচিত নয় এবং ইংরেজি নামের তালিকায় নিবন্ধটি (বিটলস, দ্য).

সমস্ত নির্দিষ্ট প্রয়োজনীয়তা সন্তুষ্ট করার জন্য, একটি বহু-স্তরের (আসলে চার-স্তরের) টেবিল সাজানোর অ্যালগরিদম প্রস্তাব করা হয়েছে।

পূর্বে, স্ট্রিং-এর অক্ষরগুলি ক্যানোনিকাল আকারে হ্রাস করা হয় এবং তুলনার এককে গোষ্ঠীভুক্ত করা হয়। তুলনার প্রতিটি একক তুলনার বিভিন্ন স্তরের সাথে সম্পর্কিত বেশ কয়েকটি ওজন বরাদ্দ করা হয়। তুলনা ইউনিটের ওজন হল অর্ডার করা সেটের উপাদান (এই ক্ষেত্রে, পূর্ণসংখ্যা) যা কম বা বেশির জন্য তুলনা করা যেতে পারে। বিশেষ অর্থ উপেক্ষা করা হয়েছে (0x0) এর অর্থ হল সংশ্লিষ্ট তুলনা স্তরে এই ইউনিট তুলনার সাথে জড়িত নয়। সংশ্লিষ্ট স্তরের ওজন ব্যবহার করে স্ট্রিংগুলির তুলনা বেশ কয়েকবার পুনরাবৃত্তি করা যেতে পারে। প্রতিটি স্তরে, দুটি সারির তুলনা এককের ওজনগুলি পরস্পরের সাথে পর্যায়ক্রমে তুলনা করা হয়।

বিভিন্ন জাতীয় ঐতিহ্যের জন্য অ্যালগরিদমের বিভিন্ন বাস্তবায়নে, সহগগুলির মান আলাদা হতে পারে, তবে ইউনিকোড মান ওজনের একটি মৌলিক সারণী অন্তর্ভুক্ত করে - "ডিফল্ট ইউনিকোড কোলেশন এলিমেন্ট টেবিল" (DUCET) আমি নোট করতে চাই যে পরিবর্তনশীল সেট করা LC_COLLATE আসলে স্ট্রিং তুলনা ফাংশনে ওজন টেবিল নির্বাচনের একটি ইঙ্গিত।

ওজন সহগ DUCET নিম্নরূপ সাজানো:

প্রথম স্তরে, সমস্ত অক্ষর একই ক্ষেত্রে হ্রাস করা হয়, ডায়াক্রিটিকগুলি বাতিল করা হয়, বিরাম চিহ্নগুলি (সকল নয়) উপেক্ষা করা হয়;
দ্বিতীয় স্তরে, শুধুমাত্র ডায়াক্রিটিকগুলিকে বিবেচনায় নেওয়া হয়;
তৃতীয় স্তরে, শুধুমাত্র ক্ষেত্রেই বিবেচনা করা হয়;
চতুর্থ স্তরে, শুধুমাত্র বিরাম চিহ্নগুলিকে বিবেচনায় নেওয়া হয়৷

তুলনাটি বেশ কয়েকটি পাসে সঞ্চালিত হয়: প্রথমে, প্রথম স্তরের সহগ তুলনা করা হয়; যদি ওজনগুলি মিলে যায়, তবে দ্বিতীয় স্তরের ওজনের সাথে একটি পুনরাবৃত্তি তুলনা করা হয়; তারপর সম্ভবত একটি তৃতীয় এবং একটি চতুর্থ.

তুলনা শেষ হয় যখন সারিতে বিভিন্ন ওজনের সাথে তুলনা করার একক থাকে। চারটি স্তরে সমান ওজনের সারিগুলি একে অপরের সমান বলে বিবেচিত হয়।

এই অ্যালগরিদম (অতিরিক্ত প্রযুক্তিগত বিবরণের একটি গুচ্ছ সহ) নং 10 রিপোর্ট করার নাম দিয়েছে - "ইউনিকোড কোলেশন অ্যালগরিদম" (তুমি ক).

এখানেই আমাদের উদাহরণ থেকে সাজানোর আচরণ একটু পরিষ্কার হয়ে যায়। এটি ইউনিকোড স্ট্যান্ডার্ডের সাথে তুলনা করা ভাল হবে।

বাস্তবায়ন পরীক্ষা করতে তুমি ক একটি বিশেষ আছে পরীক্ষা, ব্যবহার ওজন ফাইল, বাস্তবায়ন DUCET. আপনি স্কেল ফাইলে সব ধরণের মজার জিনিস খুঁজে পেতে পারেন। উদাহরণস্বরূপ, মাহজং এবং ইউরোপীয় ডোমিনোগুলির ক্রম রয়েছে, সেইসাথে তাসের ডেকে স্যুটের ক্রম রয়েছে (প্রতীক 1F000 এবং আরও)। কার্ড স্যুটগুলি সেতুর নিয়ম অনুসারে স্থাপন করা হয় - PCBT, এবং স্যুটের কার্ডগুলি T, 2,3, XNUMX... K.

ম্যানুয়ালি চেক করা হচ্ছে যে সারি অনুযায়ী সঠিকভাবে সাজানো হয়েছে DUCET বেশ ক্লান্তিকর হবে, কিন্তু, সৌভাগ্যবশত আমাদের জন্য, ইউনিকোডের সাথে কাজ করার জন্য লাইব্রেরির একটি অনুকরণীয় বাস্তবায়ন রয়েছে - "ইউনিকোডের জন্য আন্তর্জাতিক উপাদান"(আইসিইউ).

এই লাইব্রেরির ওয়েবসাইটে, বিকশিত আইবিএম, ডেমো পেজ আছে, সহ স্ট্রিং তুলনা অ্যালগরিদম পৃষ্ঠা. আমরা ডিফল্ট সেটিংস সহ আমাদের পরীক্ষা লাইন প্রবেশ করি এবং দেখুন, আমরা নিখুঁত রাশিয়ান বাছাই পাই।

Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванов Андрей;слесарь
Иванова Алла;адвокат

যাইহোক, ওয়েবসাইট আইসিইউ বিরাম চিহ্নগুলি প্রক্রিয়া করার সময় আপনি তুলনা অ্যালগরিদমের একটি স্পষ্টীকরণ খুঁজে পেতে পারেন। উদাহরণে সমষ্টি FAQ apostrophe এবং হাইফেন উপেক্ষা করা হয়.

ইউনিকোড আমাদের সাহায্য করেছে, কিন্তু অদ্ভুত আচরণের কারণ অনুসন্ধান করুন সাজান в লিনাক্স অন্য কোথাও যেতে হবে।

glibc মধ্যে বাছাই

ইউটিলিটি সোর্স কোডের দ্রুত ভিউ সাজান থেকে GNU কোর ইউটিলস দেখিয়েছে যে ইউটিলিটিতেই, স্থানীয়করণ ভেরিয়েবলের বর্তমান মান প্রিন্ট করার জন্য নেমে আসে LC_COLLATE ডিবাগ মোডে চলার সময়:

$ sort --debug buhg.txt > buhg.srt
sort: using ‘en_US.UTF8’ sorting rules

স্ট্যান্ডার্ড ফাংশন ব্যবহার করে স্ট্রিং তুলনা করা হয় strcoll, যার মানে আকর্ষণীয় সবকিছু লাইব্রেরিতে আছে জন্য glibc.

মধ্যে উইকি প্রকল্পের জন্য glibc স্ট্রিং তুলনা নিবেদিত একটি অনুচ্ছেদ. এই অনুচ্ছেদ থেকে বোঝা যায় যে ইন জন্য glibc বাছাই করা একটি অ্যালগরিদমের উপর ভিত্তি করে যা আমাদের কাছে ইতিমধ্যে পরিচিত তুমি ক (ইউনিকোড কোলেশন অ্যালগরিদম) এবং/অথবা এটির কাছাকাছি একটি স্ট্যান্ডার্ডে আইএসও 14651 (আন্তর্জাতিক স্ট্রিং ক্রম এবং তুলনা) সর্বশেষ মান সম্পর্কে, এটি সাইটে উল্লেখ করা উচিত standards.iso.org আইএসও 14651 আনুষ্ঠানিকভাবে সর্বজনীনভাবে উপলব্ধ ঘোষণা করা হয়েছে, কিন্তু সংশ্লিষ্ট লিঙ্কটি একটি অস্তিত্বহীন পৃষ্ঠার দিকে নিয়ে যায়। গুগল অফিসিয়াল সাইটের লিঙ্ক সহ বেশ কয়েকটি পৃষ্ঠা ফেরত দেয় যা একশ ইউরোতে স্ট্যান্ডার্ডের একটি ইলেকট্রনিক কপি কেনার প্রস্তাব দেয়, তবে অনুসন্ধান ফলাফলের তৃতীয় বা চতুর্থ পৃষ্ঠায় সরাসরি লিঙ্কও রয়েছে পিডিএফ. সাধারণভাবে, মান কার্যত ভিন্ন নয় তুমি ক, কিন্তু পড়তে আরও বিরক্তিকর কারণ এতে স্ট্রিং সাজানোর জাতীয় বৈশিষ্ট্যের স্পষ্ট উদাহরণ নেই।

সবচেয়ে আকর্ষণীয় তথ্য উইকি একটি লিঙ্ক ছিল বাগ তালাশকারী মধ্যে স্ট্রিং তুলনা বাস্তবায়নের আলোচনার সাথে জন্য glibc. আলোচনা থেকে জানা যায় যে জন্য glibc স্ট্রিং তুলনা করতে ব্যবহৃত আইএসওব্যক্তিগত টেবিল সাধারণ টেমপ্লেট টেবিল (CTT), যার ঠিকানা আবেদনে পাওয়া যাবে A মান আইএসও 14651. 2000 এবং 2015 এর মধ্যে এই টেবিলটি জন্য glibc একটি রক্ষণাবেক্ষণকারী ছিল না এবং স্ট্যান্ডার্ডের বর্তমান সংস্করণ থেকে বেশ ভিন্ন (অন্তত বাহ্যিকভাবে) ছিল। 2015 থেকে 2018 সাল পর্যন্ত, টেবিলের নতুন সংস্করণে অভিযোজন ঘটেছে এবং এখন আপনার কাছে বাস্তব জীবনে টেবিলের একটি নতুন সংস্করণের সাথে দেখা করার সুযোগ রয়েছে (CentOS 8), এবং পুরাতন (CentOS 7).

এখন যেহেতু আমাদের কাছে অ্যালগরিদম এবং সহায়ক টেবিল সম্পর্কে সমস্ত তথ্য রয়েছে, আমরা মূল সমস্যায় ফিরে যেতে পারি এবং রাশিয়ান লোকেলে কীভাবে স্ট্রিংগুলিকে সঠিকভাবে সাজাতে হয় তা বুঝতে পারি।

ISO 14651 / 14652

আমরা আগ্রহী টেবিলের উত্স কোড CTT বেশিরভাগ বিতরণে লিনাক্স ক্যাটালগে আছে /usr/share/i18n/locales/. টেবিল নিজেই ফাইল আছে iso14651_t1_common. তারপর এই ফাইল নির্দেশিকা iso14651_t1_common কপি করুন ফাইলের মধ্যে অন্তর্ভুক্ত iso14651_t1, যা, ঘুরে, জাতীয় ফাইলে অন্তর্ভুক্ত করা হয়, সহ en_US и ru_RU. বেশিরভাগ বিতরণে লিনাক্স সমস্ত উৎস ফাইল মৌলিক ইনস্টলেশনে অন্তর্ভুক্ত করা হয়, কিন্তু যদি সেগুলি উপস্থিত না থাকে, তাহলে আপনাকে বিতরণ থেকে একটি অতিরিক্ত প্যাকেজ ইনস্টল করতে হবে।

ফাইল কাঠামো iso14651_t1 নাম নির্মাণের জন্য অ-স্পষ্ট নিয়ম সহ ভয়ানকভাবে শব্দগুচ্ছ বলে মনে হতে পারে, তবে আপনি যদি এটি দেখেন তবে সবকিছু বেশ সহজ। গঠন মান বর্ণনা করা হয় আইএসও 14652, যার একটি অনুলিপি ওয়েবসাইট থেকে ডাউনলোড করা যেতে পারে open-std.org. ফাইল ফরম্যাটের আরেকটি বিবরণ পড়া যেতে পারে স্পেসিফিকেশন POSIX থেকে ওপেনগ্রুপ. স্ট্যান্ডার্ড পড়ার বিকল্প হিসেবে, আপনি ফাংশনের সোর্স কোড অধ্যয়ন করতে পারেন collate_read в glibc/locale/programs/ld-collate.c.

ফাইল গঠন এই মত দেখায়:

ডিফল্টরূপে, অক্ষরটি একটি এস্কেপ অক্ষর হিসাবে ব্যবহৃত হয় এবং # অক্ষরের পরে লাইনের শেষে একটি মন্তব্য। উভয় চিহ্নকে পুনরায় সংজ্ঞায়িত করা যেতে পারে, যা টেবিলের নতুন সংস্করণে করা হয়:

escape_char /
comment_char %

ফাইল ফরম্যাটে টোকেন থাকবে বা (কোথায় x - হেক্সাডেসিমেল সংখ্যা)। এটি এনকোডিং-এ ইউনিকোড কোড পয়েন্টের হেক্সাডেসিমেল উপস্থাপনা UCS-4 (হল UTF-32) কোণ বন্ধনীতে অন্যান্য সমস্ত উপাদান (সহ , এবং অনুরূপ) সাধারণ স্ট্রিং ধ্রুবক হিসাবে বিবেচিত হয় যেগুলির প্রসঙ্গের বাইরে সামান্য অর্থ থাকে।

লাইন LC_COLLATE আমাদের বলে যে পরবর্তী ডেটা শুরু হয় স্ট্রিংগুলির তুলনা বর্ণনা করে।

প্রথমে, তুলনা সারণিতে ওজনের জন্য নাম এবং প্রতীক সংমিশ্রণের নাম উল্লেখ করা হয়েছে। সাধারণভাবে বলতে গেলে, দুই ধরনের নাম দুটি ভিন্ন সত্তার অন্তর্গত, কিন্তু প্রকৃত ফাইলে তারা মিশ্রিত হয়। ওজনের নাম কীওয়ার্ড দ্বারা নির্দিষ্ট করা হয় কোলেটিং-প্রতীক (তুলনা অক্ষর) কারণ তুলনা করার সময়, একই ওজনের ইউনিকোড অক্ষরগুলিকে সমতুল্য অক্ষর হিসাবে বিবেচনা করা হবে।

বর্তমান ফাইল রিভিশনে সেকশনের মোট দৈর্ঘ্য প্রায় 900 লাইন। নামগুলির স্বেচ্ছাচারিতা এবং বিভিন্ন ধরণের বাক্য গঠন দেখানোর জন্য আমি বিভিন্ন জায়গা থেকে উদাহরণ টেনেছি।

LC_COLLATE

collating-symbol <RES-1>
collating-symbol <BLK>
collating-symbol <MIN>
collating-symbol <WIDE>
...
collating-symbol <ARABIC>
collating-symbol <ETHPC>
collating-symbol <OSMANYA>
...
collating-symbol <S1D000>..<S1D35F>
collating-symbol <SFFFF> % Guaranteed largest symbol value. Keep at end of this list
...
collating-element <U0413_0301> from "<U0413><U0301>"
collating-element <U0413_0341> from "<U0413><U0341>"

কোলেটিং-প্রতীক একটি স্ট্রিং লগ করে ওসমানিয়া দাঁড়িপাল্লার নামের টেবিলে
কোলেটিং-প্রতীক .. একটি উপসর্গ নিয়ে গঠিত নামের একটি ক্রম নিবন্ধন করে S এবং থেকে হেক্সাডেসিমেল সাংখ্যিক প্রত্যয় 1D000 থেকে 1D35F.
এফএফএফএফ в কোলেটিং-প্রতীক হেক্সাডেসিমেলে একটি বড় স্বাক্ষরবিহীন পূর্ণসংখ্যার মত দেখায়, কিন্তু এটা শুধু একটি নাম যে মত দেখতে পারে
имя এনকোডিং এর কোড পয়েন্ট মানে UCS-4
কোলেটিং-এলিমেন্ট থেকে " " একজোড়া ইউনিকোড বিন্দুর জন্য একটি নতুন নাম নিবন্ধন করে।

একবার ওজনের নাম সংজ্ঞায়িত করা হলে, প্রকৃত ওজন নির্দিষ্ট করা হয়। যেহেতু তুলনামূলকভাবে শুধুমাত্র কম-বেশি সম্পর্ক গুরুত্বপূর্ণ, তাই তালিকার নামগুলির একটি সাধারণ ক্রম দ্বারা ওজন নির্ধারণ করা হয়। "হালকা" ওজনগুলি প্রথমে তালিকাভুক্ত করা হয়, তারপর "ভারী"গুলি। আমি আপনাকে মনে করিয়ে দিই যে প্রতিটি ইউনিকোড অক্ষরকে চারটি ভিন্ন ওজন নির্ধারণ করা হয়েছে। এখানে তারা একটি একক আদেশ ক্রম মধ্যে মিলিত হয়. তত্ত্বগতভাবে, যে কোনো প্রতীকী নাম চারটি স্তরের যেকোনো একটিতে ব্যবহার করা যেতে পারে, কিন্তু মন্তব্যগুলি ইঙ্গিত দেয় যে বিকাশকারীরা মানসিকভাবে নামগুলিকে স্তরে আলাদা করে।

% Symbolic weight assignments

% Third-level weight assignments
<RES-1>
<BLK>
<MIN>
<WIDE>
...
% Second-level weight assignments
<BASE>
<LOWLINE> % COMBINING LOW LINE
<PSILI> % COMBINING COMMA ABOVE
<DASIA> % COMBINING REVERSED COMMA ABOVE
...
% First-level weight assignments
<S0009> % HORIZONTAL TABULATION 
<S000A> % LINE FEED
<S000B> % VERTICAL TABULATION
...
<S0434> % CYRILLIC SMALL LETTER DE
<S0501> % CYRILLIC SMALL LETTER KOMI DE
<S0452> % CYRILLIC SMALL LETTER DJE
<S0503> % CYRILLIC SMALL LETTER KOMI DJE
<S0453> % CYRILLIC SMALL LETTER GJE
<S0499> % CYRILLIC SMALL LETTER ZE WITH DESCENDER
<S0435> % CYRILLIC SMALL LETTER IE
<S04D7> % CYRILLIC SMALL LETTER IE WITH BREVE
<S0454> % CYRILLIC SMALL LETTER UKRAINIAN IE
<S0436> % CYRILLIC SMALL LETTER ZHE

অবশেষে, প্রকৃত ওজন টেবিল.

ওজন বিভাগটি কীওয়ার্ড লাইনে আবদ্ধ অর্ডার_শুরু и আদেশ_শেষ. অতিরিক্ত বিকল্প অর্ডার_শুরু তুলনার প্রতিটি স্তরে কোন দিকে সারি স্ক্যান করা হয়েছে তা নির্ধারণ করুন। ডিফল্ট সেটিং হল অগ্রবর্তী. বিভাগের মূল অংশে লাইন রয়েছে যা প্রতীক কোড এবং এর চারটি ওজন ধারণ করে। অক্ষর কোডটি অক্ষর নিজেই, একটি কোড পয়েন্ট বা পূর্বে সংজ্ঞায়িত একটি প্রতীকী নাম দ্বারা প্রতিনিধিত্ব করা যেতে পারে। সাংকেতিক নাম, কোড পয়েন্ট বা চিহ্নগুলিকেও ওজন দেওয়া যেতে পারে। যদি কোড পয়েন্ট বা অক্ষর ব্যবহার করা হয়, তাহলে তাদের ওজন কোড পয়েন্টের সাংখ্যিক মানের সমান (ইউনিকোড টেবিলে অবস্থান)। অক্ষরগুলি স্পষ্টভাবে নির্দিষ্ট করা হয়নি (যেমন আমি বুঝি) একটি প্রাথমিক ওজনের সাথে টেবিলে বরাদ্দ করা হয় যা ইউনিকোড টেবিলের অবস্থানের সাথে মেলে। বিশেষ ওজন মান ইগনোর মানে তুলনার উপযুক্ত স্তরে প্রতীকটিকে উপেক্ষা করা হয়েছে৷

দাঁড়িপাল্লার গঠন প্রদর্শনের জন্য, আমি তিনটি মোটামুটি সুস্পষ্ট টুকরা বেছে নিয়েছি:

সম্পূর্ণরূপে উপেক্ষা করা হয় যে অক্ষর
প্রথম দুই স্তরের তিন নম্বরের সমতুল্য চিহ্ন
সিরিলিক বর্ণমালার শুরু, যাতে ডায়াক্রিটিক নেই এবং তাই প্রধানত প্রথম এবং তৃতীয় স্তর অনুসারে সাজানো হয়।

order_start forward;forward;forward;forward,position
<U0000> IGNORE;IGNORE;IGNORE;IGNORE % NULL (in 6429)
<U0001> IGNORE;IGNORE;IGNORE;IGNORE % START OF HEADING (in 6429)
<U0002> IGNORE;IGNORE;IGNORE;IGNORE % START OF TEXT (in 6429)
...
<U0033> <S0033>;<BASE>;<MIN>;<U0033> % DIGIT THREE
<UFF13> <S0033>;<BASE>;<WIDE>;<UFF13> % FULLWIDTH DIGIT THREE
<U2476> <S0033>;<BASE>;<COMPAT>;<U2476> % PARENTHESIZED DIGIT THREE
<U248A> <S0033>;<BASE>;<COMPAT>;<U248A> % DIGIT THREE FULL STOP
<U1D7D1> <S0033>;<BASE>;<FONT>;<U1D7D1> % MATHEMATICAL BOLD DIGIT THREE
...
<U0430> <S0430>;<BASE>;<MIN>;<U0430> % CYRILLIC SMALL LETTER A
<U0410> <S0430>;<BASE>;<CAP>;<U0410> % CYRILLIC CAPITAL LETTER A
<U04D1> <S04D1>;<BASE>;<MIN>;<U04D1> % CYRILLIC SMALL LETTER A WITH BREVE
<U0430_0306> <S04D1>;<BASE>;<MIN>;<U04D1> % CYRILLIC SMALL LETTER A WITH BREVE
...
<U0431> <S0431>;<BASE>;<MIN>;<U0431> % CYRILLIC SMALL LETTER BE
<U0411> <S0431>;<BASE>;<CAP>;<U0411> % CYRILLIC CAPITAL LETTER BE
<U0432> <S0432>;<BASE>;<MIN>;<U0432> % CYRILLIC SMALL LETTER VE
<U0412> <S0432>;<BASE>;<CAP>;<U0412> % CYRILLIC CAPITAL LETTER VE
...
order_end

এখন আপনি নিবন্ধের শুরু থেকে উদাহরণ বাছাই করতে ফিরে আসতে পারেন। ওজন টেবিলের এই অংশে অ্যামবুশ রয়েছে:

<U0020> IGNORE;IGNORE;IGNORE;<U0020> % SPACE
<U0021> IGNORE;IGNORE;IGNORE;<U0021> % EXCLAMATION MARK
<U0022> IGNORE;IGNORE;IGNORE;<U0022> % QUOTATION MARK
...

দেখা যায় যে এই টেবিলে টেবিল থেকে যতি চিহ্ন রয়েছে হওয়া ASCII স্ট্রিং তুলনা করার সময় (স্পেস সহ) প্রায় সবসময় উপেক্ষা করা হয়। শুধুমাত্র ব্যতিক্রমগুলি হল লাইন যা মিলিত অবস্থানে পাওয়া যতি চিহ্ন ছাড়া সব কিছুতেই মেলে। তুলনা অ্যালগরিদমের জন্য আমার উদাহরণ (বাছাই করার পরে) থেকে লাইনগুলি এইরকম দেখাচ্ছে:

АбакановМихаилмаляр
ЁлкинаЭллакрановщица
ИвановаАлламаляр
ИвановАндрейслесарь

বিবেচনা করে যে দাঁড়িপাল্লার টেবিলে, রাশিয়ান ভাষায় বড় হাতের অক্ষরগুলি ছোট হাতের অক্ষরের পরে আসে (তৃতীয় স্তরে থেকে ভারী ), বাছাই একেবারে সঠিক দেখাচ্ছে।

একটি ভেরিয়েবল সেট করার সময় LC_COLLATE=C একটি বিশেষ টেবিল লোড করা হয় যা একটি বাইট-বাই-বাইট তুলনা নির্দিষ্ট করে

static const uint32_t collseqwc[] =
{
  8, 1, 8, 0x0, 0xff,
  /* 1st-level table */
  6 * sizeof (uint32_t),
  /* 2nd-level table */
  7 * sizeof (uint32_t),
  /* 3rd-level table */
  L'x00', L'x01', L'x02', L'x03', L'x04', L'x05', L'x06', L'x07',
  L'x08', L'x09', L'x0a', L'x0b', L'x0c', L'x0d', L'x0e', L'x0f',

...
  L'xf8', L'xf9', L'xfa', L'xfb', L'xfc', L'xfd', L'xfe', L'xff'
};

যেহেতু ইউনিকোডে কোড পয়েন্ট Ё A এর আগে আসে, তাই স্ট্রিংগুলি সেই অনুযায়ী সাজানো হয়।

পাঠ্য এবং বাইনারি টেবিল

স্পষ্টতই, স্ট্রিং তুলনা একটি অত্যন্ত সাধারণ অপারেশন, এবং টেবিল পার্সিং CTT বেশ ব্যয়বহুল পদ্ধতি। টেবিলে অ্যাক্সেস অপ্টিমাইজ করতে, এটি কমান্ডের সাথে বাইনারি আকারে কম্পাইল করা হয় localdef.

টীম localdef জাতীয় বৈশিষ্ট্যের একটি সারণী সহ একটি ফাইল প্যারামিটার হিসাবে গ্রহণ করে (বিকল্প -i), যাতে সমস্ত অক্ষর ইউনিকোড ডট দ্বারা উপস্থাপিত হয় এবং ইউনিকোড ডট এবং একটি নির্দিষ্ট এনকোডিংয়ের অক্ষরের মধ্যে চিঠিপত্রের একটি ফাইল (বিকল্প -f) কাজের ফলস্বরূপ, বাইনারি ফাইলগুলি শেষ প্যারামিটারে নির্দিষ্ট নামের সাথে লোকেলের জন্য তৈরি করা হয়।

glibc দুটি বাইনারি ফাইল ফরম্যাট সমর্থন করে: "প্রথাগত" এবং "আধুনিক"।

ঐতিহ্যগত বিন্যাসের অর্থ হল লোকেলের নাম হল সাবডিরেক্টরির নাম /usr/lib/locale/. এই সাবডিরেক্টরি বাইনারি ফাইল সংরক্ষণ করে LC_COLLATE, Lc_ctype, LC_TIME এবং তাই ফাইল LC_IDENTIFICATION এতে লোকেলের আনুষ্ঠানিক নাম (যা ডিরেক্টরির নাম থেকে আলাদা হতে পারে) এবং মন্তব্য রয়েছে।

আধুনিক বিন্যাসে সমস্ত লোকেল একক সংরক্ষণাগারে সংরক্ষণ করা জড়িত /usr/lib/locale/locale-archive, যা ব্যবহার করে সমস্ত প্রক্রিয়ার ভার্চুয়াল মেমরিতে ম্যাপ করা হয় জন্য glibc. আধুনিক বিন্যাসে লোকেলের নাম কিছু ক্যানোনাইজেশনের সাপেক্ষে - শুধুমাত্র সংখ্যা এবং অক্ষরগুলি ছোট হাতের মধ্যে ছোট করা এনকোডিং নামগুলিতে থাকে। তাই ru_RU.KOI8-R, হিসাবে সংরক্ষণ করা হবে ru_RU.koi8r.

ইনপুট ফাইলগুলি বর্তমান ডিরেক্টরির পাশাপাশি ডিরেক্টরিগুলিতে অনুসন্ধান করা হয় /usr/share/i18n/locales/ и /usr/share/i18n/charmaps/ ফাইলের জন্য CTT এবং যথাক্রমে এনকোডিং ফাইল।

উদাহরণস্বরূপ, কমান্ড

localedef -i ru_RU -f MAC-CYRILLIC ru_RU.MAC-CYRILLIC

ফাইল কম্পাইল করবে /usr/share/i18n/locales/ru_RU এনকোডিং ফাইল ব্যবহার করে /usr/share/i18n/charmaps/MAC-CYRILLIC.gz এবং ফলাফল সংরক্ষণ করুন /usr/lib/locale/locale-archive নামের নিচে ru_RU.maccyrillic

আপনি যদি ভেরিয়েবল সেট করেন Lang = en_US.UTF-8 The জন্য glibc ফাইল এবং ডিরেক্টরির নিম্নলিখিত ক্রমানুসারে লোকেল বাইনারিগুলি সন্ধান করবে:

/usr/lib/locale/locale-archive
/usr/lib/locale/en_US.UTF-8/
/usr/lib/locale/en_US/
/usr/lib/locale/enUTF-8/
/usr/lib/locale/en/

যদি একটি লোকেল ঐতিহ্যগত এবং আধুনিক উভয় বিন্যাসে ঘটে, তাহলে আধুনিকটিকে অগ্রাধিকার দেওয়া হয়।

আপনি কমান্ডের সাহায্যে সংকলিত লোকেলের তালিকা দেখতে পারেন লোকেল-এ.

আপনার তুলনা টেবিল প্রস্তুত করা হচ্ছে

এখন, জ্ঞান দিয়ে সজ্জিত, আপনি আপনার নিজের আদর্শ স্ট্রিং তুলনা টেবিল তৈরি করতে পারেন। এই টেবিলের সঠিকভাবে রাশিয়ান অক্ষরগুলির তুলনা করা উচিত, Ё অক্ষর সহ, এবং একই সাথে টেবিলের সাথে সামঞ্জস্য রেখে বিরাম চিহ্নগুলিকে বিবেচনা করা উচিত। হওয়া ASCII.

আপনার নিজস্ব সাজানোর টেবিল প্রস্তুত করার প্রক্রিয়াটি দুটি পর্যায় নিয়ে গঠিত: ওজন টেবিল সম্পাদনা করা এবং কমান্ডের সাহায্যে এটিকে বাইনারি আকারে কম্পাইল করা localdef.

বিন্যাসে ন্যূনতম সম্পাদনা খরচের সাথে তুলনা করার টেবিলটি সামঞ্জস্য করার জন্য আইএসও 14652 একটি বিদ্যমান টেবিলের ওজন সামঞ্জস্য করার জন্য বিভাগ প্রদান করা হয়. বিভাগটি একটি কীওয়ার্ড দিয়ে শুরু হয় পুনর্বিন্যাস-পরে এবং যে অবস্থানের পরে প্রতিস্থাপন করা হয় তা নির্দেশ করে। বিভাগটি লাইন দিয়ে শেষ হয় পুনর্বিন্যাস-শেষ. যদি টেবিলের বেশ কয়েকটি বিভাগ সংশোধন করা প্রয়োজন হয়, তবে এই জাতীয় প্রতিটি বিভাগের জন্য একটি বিভাগ তৈরি করা হয়।

আমি ফাইলগুলির নতুন সংস্করণ অনুলিপি করেছি iso14651_t1_common и ru_RU সংগ্রহস্থল থেকে জন্য glibc আমার হোম ডিরেক্টরিতে ~/.local/share/i18n/locales/ এবং বিভাগটি সামান্য সম্পাদিত LC_COLLATE в ru_RU. ফাইলগুলির নতুন সংস্করণগুলি আমার সংস্করণের সাথে সম্পূর্ণরূপে সামঞ্জস্যপূর্ণ জন্য glibc. আপনি যদি ফাইলগুলির পুরানো সংস্করণগুলি ব্যবহার করতে চান তবে আপনাকে সাংকেতিক নামগুলি এবং টেবিলে যেখানে প্রতিস্থাপন শুরু হবে তা পরিবর্তন করতে হবে৷

LC_COLLATE
% Copy the template from ISO/IEC 14651
copy "iso14651_t1"
reorder-after <U000D>
<U0020> <S0020>;<BASE>;<MIN>;<U0020> % SPACE
<U0021> <S0021>;<BASE>;<MIN>;<U0021> % EXCLAMATION MARK
<U0022> <S0022>;<BASE>;<MIN>;<U0022> % QUOTATION MARK
...
<U007D> <S007D>;<BASE>;<MIN>;<U007D> % RIGHT CURLY BRACKET
<U007E> <S007E>;<BASE>;<MIN>;<U007E> % TILDE
reorder-end
END LC_COLLATE

আসলে, ক্ষেত্রগুলি পরিবর্তন করা প্রয়োজন LC_IDENTIFICATION যাতে তারা লোকালয়ে নির্দেশ করে ru_MY, কিন্তু আমার উদাহরণে এটির প্রয়োজন ছিল না, যেহেতু আমি লোকেলের অনুসন্ধান থেকে সংরক্ষণাগারটি বাদ দিয়েছি লোকেল-আর্কাইভ.

যে localdef একটি ভেরিয়েবলের মাধ্যমে আমার ফোল্ডারে ফাইলগুলির সাথে কাজ করেছি I18NPATH আপনি ইনপুট ফাইল অনুসন্ধান করতে একটি অতিরিক্ত ডিরেক্টরি যোগ করতে পারেন, এবং বাইনারি ফাইল সংরক্ষণ করার জন্য ডিরেক্টরিটি স্ল্যাশ সহ একটি পাথ হিসাবে নির্দিষ্ট করা যেতে পারে:

$> I18NPATH=~/.local/share/i18n localedef -i ru_RU -f UTF-8 ~/.local/lib/locale/ru_MY.UTF-8

POSIX অনুমান যে মধ্যে ল্যাং আপনি ফরোয়ার্ড স্ল্যাশ দিয়ে শুরু করে লোকেল ফাইল সহ ডিরেক্টরিতে পরম পাথ লিখতে পারেন, কিন্তু জন্য glibc в লিনাক্স সমস্ত পাথ বেস ডিরেক্টরি থেকে গণনা করা হয়, যা একটি ভেরিয়েবলের মাধ্যমে ওভাররাইড করা যেতে পারে LOCPATH. ইনস্টলেশন পরে LOCPATH=~/.local/lib/locale/ স্থানীয়করণ সম্পর্কিত সমস্ত ফাইল শুধুমাত্র আমার ফোল্ডারে অনুসন্ধান করা হবে। পরিবর্তনশীল সেট সহ লোকেলের আর্কাইভ LOCPATH উপেক্ষা করা

এখানে নিষ্পত্তিমূলক পরীক্ষা:

$> LANG=ru_MY.UTF-8 LOCPATH=~/.local/lib/locale/ sort buhg.txt
Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванов Андрей;слесарь
Иванова Алла;адвокат

হুররে! আমরা এটা করেছি!

বাগ কাজ

আমি ইতিমধ্যে শুরুতে স্ট্রিং সাজানোর প্রশ্নগুলির উত্তর দিয়েছি, তবে ত্রুটিগুলি সম্পর্কে এখনও কয়েকটি প্রশ্ন রয়েছে - দৃশ্যমান এবং অদৃশ্য।

আসল সমস্যায় ফিরে আসা যাক।

এবং প্রোগ্রাম সাজান এবং প্রোগ্রাম যোগদানের থেকে একই স্ট্রিং তুলনা ফাংশন ব্যবহার করুন জন্য glibc. এটা কিভাবে হল যোগদানের কমান্ড দ্বারা সাজানো সারিগুলিতে একটি সাজানোর ত্রুটি দিয়েছে সাজান লোকালয়ে en_US.UTF-8? উত্তর সহজ: সাজান সমগ্র স্ট্রিং তুলনা করে, এবং যোগদানের শুধুমাত্র কী তুলনা করে, যা ডিফল্টরূপে প্রথম হোয়াইটস্পেস অক্ষর পর্যন্ত স্ট্রিংয়ের শুরু। আমার উদাহরণে, এর ফলে একটি ত্রুটির বার্তা এসেছে কারণ লাইনের প্রথম শব্দের সাজানো সম্পূর্ণ লাইনের সাজানোর সাথে মেলে না।

লোকেল "সি" গ্যারান্টি দেয় যে সাজানো স্ট্রিংগুলিতে প্রথম স্থান পর্যন্ত প্রাথমিক সাবস্ট্রিংগুলিও সাজানো হবে, তবে এটি কেবল ত্রুটিটিকে মুখোশ করে। ত্রুটি বার্তা ছাড়াই একটি ভুল ফাইল মার্জ ফলাফল দেবে এমন ডেটা নির্বাচন করা সম্ভব (একই উপাধির লোকেদের, কিন্তু ভিন্ন নাম)। আমরা যদি চাই যোগদানের পূর্ণ নাম দ্বারা ফাইল লাইন একত্রিত করুন, তারপর সঠিক উপায় হবে স্পষ্টভাবে ক্ষেত্র বিভাজক নির্দিষ্ট করা এবং কী ক্ষেত্র দ্বারা বাছাই করা, সম্পূর্ণ লাইন দ্বারা নয়। এই ক্ষেত্রে, মার্জ সঠিকভাবে এগিয়ে যাবে এবং কোনো লোকেলে কোনো ত্রুটি থাকবে না:

$> sort -t ; -k 1 buhg.txt > buhg.srt
$> sort -t ; -k 1 mail.txt > mail.srt
$> join -t ; buhg.srt mail.srt > result

এনকোডিংয়ে সফলভাবে সঞ্চালিত উদাহরণ CP1251 আরেকটি ত্রুটি রয়েছে। ঘটনাটি আমার পরিচিত সমস্ত বিতরণে লিনাক্স প্যাকেজ কম্পাইল লোকেল অনুপস্থিত ru_RU.CP1251. যদি কম্পাইল করা লোকেল পাওয়া না যায়, তাহলে সাজান নিঃশব্দে একটি বাইট-বাই-বাইট তুলনা ব্যবহার করে, যা আমরা পর্যবেক্ষণ করেছি।

যাইহোক, সংকলিত লোকেলগুলির অ্যাক্সেসযোগ্যতার সাথে সম্পর্কিত আরেকটি ছোট ত্রুটি রয়েছে। টীম LOCPATH=/tmp লোকেল -a মধ্যে সমস্ত লোকেলের একটি তালিকা দেবে লোকেল-আর্কাইভ, কিন্তু পরিবর্তনশীল সেটের সাথে LOCPATH সমস্ত প্রোগ্রামের জন্য (সর্বাধিক সহ স্থানীয়) এই লোকেল উপলব্ধ হবে না.

$> LOCPATH=/tmp locale -a | grep en_US
locale: Cannot set LC_CTYPE to default locale: No such file or directory
locale: Cannot set LC_MESSAGES to default locale: No such file or directory
locale: Cannot set LC_COLLATE to default locale: No such file or directory
en_US
en_US.iso88591
en_US.iso885915
en_US.utf8

$> LC_COLLATE=en_US.UTF-8 sort --debug
sort: using ‘en_US.UTF-8’ sorting rules

$> LOCPATH=/tmp LC_COLLATE=en_US.UTF-8 sort --debug
sort: using simple byte comparison

উপসংহার

আপনি যদি একজন প্রোগ্রামার হন যিনি ভাবতে অভ্যস্ত যে স্ট্রিংগুলি বাইটগুলির একটি সেট, তবে আপনার পছন্দ LC_COLLATE=C.

আপনি যদি একজন ভাষাবিদ বা অভিধান কম্পাইলার হন, তাহলে আপনি আপনার লোকেলে আরও ভালোভাবে কম্পাইল করুন।

আপনি যদি একজন সাধারণ ব্যবহারকারী হন, তবে আপনাকে কেবল কমান্ডটি ব্যবহার করতে হবে ls -a একটি অক্ষর দিয়ে শুরু হওয়া ফাইলগুলির সাথে মিশ্রিত একটি ডট দিয়ে শুরু হওয়া ফাইলগুলিকে আউটপুট করে, এবং৷ মধ্যরাতের কমান্ডার, যা নাম বাছাই করতে এর অভ্যন্তরীণ ফাংশন ব্যবহার করে, তালিকার শুরুতে একটি ডট দিয়ে শুরু হওয়া ফাইলগুলিকে রাখে।