Увод

Све је почело кратким скриптом који је требало да комбинује информације о адреси Е-маил запослени добијени са листе корисника мејлинг листе, са позицијама запослених добијеним из базе података ХР одељења. Обе листе су извезене у Уницоде текстуалне датотеке УТФ-КСНУМКС и сачувано са завршецима Уник линија.

Садржај маил.ткт

Иванов Андрей;[email protected]

Садржај бухг.ткт

Иванова Алла;маляр
Ёлкина Элла;крановщица
Иванов Андрей;слесарь
Абаканов Михаил;маляр

Да би се спојили, датотеке су сортиране Уник командом врста и предати на улаз Уник програма придружи, који неочекивано није успео са грешком:

$> sort buhg.txt > buhg.srt
$> sort mail.txt > mail.srt
$> join buhg.srt mail.srt > result
join: buhg.srt:4: is not sorted: Иванов Андрей;слесарь

Гледајући резултат сортирања вашим очима показало се да је, генерално гледано, сортирање исправно, али у случају подударности мушких и женских презимена, женска долазе испред мушких:

$> sort buhg.txt
Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванова Алла;маляр
Иванов Андрей;слесарь

Изгледа као грешка у сортирању у Уницоде-у или као манифестација феминизма у алгоритму за сортирање. Прво је, наравно, вероватније.

Хајде да то одложимо за сада придружи и фокусирати се на врста. Хајде да покушамо да решимо проблем помоћу научног боцкања. Прво, променимо локацију са у нама на ру_РУ. За сортирање, било би довољно подесити променљиву окружења ЛЦ_ЦОЛЛАТЕ, али нећемо губити време на ситнице:

$> LANG=ru_RU.UTF-8 sort buhg.txt
Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванова Алла;маляр
Иванов Андрей;слесарь

Ништа се није променило.

Покушајмо да прекодујемо датотеке у једнобајтно кодирање:

$> iconv -f UTF-8 -t KOI8-R buhg.txt 
 | LANG=ru_RU.KOI8-R sort 
 | iconv -f KOI8-R -t UTF8

Опет се ништа није променило.

Не можете ништа да урадите, мораћете да тражите решење на интернету. Не постоји ништа директно о руским презименима, али постоје питања о другим необичностима сортирања. На пример, ево проблема: уник сорт третира '-' (цртицу) знакове као невидљиве. Укратко, низови "а-б", "аа", "ац" су сортирани као "аа", "а-б", "ац".

Одговор је свуда стандардан: користите локализацију програмера "Ц" и бићеш срећан. Хајде да покушамо:

$> LANG=C sort buhg.txt
Ёлкина Элла;крановщица
Абаканов Михаил;маляр
Иванов Андрей;слесарь
Иванова Алла;адвокат

Нешто се променило. Ивановци су се постројили у правилном редоследу, иако је Јолкина негде оклизнула. Вратимо се на првобитни проблем:

$> LANG=C sort buhg.txt > buhg.srt
$> LANG=C sort mail.txt > mail.srt
$> LANG=C join buhg.srt mail.srt > result

Радио је без грешака, као што је интернет обећао. И то упркос Иолкини у првој линији.

Чини се да је проблем решен, али за сваки случај, хајде да покушамо са другим руским кодирањем - Виндовс ЦПКСНУМКС:

$> iconv -f UTF-8 -t CP1251 buhg.txt 
 | LANG=ru_RU.CP1251 sort 
 | iconv -f CP1251 -t UTF8

Резултат сортирања, што је чудно, ће се поклопити са локалитетом "Ц", и цео пример, сходно томе, ради без грешака. Нека врста мистицизма.

Не волим мистицизам у програмирању јер обично маскира грешке. Мораћемо озбиљно да размотримо како то функционише. врста и на шта утиче? ЛЦ_ЦОЛЛАТЕ .

На крају ћу покушати да одговорим на питања:

зашто су женска презимена погрешно поређана?
зашто ЛАНГ=ру_РУ.ЦП1251 испоставило се да је еквивалентно ЛАНГ=Ц
зашто врста и придружи различите идеје о редоследу сортираних низова
зашто у свим мојим примерима има грешака?
коначно како да сортирате низове по свом укусу

Сортирање у Уницоде-у

Прва станица биће технички извештај бр.10 под насловом Уницоде алгоритам за упоређивање Онлине уницоде.орг. Извештај садржи много техничких детаља, па ми дозволите да дам кратак резиме главних идеја.

сравњивање — „упоређивање“ стрингова је основа било ког алгоритма за сортирање. Сами алгоритми се могу разликовати („мехурић“, „спајање“, „брзо“), али ће сви користити поређење пара стрингова да би одредили редослед којим се појављују.

Сортирање низова на природном језику је прилично сложен проблем. Чак и код најједноставнијих једнобајтних кодирања, редослед слова у абецеди, чак и на неки начин различит од енглеске латинице, више се неће подударати са редоследом нумеричких вредности којима су ова слова кодирана. Дакле, у немачком алфабету писмо Ö стоји између О и P, и у кодирању ЦПКСНУМКС она постаје између ÿ и Ü.

Можете покушати да се апстрахујете од одређеног кодирања и размотрите „идеална“ слова која су распоређена неким редоследом, као што је то учињено у Уницоде-у. Кодирања УТФ8, УТФ16 или једнобајт КОИ8-Р (ако је потребан ограничени подскуп Уницоде-а) ће дати различите нумеричке приказе слова, али ће се односити на исте елементе основне табеле.

Испоставило се да чак и ако направимо табелу симбола од нуле, нећемо моћи да јој доделимо универзални редослед симбола. У различитим националним алфабетима који користе иста слова, редослед ових слова може се разликовати. На пример, на француском Æ ће се сматрати лигатуром и сортирати као низ AE. На норвешком Æ биће посебно писмо, које се налази после Z. Иначе, поред лигатура попут Æ Постоје слова исписана са неколико симбола. Дакле, у чешком алфабету постоји слово Ch, који стоји између H и I.

Поред разлика у алфабетима, постоје и друге националне традиције које утичу на сортирање. Посебно се поставља питање: којим редоследом речи које се састоје од великих и малих слова треба да се појављују у речнику? На сортирање може утицати и употреба знакова интерпункције. На шпанском, обрнути знак питања се користи на почетку упитне реченице (Волите ли музику?). У овом случају је очигледно да упитне реченице не треба груписати у посебан кластер ван азбуке, већ како сортирати редове са другим знацима интерпункције?

Нећу се задржавати на сортирању низова на језицима који се веома разликују од европских. Имајте на уму да се у језицима са смером писања здесна налево или одозго према доле, знакови у редовима највероватније чувају у редоследу читања, а чак и неазбучни системи писања имају своје начине редања редова карактер по знак . На пример, хијероглифи се могу поредати по стилу (Тастери кинеских знакова) или по изговору. Да будем искрен, немам појма како треба да буду распоређени емоџији, али можете смислити нешто и за њих.

На основу горе наведених карактеристика, формулисани су основни захтеви за поређење стрингова на основу Уницоде табела:

поређење стрингова не зависи од положаја знакова у табели кодова;
низови знакова који формирају један знак своде се на канонски облик (A + горњи круг је исти као Å);
Приликом упоређивања стрингова, карактер се разматра у контексту стринга и, ако је потребно, комбинује се са својим суседима у једну јединицу поређења (Ch на чешком) или је подељен на неколико (Æ На француском);
све националне карактеристике (абецеда, велика/мала слова, интерпункција, редослед писања) морају бити конфигурисане до ручног додељивања редоследа (емоџи);
поређење је важно не само за сортирање, већ и на многим другим местима, на пример за одређивање опсега редова (замена {А... з} у треснути);
поређење треба обавити прилично брзо.

Поред тога, аутори извештаја су формулисали својства поређења на која програмери алгоритама не би требало да се ослањају:

алгоритам поређења не би требало да захтева посебан скуп знакова за сваки језик (руски и украјински језици деле већину ћириличких знакова);
поређење не треба да се ослања на редослед знакова у Уницоде табелама;
тежина стринга не би требало да буде атрибут стринга, пошто исти низ у различитим културним контекстима може имати различите тежине;
тежине редова се могу променити приликом спајања или раздвајања (од x < y то не следи xz < yz);
различити низови који имају исте тежине сматрају се једнаким са становишта алгоритма за сортирање. Увођење додатног реда таквих стрингова је могуће, али то може погоршати перформансе;
Током поновљеног сортирања, редови са истим тежинама могу се заменити. Робусност је својство специфичног алгоритма за сортирање, а не својство алгоритма за поређење стрингова (погледајте претходни пасус);
Правила сортирања се могу променити током времена како се културна традиција усавршава/мењује.

Такође је предвиђено да алгоритам поређења не зна ништа о семантици низова који се обрађују. Дакле, низове који се састоје само од цифара не треба упоређивати као бројеве, а на листама енглеских назива чланак (Беатлес, Тхе).

Да би се задовољили сви ови захтеви, предложен је алгоритам за сортирање табеле на више нивоа (у ствари, на четири нивоа).

Претходно су знакови у низу сведени на канонски облик и груписани у јединице поређења. Свакој јединици поређења је додељено неколико пондера који одговарају неколико нивоа поређења. Тежине јединица поређења су елементи уређених скупова (у овом случају цели бројеви) који се могу поредити за више или мање. Посебно значење ИГНОРЕД (0к0) значи да на одговарајућем нивоу поређења ова јединица није укључена у поређење. Поређење низова може се поновити неколико пута, користећи тежине одговарајућих нивоа. На сваком нивоу, тежине јединица за поређење два реда се узастопно пореде једна са другом.

У различитим имплементацијама алгоритма за различите националне традиције, вредности коефицијената се могу разликовати, али Уницоде стандард укључује основну табелу тежина - „Подразумевана табела Уницоде колационирања елемената“ (ДУЦЕТ). Желео бих да напоменем да подешавање променљиве ЛЦ_ЦОЛЛАТЕ је заправо индикација избора табеле тежине у функцији поређења низова.

Пондери коефицијенти ДУЦЕТ распоређени на следећи начин:

на првом нивоу, сва слова се своде на исти падеж, дијакритици се одбацују, знаци интерпункције (не сви) се занемарују;
на другом нивоу узимају се у обзир само дијакритици;
на трећем нивоу се узима у обзир само случај;
на четвртом нивоу узимају се у обзир само знаци интерпункције.

Поређење се одвија у неколико пролаза: прво се упоређују коефицијенти првог нивоа; ако се пондери поклапају, онда се врши поновљено поређење са тежинама другог нивоа; онда можда трећи и четврти.

Поређење се завршава када редови садрже одговарајуће јединице поређења са различитим тежинама. Редови који имају једнаку тежину на сва четири нивоа сматрају се једнаким једни другима.

Овај алгоритам (са гомилом додатних техничких детаља) дао је назив извештају број 10 - „Уницоде алгоритам за сређивање“ (УЦА).

Овде понашање сортирања из нашег примера постаје мало јасније. Било би лепо упоредити га са стандардом Уницоде.

За тестирање имплементације УЦА постоји посебна тест, Користећи тежина фајла, Имплементација ДУЦЕТ. Можете пронаћи све врсте смешних ствари у датотеци вага. На пример, постоји редослед махџонга и европских домина, као и ред одела у шпилу карата (симбол КСНУМКСФКСНУМКС и даље). Боје карата су постављене по правилима бриџа - ПЦБТ, а карте у боји су у низу Т, 2,3, XNUMX... К.

Ручна провера да ли су редови правилно сортирани према ДУЦЕТ било би прилично заморно, али, на нашу срећу, постоји примерна имплементација библиотеке за рад са Уницоде-ом - "Међународне компоненте за Уницоде"(ИЦУ).

На сајту ове библиотеке, развијеној год ИБМ-, постоје демо странице, укључујући страница алгоритма за поређење стрингова. Улазимо у наше тестне линије са подразумеваним подешавањима и, ето, добијамо савршено руско сортирање.

Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванов Андрей;слесарь
Иванова Алла;адвокат

Узгред, сајт ИЦУ Можете пронаћи појашњење алгоритма поређења приликом обраде знакова интерпункције. У примерима Цоллатион ФАК апостроф и цртица се занемарују.

Уницоде нам је помогао, али потражите разлоге за чудно понашање врста в линук мораће да оде негде другде.

Сортирање у глибц

Брзи преглед изворних кодова услужних програма врста од ГНУ Цоре Утилс показао да се у самом услужном програму локализација своди на штампање тренутне вредности променљиве ЛЦ_ЦОЛЛАТЕ када ради у режиму за отклањање грешака:

$ sort --debug buhg.txt > buhg.srt
sort: using ‘en_US.UTF8’ sorting rules

Поређење стрингова се врши помоћу стандардне функције стрцолл, што значи да се све занимљиво налази у библиотеци глибц.

На вики пројекат глибц посвећено поређењу стрингова један пасус. Из овог пасуса се може разумети да у глибц сортирање се заснива на нама већ познатом алгоритму УЦА (Уницоде алгоритам за упоређивање) и/или на стандарду који му је близак ИСО КСНУМКС (Међународно уређење и поређење стрингова). Што се тиче најновијег стандарда, треба напоменути да на сајту стандардс.исо.орг ИСО КСНУМКС званично проглашено јавно доступним, али одговарајући линк води на непостојећу страницу. Гугл враћа неколико страница са линковима ка званичним сајтовима који нуде куповину електронске копије стандарда за сто евра, али на трећој или четвртој страници резултата претраге налазе се и директне везе до пдф. Генерално, стандард се практично не разликује од УЦА, али је досаднији за читање јер не садржи јасне примере националних карактеристика сортирања стрингова.

Најзанимљивије информације о вики постојала је веза са Буг трацкер уз расправу о имплементацији поређења низова у глибц. Из дискусије се може сазнати да глибц користи се за упоређивање низова ИСОлични сто Заједничка табела шаблона (ЦТТ), чија се адреса налази у пријави A стандардне ИСО КСНУМКС. Између 2000. и 2015. године ова табела у глибц није имао одржаваоца и био је прилично другачији (барем споља) од тренутне верзије стандарда. Од 2015. до 2018. године одвијала се адаптација на нову верзију табеле, а сада имате прилику да у стварном животу упознате нову верзију табеле (КСНУМКС Уник), и стари (КСНУМКС Уник).

Сада када имамо све информације о алгоритму и помоћним табелама, можемо се вратити на првобитни проблем и разумети како правилно сортирати стрингове у руском локалу.

ИСО 14651/14652

Изворни код табеле која нас занима ЦТТ на већини дистрибуција линук налази се у именику /уср/схаре/и18н/лоцалес/. Сама табела је у датотеци исо14651_т1_цоммон. Онда је ово директива датотеке цопи исо14651_т1_цоммон укључено у фајл исо14651_т1, који је, заузврат, укључен у националне датотеке, укључујући у нама и ру_РУ. На већини дистрибуција линук сви изворни фајлови су укључени у основну инсталацију, али ако нису присутни, мораћете да инсталирате додатни пакет из дистрибуције.

Структура датотеке исо14651_т1 може изгледати страшно опширно, са неочигледним правилима за конструисање имена, али ако погледате, све је прилично једноставно. Структура је описана у стандарду ИСО КСНУМКС, чија се копија може преузети са веб странице опен-стд.орг. Може се прочитати још један опис формата датотеке спецификације ПОСИКС из ОпенГроуп. Као алтернативу читању стандарда, можете проучити изворни код функције цоллате_реад в глибц/лоцале/програмс/лд-цоллате.ц.

Структура датотеке изгледа овако:

Подразумевано, знак се користи као излазни знак, а крај реда после знака # је коментар. Оба симбола се могу редефинисати, што је и урађено у новој верзији табеле:

escape_char /
comment_char %

Датотека ће садржати токене у формату или (Где x - хексадецимална цифра). Ово је хексадецимална репрезентација Уницоде кодних тачака у кодирању УЦС-4 (УТФ-КСНУМКС). Сви остали елементи у угаоним заградама (укључујући , <2> и слично) сматрају се једноставним стринг константама које имају мало значења ван контекста.

Линија ЛЦ_ЦОЛЛАТЕ нам говори да следеће почиње подаци који описују поређење низова.

Прво, имена су специфицирана за тежине у табели поређења и имена за комбинације симбола. Уопштено говорећи, ова два типа имена припадају два различита ентитета, али у стварном фајлу су помешана. Називи тежина су специфицирани кључном речи слагање-симбол (знак за поређење) јер ће се приликом поређења Уницоде знакови који имају исте тежине сматрати еквивалентним знаковима.

Укупна дужина одељка у тренутној ревизији фајла је око 900 редова. Повукао сам примере са неколико места да покажем произвољност имена и неколико типова синтаксе.

LC_COLLATE

collating-symbol <RES-1>
collating-symbol <BLK>
collating-symbol <MIN>
collating-symbol <WIDE>
...
collating-symbol <ARABIC>
collating-symbol <ETHPC>
collating-symbol <OSMANYA>
...
collating-symbol <S1D000>..<S1D35F>
collating-symbol <SFFFF> % Guaranteed largest symbol value. Keep at end of this list
...
collating-element <U0413_0301> from "<U0413><U0301>"
collating-element <U0413_0341> from "<U0413><U0341>"

споредни-симбол евидентира стринг ОСМАНИА у табели назива вага
споредни-симбол .. региструје низ имена који се састоји од префикса S и хексадецимални нумерички наставак из КСНУМКСДКСНУМКС до 1Д35Ф.
ФФФФ в споредни-симбол изгледа као велики цео број без предзнака у хексадецималном, али то је само име које би могло изгледати
имя означава кодну тачку у кодирању УЦС-4
елемент за слагање из "" региструје ново име за пар Уницоде тачака.

Када се дефинишу називи тежина, специфицирају се стварне тежине. Пошто су само релације веће од мање важне у поређењу, тежине се одређују једноставним низом имена на листи. Прво су наведене „лакше“ тежине, а затим „теже“. Дозволите ми да вас подсетим да су сваком Уницоде карактеру додељене четири различите тежине. Овде су комбиновани у једну наређену секвенцу. У теорији, било које симболично име може да се користи на било ком од четири нивоа, али коментари указују на то да програмери ментално раздвајају имена на нивое.

% Symbolic weight assignments

% Third-level weight assignments
<RES-1>
<BLK>
<MIN>
<WIDE>
...
% Second-level weight assignments
<BASE>
<LOWLINE> % COMBINING LOW LINE
<PSILI> % COMBINING COMMA ABOVE
<DASIA> % COMBINING REVERSED COMMA ABOVE
...
% First-level weight assignments
<S0009> % HORIZONTAL TABULATION 
<S000A> % LINE FEED
<S000B> % VERTICAL TABULATION
...
<S0434> % CYRILLIC SMALL LETTER DE
<S0501> % CYRILLIC SMALL LETTER KOMI DE
<S0452> % CYRILLIC SMALL LETTER DJE
<S0503> % CYRILLIC SMALL LETTER KOMI DJE
<S0453> % CYRILLIC SMALL LETTER GJE
<S0499> % CYRILLIC SMALL LETTER ZE WITH DESCENDER
<S0435> % CYRILLIC SMALL LETTER IE
<S04D7> % CYRILLIC SMALL LETTER IE WITH BREVE
<S0454> % CYRILLIC SMALL LETTER UKRAINIAN IE
<S0436> % CYRILLIC SMALL LETTER ZHE

Коначно, табела стварне тежине.

Одељак са тежинама је затворен у редовима кључних речи ордер_старт и ордер_енд. Додатне опције ордер_старт одредити у ком правцу се скенирају редови на сваком нивоу поређења. Подразумевана поставка је напред. Тело секције се састоји од редова који садрже код симбола и његове четири тежине. Шифра карактера може бити представљена самим знаком, тачком кода или претходно дефинисаним симболичким именом. Тежине се такође могу дати симболичким именима, кодним тачкама или самим симболима. Ако се користе кодне тачке или знакови, њихова тежина је иста као и нумеричка вредност кодне тачке (позиција у Уницоде табели). Знакови који нису експлицитно наведени (како разумем) сматрају се додељеним табели са примарном тежином која одговара позицији у Уницоде табели. Посебна вредност тежине ИГНОРЕ значи да се симбол игнорише на одговарајућем нивоу поређења.

Да бих демонстрирао структуру вага, изабрао сам три прилично очигледна фрагмента:

ликови који се потпуно игноришу
симболи еквивалентни броју три у прва два нивоа
почетак ћирилице, која не садржи дијакритичке знакове, па је стога распоређена углавном по првом и трећем нивоу.

order_start forward;forward;forward;forward,position
<U0000> IGNORE;IGNORE;IGNORE;IGNORE % NULL (in 6429)
<U0001> IGNORE;IGNORE;IGNORE;IGNORE % START OF HEADING (in 6429)
<U0002> IGNORE;IGNORE;IGNORE;IGNORE % START OF TEXT (in 6429)
...
<U0033> <S0033>;<BASE>;<MIN>;<U0033> % DIGIT THREE
<UFF13> <S0033>;<BASE>;<WIDE>;<UFF13> % FULLWIDTH DIGIT THREE
<U2476> <S0033>;<BASE>;<COMPAT>;<U2476> % PARENTHESIZED DIGIT THREE
<U248A> <S0033>;<BASE>;<COMPAT>;<U248A> % DIGIT THREE FULL STOP
<U1D7D1> <S0033>;<BASE>;<FONT>;<U1D7D1> % MATHEMATICAL BOLD DIGIT THREE
...
<U0430> <S0430>;<BASE>;<MIN>;<U0430> % CYRILLIC SMALL LETTER A
<U0410> <S0430>;<BASE>;<CAP>;<U0410> % CYRILLIC CAPITAL LETTER A
<U04D1> <S04D1>;<BASE>;<MIN>;<U04D1> % CYRILLIC SMALL LETTER A WITH BREVE
<U0430_0306> <S04D1>;<BASE>;<MIN>;<U04D1> % CYRILLIC SMALL LETTER A WITH BREVE
...
<U0431> <S0431>;<BASE>;<MIN>;<U0431> % CYRILLIC SMALL LETTER BE
<U0411> <S0431>;<BASE>;<CAP>;<U0411> % CYRILLIC CAPITAL LETTER BE
<U0432> <S0432>;<BASE>;<MIN>;<U0432> % CYRILLIC SMALL LETTER VE
<U0412> <S0432>;<BASE>;<CAP>;<U0412> % CYRILLIC CAPITAL LETTER VE
...
order_end

Сада се можете вратити на сортирање примера са почетка чланка. Заседа се налази у овом делу табеле са теговима:

<U0020> IGNORE;IGNORE;IGNORE;<U0020> % SPACE
<U0021> IGNORE;IGNORE;IGNORE;<U0021> % EXCLAMATION MARK
<U0022> IGNORE;IGNORE;IGNORE;<U0022> % QUOTATION MARK
...

Види се да су у овој табели знакови интерпункције из табеле АСЦИИ (укључујући размак) се скоро увек занемарује приликом упоређивања стрингова. Једини изузетак су редови који се подударају у свему осим у знаковима интерпункције који се налазе на одговарајућим позицијама. Редови из мог примера (након сортирања) за алгоритам поређења изгледају овако:

АбакановМихаилмаляр
ЁлкинаЭллакрановщица
ИвановаАлламаляр
ИвановАндрейслесарь

С обзиром да у табели скала велика слова у руском долазе после малих слова (на трећем нивоу Теже него ), сортирање изгледа потпуно исправно.

Приликом постављања променљиве ЛЦ_ЦОЛЛАТЕ=Ц учитава се посебна табела која одређује поређење бајт по бајт

static const uint32_t collseqwc[] =
{
  8, 1, 8, 0x0, 0xff,
  /* 1st-level table */
  6 * sizeof (uint32_t),
  /* 2nd-level table */
  7 * sizeof (uint32_t),
  /* 3rd-level table */
  L'x00', L'x01', L'x02', L'x03', L'x04', L'x05', L'x06', L'x07',
  L'x08', L'x09', L'x0a', L'x0b', L'x0c', L'x0d', L'x0e', L'x0f',

...
  L'xf8', L'xf9', L'xfa', L'xfb', L'xfc', L'xfd', L'xfe', L'xff'
};

Пошто у Уницоде-у кодна тачка Е долази испред А, низови се сортирају у складу са тим.

Текстуалне и бинарне табеле

Очигледно, поређење стрингова је изузетно уобичајена операција и рашчлањивање табеле ЦТТ прилично скупа процедура. Да би се оптимизовао приступ табели, она се са командом компајлира у бинарни облик лоцалдеф.

Тим лоцалдеф прихвата као параметре датотеку са табелом националних карактеристика (опција -i), у којој су сви знакови представљени Уницоде тачкама, и датотека кореспонденције између Уницоде тачака и знакова одређеног кодирања (опција -f). Као резултат рада, креирају се бинарне датотеке за локализацију са именом наведеним у последњем параметру.

Глибц подржава два бинарна формата датотека: "традиционални" и "модерни".

Традиционални формат значи да је назив локалитета име поддиректоријума у /уср/либ/лоцале/. Овај поддиректоријум чува бинарне датотеке ЛЦ_ЦОЛЛАТЕ, ЛЦ_ЦТИПЕ, ЛЦ_ТИМЕ и тако даље. Филе ЛЦ_ИДЕНТИФИЦАТИОН садржи формални назив локалитета (који се може разликовати од имена директоријума) и коментаре.

Савремени формат подразумева чување свих локација у једној архиви /уср/либ/лоцале/лоцале-арцхиве, који је мапиран у виртуелну меморију свих процеса који користе глибц. Назив локала у модерном формату подлеже извесној канонизацији – у називима кодирања остају само бројеви и слова сведена на мала слова. Тако ру_РУ.КОИ8-Р, биће сачувано као ру_РУ.кои8р.

Улазне датотеке се траже у тренутном директоријуму, као иу директоријумима /уср/схаре/и18н/лоцалес/ и /уср/схаре/и18н/цхармапс/ за датотеке ЦТТ и датотеке за кодирање, респективно.

На пример, команда

localedef -i ru_RU -f MAC-CYRILLIC ru_RU.MAC-CYRILLIC

ће компајлирати датотеку /уср/схаре/и18н/лоцалес/ру_РУ користећи датотеку за кодирање /уср/схаре/и18н/цхармапс/МАЦ-ЦИРИЛЛИЦ.гз и сачувајте резултат у /уср/либ/лоцале/лоцале-арцхиве под називом ру_РУ.маццириллиц

Ако поставите променљиву ЛАНГ = ср_УС.УТФ-8 онда глибц ће тражити бинарне стандарде у следећем низу датотека и директоријума:

/usr/lib/locale/locale-archive
/usr/lib/locale/en_US.UTF-8/
/usr/lib/locale/en_US/
/usr/lib/locale/enUTF-8/
/usr/lib/locale/en/

Ако се локална локација појављује иу традиционалном иу модерном формату, онда се приоритет даје модерном.

Можете погледати листу компајлираних локализација помоћу команде лоцале -а.

Припремање табеле за поређење

Сада, наоружани знањем, можете креирати сопствену табелу за поређење идеалних низова. Ова табела треба да правилно упореди руска слова, укључујући и слово Е, и да истовремено узме у обзир знакове интерпункције у складу са табелом АСЦИИ.

Процес припреме сопствене табеле за сортирање састоји се од две фазе: уређивање табеле тежина и састављање у бинарни облик помоћу команде лоцалдеф.

Да би упоредна табела била прилагођена уз минималне трошкове уређивања, у формату ИСО КСНУМКС Предвиђени су одељци за подешавање тежине постојеће табеле. Одељак почиње кључном речи преуредити-после и са назнаком позиције након које се врши замена. Одељак се завршава линијом реордер-енд. Ако је потребно исправити неколико делова табеле, онда се за сваки такав одељак креира одељак.

Копирао сам нове верзије датотека исо14651_т1_цоммон и ру_РУ из спремишта глибц у мој почетни директоријум ~/.лоцал/схаре/и18н/лоцалес/ и мало уредио одељак ЛЦ_ЦОЛЛАТЕ в ру_РУ. Нове верзије датотека су потпуно компатибилне са мојом верзијом глибц. Ако желите да користите старије верзије датотека, мораћете да промените симболичка имена и место где почиње замена у табели.

LC_COLLATE
% Copy the template from ISO/IEC 14651
copy "iso14651_t1"
reorder-after <U000D>
<U0020> <S0020>;<BASE>;<MIN>;<U0020> % SPACE
<U0021> <S0021>;<BASE>;<MIN>;<U0021> % EXCLAMATION MARK
<U0022> <S0022>;<BASE>;<MIN>;<U0022> % QUOTATION MARK
...
<U007D> <S007D>;<BASE>;<MIN>;<U007D> % RIGHT CURLY BRACKET
<U007E> <S007E>;<BASE>;<MIN>;<U007E> % TILDE
reorder-end
END LC_COLLATE

У ствари, било би неопходно променити поља у ЛЦ_ИДЕНТИФИЦАТИОН тако да указују на локал ру_МИ, али у мом примеру то није било потребно, пошто сам искључио архиву из претраге локала лоцале-арцхиве.

Да лоцалдеф радио са датотекама у мојој фасцикли преко променљиве И18НПАТХ Можете додати додатни директоријум за тражење улазних датотека, а директоријум за чување бинарних датотека може се навести као путања са косим цртама:

$> I18NPATH=~/.local/share/i18n localedef -i ru_RU -f UTF-8 ~/.local/lib/locale/ru_MY.UTF-8

ПОСИКС претпоставља да у ЛАНГ можете писати апсолутне путање до директоријума са локалним датотекама, почевши са косом цртом унапред, али глибц в линук све путање се рачунају из основног директоријума, који се може заменити кроз променљиву ЛОЦПАТХ. Након инсталације ЛОЦПАТХ=~/.лоцал/либ/лоцале/ све датотеке повезане са локализацијом ће се претраживати само у мом фолдеру. Архива локалитета са скупом променљивих ЛОЦПАТХ се игнорише.

Ево одлучујућег теста:

$> LANG=ru_MY.UTF-8 LOCPATH=~/.local/lib/locale/ sort buhg.txt
Абаканов Михаил;маляр
Ёлкина Элла;крановщица
Иванов Андрей;слесарь
Иванова Алла;адвокат

Ура! Успели смо!

Неке грешке

Већ сам одговорио на питања о сортирању стрингова постављена на почетку, али има још пар питања о грешкама - видљивим и невидљивим.

Вратимо се првобитном проблему.

И програм врста и програм придружи користите исте функције поређења стрингова из глибц. Како се то догодило придружи дао грешку у сортирању редова сортираних наредбом врста ин лоцале ср_УС.УТФ-8? Одговор је једноставан: врста упоређује цео низ, и придружи упоређује само кључ, који је подразумевано почетак стринга до првог знака размака. У мом примеру, ово је резултирало поруком о грешци јер се сортирање првих речи у редовима не поклапа са сортирањем комплетних редова.

Лоцале "Ц" гарантује да ће у сортираним стринговима и почетни поднизови до првог размака такође бити сортирани, али ово само маскира грешку. Могуће је одабрати податке (особе са истим презименима, али различитим именима) који би без поруке о грешци дали нетачан резултат спајања фајлова. Ако желимо придружи спојене линије датотеке пуним именом, онда би исправан начин био да се експлицитно наведе сепаратор поља и сортира по кључном пољу, а не по целом реду. У овом случају, спајање ће се наставити исправно и неће бити грешака ни на једном локалитету:

$> sort -t ; -k 1 buhg.txt > buhg.srt
$> sort -t ; -k 1 mail.txt > mail.srt
$> join -t ; buhg.srt mail.srt > result

Успешно изведен пример у кодирању ЦПКСНУМКС садржи још једну грешку. Чињеница је да у свим мени познатим дистрибуцијама линук пакетима недостаје преведена локализација ру_РУ.ЦП1251. Ако компајлирани локал није пронађен, онда врста тихо користи поређење бајт по бајт, што смо приметили.

Узгред, постоји још једна мала грешка везана за неприступачност компајлираних локала. Тим ЛОЦПАТХ=/тмп лоцале -а ће дати листу свих локалитета у лоцале-арцхиве, али са скупом променљивих ЛОЦПАТХ за све програме (укључујући већину простор) ови локалитети неће бити доступни.

$> LOCPATH=/tmp locale -a | grep en_US
locale: Cannot set LC_CTYPE to default locale: No such file or directory
locale: Cannot set LC_MESSAGES to default locale: No such file or directory
locale: Cannot set LC_COLLATE to default locale: No such file or directory
en_US
en_US.iso88591
en_US.iso885915
en_US.utf8

$> LC_COLLATE=en_US.UTF-8 sort --debug
sort: using ‘en_US.UTF-8’ sorting rules

$> LOCPATH=/tmp LC_COLLATE=en_US.UTF-8 sort --debug
sort: using simple byte comparison

Закључак

Ако сте програмер који је навикао да мисли да су стрингови скуп бајтова, онда је ваш избор ЛЦ_ЦОЛЛАТЕ=Ц.

Ако сте лингвиста или компајлер речника, онда је боље да компајлирате у свом локалу.

Ако сте једноставан корисник, онда само треба да се навикнете на чињеницу да команда лс -а излази датотеке које почињу тачком помешане са датотекама које почињу словом, и Поноћни командант, који користи своје интерне функције за сортирање имена, ставља датотеке које почињу тачком на почетак листе.