{"id":83055,"date":"2020-05-28T01:42:15","date_gmt":"2020-05-27T23:42:15","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-linuxovskij-sort-sortiruet-stroki"},"modified":"2020-05-28T01:42:15","modified_gmt":"2020-05-27T23:42:15","slug":"kak-linuxovskij-sort-sortiruet-stroki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kak-linuxovskij-sort-sortiruet-stroki","title":{"rendered":"Hoe de Linux sort-functie rijen sorteert.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Inleiding<\/h1>\n

<\/p>\n

Alles begon met een kort script dat de informatie over adressen moest combineren e-mail<\/em> van medewerkers, verkregen uit de lijst van gebruikers van de mailinglijst, met de functies van medewerkers, verkregen uit de HR-database. Beide lijsten zijn ge\u00ebxporteerd naar tekstbestanden in Unicode-encoding UTF-8<\/em> en opgeslagen met Unix-eindes.<\/p>\n

<\/p>\n

Inhoud mail.txt<\/em><\/p>\n

<\/p>\n

Ivanov Andrey;ia@example.com<\/code><\/pre>\n
<\/p>\n
Inhoud buhg.txt<\/em><\/p>\n
<\/p>\n
Ivanova Alla;schilder\nYelkina Ella;kraanmachinist\nIvanov Andrey;loodgieter\nAbakanov Mikhail;schilder<\/code><\/pre>\n
<\/p>\n
Om de bestanden te combineren, werden ze gesorteerd met het Unix-commando sort<\/em> en doorgegeven aan het Unix-programma join<\/em>, dat onverwacht eindigde met een foutmelding: <\/p>\n
<\/p>\n
$> sort buhg.txt > buhg.srt\n$> sort mail.txt > mail.srt\n$> join buhg.srt mail.srt > result\njoin: buhg.srt:4: is not sorted: Ivanov Andrey;loodgieter<\/code><\/pre>\n
<\/p>\n
Het bekijken van het sorteeresultaat gaf aan dat de sortering over het algemeen correct was, maar in het geval van overeenkomsten tussen mannelijke en vrouwelijke achternamen, zijn de vrouwelijke eerst:<\/p>\n
<\/p>\n
$> sort buhg.txt\nAbakanov Mikhail;schilder\nYelkina Ella;kraanmachinist\nIvanova Alla;schilder\nIvanov Andrey;loodgieter<\/code><\/pre>\n
<\/p>\n
Het lijkt op een fout in de sortering in Unicode of op een uiting van feminisme in het sorteeralgoritme. Het eerste lijkt natuurlijk plausibeler.<\/p>\n
<\/a><\/noindex><\/p>\n
Laten we het voor nu uitstellen join<\/em> en ons concentreren op sort<\/em>. Laten we proberen het probleem op de proef te stellen. Laten we beginnen met het wijzigen van de locatie naar en_US<\/em> en een werkende opdracht krijgen. ru_RU<\/em>. Voor het sorteren zou het voldoende zijn om de omgevingsvariabele LC_COLLATE<\/em>, in te stellen, maar we willen het niet zo kleinziend maken:<\/p>\n
<\/p>\n
$> LANG=ru_RU.UTF-8 sort buhg.txt\nAbakanov Mikhail;schilder\nYelkina Ella;kraanmachinist\nIvanova Alla;schilder\nIvanov Andrey;loodgieter<\/code><\/pre>\n
<\/p>\n
Er is niets veranderd.<\/p>\n
<\/p>\n
Laten we proberen de bestanden naar een eencodering te converteren: <\/p>\n
<\/p>\n
$> iconv -f UTF-8 -t KOI8-R buhg.txt \n | LANG=ru_RU.KOI8-R sort \n | iconv -f KOI8-R -t UTF8<\/code><\/pre>\n
<\/p>\n
Weer is er niets veranderd.<\/p>\n
<\/p>\n
We hebben geen andere keuze dan een oplossing op internet te zoeken. Direct over Russische achternamen is niets te vinden, maar er zijn vragen over andere vreemde sorteringen. Hier is bijvoorbeeld zo'n probleem: Unix sort beschouwt ‘-‘ (streepje) als onzichtbare karakters<\/a><\/noindex>. Kort gezegd, worden de regels "a-b", "aa", "ac" gesorteerd als "aa", "a-b", "ac".<\/p>\n
<\/p>\n
Het antwoord is overal standaard: gebruik de programmeertaal-locatie "C"<\/em> en je hebt geluk. Laten we het proberen:<\/p>\n
<\/p>\n
$> LANG=C sort buhg.txt\nYelkina Ella;kraanmachinist\nAbakanov Mikhail;schilder\nIvanov Andrey;loodgieter\nIvanova Alla;advocaat<\/code><\/pre>\n
<\/p>\n
Er is iets veranderd. De Ivanovs staan nu in de juiste volgorde, maar Yelkina is ergens naartoe geslopen. Laten we teruggaan naar de oorspronkelijke taak:<\/p>\n
<\/p>\n
$> LANG=C sort buhg.txt > buhg.srt\n$> LANG=C sort mail.txt > mail.srt\n$> LANG=C join buhg.srt mail.srt > result<\/code><\/pre>\n
<\/p>\n
Het werkte zonder fouten, zoals het internet beloofde. En dat ondanks de \u0401lkin op de eerste regel.<\/p>\n
<\/p>\n
Het probleem lijkt opgelost, maar voor de zekerheid proberen we nog een Russische codering \u2014 de Windows-codering. CP1251<\/em>:<\/p>\n
<\/p>\n
$> iconv -f UTF-8 -t CP1251 buhg.txt \n | LANG=ru_RU.CP1251 sort \n | iconv -f CP1251 -t UTF8 <\/code><\/pre>\n
<\/p>\n
Het sorteers resultaat zal, vreemd genoeg, overeenkomen met de locale. "C"<\/em>, en het hele voorbeeld passeert dus zonder fouten. Het is een soort mystiek.<\/p>\n
<\/p>\n
Ik hou niet van mystiek in programmeren, omdat het meestal fouten verbergt. Ik moet serieus kijken naar hoe het werkt sort<\/em> en op wat het invloed heeft. LC_COLLATE<\/em> .<\/p>\n
<\/p>\n
Aan het einde zal ik proberen de vragen te beantwoorden:<\/p>\n
<\/p>\n