{"id":83055,"date":"2020-05-28T01:42:15","date_gmt":"2020-05-27T23:42:15","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-linuxovskij-sort-sortiruet-stroki"},"modified":"2020-05-28T01:42:15","modified_gmt":"2020-05-27T23:42:15","slug":"kak-linuxovskij-sort-sortiruet-stroki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-linuxovskij-sort-sortiruet-stroki","title":{"rendered":"Wie sortiert Linux' sort Zeichenfolgen","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Einf\u00fchrung<\/h1>\n

<\/p>\n

Alles begann mit einem kurzen Skript, das Informationen \u00fcber Adressen e-mail<\/em> von Mitarbeitern, die aus der Liste der Mailinglistenbenutzer stammten, mit den Positionen der Mitarbeiter zu kombinieren, die aus der Datenbank der Personalabteilung gewonnen wurden. Beide Listen wurden in Textdateien im Unicode-Format exportiert UTF-8<\/em> und mit Unix-Zeilenenden gespeichert.<\/p>\n

<\/p>\n

Inhalt mail.txt<\/em><\/p>\n

<\/p>\n

Ivanov Andrej;ia@example.com<\/code><\/pre>\n
<\/p>\n
Inhalt buhg.txt<\/em><\/p>\n
<\/p>\n
Ivanova Alla;Maler\nElkina Ella;Kranf\u00fchrerin\nIvanov Andrej;Installateur\nAbakanov Michail;Maler<\/code><\/pre>\n
<\/p>\n
Um die Dateien zu kombinieren, wurden sie mit dem Unix-Befehl sortiert sortieren<\/em> und an ein Unix-Programm \u00fcbergeben beitreten<\/em>, das unerwartet mit einem Fehler abgebrochen wurde: <\/p>\n
<\/p>\n
$> sort buhg.txt > buhg.srt\n$> sort mail.txt > mail.srt\n$> join buhg.srt mail.srt > result\njoin: buhg.srt:4: ist nicht sortiert: Ivanov Andrej;Installateur<\/code><\/pre>\n
<\/p>\n
Ein Blick auf das Sortierungsergebnis zeigte, dass die Sortierung insgesamt korrekt war, aber im Falle von \u00dcbereinstimmungen zwischen m\u00e4nnlichen und weiblichen Nachnamen die weiblichen vor den m\u00e4nnlichen stehen:<\/p>\n
<\/p>\n
$> sort buhg.txt\nAbakanov Michail;Maler\nElkina Ella;Kranf\u00fchrerin\nIvanova Alla;Maler\nIvanov Andrej;Installateur<\/code><\/pre>\n
<\/p>\n
Sieht aus wie ein Sortierfehler in Unicode oder wie eine Manifestation von Feminismus im Sortieralgorithmus. Letzteres ist nat\u00fcrlich wahrscheinlicher.<\/p>\n
<\/a><\/noindex><\/p>\n
Lassen wir es erstmal beiseite beitreten<\/em> und konzentrieren uns auf sortieren<\/em>. Versuchen wir, das Problem mit Trial and Error zu l\u00f6sen. Zuerst \u00e4ndern wir die Locale von en_US<\/em> findet man ru_RU<\/em>. F\u00fcr die Sortierung w\u00fcrde es ausreichen, die Umgebungsvariable LC_COLLATE<\/em>, aber wir wollen es nicht so kleinlich machen:<\/p>\n
<\/p>\n
$> LANG=ru_RU.UTF-8 sort buhg.txt\nAbakanov Michail;Maler\nJolkina Ella;Kranf\u00fchrerin\nIvanova Alla;Maler\nIvanov Andrej;Installateur<\/code><\/pre>\n
<\/p>\n
Es hat sich nichts ge\u00e4ndert.<\/p>\n
<\/p>\n
Lassen Sie uns versuchen, die Dateien in eine einbyteartige Codierung umzuwandeln: <\/p>\n
<\/p>\n
$> iconv -f UTF-8 -t KOI8-R buhg.txt \n | LANG=ru_RU.KOI8-R sort \n | iconv -f KOI8-R -t UTF8<\/code><\/pre>\n
<\/p>\n
Wieder hat sich nichts ge\u00e4ndert.<\/p>\n
<\/p>\n
Da hilft nichts, wir m\u00fcssen im Internet nach einer L\u00f6sung suchen. Direkte Informationen \u00fcber russische Nachnamen gibt es nicht, aber es gibt Fragen zu anderen Sortierproblemen. Hier ist beispielsweise eine solche Problematik: Unix sort behandelt ‘-‘ (Bindestrich) Zeichen als unsichtbar<\/a><\/noindex>. Kurz gesagt, die Strings "a-b", "aa", "ac" werden sortiert als "aa", "a-b", "ac".<\/p>\n
<\/p>\n
Die Antwort ist \u00fcberall gleich: Verwenden Sie die Programmier-Locale "C"<\/em> und Sie werden gl\u00fccklich sein. Probieren wir es:<\/p>\n
<\/p>\n
$> LANG=C sort buhg.txt\nJolkina Ella;Kranf\u00fchrerin\nAbakanov Michail;Maler\nIvanov Andrej;Installateur\nIvanova Alla;Rechtsanw\u00e4ltin<\/code><\/pre>\n
<\/p>\n
Etwas hat sich ver\u00e4ndert. Die Ivanovs sind nun in der richtigen Reihenfolge, aber Jolkina ist irgendwo hin gerutscht. Kehren wir zur urspr\u00fcnglichen Aufgabe zur\u00fcck:<\/p>\n
<\/p>\n
$> LANG=C sort buhg.txt > buhg.srt\n$> LANG=C sort mail.txt > mail.srt\n$> LANG=C join buhg.srt mail.srt > result<\/code><\/pre>\n
<\/p>\n
Es hat ohne Fehler funktioniert, wie das Internet versprochen hat. Und das trotz Jolkina in der ersten Zeile.<\/p>\n
<\/p>\n
Das Problem scheint gel\u00f6st zu sein, aber vorsichtshalber probieren wir noch eine russische Kodierung aus \u2013 die Windows-Kodierung. CP1251<\/em>:<\/p>\n
<\/p>\n
$> iconv -f UTF-8 -t CP1251 buhg.txt \n | LANG=ru_RU.CP1251 sort \n | iconv -f CP1251 -t UTF8 <\/code><\/pre>\n
<\/p>\n
Das Sortierungsergebnis wird seltsamerweise mit der Locale \u00fcbereinstimmen. "C"<\/em>, und das gesamte Beispiel verl\u00e4uft dementsprechend ohne Fehler. Irgendwelche Mystik.<\/p>\n
<\/p>\n
Ich liebe keine Mystik in der Programmierung, da sie normalerweise Fehler verschleiert. Ich werde mich ernsthaft mit der Frage besch\u00e4ftigen, wie es funktioniert. sortieren<\/em> und welchen Einfluss es hat. LC_COLLATE<\/em> .<\/p>\n
<\/p>\n
Am Ende werde ich versuchen, die Fragen zu beantworten:<\/p>\n
<\/p>\n