Andmete klassifitseerimine on iseenesest huvitav uurimisteema. Mulle meeldib koguda teavet, mis tundub vajalik, ja olen alati püüdnud luua loogilisi kataloogihierarhiaid oma failide jaoks. Ühel õhtul nägin unenäos kaunist ja mugavat programmi failidele siltide kinnitamiseks ning otsustasin, et sedasi elada ei saa.

Hierarhiliste failisüsteemide probleem

Kasutajad puutuvad sageli kokku probleemiga, kus valida, kuhu salvestada uus fail, ja probleemiga leida oma faile (mõnikord ei ole failide nimed isegi inimese jaoks meeldejätmiseks mõeldud).

Lahenduseks võivad olla semantilised failisüsteemid, mis on tavaliselt traditsioonilise failisüsteemi täiendus. Nendes asendatakse kaustad semantiliste atribuutidega, mida nimetatakse ka siltideks, kategooriateks või metaandmeteks. Ma kasutan sagedamini terminit „kategooria”, kuna failisüsteemide kontekstis tundub sõna „silt” mõnikord veider, eriti kui tekivad „alam-sildid” ja „siltide pseudomeenused”.

Kategooriate määramine failidele vabastab suurel määral salvestus- ja leidmisprobleemidest: kui mäletad (või aimad) vähemalt ühte failile määratud kategooriat, siis fail ei kao enam kunagi silmist.

Varem on Habrisse selle teema üle korduvalt räägitud (kord, kaks, kolm, neli jne.), siin kirjeldan ma oma lahendust.

Teekond teostuseni

Vahetult pärast mainitud unenäo kirjutasin vihikusse käsurealiidese, mis tagab vajaliku töö kategooriatega. Siis otsustasin, et prototüübi kirjutamine Pythonis või Bashis võtab nädal või kaks, ning seejärel on vaja rakendada graafiline liides Qt või GTK abil. Reaalsus oli nagu alati palju karmim ning arendus venis.

Algne mõte oli eelkõige luua mugava ja lühikese käsurealiidesega programm, mis loob, kustutab kategooriaid, määrab failidele kategooriaid ja eemaldab kategooriad failidest. Nimetasin programmi vitis.

Esimene katse luua vitis läks kõik pekki, kuna töö ja instituut nõudsid liiga palju aega. Teine katse oli juba millegi poolest edukas: magistritöö raames õnnestus lõpetada planeeritud projekt ja isegi teha GTK-liidese prototüüp. Kuid see versioon osutus nii ebausaldusväärseks ja ebamugavaks, et tuli palju ümber mõelda.

Kolmandat versiooni olen päriselt kasutanud juba väga pikka aega, jagades oma faile kategooriatesse, kokku mitu tuhat. Küll aitas sellele kaasa ka rakendatud bash autokomplekteerimine. Kuid mõned probleemid, nagu automaatsete kategooriate puudumine ja võimalus salvestada sama nimega faile, jäid siiski alles ning programm hakkas juba enda keerukuse tõttu kokku varisema. Nii jõudsin ma vajaduseni lahendada keerulise tarkvara arendamise probleeme: kirjutada põhjalikud nõuded, välja töötada funktsionaalsete testide süsteem, uurida pakendamisjuhiseid ja palju muud. Nüüd olen jõudnud kavandatule, nii et see tagasihoidlik looming võib minna vabale kogukonnale. Niisugune spetsiifiline failihaldus, nagu haldamine kategooriate kontseptsiooni kaudu, tõstatab ootamatuid küsimusi ja probleeme, ning nende lahendamiseks. vitis sündis ümber tema veel viis projekti, millest mõned kajastatakse artiklis. Kuni tänaseni vitis grafikapõhist liidest pole omandanud, kuid failikategooriate kasutusmugavus käsurealt ületab minu jaoks kõik klassikalise graafilise failihalduri eelised.

Kasutusnäited

Alustame lihtsast — loome kategooria:

vitis create Muusika

Lisame sellesse näiteks ühe kompositsiooni:

vitis assign Muusika -f "The Ink Spots - I Don't Want To Set The World On Fire.mp3"

Kategooria „Muusika” sisu saab vaadata alamkäsklusega „show”:

vitis show Muusika

Seda saab mängida alamkäsklusega „open”

vitis open Muusika

Kuna meie kategoorias „Muusika” on vaid üks fail, käivitub ainult see. Failide avamise vajadusteks olen loonud eraldi utiliidi vts-fs-open (tavainstrumendid nagu xdg-open või mimeopen ei sobinud mulle mitmel põhjusel; kuid igaks juhuks, seadetes saate määrata muu universaalse failide avamise utiliidi). See utiliit töötab hästi erinevates jaotustes koos erinevate töökeskkondadega, seega soovitan koos vitisega selle ka installida.

Failide avimiseks võib ka otse määrata programmi:

vitis open Muusika --app qmmp

Loome veel kategooriaid ja lisame faile kasutades „assign”. Kui failidele omistatakse veel mitteeksisteerivaid kategooriaid, esitatakse nende loomise päring. Ühelt päringult saab säästa, kui kasutada lippu —yes.

vitis assign Programmeerimine R -f "Sissejuhatus R.pdf" "Statistiline paket R: tõenäosusteooria ja matemaatiline statistika.pdf" --yes

Nüüd soovime lisada failile „Statistiline paket R: tõenäosusteooria ja matemaatiline statistika.pdf” kategooria „Matemaatika”. Teame, et sellel failil on juba kategooria „R” ja saame seega kasutada kategooriate teed Vitis-süsteemis:

vitis assign Matemaatika -v "R/Statistiline paket R: tõenäosusteooria ja matemaatiline statistika.pdf"

Õnneks võimaldab bash automaatne täiendamine seda lihtsalt teha.

Vaadakem, mis välja tuli, kasutades lippu —categories, et näha iga faili kategooriate loetelu:

vitis show R --categories

Pange tähele, et failidele on samuti omistatud automaatsed kategooriad formaadi, tüübi (ühendab formaadid) ja failide laiendite järgi. Need kategooriad on soovi korral välja lülitatavad. Hiljem teen kindlasti nende nimede lokaliseerimise.

Lisame „Matemaatikale” veel midagi erinevat:

vitis assign Matemaatika -f "Matemaatiline analüüs - 1984.pdf" Perelman_Huvitav_matemaatika_1927.djvu 

Nüüd algab huvitav osa. Kategooriate asemel saab kirjutada väljendeid koos ühendamise, ristumise ja lahutamise operatsioonidega, st kasutada hulkade üle teostatavaid operatsioone. Näiteks „Matemaatika” ja „R” ristumine annab ühe faili.

vitis show R i: Matemaatika

Vähendame „Matemaatikast” viiteid keelele „R”:

vitis show Matemaatika R # või vitis show Matemaatika c: R

Saame tähtsusetult ühendada muusika ja keel R:

vitis show Muusika u: R

Lipp -n võimaldab „väljada” küsimuse tulemuste hulgast vajalikke faile numbrite ja/või vahemike järgi, näiteks -n 3-7, või midagi keerulisemat: -n 1,5,8-10,13. Tihti on kasulik koos subkäsklusega open, mis võimaldab avada vajalikud failid nimekirjast.

Kuigi me eemaldu üsna tavapärasest kataloogihierarhiast, on sageli kasulik omada sisemisi kategooriaid. Loome kategooriale „Matemaatika” alamkategooria „Statistika” ja lisame selle kategooria sobivale failile:

vitis create Matemaatika/Statistika

vitis assign Matemaatika/Statistika -v "R/Sissejuhatus R.pdf"

vitis show Matemaatika --categories

Saame näha, et see fail on nüüd kategoorias „Matemaatika/Statistika“ selle asemel, et olla lihtsalt „Matemaatika“ (liigne lingid jälgitakse).

Täieliku tee kasutamine võib olla ebamugav, loome „globaalset“ hüüdnime:

vitis assign Matemaatika/Statistika -a Statistika

vitis show Statistika

Mitte ainult tavalised failid

Interneti-lingid

Igakaudu info salvestamise ühtlustamiseks oleks kasulik, vähemalt, kategoriseerida lingid veebiresurssidele. Ja see on võimalik:

vitis assign Хабр Цветоаномалия -i https://habr.com/ru/company/sfe_ru/blog/437304/ --yes

Erilised failid luuakse HTML-lehe pealkirjaga ja laiendiga .desktop. See on traditsiooniline otsetee formaat GNU/Linuxis. Sellised otseteed saavad automaatse kategooria NetworkBookmarks.

Muidugi, otseteed luuakse selleks, et neid kasutada:

vitis open Цветоаномалия

Käskluse täitmine toob kaasa just salvestatud lingi avamise brauseris. Kategoriseeritud otseteed veebiallikatele võivad toimida brauseri järjehoidjate asemel.

Failide fragmendid

Samuti on kasulik jagada kategooriatesse erinevaid failijuppe. Kuidas kõlab? Kuid praegune rakendus hõlmab ainult tavalisi tekstifaile, helifaile ja videofaile. Oletame, et peate tähistama kindlat osa kontserdist või naljakast stseenist filmis, siis saate kasutada assign käsku koos lipukestega —fragname, —start, —finish. Salvestame «Pardilood» intro:

vitis assign vitis assign -c Zastavki -f Duck_Tales/s01s01.avi --finish 00:00:59 --fragname "Duck Tales intro"

vitis open Zastavki

Tegelikult ei toimu failide katkestamist, selle asemel luuakse viidatud fail, mis sisaldab teavet faili tüübi, faili teed, fragmenti alguse ja lõpu kohta. Fragmentide viidatud failide loomine ja avamine on delegeeritud minu spetsiaalselt selleks otstarbeks loodud tööriistadele — mediafragmenter ja fragplayer. Esimene loob viite, teine avab selle. Audio- ja videofailide puhul algab meedia mängimine kindlast punktist kuni kindla punktini VLC mängija abil, seega peab see ka süsteemis olema. Alguses plaanisin kasutada mplayerit, kuid seal oli mingil põhjusel positsioneerimisega probleemid.
Meie näites luuakse fail «Duck Tales intro.fragpointer» (see asetatakse erilisse kohta), ja seejärel predelme fraktal alates faili algusest (sest —start ei olnud loodud) kuni 59-sekundilise märgini, pärast mida VLC suletakse.

Teine näide — otsustasime kategoriseerida mõne tuntud esineja kontserdil toimunud esinemise:

vitis assign Leps "Päästke meie hinged" -f Grigori Leps - Kontsert Pärlus - Vladimir Vysotski laule.mp4 --fragname "Päästke meie hinged" --start 00:32:18 --finish 00:36:51

vitis open "Päästke meie hinged"

Fail avatakse õigel positsioonil ja sulgub nelja ja poole minuti pärast.

Kuidas see kõik töötab + täiendavad võimalused

Kategooriate salvestamine

Alguses, kui mõtlesin välja semantilise failisüsteemi korraldust, tuli mulle meelde kolm meetodit: sümboolsete linkide, andmebaasi ja XML kirjelduse kaudu. Võitis esimene meetod, kuna see on ühelt poolt lihtne teostada ning teisalt annab kasutajale võimaluse vaadata kategooriaid otse failisüsteemist (mis on mugav ja oluline). Kasutamise alguses vitis Kasutaja kodu katalooge luuakse kaust „Vitis“ ja konfiguratsioonifail „.config/vitis/vitis.conf“. Kaustas ~/Vitis luuakse direktoriid, mis vastavad kategooriatele, ning nende kategooriad loovad sümboolseid linke originaalfailidele. Kategooriate hüüdnimed on samuti lihtsalt linkidena. Muidugi võib paljusid häirida „Vitis“ kausta olemasolu kodukataloogis. Saame vahetada selle millekski muuks:

vitis service set path /mnt/MyFavoriteDisk/Vitis/

Teatud hetkel selgub, et erinevates kohtades paiknevaid faile on üsna mõttetu kategoriseerida, kuna nende asukoht võib muutuda. Seetõttu lõin alguses endale kausta, kuhu lihtsalt kõik kokku kogusin ja sellele igasuguseid kategooriaid andsin. Seejärel otsustasin, et oleks hea see hetk ka programmide tasemel vormistada. Nii sündis mõiste „failiruumi“. Alustamisel vitis ei oleks kohe üldse paha seadistada selline koht (seal kuhjatakse kõik vajalikud failid) ja sisse lülitada automaatne salvestamine:

vitis service add filespace /mnt/MyFavoriteDisk/Filespace/
vitis service set autosave yes

Kui alamkäsku «assign» kasutades ei toimu automaatset salvestamist, on vajalik lipp —save, kui on soov salvestada lisatav fail failiruumi.

Veelgi enam, saab lisada mitmeid failiruume ja muuta nende prioriteete, mis võib olla kasulik, kui faile on palju ja need on erinevates seadmetes. Siin ma seda võimalust ei käsitle, detaile saab lugeda programmi abist.

Semantilise failisüsteemi migratsioon

Nii või teisiti, kaust Vitis ja failiruumi võivad teoreetiliselt mõnikord paigutust vahetada. Töötamiseks olen loonud eraldi utiliidi link-editor, mis suudab massiliselt linke redigeerida, asendades teed osad teistega:

cp -r /mnt/MyFavoriteDisk/Vitis/ ~/Vitis
link-editor -d ~/Vitis/ -f /mnt/MyFavoriteDisk/Vitis/ -r ~/Vitis/ -R
cp -r /mnt/MyFavoriteDisk/Filespace/ ~/MyFiles
link-editor -d ~/Vitis/ -f /mnt/FlashDrive-256/Filespace/ -r ~/MyFiles -R

Esimesel juhul, pärast liikumist /mnt/MyFavoriteDisk/Vitis/ kodu katalooge, muudetakse sümboolseid linke, mis on seotud aliastega. Teisel juhul, peale failiruumi asukoha muutmist, muudetakse kõik linkid Vitis'e uute osadega nende tee asenduse põhjal.

Ainulaadsed kategooriad

Kui käivitate käsu vitis service get autocategorization, siis näete, et vaikimisi on seadistatud automaatsete kategooriate määramine faili formaadi (Format ja Type) ja laiuse (Extension) järgi.

See on kasulik, kui peate näiteks leidma midagi PDF-ide seast või vaatama, mis teil on salvestatud EPUB ja FB2 formaadis, saate lihtsalt teostada päringu

vitis show Format/MOBI u: Format/FB2

Tundub, et standardsed GNU/Linux tööriistad nagu file või mimetype ei rahuldanud mind just sellepärast, et nad ei määra formaati alati õigesti. Seepeale pidin tegema oma implementatsiooni failide allkirjade ja laiendite põhjal. Üldiselt on failiformaatide määratlemise teema huvitav uurimisteema ja väärib eraldi artiklit. Kui rääkida, siis võib-olla ei ole ma kõigi maailmas olevate formaatide jaoks taganud usaldusväärset tuvastamist, kuid üldiselt töötab see juba praegu päris hästi. Tõsi, EPUB määratakse praegu formaadina ZIP (millel on oma õigustus, kuid praktikas ei peaks seda pidama normaalseks käitumiseks). Teatud aja jooksul pidage seda võimalust eksperimentaalseks ja andke teada, kui leiate vigu. Veidratel juhtudel võib alati kasutada failide laiendite kategooriaid, näiteks Extension/epub.

Kui formaadi automaatkategooriad on sisse lülitatud, sisaldavad need ka automaatkategooriaid, mis ühendavad mõningaid formaate kategooriate alla nagu: „Arhiivid“, „Pildid“, „Video“, „Audio“ ja „Dokumendid“. Nende alamkategooriate jaoks tehakse samuti lokaliseeritud nimetused.

Millest ei räägita

vitis on saanud väga mitmekesise tööriista, ning on keeruline kõike korraga katma. Lühidalt mainin, mida veel teha saab:

• kategooriaid saab kustutada ja faile neist eemaldada;
• päringute tulemusi saab kopeerida määratud kausta;
• faile saab käivitada programmidena;
• meeskonnal show on palju valikuid, näiteks sorteerimine nime/muutmise kuupäeva või ligipääsu/suuruse/failitüübi järgi, faili omaduste ja originaalide teede kuvamine, peidetud failide kuvamise aktiveerimine jne.;
• Internetiallika linkide salvestamisel on võimalik ka HTML-lehekülgede kohalikud koopiad salvestada.

Kõiki üksikasju leiate kasutajatoe juhendist.

Perspektiivid

Tihti ütlevad skeptikud, et "keegi ei hakka neid silte ise panema". Oma kogemuste põhjal võin tõestada vastupidist: olen juba kategoriseerinud üle kuue tuhande faili, loonud üle tuhande kategooria ja hüüdnime, ning see oli seda väärt. Kui ühes käskluses vitis open Plaan avatakse oma ülesannete nimekiri või kui ühes käskluses vitis open LaTeX avatakse Stolyarovi raamat LaTeX-i paigutussüsteemist, siis on juba vaimselt keeruline kasutada failisüsteemi "vana moe järgi".

Sellel alusel tekivad mitmed ideed. Näiteks võiks teha automaatse raadio, mis mängib temaatilist muusikat vastavalt praegusele ilmale, pühale, nädalapäevale, päevaajale või aastaaegadele. Samuti on teemaga seotud muusikapaigutaja, mis teab kategooriaid ja suudab esitada muusikat vastavalt väljendustele koos kategooriate operatsioonidega nagu hulkadena. Kasulik oleks luua demon, mis jälgib "Allalaadimised" kausta ja pakub uusi faile kategoriseerida. Ja muidugi tuleks luua ka korralik graafiline semantiline failihaldur. Kunagi tegin isegi ettevõttele veebiteenuse failide ühiskasutuseks, kuid see ei olnud prioriteet ja muutus aktuaalsuseks, kuigi saavutas kõrge töövõime. (Seoses suurte muudatustega endas, vitis, on see juba kasutuskõlbmatu.)

siin on väike demo

Kokkuvõte

Vitis — ei ole esimene katse radikaalselt muuta andmete töötlemise stiili, kuid pean oluliseks ellu viia oma ideed ja jagada teostust avatud juurdepääsuga GNU GPL litsentsi alusel. Mugavuse huvides on loodud deb-pakett x86-64 jaoks, see peaks töötama kõikidel kaasaegsetel Debian jaotustel. ARM-is tekkisid väikesed raskused (kuid kõik teised programmid, mis on seotud vitis, töötavad korralikult), kuid tulevikus koostatakse töötav pakett ka sellele platvormile (armhf). RPM-pakettide loomisega olen praegu lõpetanud seoses probleemidega Fedora 30 juures ja raskustega hajutada end paljudele RPM jaotustele, kuid hiljem tehakse siiski pakette vähemalt paarile neist. Praegu saab kasutada make && make install või checkinstall.

Tänan kõiki tähelepanu eest! Loodan, et see artikkel ja see projekt osutuvad kasulikeks.

Lingid projekti reposiitiumile

Allikas: habr.com