Data classification is itself an interesting topic for research. I enjoy collecting information that seems necessary and have always tried to create logical hierarchies of directories for my files. One night, I dreamt of a beautiful and convenient program for tagging files, and I decided that I could no longer live this way.

The problem of hierarchical file systems

Users often face the issue of choosing a storage location for each new file and the problem of finding their own files (sometimes file names are not intended to be memorable for humans at all).

A solution to this situation can be semantic file systems, which are usually a layer above the traditional file system. In these, directories are replaced by semantic attributes, also known as tags, categories, or metadata. I will more often use the term 'category', as the word 'tag' can seem odd in the context of file systems, especially when 'sub-tags' and 'tag aliases' come into play.

Assigning categories to files largely alleviates the storage and searching problems: if you remember (or suspect) at least one of the assigned categories for a file, it will never be out of sight.

This topic has been raised multiple times on Habr earlier (ett, två, tre, fyra and others), here I describe my solution.

Path to implementation

Immediately after the mentioned dream, I described in a notebook a command interface that provides the necessary work with categories. At that time, I thought that within a week or two, I could write a prototype using Python or Bash, and then work on creating a graphical interface using Qt or GTK would follow. Reality, as always, turned out to be much harsher, and development took longer.

The initial idea was to create a program with a user-friendly and concise command-line interface that would create and delete categories, assign categories to files, and remove categories from files. I named the program vitis.

The first attempt to create vitis det slutade utan resultat, eftersom mycket tid började gå åt till arbete och institutet. Det andra försöket resulterade i något: jag lyckades avsluta det planerade projektet för min magisteravhandling och till och med göra en prototyp av GTK-gränssnittet. Men den versionen visade sig vara så opålitlig och ohandlig att jag var tvungen att tänka om mycket.

I den tredje versionen använde jag det faktiskt själv under en lång tid, där jag flyttade flera tusen av mina filer till kategorier. Detta påverkades starkt av den implementerade autocompletion i bash. Men vissa problem, såsom avsaknaden av automatiska kategorier och möjligheten att lagra filer med samma namn, kvarstod, och programmet började knaka under sin egen komplexitet. Så jag insåg behovet av att lösa problemen med utveckling av komplex mjukvara: skriva detaljerade krav, utveckla ett system för funktionell testning, studera instruktioner för paketering och mycket mer. Nu har jag nått dit jag tänkt mig, så detta blygsamma verk kan nu presenteras för det öppna samfundet. Sådan specifik filhantering, som hantering genom kategorikonceptet, väcker oväntade frågor och problem, och i lösningen av dem. vitis skapade omkring sig ytterligare fem projekt, några av dem kommer att nämnas i artikeln. Än idag vitis har jag inte fått någon grafisk gränssnitt, men användarvänligheten med filkategorier från kommandoraden överskytter redan för mig alla fördelar med en vanlig grafisk filhanterare.

Exempel på användning

Låt oss börja enkelt - skapa en kategori:

vitis create Musik

Låt oss lägga till en komposition som exempel:

vitis assign Musik -f "The Ink Spots - I Don't Want To Set The World On Fire.mp3"

Innehållet i kategorin "Musik" kan ses med delkommandot "show":

vitis show Musik

Den kan spelas upp med delkommandot "open"

vitis open Musik

Eftersom vi har bara en fil i kategorin "Musik", så kommer endast den att startas. För att öppna filer med standardprogram gjorde jag ett separat verktyg vts-fs-open (standardverktyg som xdg-open eller mimeopen passade mig inte av flera skäl; men om så är fallet, kan du i inställningarna ange ett annat verktyg för universell filöppning). Detta verktyg fungerar bra på olika distributioner med olika skrivbordsmiljöer, så jag rekommenderar att installera det tillsammans med vitis.

Man kan också ange programmet för att öppna filer direkt:

vitis open Musik --app qmmp

Låt oss skapa fler kategorier och lägga till filer med hjälp av «assign». Om filer tilldelas kategorier som ännu inte existerar, kommer en begäran om deras skapande att ges. Man kan undvika onödiga förfrågningar genom att använda flaggan —yes.

vitis assign Programmering R -f "Introduktion till R.pdf" "Statistiskt paket R: sannolikhetsteori och matstatistik.pdf" --yes

Nu vill vi lägga till filen «Statistiskt paket R: sannolikhetsteori och matstatistik.pdf» i kategorin «Matematik». Vi vet att denna fil redan har kategorin «R» och kan därför använda kategorivägen från Vitis-systemet:

vitis assign Matematik -v "R/Statistiskt paket R: sannolikhetsteori och matstatistik.pdf"

Tack och lov kommer bash-autocomplete att göra detta enkelt.

Låt oss se vad vi har åstadkommit, med flaggan —categories för att se listan över kategorier för varje fil:

vitis show R --categories

Observera att filerna också fick automatiskt tilldelade kategorier baserat på format, typ (som sammanför format) och filändelse. Dessa kategorier kan stängas av om så önskas. Jag kommer definitivt att lokalisera deras namn senare.

Vi lägger till något mer för variation i «Matematik»:

vitis assign Matematik -f "Matematisk analys - 1984.pdf" Perelman_Underhållande_mathematik_1927.djvu 

Nu börjar det bli intressant. Istället för kategorier kan man skriva uttryck med operationer för union, snitt och differens, det vill säga använda operationer över mängder. Till exempel, snittet mellan «Matematik» och «R» ger resultatet en fil.

vitis show R i: Matematik

Vi subtraherar nämner av språket «R» från «Matematik»:

vitis show Matematik R  #eller vitis show Matematik c: R

Vi kan meningslöst förena musik och språk R:

vitis show Musik u: R

Flaggan -n gör att man kan "dra ut" de önskade filerna från resultaten efter nummer och/eller intervaller, till exempel, -n 3-7, eller lite mer komplicerat: -n 1,5,8-10,13. Det är ofta användbart med delkommandot open, vilket tillåter att öppna önskade filer från listan.

Även om vi avviker från att använda den vanliga kataloghierarkin, är det ofta användbart att ha underkategorier. Låt oss skapa en underkategori «Statistik» i kategorin «Matematik» och lägga till denna kategori till en relevant fil:

vitis create Matematik/Statistik

vitis assign Matematik/Statistik -v "R/Introduktion till R.pdf"

vitis show Matematik --categories

Vi kan se att denna fil nu har kategorin «Matematik/Statistik» istället för «Matematik» (överflödiga länkar spåras).

Att referera till den fullständiga vägen kan vara besvärligt, låt oss skapa en «global» alias:

vitis assign Matematik/Statistik -a Statistik

vitis show Statistik

Inte bara vanliga filer

Internetlänkar

För att standardisera lagringen av information skulle det vara bra att, åtminstone, kategorisera länkar till webbresurser. Och det är möjligt:

vitis assign Habr Färganomali -i https://habr.com/ru/company/sfe_ru/blog/437304/ --yes

En fil kommer att skapas på en speciell plats med titeln av HTML-sidan och med tillägget .desktop. Det är det traditionella formatet för genvägar i GNU/Linux. Sådana genvägar får automatiskt kategorin NetworkBookmarks.

Naturligtvis skapas genvägar för att användas:

vitis open Färganomali

Att utföra kommandot öppnar den just sparade länken i webbläsaren. Kategoriserade genvägar till webbresurser kan fungera som en ersättning för webbläsarbokmärken.

Filfragment

Det är också bra att ha kategorier för individuella filfragment. Inte dålig idé, va? Men den nuvarande implementeringen berör för tillfället endast vanliga textfiler, ljud- och videofiler. Låt oss säga att du måste markera ett visst stycke av en konsert eller en rolig stund i en film, då kan du använda flaggorna —fragname, —start, —finish med assign. Låt oss spara introt från «Duck Tales»:

vitis assign vitis assign -c Intros -f Duck_Tales/s01s01.avi --finish 00:00:59 --fragname "Duck Tales intro"

vitis open Intros

Det sker faktiskt ingen avskärning av filer, istället skapas en pekare till ett fragment, där filens typ, sökväg, början och slut på fragmentet beskrivs. Skapandet och öppnandet av pekare till fragment överlåtits till verktyg som jag speciellt har gjort för dessa syften — det är mediafragmenter och fragplayer. Den förra skapar, den senare öppnar. I fallet med ljud- och videoinspelningar sker start av mediainnehållet från en viss position till en annan med hjälp av VLC-spelaren, så den måste också finnas i systemet. Jag tänkte först göra detta baserat på mplayer, men där fungerade positionshanteringen av någon anledning mycket dåligt.
I vårt exempel skapas filen "Duck Tales intro.fragpointer" (den placeras på en särskild plats), och sedan spelas ett avsnitt från början av filen (eftersom —start inte angavs vid skapandet) till märkningen vid 59 sekunder, varefter VLC stängs.

Ett annat exempel är att vi önskar kategorisera en specifik uppträdande på en konsert med en känd artist:

vitis assign Лепс "Спасите наши души" -f Григорий Лепc - Концерт Парус - песни Владимира Высоцкого.mp4 --fragname "Спасите наши души" --start 00:32:18 --finish 00:36:51

vitis open "Спасите наши души"

Vid öppnandet kommer filen att spelas från den angivna positionen och stängas efter fyra och en halv minut.

Hur det hela fungerar + ytterligare möjligheter

Lagring av kategorier

När jag först tänkte på hur jag skulle organisera det semantiska filsystemet kom jag på tre sätt: genom att lagra symboliska länkar, via en databas, genom en beskrivning i XML. Den första metoden segrade eftersom den, å ena sidan, är enkel att implementera, och å andra sidan - ger användaren möjlighet att se kategorierna direkt från filsystemet (och det är praktiskt och viktigt). När jag började använda vitis i användarens hemkatalog skapas en mapp med namnet "Vitis" och en konfigurationsfil " .config/vitis/vitis.conf". I ~ /Vitis skapas mappar som motsvarar kategorierna, och i dessa kategorimappar skapas symboliska länkar till de ursprungliga filerna. Kategorins alias är också bara länkar till dem. Naturligtvis kan existensen av mappen "Vitis" i hemkatalogen vara oönskad för vissa. Vi kan byta till en annan plats:

vitis service set path /mnt/MyFavoriteDisk/Vitis/

Vid en viss tidpunkt blir det tydligt att filer som är spridda på olika platser är meningslösa att kategorisera, eftersom deras placering kan ändras. Därför skapade jag först en mapp där jag enkelt samlade allt och gav det alla kategorier. Jag tyckte senare att det skulle vara bra att ordna detta på programnivå. Så kom begreppet "filutrymme" till. vitis Det skulle omedelbart vara bra att ställa in ett sådant utrymme (där alla nödvändiga filer kommer att lagras) och aktivera automatisk lagring:

vitis service add filespace /mnt/MyFavoriteDisk/Filespace/

vitis service set autosave yes

Utan automatisk sparande vid användning av underkommandot «assign» kommer flaggan —save att krävas om man vill spara den tillagda filen i filsystemet.

Dessutom kan man lägga till flera filsystem och ändra deras prioriteringar, vilket kan vara användbart när det finns många filer och de lagras på olika enheter. Här kommer jag inte att gå in på detta, detaljer kan läsas i programmets hjälp.

Migrering av semantiskt filsystem

Så eller så kan katalogen Vitis och filsystemen teoretiskt flyttas emellanåt. För att åtgärda detta har jag skapat ett separat verktyg link-editor, som kan redigera länkar massivt genom att byta ut delar av sökvägen mot andra:

cp -r /mnt/MyFavoriteDisk/Vitis/ ~/Vitis
link-editor -d ~/Vitis/ -f /mnt/MyFavoriteDisk/Vitis/ -r ~/Vitis/ -R
cp -r /mnt/MyFavoriteDisk/Filespace/ ~/MyFiles
link-editor -d ~/Vitis/ -f /mnt/FlashDrive-256/Filespace/ -r ~/MyFiles -R

I det första fallet, efter att vi flyttat från /mnt/MyFavoriteDisk/Vitis/ till hemkatalogen, redigeras de symboliska länkarna relaterade till alias. I det andra fallet, efter att ha förändrat platsen för filsystemet, ändras alla länkar i Vitis till nya enligt förfrågan om att byta del av deras sökväg.

Automatiska kategorier

Om man kör kommandot vitis service get autocategorization, kan man se att automatisk kategorisering som standard är inställd enligt format (Format och Typ) och filändelse (Extension).

Detta är användbart när man till exempel behöver hitta något bland PDF-filer eller se vad man har lagrat av EPUB och FB2, man kan helt enkelt köra kommandot

vitis show Format/MOBI u: Format/FB2

Det visade sig att standardverktyg i GNU/Linux som file eller mimetype inte tillfredsställde mina behov just för att de inte alltid korrekt identifierar format. Jag var tvungen att göra min egen implementation baserad på filsignaturer och filändelser. Överhuvudtaget är ämnet för att bestämma filformat ett intressant forskningsområde och förtjänar en separat artikel. Jag kan än så länge säga att jag kanske inte har förutsett korrekt identifiering för alla format i världen, men generellt fungerar det redan ganska bra. Sant är att EPUB just nu identifieras som ZIP (vilket i stort sett är berättigat, men i praktiken bör det inte betraktas som normalt beteende). Tills vidare kan ni betrakta denna funktion som experimentell, och rapportera eventuella buggar. I märkliga situationer kan man alltid använda kategorier baserade på filändelser, till exempel Extension/epub.

Om automatiska kategorier baserade på format är aktiverade, är även automatiska kategorier aktiverade som förenar vissa format under rubriker som: «Arkiv», «Bilder», «Video», «Ljud» och «Dokument». Lokala namn kommer också att skapas för dessa underkategorier.

Om vad som inte nämns

vitis blev en mycket mångfacetterad verktyg och det är svårt att täcka allt på en gång. Kort ska jag nämna vad mer som kan göras:

• kategorier kan tas bort och avlägsnas från filer;
• resultaten av sökningar på uttryck kan kopieras till den angivna katalogen;
• filer kan köras som program;
• kommandot show har många alternativ, till exempel sortering efter namn/datum för ändring eller åtkomst/storlek/ändelse, visning av filers egenskaper och vägar till original, inklusive visning av dolda filer m.m.;
• vid sparande av länkar till internetkällor kan även lokala kopior av HTML-sidor sparas.

Alla detaljer kan hittas i användarhandledningen.

Framtidsutsikter

Skeptiker säger ofta att «ingen kommer att ordna dessa taggar själv». Jag kan bevisa motsatsen genom mitt exempel: jag har redan kategoriserat över sex tusen filer, skapat över tusen kategorier och alias, och det var värt det. När du med ett kommando vitis open Plan öppnar din att-göra-lista eller när du med ett kommando vitis open LaTeX öppnar Stoljarovs bok om LaTeX-systemet, så blir det redan mentalt svårt att använda filsystemet «på det gamla sättet».

På denna grund uppstår en rad idéer. Till exempel kan man skapa en automatisk radio som spelar tematisk musik beroende på aktuellt väder, helgdag, veckodag, tid på dygnet eller årstid. Nära relaterat är en musikspelare som känner till kategorier och kan spela musik baserat på uttryck med operationer mellan kategorier som om de var mängder. Det skulle vara användbart att göra en demon som övervakar mappen "Nedladdningar" och föreslår att kategorisera nya filer. Och självklart borde man skapa en ordentlig grafisk semantisk filhanterare. Jag gjorde en webbtjänst för företaget för gemensam filanvändning en gång, men den blev inte prioriterad och blev irrelevant, även om den nådde en hög nivå av funktionalitet. (I samband med stora förändringar i själva vitis, är den redan oanvändbar.)

Här är en liten demonstration

Slutsats

Vitis — inte det första försöket att radikalt förändra arbetsstilen med data, men jag tyckte det var viktigt att realisera mina idéer och publicera implementationen som öppen källkod under licensen GNU GPL. För bekvämlighet har jag gjort ett deb-paket för x86-64, det bör fungera på alla moderna Debian-distributioner. För ARM uppstod det små problem (även om alla andra program som relaterar till vitis, fungerar bra), men senare kommer det ändå att skapas ett fungerande paket för denna plattform (armhf). Jag har för tillfället slutat med skapandet av RPM-paket på grund av problem med Fedora 30 och problematiken i att sprida sig över många RPM-distributioner, men senare kommer det ändå att göras paket för åtminstone ett par av dem. Tills dess kan man använda make && make install eller checkinstall.

Tack för uppmärksamheten! Jag hoppas att denna artikel och detta projekt kan visa sig vara användbara.

Länk till projektets repository

Källa: habr.com