Класификация на данните е интересна тема за изследвания. Обичам да събирам информация, която ми се струва полезна, и винаги съм се опитвал да правя логични йерархии на директориите за моите файлове, а веднъж в сън видях красива и удобна програма за назначаване на тагове на файловете и реших, че не мога да продължа да живея така.

Проблема с йерархичните файлови системи

Потребителите често се сблъскват с проблема при избора на място за запазване на нов файл и проблема с намирането на собствените си файлове (понякога имената на файловете изобщо не са предназначени за запомняне от човек).

Решението на проблема може да бъдат семантични файлови системи, които обикновено са надстройка над традиционната файловата система. В тях директориите се заменят със семантични атрибути, наречени също тагове, категории, метаданни. Често ще използвам термина „категория“, тъй като в контекста на файловите системи думата „таг“ понякога изглежда странно, особено когато се появят „подтагове“ и „псевдоними на тагове“.

Назначаването на категории на файловете в значителна степен елиминира проблемите с мястото за съхранение и търсенето на файл: ако си спомняш (или се досещаш) поне за една от назначените категории на файла, то файлът никога няма да остане извън погледа.

Темата е била обсъждана многократно в Хабра (едно, две, три, четири и др.), тук описвам моето решение.

Пътят към реализиране

Веднага след споменатия сън описах в тетрадката командния интерфейс, осигуряващ необходимата работа с категориите. Тогава реших, че за седмица-две мога да напиша прототип, използвайки Python или Bash, а след това ще трябва да работя върху създаването на графичен интерфейс на Qt или GTK. Реалността обаче, както винаги, се оказа много по-сурова и разработката се проточи.

Първоначалната идея беше преди всичко да се създаде програма с удобен и лаконичен интерфейс на командния ред, която да създава, изтрива категории, да назначава категории на файлове и да изтрива категории от файловете. Програмата нарекох vitis.

Първият опит да се създаде vitis приключи нищо, тъй като много време започна да се отделя за работа и институт. Вторият опит беше вече нещо: успях да завърша замисления проект за магистърската си дисертация и дори да направя прототип на GTK интерфейс. Но тази версия се оказа толкова ненадеждна и неудобна, че се наложи много неща да преосмислим.

С третата версия вече реално я използвах много дълго време, категоризирайки няколко хиляди свои файлове. Това до голяма степен беше улеснено от реализираното автоматично допълнение в bash. Но някои проблеми, като липсата на автоматични категории и възможността за съхраняване на файлове с едно и също име, все пак оставаха, а програмата вече стана сложна. Така стигнах до необходимостта да решавам проблемите на разработката на сложен софтуер: да напиша подробни изисквания, да разработя система за функционално тестване, да изучавам инструкции за пакетиране и много други. Сега стигнах до замисленото, така че това скромно произведение може да бъде представено на свободната общност. Такова специфично управление на файловете, като управлението чрез концепцията за категории, повдига неочаквани въпроси и проблеми, и в решаването им vitis вокруг себе си породил още пет проекта, някои от които ще бъдат споменати в статията. До ден днешен vitis не съм придобил графична обвивка, но удобството от използването на файлови категории от командния ред вече покрива за мен всички предимства на обикновения графичен файлов мениджър.

Примери за употреба

Нека започнем с просто — да създадем категория:

vitis create Музыка

Добавим в нея за пример някаква композиция:

vitis assign Музыка -f "The Ink Spots - I Don't Want To Set The World On Fire.mp3"

Съдържанието на категорията «Музыка» може да се види с подкомандата «show»:

vitis show Музыка

Може да се възпроизведе с подкомандата «open»

vitis open Музыка

Тъй като в категорията «Музыка» имаме само един файл, ще се стартира само той. За целите на отварянето на файлове с приложения по подразбиране създадох отделна утилита vts-fs-open (стандартните средства тип xdg-open или mimeopen не ме удоволетворяваха по ред причини; но, ако се наложи, в настройките можете да посочите друга утилита за универсално отваряне на файлове). Тази утилита работи добре на различни дистрибуции с различни работни среди, така че препоръчвам заедно с vitis да инсталирате и нея.

Можете и директно да укажете програма за отваряне на файлове:

vitis open Музыка --app qmmp

Да създадем още категории и да добавим файлове с помощта на „assign“. Ако файловете се присвояват на все още несъществуващи категории, ще бъде поискано тяхното създаване. Можем да избегнем излишното запитване, ако използваме флага —yes.

vitis assign Програмиране R -f "Въведение в R.pdf" "Статистически пакет R: теория на вероятностите и матстатистика.pdf" --yes

Сега искаме да добавим на файла „Статистически пакет R: теория на вероятностите и матстатистика.pdf“ категория „Математика“. Знаем, че този файл вече има категория „R“ и следователно можем да използваме категорийния път от системата Vitis:

vitis assign Математика -v "R/Статистически пакет R: теория на вероятностите и матстатистика.pdf"

За щастие, автоматичното допълване на bash ще ни позволи да направим това лесно.

Нека видим какво се е получило, използвайки флага —categories, за да видим списъка с категории при всеки файл:

vitis show R --categories

Обърнете внимание, че на файловете също бяха присвоени автоматични категории по формат, тип (обединява формати) и разширение на файловете. Тези категории могат да бъдат деактивирани при желание. По-късно ще направя локализация на имената им.

Нека за разнообразие добавим нещо в „Математика“:

vitis assign Математика -f "Математически анализ - 1984.pdf" Перельман_Занимателна_математика_1927.djvu 

А сега започва интересното. Вместо категории можем да пишем изрази с операции на обединение, пресичане и изваждане, т.е. да използваме операции върху множества. Например, пресичането на „Математика“ с „R“ ще доведе до един файл.

vitis show R i: Математика

Да извадим от „Математика“ споменаванията на езика „R“:

vitis show Математика R #или vitis show Математика c: R

Можем безцелно да обединим музиката и езика R:

vitis show Музыка u: R

Флагът -n позволява „изтегляне“ от резултата на запитването нужните файлове по номера и/или диапазони, например, -n 3-7, или нещо по-сложно: -n 1,5,8-10,13. Често е полезно с подкомандата open, която позволява отваряне на нужните файлове от списъка.

Въпреки че се отклоняваме от използването на традиционната йерархия на директории, често е полезно да имаме вложени категории. Ще създадем подкатегория "Статистика" към категория "Математика" и ще добавим тази категория към подходящия файл:

vitis create Математика/Статистика

vitis assign Математика/Статистика -v "R/Въведение в R.pdf"

vitis show Математика --categories

Можем да видим, че този файл сега има категория "Математика/Статистика" вместо "Математика" (излишните връзки се проследяват).

Обращението по пълен път може да бъде неудобно, така че ще създадем "глобален" псевдоним:

vitis assign Математика/Статистика -a Статистика

vitis show Статистика

Не само обикновени файлове

Интернет линкове

За унификацията на съхранението на всяка информация би било полезно, поне, да категоризираме линковете към интернет ресурси. И това е възможно:

vitis assign Хабр Цветоаномалия -i https://habr.com/ru/company/sfe_ru/blog/437304/ --yes

На специално място ще бъде създаден файл със заглавие на HTML страницата и с разширение .desktop. Това е традиционен формат за ярлик в GNU/Linux. Такива ярлици получават автоматична категория NetworkBookmarks.

Разбира се, ярлиците се създават, за да се използват:

vitis open Цветоаномалия

Изпълнението на командата води до отваряне в браузъра на току-що съхранения линк. Категоризираните ярлици към интернет източници могат да служат като заместител на браузърните отметки.

Фрагменти от файлове

Също така е полезно да имаме категории за отделни фрагменти от файлове. Не е лошо предложение, нали? Но текущата реализация все още засяга само обикновени текстови файлове, аудио и видео файлове. Да кажем, че трябва да маркирате определен момент от някой концерт или смешен момент във филм, тогава при използването на assign можете да се възползвате от флаговете —fragname, —start, —finish. Нека запазим заставката от "Утиные истории":

vitis assign vitis assign -c Заставки -f Duck_Tales/s01s01.avi --finish 00:00:59 --fragname "Duck Tales intro"

vitis open Заставки

Наистина, няма какво да се отреже от файловете, вместо това се създава файл-указател на фрагмент, в който е описан типът файл, пътят към файла, началото и края на фрагмента. Създаването и отварянето на указатели за фрагменти се делегира на утилити, специално създадени от мен за тези цели — това са mediafragmenter и fragplayer. Първият създава, вторият отваря. В случая с аудио- и видеозаписи, стартирането на медиен файл от определена до определена позиция се извършва чрез VLC плейър, така че той трябва да бъде наличен в системата. Първоначално исках да направя това на базата на mplayer, но там нещо не вървеше както трябва с позиционирането в необходимия момент.
В нашия пример се създава файл „Duck Tales intro.fragpointer“ (той се поставя на специално място), а след това се възпроизвежда фрагмент от началото на файла (т.к. -start не беше указан при създаването) до марка на 59 секунди, след което VLC се затваря.

Друг пример — решаваме да категоризираме отделно представление на концерт на някой известен изпълнител:

vitis assign Лепс "Спасите нашите души" -f Григорий Лепс - Концерт Парус - песни на Владимира Высоцкия.mp4 --fragname "Спасите нашите души" --start 00:32:18 --finish 00:36:51

vitis open "Спасите нашите души"

При отваряне файлът ще бъде включен в необходимата позиция и след четири и половина минути ще се затвори.

Как работи всичко това + допълнителни възможности

Съхранение на категориите

В самото начало на обмислянето на организацията на семантичната файловата система ми дойдоха на ум три начина: чрез съхранение на символични връзки, посредством база данни, чрез описание в XML. Победител е първият начин, тъй като от една страна е прост за изпълнение, а от друга — потребителят има възможност да разглежда категориите директно от файловата система (и това е удобно и важно). В началото на използването vitis в домашната директория на потребителя се създава директория „Vitis“ и конфигурационен файл „.config/vitis/vitis.conf“. В ~/Vitis се създават директории, отговарящи на категориите, а в тези директории-категории се създават символични връзки към оригиналните файлове. Псевдонимите на категориите също са просто връзки към тях. Разбира се, наличието на директория „Vitis“ в домашната папка може да не е приемливо за някои. Можем да преминем на всяко друго място:

vitis service set path /mnt/MyFavoriteDisk/Vitis/

В определен момент става ясно, че разпокъсаните файлове на различни места е малко смислено да бъдат категоризирани, тъй като тяхното местоположение може да се променя. Затова, за начало, създадох директория, в която просто събирах всичко и задавах категории. След това реших, че би било добре да оформя този момент на програмно ниво. Така се появи понятието 'файлово пространство'. В самото начало на използването vitis веднага би било полезно да се настрои такова място (там ще се складират всички нужни файлове) и да се включи автоматично съхранение:

vitis service add filespace \/mnt\/MyFavoriteDisk\/Filespace\/

vitis service set autosave yes

Без автоматичното съхранение при изпълнението на подкомандата 'assign' ще бъде необходим флаг —save, ако желаете да запазите добавения файл във файловото пространство.

Освен това, можете да добавите няколко файлови пространства и да променяте техните приоритети, което може да бъде полезно, когато има много файлове и те се съхраняват на различни носители. Тук няма да разглеждам тази възможност, подробности можете да прочетете в помощта на програмата.

Миграция на семантичната файловата система

Както и да е, директорията Vitis и файловите пространства теоретично понякога могат да се местят. За да ги направя работоспособни, създадох отделна утилита link-editor, която може масово да редактира връзки, заменяйки части от пътищата с други:

cp -r \/mnt\/MyFavoriteDisk\/Vitis\/ ~\/Vitis
link-editor -d ~\/Vitis\/ -f \/mnt\/MyFavoriteDisk\/Vitis\/ -r ~\/Vitis\/ -R
cp -r \/mnt\/MyFavoriteDisk\/Filespace\/ ~\/MyFiles
link-editor -d ~\/Vitis\/ -f \/mnt\/FlashDrive-256\/Filespace\/ -r ~\/MyFiles -R

В първия случай, след като се преместихме от \/mnt\/MyFavoriteDisk\/Vitis\/ в домашната директория, се редактират символичните връзки, свързани с псевдонимите. Във втория случай, след промяната на местоположението на файловото пространство, се променят всички връзки в Vitis на нови в съответствие с искането за замяна на част от пътя им.

Автоматични категории

Ако изпълните командата vitis service get autocategorization, ще видите, че по подразбиране е настроено назначаване на автоматични категории по формат (Format и Type) и разширение на файловете (Extension).

Това е полезно, когато искате да намерите нещо сред PDF файловете или да видите какво имате от EPUB и FB2, просто можете да изпълните запитване

vitis show Format\/MOBI u: Format\/FB2

Случи се така, че стандартните средства на GNU/Linux, като file или mimetype, не ми бяха достатъчни именно поради причината, че те не винаги правилно определят формата. Пришло се наложи да направя своя реализация на база сигнатури за файлове и разширения. Всъщност, темата за определянето на формати на файлове е интересна и заслужава отделно изследване. Мога да кажа, че, възможно е, не за всички формати в света съм предвидил точно разпознаване, но вече в момента функционира доста добре. Истина е, че при EPUB сега форматът се определя като ZIP (в общи линии оправдано, но в практика не трябва да се счита за нормално поведение). Досега можете да считате тази възможност за експериментална и моля да съобщавате за бъгове. В странни ситуации винаги можете да използвате категориите по разширение на файловете, например, Extension/epub.

Ако са включени автокатегории по формат, също така са включени автокатегории, обединяващи някои формати по тип: «Архиви», «Снимки», «Видео», «Аудио» и «Документи». За тези подкатегории също ще бъдат направени локализирани наименования.

За което не е споменато

vitis стана многостранен инструмент и е трудно всичко да се обхване наведнъж. В кратце ще спомена какво още можете да направите:

• категории могат да се изтриват и да се премахват от файловете;
• резултатите от заявките могат да се копират в указаната директория;
• файловете могат да се стартират като програми;
• командата show има множество опции, например, сортировка по име/дата на промяна или достъп/размер/разширение, показване на свойства на файловете и пътища към оригиналите, включване на показването на скрити файлове и др.;
• при запазване на линкове към интернет източници можете също така да запазвате локални копия на HTML страници.

Всички подробности можете да намерите в потребителската помощ.

Перспективи

Често скептиците казват, че «никой сам няма да постави тези тагове». На собствения си пример мога да докажа обратното: вече съм категоризирал повече от шест хиляди файла, създал съм над хиляда категории и псевдоними и това определено си заслужава. Когато с една команда vitis open План отвориш списъка с задачите си или когато с една команда vitis open LaTeX отваряш книгата на Столяров за системата за типография LaTeX, вече става трудно да използваш файловата система «по старински».

На тази основа възникват редица идеи. Например, може да се направи автоматично радио, което включва тематична музика според текущото време, празник, ден от седмицата, време на денонощието или година. Още близо до темата е музикалният плеър, който знае за категориите и може да възпроизвежда музика според изрази с операции над категориите, като над множества. Полезно е да се направи демон, който ще следи папката "Изтегляния" и ще предлага да категоризира новите файлове. А, разбира се, следва да се направи нормален графичен семантичен файл мениджър. Някога направих дори уеб услуга за колективно използване на файлове за предприятието, но тя не беше приоритетна и стана неактуална, въпреки че достигна високо ниво на работоспособност. (Във връзка с големите промени в самото vitis, вече не е подходяща за употреба.)

тук е малка демонстрация

Заключение

Vitis — не е първият опит радикално да се промени стилът на работа с данни, но сметнах за важно да реализирам своите идеи и да публикувам реализацията в открит достъп под лицензия GNU GPL. За удобство е направен deb пакет за x86-64, който трябва да работи на всички съвременни Debian дистрибуции. На ARM имаше малки затруднения (при това всичките останали програми, свързани с vitis, работят нормално), но в бъдеще и под тази платформа (armhf) ще бъде събран работещ пакет. Създаването на RPM пакети засега спирам поради проблеми с Fedora 30 и затруднението да се разпилея на множество RPM дистрибуции, но по-късно все пак ще бъдат направени пакети поне за няколко от тях. А засега може да се ползва make && make install или checkinstall.

На всички благодаря за вниманието! Надявам се, че тази статия и този проект ще се окажат полезни.

Ссылка на репозитория проекта

Източник: habr.com