Класификация на данни сама по себе е интересна тема за изследвания. Обичам да събирам информация, която ми се струва полезна, и винаги съм се опитвал да правя логични йерархии на директории за файловете си. Веднъж сънувах красива и удобна програма за назначаване на тагове на файловете и реших, че не мога да живея така повече.

Проблемът с йерархичните файлови системи

Потребителите често се сблъскват с проблема за избора на място за съхранение на новия файл и проблема с намирането на собствените си файлове (понякога името на файловете изобщо не е предназначено за запомняне от човек).

Решението може да бъдат семантичните файлови системи, които обикновено са надстройка над традиционната файловата система. В тях директориите се заменят със семантични атрибути, наричани също тагове, категории, метаданни. Ще използвам по-често термина «категория», тъй като в контекста на файловите системи думата «таг» понякога звучи странно, особено когато се появят «подтагове» и «псевдоними на тагове».

Назначаването на категории на файловете в значителна степен премахва проблемите с местата за съхранение и търсенето на файла: ако помниш (или предполагаш) поне за една от назначените категории на файла, той вече никога няма да изчезне от полезрението.

По-рано на Хъбрай неведнъж е повдигала тази тема (раз, два, три, четири и др.), тук описвам моето решение.

Пътят към реализирането

Съвсем след споменатия сън описах в тетрадката команден интерфейс, осигуряващ необходимата работа с категориите. Тогава реших, че за една-две седмици мога да напиша прототип, използвайки Python или Bash, а след това трябва да се извърши работа по създаването на графичен интерфейс на Qt или GTK. Реалността, както винаги, се оказа много по-сурова и разработването отне повече време.

Първоначалната идея беше преди всичко да създам програма с удобен и лаконичен интерфейс на командния ред, която ще създава и премахва категории, ще назначава категории на файлове и ще премахва категории от файловете. Програмата нарекох vitis.

Първият опит за създаване vitis приключи се безрезултатно, тъй като много време започна да се отделя за работа и институт. Вторият опит вече беше нещо: успях да завърша замисления проект за магистърската дисертация и дори да направя прототип на GTK интерфейса. Но тази версия се оказа толкова ненадеждна и неудобна, че се наложи да преосмисля много неща.

С третата версия действително работих много дълго време, прехвърляйки на категории хиляди свои файлове. На това много помогна реализирането на автоматично допълване в bash. Но някои проблеми, като липсата на автоматични категории и възможността за съхранение на файлове с едно и също име, все още остават, а програмата вече се затрудняваше от собствената си сложност. Така стигнах до необходимостта да реша проблемите с разработването на сложен софтуер: да напиша подробни изисквания, да разработя система за функционално тестване, да изучавам инструкции за пакетиране и много други. Сега съм достигнал до замисленото, така че това скромно творение може да бъде представено на свободната общност. Такова специфично управление на файлове, като управление чрез концепцията за категории, поставя неочаквани въпроси и проблеми и в решението им, vitis се породиха още пет проекта, някои от които ще бъдат споменати в статията. До днес vitis не е придобил графичен интерфейс, но удобството на използването на файлови категории от командния ред вече надвишава за мен всички предимства на обикновения графичен файлов мениджър.

Примери за използване

Да започнем с простото — да създадем категория:

vitis create Музыка

Нека добавим в нея за пример някаква композиция:

vitis assign Музыка -f "The Ink Spots - I Don't Want To Set The World On Fire.mp3"

Съдържанието на категорията «Музыка» може да се види с подкомандата «show»:

vitis show Музыка

Може да се възпроизведе с подкомандата «open»

vitis open Музыка

Тъй като в категорията «Музыка» имаме само един файл, ще се пусне само той. За целите на отварянето на файлове с програмите по подразбиране направих отделна утилита vts-fs-open (стандартните средства като xdg-open или mimeopen не ме удовлетворяваха по редица причини; но, ако е нужно, в настройките можете да посочите друга утилита за универсално отваряне на файлове). Тази утилита работи добре на различни дистрибуции с различни работни среди, така че ви препоръчвам да я инсталирате заедно с vitis.

Можете директно указать програмата за отваряне на файлове:

vitis open Музыка --app qmmp

Нека създадем още категории и да добавим файлове с помощта на „assign“. Ако файловете се присвояват на категории, които още не съществуват, ще бъде отправена заявка за тяхното създаване. Можем да избегнем излишната заявка, ако използваме флага —yes.

vitis assign Програмиране R -f "Въведение в R.pdf" "Статистически пакет R: теория на вероятностите и математическа статистика.pdf" --yes

Сега искаме да добавим категория „Математика“ на файла „Статистически пакет R: теория на вероятностите и математическа статистика.pdf“. Знаем, че този файл вече има категория „R“ и затова можем да използваме категорийния път от системата Vitis:

vitis assign Математика -v "R/Статистически пакет R: теория на вероятностите и математическа статистика.pdf"

За щастие, автодовършването в bash ще го направи лесно.

Нека видим какво е получило, използвайки флага —categories, за да видим списъка с категории за всеки файл:

vitis show R --categories

Обърнете внимание, че на файловете също са присвоени автоматични категории според формата, типа (обединява формати) и разширението на файловете. Тези категории по желание могат да бъдат деактивирани. По-късно определено ще направя локализация на техните имена.

Добавим за разнообразие в „Математика“ нещо още:

vitis assign Математика -f "Математически анализ - 1984.pdf" Перельман_Занимателна_математика_1927.djvu 

Сега започва интересната част. Вместо категории можем да пишем изрази с операции на обединение, пресичане и изваждане, т.е. да използваме операции върху множества. Например, пресичането на „Математика“ с „R“ ще даде един файл.

vitis show R i: Математика

Ще извадим от „Математика“ споменаванията на езика „R“:

vitis show Математика R #или vitis show Математика c: R

Можем произволно да обединим музика и език R:

vitis show Музыка u: R

Флагът -n позволява „издърпването“ на нужните файлове от резултата по номера и/или диапазони, например, -n 3-7, или нещо по-сложно: -n 1,5,8-10,13. Често е полезно с подсекундата open, която позволява отварянето на нужните файлове от списъка.

Въпреки че се отклоняваме от употребата на обикновената йерархия на директории, често е полезно да имаме вложени категории. Нека създадем подкатегория „Статистика“ в категория „Математика“ и да добавим тази категория на подходящия файл:

vitis create Математика/Статистика

vitis assign Математика/Статистика -v "R/Въведение в R.pdf"

vitis show Математика --categories

Можем да видим, че този файл вече има категория „Математика/Статистика“ вместо „Математика“ (излишните връзки се проследяват).

Обращането по пълен път може да бъде неудобно, да създадем „глобален“ псевдоним:

vitis assign Математика/Статистика -a Статистика

vitis show Статистика

Не само обикновени файлове

Интернет връзки

За унификация на съхранение на всякаква информация би било полезно, поне да се категоризират връзките на Интернет ресурсите. И това е възможно:

vitis assign Хабр Цветоаномалия -i https://habr.com/ru/company/sfe_ru/blog/437304/ --yes

На специално място ще бъде създаден файл с заглавието на HTML страницата и с разширение .desktop. Това е традиционен формат за ярлик в GNU/Linux. Такива ярлици получават автоматична категория NetworkBookmarks.

Естествено, ярлиците се създават, за да бъдат използвани:

vitis open Цветоаномалия

Изпълнението на командата води до отваряне в браузъра на току-що запазената връзка. Категоризирани ярлици на Интернет източници могат да служат за замяна на браузърните отметки.

Фрагменти от файлове

Също така е полезно да имаме категории за отделни фрагменти от файлове. Не е лошо предложение, нали? Но текущата реализация засега засяга само обикновени текстови файлове, аудио и видео файлове. Да кажем, че трябва да маркирате определен момент от концерт или смешен момент от филм, тогава при използване на assign можете да се възползвате от флаговете —fragname, —start, —finish. Нека запазим заставката от „Утиные истории“:

vitis assign vitis assign -c Заставки -f Duck_Tales/s01s01.avi --finish 00:00:59 --fragname "Duck Tales intro"

vitis open Заставки

Наистина не се извършва никакво отрязване на файлове, вместо това се създава файл-указател на фрагмент, в който е описан типът на файла, пътят към файла, началото и края на фрагмента. Създаването и отварянето на указатели на фрагменти се делегира на утилити, специално направени от мен за тези цели — това са mediafragmenter и fragplayer. Първата създава, втората отваря. В случай на аудио и видеозаписи, пускането на медийните файлове от определена до определена позиция става с помощта на плеъра VLC, така че той също трябва да бъде в системата. Първоначално исках да направя това на базата на mplayer, но там по някаква причина позиционирането в нужния момент не работеше много добре.
В наш пример се създава файл «Duck Tales intro.fragpointer» (той се поставя на специално място), след което се възпроизвежда фрагмент от началото на файла (тъй като —start не е зададен при създаването) до маркера на 59 секунди, след което VLC се затваря.

Друг пример — решихме да категоризираме отделно изпълнение на концерта на някой известен изпълнител:

vitis assign Лепс "Спасите нашите души" -f Григорий Лепс - Концерт Парус - песни на Владимир Высоцкий.mp4 --fragname "Спасите нашите души" --start 00:32:18 --finish 00:36:51

vitis open "Спасите нашите души"

При отваряне файлът ще бъде включен в необходимата позиция и след четири минути и половина ще се затвори.

Как работи всичко това + допълнителни възможности

Съхранение на категориите

В самото начало на планирането на организацията на семантичната файлова система ми хрумнаха три начина: чрез съхранение на символични линкове, посредством база данни, чрез описание в XML. Спечели първият начин, тъй като, от една страна, е прост за реализиране, а от друга — потребителят има възможност да гледа категориите директно от файлова система (и това е удобно и важно). В началото на използването vitis в домашната директория на потребителя се създава директория «Vitis» и конфигурационен файл «.config/vitis/vitis.conf». В ~ /Vitis се създават директории, съответстващи на категориите, а в тези категории се създават символични линкове към оригиналните файлове. Псевдонимите на категориите също са просто линкове към тях. Разбира се, наличието на директория «Vitis» в домашния каталог може да не устройва някого. Можем да се преместим на всяко друго място:

vitis service set path /mnt/MyFavoriteDisk/Vitis/

В определен момент става ясно, че разпокъсаните на различни места файлове е малоосмислено да се категоризират, тъй като тяхното местоположение може да се променя. Затова първо си създадох директория, където просто складирах всичко и му давах категории. После реших, че било хубаво да оформя този момент на програмен ниво. Така се появи понятието «файлово пространство». В началото на използването vitis веднага не би било излишно да настроя такова място (там ще се складират всички необходими ни файлове) и да включа автозапис:

vitis service add filespace /mnt/MyFavoriteDisk/Filespace/

vitis service set autosave yes

Без автоматично запазване при използване на подкомандата «assign» ще се изисква флаг —save, ако искате да запазите добавения файл в файловото пространство.

Освен това, можете да добавите няколко файлови пространства и да променяте приоритетите им, което може да бъде полезно, когато има много файлове и те са на различни носители. Тук няма да разглеждам тази възможност, подробности можете да прочетете в помощта на програмата.

Миграция на семантичната файлова система

Така или иначе, директорията Vitis и файловите пространства теоретично понякога могат да бъдат преместени от едно място на друго. За да направя това работещо, създадох отделна утилита link-editor, която може масово да редактира линкове, заменяйки части от пътя с други:

cp -r /mnt/MyFavoriteDisk/Vitis/ ~/Vitis
link-editor -d ~/Vitis/ -f /mnt/MyFavoriteDisk/Vitis/ -r ~/Vitis/ -R
cp -r /mnt/MyFavoriteDisk/Filespace/ ~/MyFiles
link-editor -d ~/Vitis/ -f /mnt/FlashDrive-256/Filespace/ -r ~/MyFiles -R

В първия случай, след като преместим от /mnt/MyFavoriteDisk/Vitis/ в домашната директория, се редактират символичните линкове, свързани с псевдонимите. Във втория случай, след промяна на местоположението на файловото пространство, всички линкове в Vitis се променят на новите съобразно запитването за замяна на част от техния път.

Автоматични категории

Ако стартирате командата vitis service get autocategorization, можете да видите, че по подразбиране е настроено назначаване на автоматични категории по формат (Format и Type) и разширение на файловете (Extension).

Това е полезно, когато например нужно ви е да намерите нещо сред PDF-ите или да видите какво съхранявате от EPUB и FB2, просто можете да изпълните запитването

vitis show Format/MOBI u: Format/FB2

Така се получи, че стандартните средства на GNU/Linux като file или mimetype не ми свършиха работа, именно защото не винаги правилно определят формата, затова направих собствена реализация чрез сигнатури на файлове и разширения. Всъщност, темата за определяне на файлови формати е интересна за изследване и заслужава отделна статия. Засега мога да кажа, че възможно не за всички формати в света съм предвидил правилно разпознаване, но като цяло вече работи доста добре. Истина е, че за EPUB в момента форматът се определя като ZIP (в общи линии оправдано, но на практика това не бива да се счита за нормално поведение). До известна степен, сметнете тази функция за експериментална, и моля съобщавайте за бъгове. В странни ситуации винаги можете да използвате категории по разширение на файловете, например, Extension/epub.

Ако са включени автоматичните категории по формат, също така са включени автоматични категории, обединяващи някои формати по вид: «Архиви», «Снимки», «Видео», «Аудио» и «Документи». За тези подкатегории ще бъдат направени локализирани названия.

За което не е споменато

vitis стана многостранен инструмент и е трудно да се обхванат всичките му възможности наведнъж. Накратко ще спомена какво още може да се прави:

• категории могат да бъдат изтрити и премахнати от файловете;
• резултатите от запитвания по изрази могат да бъдат копирани в указаната директория;
• файловете могат да се изпълняват като програми;
• командата show има множество опции, например, сортиране по име/дата на изменение или по обръщение/размер/разширение, показване на свойствата на файловете и пътищата към оригиналите, включване на показването на скрити файлове и др.;
• при запазване на връзки към интернет източници, можете също така да запазите локални копия на HTML страниците.

Всички подробности можете да намерите в потребителското ръководство.

Перспективи

Често скептиците казват, че «никой сам няма да постави тези тагове». На собствения си опит мога да докажа обратното: вече съм категоризирал над шест хиляди файла, създал съм над хиляда категории и псевдоними, и това си струваше. Когато с една команда vitis open План отваряш списъка на задачите си или когато с една команда vitis open LaTeX отваряш книгата на Столяров за системата LaTeX, вече е морално трудно да се ползва файловата система «по старинката».

На тази основа възникват редица идеи. Например, може да се направи автоматично радио, което пуска тематична музика в зависимост от текущата погода, празника, деня от седмицата, времето от денонощието или годината. Понадобява се музикален плейър, който знае за категориите и може да пуска музика на базата на изрази с операции върху категориите като над множества. Полезно е да се направи демон, който ще следи папката „Изтегляния“ и ще предлага категоризация на новите файлове. И, разбира се, би следвало да се създаде нормален графичен семантичен файлов мениджър. Някога дори създадох уеб-сервис за колективно ползване на файлове, но той не беше приоритет и стана неактуален, въпреки че достигна високо ниво на работоспособност. (Поради големите изменения в самото vitis, вече не е пригоден за употреба.)

тук е малка демонстрация

Заключение

Vitis — не е първият опит радикално да се промени стилът на работа с данни, но реших, че е важно да реализирам идеите си и да публикувам реализацията с отворен код под лицензията GNU GPL. За улеснение е създаден deb-пакет за x86-64, той трябва да работи на всички актуални дистрибуции на Debian. На ARM имаше малки затруднения (въпреки че всички останали програми, свързани с vitis, работят нормално), но в бъдеще и за тази платформа (armhf) ще бъде сглобен работещ пакет. Създаването на RPM-пакети временно спря поради проблеми с Fedora 30 и затрудненията да се разпилявам на множество RPM-дистрибуции, но по-късно все пак за поне няколко от тях ще се правят пакети. А засега можете да ползвате make && make install или checkinstall.

Благодаря на всички за вниманието! Надявам се, че тази статия и проектът ще бъдат полезни.

Връзка към репозитория на проекта

Източник: habr.com