Самата класификация на данни е интересна изследователска тема. Обичам да събирам информация, която изглежда необходима, и винаги съм се опитвал да създавам логически йерархии на директории за моите файлове и един ден в съня си видях красива и удобна програма за присвояване на тагове на файлове и реших, че не мога да живея така повече.

Проблемът с йерархичните файлови системи

Потребителите често се сблъскват с проблема да изберат къде да запишат следващия нов файл и проблема с намирането на свои собствени файлове (понякога имената на файловете изобщо не са предназначени да бъдат запомнени от човек).

Изход от ситуацията могат да бъдат семантичните файлови системи, които обикновено са добавка към традиционната файлова система. Директориите в тях са заменени от семантични атрибути, наричани още тагове, категории и метаданни. По-често ще използвам термина „категория“, защото... В контекста на файловите системи думата "таг" понякога е малко странна, особено когато се появяват "подтагове" и "псевдоними на тагове".

Присвояването на категории на файлове до голяма степен елиминира проблема със съхраняването и търсенето на файл: ако си спомните (или познаете) поне една от категориите, присвоени на файл, тогава файлът никога няма да изчезне от изгледа.

Преди това тази тема беше повдигана повече от веднъж на Habré (път, два, три, четири и т.н.), тук описвам моето решение.

Път към Реализацията

Веднага след споменатия сън описах в бележника си командния интерфейс, който осигурява необходимата работа с категории. Тогава реших, че след седмица или две мога да напиша прототип, използвайки Python или Bash, а след това ще трябва да работя върху създаването на графична обвивка в Qt или GTK. Реалността, както винаги, се оказа много по-сурова и развитието се забави.

Първоначалната идея беше първо да се направи програма с удобен и кратък интерфейс на командния ред, който да създава, изтрива категории, присвоява категории на файлове и изтрива категории от файлове. Обадих се на програмата витит.

Първи опит за създаване витит завърши с нищо, тъй като много време започна да се изразходва за работа и колеж. Вторият опит вече беше нещо: за магистърската теза успях да завърша планирания проект и дори да направя прототип на обвивката GTK. Но тази версия се оказа толкова ненадеждна и неудобна, че много неща трябваше да бъдат преосмислени.

Всъщност самият аз използвах третата версия много дълго време, като прехвърлих няколко хиляди от моите файлове в категории. Това също беше значително улеснено от внедреното bash завършване. Но някои проблеми, като липсата на автоматични категории и възможността за съхраняване на файлове със същото име, все още остават и програмата вече е огъната под собствената си сложност. Ето как стигнах до необходимостта да решавам сложни проблеми при разработката на софтуер: да напиша подробни изисквания, да разработя система за функционално тестване, да проуча инструкциите за опаковане и много други. Сега стигнах до моя план, така че това скромно творение да може да бъде представено на свободната общност. Конкретно управление на файлове, като например управление чрез концепцията за категории, повдига неочаквани въпроси и проблеми и при решаването им витит породи около себе си още пет проекта, някои от които ще бъдат споменати в статията. Досега витит Не съм закупил графична обвивка, но удобството да използвам файлови категории от командния ред вече надхвърля за мен всички предимства на обикновения графичен файлов мениджър.

Примери за използване

Нека започнем просто - създайте категория:

vitis create Музыка

Нека добавим малко композиция към него като пример:

vitis assign Музыка -f "The Ink Spots - I Don't Want To Set The World On Fire.mp3"

Можете да видите съдържанието на категорията „Музика“, като използвате подкомандата „покажи“:

vitis show Музыка

Можете да го играете с помощта на подкомандата „open“.

vitis open Музыка

защото Ако имаме само един файл в категорията „Музика“, тогава само този ще се стартира. За да отварям файлове с техните програми по подразбиране, направих отделна помощна програма vts-fs-open (стандартни инструменти като xdg-open или mimeopen не ми допаднаха по редица причини; но ако не друго, в настройките можете да посочите друга помощна програма за универсално отваряне на файлове). Тази помощна програма работи добре на различни дистрибуции с различни работни среди, така че препоръчвам да я инсталирате заедно с vitis.

Можете също директно да посочите програмата за отваряне на файлове:

vitis open Музыка --app qmmp

Нека създадем още категории и да добавим файлове с помощта на „присвояване“. Ако файловете са присвоени на категории, които все още не съществуват, ще бъдете подканени да ги създадете. Ненужната заявка може да бъде избегната с помощта на флага -yes.

vitis assign Программирование R -f "Введение в R.pdf" "Статистический пакет R: теория вероятностей и матстатистика.pdf" --yes

Сега искаме да добавим категорията „Математика“ към файла „Статистически пакет R: теория на вероятностите и математическа статистика.pdf“. Знаем, че този файл вече е категоризиран като "R" и следователно можем да използваме пътя на категорията от системата Vitis:

vitis assign Математика -v "R/Статистический пакет R: теория вероятностей и матстатистика.pdf"

За щастие завършването на bash прави това лесно.

Нека да видим какво се е случило, като използваме флага --categories, за да видим списък с категории за всеки файл:

vitis show R --categories

Имайте предвид, че файловете също са автоматично категоризирани по формат, тип (комбинира формати) и файлово разширение. Тези категории могат да бъдат деактивирани, ако желаете. По-късно определено ще локализирам имената им.

Нека добавим още нещо към „Математика“ за разнообразие:

vitis assign Математика -f "Математический анализ - 1984.pdf" Перельман_Занимательная_математика_1927.djvu 

И сега нещата стават интересни. Вместо категории, можете да пишете изрази с операциите обединение, пресичане и изваждане, тоест да използвате операции върху множества. Например, пресичането на "Math" с "R" ще доведе до един файл.

vitis show R i: Математика

Нека извадим препратките към езика „R“ от „Математика“:

vitis show Математика  R  #или vitis show Математика c: R

Можем безцелно да комбинираме музика и езика R:

vitis show Музыка u: R

Флагът -n ви позволява да „извадите“ необходимите файлове от резултата на заявката чрез числа и/или диапазони, например, -n 3-7, или нещо по-сложно: -n 1,5,8-10,13. Често е полезно с подкомандата open, която ви позволява да отваряте желаните файлове от списък.

Въпреки че се отдалечаваме от използването на конвенционална йерархия на директории, често е полезно да имаме вложени категории. Нека създадем подкатегория „Статистика“ под категорията „Математика“ и да добавим тази категория към съответния файл:

vitis create Математика/Статистика

vitis assign Математика/Статистика -v "R/Введение в R.pdf"

vitis show Математика --categories

Виждаме, че този файл вече има категорията „Math/Statistics“ вместо „Math“ (допълнителните връзки се проследяват).

Адресирането на пълния път може да бъде неудобно, нека създадем „глобален“ псевдоним:

vitis assign Математика/Статистика -a Статистика

vitis show Статистика

Не само обикновени файлове

Интернет връзки

За да се обедини съхранението на каквато и да е информация, би било полезно поне да се категоризират връзките към интернет ресурси. И това е възможно:

vitis assign Хабр Цветоаномалия -i https://habr.com/ru/company/sfe_ru/blog/437304/ --yes

На специално място ще бъде създаден файл с хедър на HTML страницата и разширение .desktop. Това е традиционният формат за бърз достъп в GNU/Linux. Такива преки пътища автоматично се категоризират като NetworkBookmarks.

Естествено, преките пътища са създадени, за да се използват:

vitis open Цветоаномалия

Изпълнението на командата води до отваряне на новозапаметената връзка в браузъра. Категоризираните преки пътища към интернет източници могат да служат като заместител на отметките на браузъра.

Файлови фрагменти

Също така е полезно да имате категории за отделни части от файлове. Не е лоша молба, а? Но текущата реализация досега засяга само файлове с обикновен текст, аудио и видео файлове. Да речем, че трябва да маркирате определена част от концерт или забавен момент във филм, тогава, когато използвате assign, можете да използвате флаговете -fragname, -start, -finish. Нека запазим скрийнсейвъра от "Патешки истории":

vitis assign vitis assign -c Заставки -f Duck_Tales/s01s01.avi --finish 00:00:59 --fragname "Duck Tales intro"

vitis open Заставки

В действителност не се извършва изрязване на файл, вместо това се създава файл-указател към фрагмента, който описва типа на файла, пътя до файла, началото и края на фрагмента. Създаването и отварянето на указатели към фрагменти е делегирано на помощни програми, които направих специално за тези цели - това са mediafragmenter и fragplayer. Първият създава, вторият отваря. В случай на аудио и видео записи, медийният файл се стартира от определена до определена позиция с помощта на VLC плейъра, така че той също трябва да бъде в системата. Първоначално исках да направя това на базата на mplayer, но по някаква причина беше много криво с позиционирането в точния момент.
В нашия пример се създава файлът „Duck Tales intro.fragpointer“ (поставя се на специално място) и след това се възпроизвежда фрагмент от началото на файла (тъй като –start не е посочен при създаването) до 59 втори знак, след което VLC се затваря.

Друг пример е, когато решихме да категоризираме едно изпълнение на концерт на известен изпълнител:

vitis assign Лепс "Спасите наши души" -f Григорий Лепc - Концерт Парус - песни Владимира Высоцкого.mp4 --fragname "Спасите наши души" --start 00:32:18 --finish 00:36:51

vitis open "Спасите наши души"

Когато се отвори, файлът ще бъде включен в желаната позиция и ще се затвори след четири минути и половина.

Как работи всичко + допълнителни функции

Съхраняване на категории

В самото начало на мисленето за организиране на семантична файлова система се сетих за три начина: чрез съхранение на символни връзки, чрез база данни, чрез описание в XML. Първият метод спечели, защото... от една страна, той е лесен за изпълнение, а от друга страна, потребителят има възможност да разглежда категории директно от файловата система (и това е удобно и важно). В началото на употреба витит Директорията „Vitis“ и конфигурационният файл „.config/vitis/vitis.conf“ се създават в домашната директория на потребителя. Директории, съответстващи на категории, се създават в ~/Vitis и в тези директории на категории се създават символни връзки към оригиналните файлове. Псевдонимите на категории също са просто връзки към тях. Разбира се, присъствието на директорията „Vitis“ в домашната директория може да не устройва някои хора. Можем да превключим на всяко друго място:

vitis service set path /mnt/MyFavoriteDisk/Vitis/

В определен момент става ясно, че няма смисъл да се категоризират файлове, разпръснати на различни места, тъй като местоположението им може да се променя. Затова, като начало, създадох директория за себе си, където глупаво изхвърлих всичко и му дадох всички категории. Тогава реших, че е хубаво този момент да се формализира на програмно ниво. Така се появи понятието „файлово пространство“. В началото на употреба витит Няма да навреди незабавно да настроите такова местоположение (всички необходими файлове ще се съхраняват там) и да активирате автоматично запазване:

vitis service add filespace /mnt/MyFavoriteDisk/Filespace/

vitis service set autosave yes

Без автоматично запазване, когато използвате подкомандата "assign", флагът --save ще бъде необходим, ако искате да запазите добавения файл във файловото пространство.

Освен това можете да добавите няколко файлови пространства и да промените техните приоритети; това може да бъде полезно, когато има много файлове и те се съхраняват на различни носители. Няма да разглеждам тази възможност тук; подробности можете да намерите в помощта на програмата.

Семантична миграция на файлова система

Както и да е, директорията Vitis и файловите пространства могат теоретично понякога да се преместват от място на място. За да работи, създадох отделна помощна програма редактор на връзки, който може групово да редактира връзки, като заменя части от пътя с други:

cp -r /mnt/MyFavoriteDisk/Vitis/ ~/Vitis
link-editor -d ~/Vitis/ -f /mnt/MyFavoriteDisk/Vitis/ -r ~/Vitis/ -R
cp -r /mnt/MyFavoriteDisk/Filespace/ ~/MyFiles
link-editor -d ~/Vitis/ -f /mnt/FlashDrive-256/Filespace/ -r ~/MyFiles -R

В първия случай, след като сме се преместили от /mnt/MyFavoriteDisk/Vitis/ в началната директория, символните връзки, свързани с псевдонимите, се редактират. Във втория случай, след промяна на местоположението на файловото пространство, всички връзки във Vitis се променят на нови в съответствие с искането за замяна на част от пътя им.

Автоматични категории

Ако изпълните командата vitis service get autocategorization, можете да видите, че по подразбиране автоматичните категории се присвояват по формат (Формат и тип) и файлово разширение (Разширение).

Това е полезно, когато например трябва да намерите нещо сред PDF файлове или да погледнете какво сте съхранили от EPUB и FB2, можете просто да изпълните заявката

vitis show Format/MOBI u: Format/FB2

Случи се така, че стандартните инструменти на GNU/Linux като file или mimetype не ме устройваха именно защото не винаги определят правилно формата; трябваше да направя своя собствена реализация въз основа на файлови подписи и разширения. Като цяло темата за определяне на файловите формати е интересна тема за изследване и заслужава отделна статия. Засега мога да кажа, че може би не съм осигурил истинско разпознаване за всички формати в света, но като цяло вече работи добре. Вярно е, че EPUB вече дефинира формата като ZIP (като цяло това е оправдано, но на практика това не трябва да се счита за нормално поведение). За момента считайте тази функция за експериментална и докладвайте за всички грешки. В странни ситуации винаги можете да използвате категории файлови разширения, например Разширение/epub.

Ако автокатегориите по формат са активирани, автокатегориите, които групират някои формати по тип, също са активирани: „Архиви“, „Картини“, „Видео“, „Аудио“ и „Документи“. Ще бъдат направени и локализирани имена за тези подкатегории.

Какво не се казва

витит Оказа се, че това е многостранен инструмент и е трудно да се обхване всичко наведнъж. Нека накратко спомена какво друго можете да направите:

• категориите могат да се изтриват и премахват от файлове;
• резултатите от заявките за изрази могат да бъдат копирани в посочената директория;
• файловете могат да се изпълняват като програми;
• Командата show има много опции, например сортиране по име/дата на модификация или достъп/размер/разширение, показване на свойствата на файла и пътищата към оригиналите, разрешаване на показването на скрити файлове и т.н.;
• Когато запазвате връзки към интернет източници, можете също да запазвате локални копия на HTML страници.

Пълните подробности могат да бъдат намерени в помощта за потребителя.

Перспективи

Скептиците често казват, че „никой няма да зададе сам тези тагове“. Използвайки собствения си пример, мога да докажа обратното: вече съм категоризирал повече от шест хиляди файла, създал съм повече от хиляда категории и псевдоними и си заслужаваше. Когато един отбор vitis open План отворете вашия списък със задачи или когато с една команда vitis open LaTeX Когато отворите книгата на Столяров за системата за оформление на LaTeX, вече е морално трудно да използвате файловата система „по старомодния начин“.

На тази база възникват редица идеи. Например, можете да направите автоматично радио, което включва тематична музика според текущото време, празник, ден от седмицата, време на деня или година. Още по-близо до темата е музикален плейър, който познава категориите и може да възпроизвежда музика по израз с операции върху категории, както и върху комплекти. Полезно е да направите демон, който ще следи директорията "Изтегляния" и ще предлага категоризиране на нови файлове. И, разбира се, трябва да направим нормален графичен семантичен файлов мениджър. Имало време дори създадох уеб услуга за предприятието за колективно използване на файлове, но тя не беше приоритет и стана неуместна, въпреки че постигна високо ниво на производителност. (Поради големи промени в витит, вече не може да се използва.)

ето малко демо

Заключение

Вит не е първият опит за радикална промяна на стила на работа с данни, но сметнах за важно да реализирам идеите си и да направя имплементацията публично достъпна под лиценза GNU GPL. За удобство е направен deb пакет за x86-64; той трябва да работи на всички съвременни дистрибуции на Debian. Имаше малки затруднения с ARM (докато всички други програми, свързани с витит, работят добре), но в бъдеще ще бъде компилиран работещ пакет за тази платформа (armhf). Засега спрях да създавам RPM пакети поради проблеми с Fedora 30 и трудността при разпространение в много RPM дистрибуции, но по-късни пакети все още ще бъдат направени за поне няколко от тях. Междувременно можете да използвате make && make install или checkinstall.

Благодаря на всички за вниманието! Надявам се, че тази статия и този проект могат да бъдат полезни.

Връзка към хранилище на проекта

Източник: www.habr.com