סיווג הנתונים עצמו הוא נושא מחקר מעניין. אני אוהב לאסוף מידע שנראה הכרחי, ותמיד ניסיתי ליצור היררכיות ספריות הגיוניות לקבצים שלי, ויום אחד בחלום ראיתי תוכנה יפה ונוחה להקצאת תגיות לקבצים, והחלטתי שאני לא יכול לחיות ככה עוד.

הבעיה של מערכות קבצים היררכיות

משתמשים מתמודדים לעיתים קרובות עם הבעיה של בחירת היכן לשמור את הקובץ החדש הבא ובעיית מציאת הקבצים שלהם (לפעמים שמות קבצים בכלל לא מיועדים לזכור על ידי אדם).

מוצא מהמצב עשוי להיות מערכות קבצים סמנטיות, שהן בדרך כלל תוספת למערכת הקבצים המסורתית. ספריות בהן מוחלפות בתכונות סמנטיות, הנקראות גם תגים, קטגוריות ומטא נתונים. אשתמש במונח "קטגוריה" לעתים קרובות יותר, כי... בהקשר של מערכות קבצים, המילה "תג" היא לפעמים קצת מוזרה, במיוחד כשמופיעים "תגיות משנה" ו"כינוי תג".

הקצאת קטגוריות לקבצים מבטלת במידה רבה את בעיית האחסון והחיפוש של קובץ: אם אתה זוכר (או מנחש) לפחות אחת מהקטגוריות שהוקצו לקובץ, אז הקובץ לעולם לא ייעלם מהעין.

בעבר, נושא זה הועלה יותר מפעם אחת ב-Habré (זמן, два, שלוש, ארבעה וכו'), כאן אני מתאר את הפתרון שלי.

הדרך למימוש

מיד לאחר החלום הנזכר תיארתי במחברתי את ממשק הפיקוד המספק את העבודה הדרושה עם קטגוריות. ואז החלטתי שבעוד שבוע או שבועיים אוכל לכתוב אב טיפוס באמצעות Python או Bash, ואז אצטרך לעבוד על יצירת מעטפת גרפית ב-Qt או GTK. המציאות, כמו תמיד, התבררה כקשה הרבה יותר, והפיתוח התעכב.

הרעיון המקורי היה קודם כל ליצור תוכנית עם ממשק שורת פקודה נוח ותמציתי שתיצור, תמחק קטגוריות, תקצה קטגוריות לקבצים ותמחק קטגוריות מקבצים. התקשרתי לתוכנית ויטיס.

ניסיון ראשון ליצור ויטיס הסתיים בלא כלום, שכן הרבה זמן התחיל להיות מושקע בעבודה ובאוניברסיטה. הניסיון השני כבר היה משהו: לתזה לתואר השני הצלחתי להשלים את הפרויקט המתוכנן ואפילו להכין אב טיפוס של מעטפת ה-GTK. אבל הגרסה ההיא התבררה כל כך לא אמינה ולא נוחה, שהיה צריך לחשוב מחדש על הרבה.

למעשה השתמשתי בגרסה השלישית בעצמי במשך זמן רב מאוד, לאחר שהעברתי כמה אלפי קבצים שלי לקטגוריות. זה הוקל מאוד גם על ידי השלמת ה-bash המיושמת. אבל כמה בעיות, כמו היעדר קטגוריות אוטומטיות והיכולת לאחסן קבצים בעלי אותו שם, עדיין נותרו, והתוכנית כבר הייתה כפופה תחת המורכבות שלה. כך הגעתי לצורך לפתור בעיות מורכבות של פיתוח תוכנה: כתיבת דרישות מפורטות, פיתוח מערכת בדיקות פונקציונלית, לימוד הוראות אריזה ועוד ועוד. עכשיו הגעתי לתוכנית שלי, כדי שניתן יהיה להציג את היצירה הצנועה הזו בפני הקהילה החופשית. ניהול קבצים ספציפי כגון ניהול באמצעות מושג הקטגוריות מעלה בעיות ובעיות בלתי צפויות, ובפתרונן ויטיס הוליד חמישה פרויקטים נוספים סביב עצמה, שחלקם יוזכרו בכתבה. עד עכשיו ויטיס לא רכשתי מעטפת גרפית, אבל הנוחות של שימוש בקטגוריות קבצים משורת הפקודה כבר גוברת עבורי על כל היתרונות של מנהל קבצים גרפי רגיל.

דוגמאות לשימוש

נתחיל פשוט - צור קטגוריה:

vitis create Музыка

בואו נוסיף לזה קצת קומפוזיציה כדוגמה:

vitis assign Музыка -f "The Ink Spots - I Don't Want To Set The World On Fire.mp3"

אתה יכול להציג את התוכן של קטגוריית "מוזיקה" באמצעות פקודת המשנה "הצג":

vitis show Музыка

אתה יכול לשחק אותו באמצעות פקודת המשנה "פתח".

vitis open Музыка

כי אם יש לנו רק קובץ אחד בקטגוריית "מוזיקה", אז רק זה יושק. לצורך פתיחת קבצים עם תוכניות ברירת המחדל שלהם, הכנתי כלי עזר נפרד vts-fs-פתוח (כלים סטנדרטיים כמו xdg-open או mimeopen לא התאימו לי מכמה סיבות; אבל, אם כבר, בהגדרות אתה יכול לציין כלי עזר אחר לפתיחת קבצים אוניברסלית). כלי זה עובד היטב על הפצות שונות עם סביבות עבודה שונות, אז אני ממליץ להתקין אותו יחד עם vitis.

אתה יכול גם לציין ישירות את התוכנית לפתיחת קבצים:

vitis open Музыка --app qmmp

בואו ניצור קטגוריות נוספות ונוסיף קבצים באמצעות "הקצא". אם קבצים מוקצים לקטגוריות שעדיין לא קיימות, תתבקש ליצור אותם. ניתן למנוע בקשה מיותרת על ידי שימוש בדגל -yes.

vitis assign Программирование R -f "Введение в R.pdf" "Статистический пакет R: теория вероятностей и матстатистика.pdf" --yes

כעת אנו רוצים להוסיף את קטגוריית "מתמטיקה" לקובץ "חבילה סטטיסטית R: תורת ההסתברות וסטטיסטיקה מתמטית.pdf". אנו יודעים שהקובץ הזה כבר מסווג כ-"R" ולכן נוכל להשתמש בנתיב הקטגוריה ממערכת Vitis:

vitis assign Математика -v "R/Статистический пакет R: теория вероятностей и матстатистика.pdf"

למרבה המזל, השלמת bash הופכת את זה לקלה.

בוא נראה מה קרה, באמצעות הדגל --categories כדי לראות רשימה של קטגוריות עבור כל קובץ:

vitis show R --categories

שימו לב שגם הקבצים סווגו אוטומטית לפי פורמט, סוג (משלב פורמטים) וסיומת קובץ. ניתן להשבית קטגוריות אלה אם תרצה בכך. מאוחר יותר בהחלט אמקם את שמותיהם.

בואו נוסיף עוד משהו ל"מתמטיקה" למגוון:

vitis assign Математика -f "Математический анализ - 1984.pdf" Перельман_Занимательная_математика_1927.djvu 

ועכשיו הדברים נעשים מעניינים. במקום קטגוריות אפשר לכתוב ביטויים עם פעולות של איחוד, חיתוך וחיסור, כלומר להשתמש בפעולות על קבוצות. לדוגמה, ההצטלבות של "מתמטיקה" עם "R" תגרום לקובץ אחד.

vitis show R i: Математика

הבה נחסר הפניות לשפה "R" מ"מתמטיקה":

vitis show Математика  R  #или vitis show Математика c: R

אנחנו יכולים לשלב ללא מטרה מוזיקה ושפת R:

vitis show Музыка u: R

הדגל -n מאפשר לך "לשלוף" את הקבצים הנדרשים מתוצאת הבקשה לפי מספרים ו/או טווחים, למשל, -n 3-7, או משהו יותר מסובך: -n 1,5,8-10,13. לעתים קרובות זה שימושי עם תת-פקודה פתוחה, המאפשרת לך לפתוח את הקבצים הרצויים מתוך רשימה.

בעוד אנו מתרחקים משימוש בהיררכיית ספריות קונבנציונלית, לרוב שימושי בקטגוריות מקוננות. בואו ניצור תת-קטגוריה "סטטיסטיקה" תחת הקטגוריה "מתמטיקה" ונוסיף את הקטגוריה הזו לקובץ המתאים:

vitis create Математика/Статистика

vitis assign Математика/Статистика -v "R/Введение в R.pdf"

vitis show Математика --categories

אנו יכולים לראות שלקובץ זה יש כעת את הקטגוריה "מתמטיקה/סטטיסטיקה" במקום "מתמטיקה" (יש מעקב אחר קישורים נוספים).

התייחסות לנתיב המלא עלולה להיות לא נוחה, בואו ניצור כינוי "עולמי":

vitis assign Математика/Статистика -a Статистика

vitis show Статистика

לא רק קבצים רגילים

קישורי אינטרנט

כדי לאחד את האחסון של כל מידע, זה יהיה שימושי, לכל הפחות, לסווג קישורים למשאבי אינטרנט. וזה אפשרי:

vitis assign Хабр Цветоаномалия -i https://habr.com/ru/company/sfe_ru/blog/437304/ --yes

ייווצר קובץ במקום מיוחד עם הכותרת של דף ה-HTML והסיומת .desktop. זהו פורמט הקיצור המסורתי ב-GNU/Linux. קיצורי דרך כאלה מסווגים אוטומטית כ-NetworkBookmarks.

באופן טבעי, קיצורי דרך נוצרים לשימוש:

vitis open Цветоаномалия

ביצוע הפקודה גורם לפתיחת הקישור החדש שנשמר בדפדפן. קיצורי דרך מסווגים למקורות אינטרנט יכולים לשמש כתחליף לסימניות בדפדפן.

שברי קבצים

זה גם שימושי לקטגוריות עבור חלקים בודדים של קבצים. בקשה לא רעה, אה? אבל היישום הנוכחי עד כה משפיע רק על קבצי טקסט רגיל, קבצי אודיו ווידאו. נניח שאתה צריך לסמן חלק מסוים בקונצרט או רגע מצחיק בסרט, ואז בעת שימוש ב-assign אתה יכול להשתמש בדגלים -fragname, -start, -finish. בואו נשמור את שומר המסך מ"DuckTales":

vitis assign vitis assign -c Заставки -f Duck_Tales/s01s01.avi --finish 00:00:59 --fragname "Duck Tales intro"

vitis open Заставки

במציאות, לא מתרחש חיתוך קבצים; במקום זאת, נוצר קובץ מצביע לפרגמנט, המתאר את סוג הקובץ, הנתיב לקובץ, ההתחלה והסוף של הפרגמנט. היצירה והפתיחה של מצביעים לפרגמנטים מואצלת לכלי עזר שיצרתי במיוחד למטרות אלו - אלו הם mediafragmenter ו-fragplayer. הראשון יוצר, השני נפתח. במקרה של הקלטות אודיו ווידאו, קובץ המדיה מופעל ממיקום מסוים למיקום מסוים באמצעות נגן ה-VLC, כך שהוא חייב להיות גם במערכת. בהתחלה רציתי לעשות את זה על סמך mplayer, אבל משום מה זה היה מאוד עקום עם המיקום ברגע הנכון.
בדוגמה שלנו נוצר הקובץ "Duck Tales intro.fragpointer" (הוא ממוקם במקום מיוחד), ולאחר מכן מושמע קטע מתחילת הקובץ (מכיוון ש-start לא צוין בעת ​​היצירה) ועד ה-59 סימן שני, ולאחר מכן VLC נסגר.

דוגמה נוספת היא כשהחלטנו לסווג הופעה בודדת בהופעה של אמן מפורסם:

vitis assign Лепс "Спасите наши души" -f Григорий Лепc - Концерт Парус - песни Владимира Высоцкого.mp4 --fragname "Спасите наши души" --start 00:32:18 --finish 00:36:51

vitis open "Спасите наши души"

עם פתיחתו, הקובץ ייכלל במיקום הרצוי וייסגר לאחר ארבע וחצי דקות.

איך הכל עובד + תכונות נוספות

אחסון קטגוריות

כבר בתחילת החשיבה על ארגון מערכת קבצים סמנטית עלו בראש שלוש דרכים: דרך אחסון קישורים סמליים, דרך מסד נתונים, דרך תיאור ב-XML. השיטה הראשונה ניצחה, כי... מצד אחד קל ליישום, ומצד שני יש למשתמש אפשרות להסתכל על קטגוריות ישירות ממערכת הקבצים (וזה נוח וחשוב). בתחילת השימוש ויטיס ספריית "Vitis" וקובץ התצורה ".config/vitis/vitis.conf" נוצרים בספריית הבית של המשתמש. ספריות המתאימות לקטגוריות נוצרות ב-~/Vitis, וקישורים סמליים לקבצים המקוריים נוצרים בספריות הקטגוריות הללו. כינויים לקטגוריות הם גם רק קישורים אליהם. כמובן, הנוכחות של ספריית "Vitis" בספריית הבית עשויה שלא להתאים לאנשים מסוימים. אנחנו יכולים לעבור לכל מקום אחר:

vitis service set path /mnt/MyFavoriteDisk/Vitis/

בשלב מסוים, מתברר שאין זה הגיוני לסווג קבצים המפוזרים במקומות שונים, שכן מיקומם יכול להשתנות. לכן, מלכתחילה, יצרתי לעצמי ספרייה, שבה זרקתי הכל בטיפשות ונתתי לו את כל הקטגוריות. ואז החלטתי שיהיה נחמד למסד את הרגע הזה ברמת התוכנית. כך הופיע המושג "מרחב קבצים". בתחילת השימוש ויטיס לא יזיק להגדיר מיד מיקום כזה (כל הקבצים שאנו צריכים יאוחסנו שם) ולאפשר שמירה אוטומטית:

vitis service add filespace /mnt/MyFavoriteDisk/Filespace/

vitis service set autosave yes

ללא שמירה אוטומטית, בעת שימוש בפקודת המשנה "הקצאה", הדגל --save יידרש אם ברצונך לשמור את הקובץ שנוסף בשטח הקובץ.

יתר על כן, אתה יכול להוסיף מספר מקומות קבצים ולשנות את סדר העדיפויות שלהם; זה יכול להיות שימושי כאשר יש הרבה קבצים והם מאוחסנים במדיה שונה. לא אשקול אפשרות זו כאן; פרטים ניתן למצוא בעזרה של התוכנית.

העברת מערכת קבצים סמנטית

בכל מקרה, ספריית Vitis ומרחבי הקבצים יכולים באופן תיאורטי לפעמים לעבור ממקום למקום. כדי שזה יעבוד, יצרתי כלי עזר נפרד עורך קישור, שיכול לערוך קישורים בכמות גדולה, להחליף חלקים מהנתיב באחרים:

cp -r /mnt/MyFavoriteDisk/Vitis/ ~/Vitis
link-editor -d ~/Vitis/ -f /mnt/MyFavoriteDisk/Vitis/ -r ~/Vitis/ -R
cp -r /mnt/MyFavoriteDisk/Filespace/ ~/MyFiles
link-editor -d ~/Vitis/ -f /mnt/FlashDrive-256/Filespace/ -r ~/MyFiles -R

במקרה הראשון, לאחר שעברנו מ-/mnt/MyFavoriteDisk/Vitis/ לספריית הבית, הקישורים הסמליים המשויכים לכינויים נערכים. במקרה השני, לאחר שינוי מיקום מרחב הקבצים, כל הקישורים ב-Vitis משתנים לחדשים בהתאם לבקשה להחליף חלק מהנתיב שלהם.

קטגוריות אוטומטיות

אם תפעיל את הפקודה vitis service get autocategorization, אתה יכול לראות שכברירת מחדל, קטגוריות אוטומטיות מוקצות לפי פורמט (פורמט וסוג) וסיומת קובץ (סיומת).

זה שימושי כאשר, למשל, אתה צריך למצוא משהו בין קובצי PDF או להסתכל על מה שאחסנת מ-EPUB ו-FB2, אתה יכול פשוט להפעיל את הבקשה

vitis show Format/MOBI u: Format/FB2

פשוט קרה שכלים סטנדרטיים של GNU/Linux כמו קובץ או mimetype לא התאימו לי בדיוק בגלל שהם לא תמיד קובעים נכון את הפורמט; הייתי צריך לבצע יישום משלי על סמך חתימות ותוספות קבצים. באופן כללי, נושא הגדרת פורמטים של קבצים הוא נושא מעניין למחקר וראוי למאמר נפרד. לעת עתה אני יכול לומר שאולי לא סיפקתי הכרה אמיתית לכל הפורמטים בעולם, אבל באופן כללי זה כבר עובד טוב. נכון, EPUB מגדיר כעת את הפורמט כ-ZIP (באופן כללי, זה מוצדק, אבל בפועל אין לראות בכך התנהגות נורמלית). לעת עתה, שקול תכונה זו כנסיונית ודווח על באגים. במצבים מוזרים, אתה תמיד יכול להשתמש בקטגוריות של סיומות קבצים, למשל, Extension/epub.

אם קטגוריות אוטומטיות לפי פורמט מופעלות, קטגוריות אוטומטיות שמקבצות כמה פורמטים לפי סוג מופעלות גם: "ארכיונים", "תמונות", "וידאו", "אודיו" ו"מסמכים". שמות מקומיים ייעשו גם עבור תת-קטגוריות אלו.

מה לא נאמר

ויטיס זה התברר ככלי רב-צדדי, וקשה לכסות הכל בבת אחת. הרשה לי להזכיר בקצרה מה עוד אתה יכול לעשות:

• ניתן למחוק ולהסיר קטגוריות מקבצים;
• ניתן להעתיק את התוצאות של שאילתות ביטוי לספרייה שצוינה;
• ניתן להפעיל קבצים כתוכניות;
• לפקודת show אפשרויות רבות, למשל, מיון לפי שם/תאריך שינוי או גישה/גודל/הרחבה, הצגת מאפייני קבצים ונתיבים למקורות, הפעלת הצגת קבצים מוסתרים וכו';
• כאשר אתה שומר קישורים למקורות אינטרנט, אתה יכול גם לשמור עותקים מקומיים של דפי HTML.

פרטים מלאים ניתן למצוא בעזרה למשתמש.

סיכויים

ספקנים אומרים לעתים קרובות ש"אף אחד לא יגדיר את התגים האלה בעצמו." בעזרת הדוגמה שלי, אני יכול להוכיח את ההיפך: כבר קטלגתי יותר מששת אלפים קבצים, יצרתי יותר מאלף קטגוריות וכינויים, וזה היה שווה את זה. כאשר צוות אחד vitis open План פתח את רשימת המטלות שלך או כאשר עם פקודה אחת vitis open LaTeX כשאתה פותח את ספרו של סטוליארוב על מערכת הפריסה של LaTeX, זה כבר קשה מבחינה מוסרית להשתמש במערכת הקבצים "בדרך הישנה".

על בסיס זה עולים מספר רעיונות. לדוגמה, אתה יכול ליצור רדיו אוטומטי שמדליק מוזיקה נושאית לפי מזג האוויר הנוכחי, החג, היום בשבוע, השעה ביום או בשנה. עוד יותר קרוב לנושא נגן מוזיקה שיודע על קטגוריות ויכול לנגן מוזיקה לפי ביטוי עם פעולות על קטגוריות כמו על סטים. זה שימושי ליצור דמון שיפקח על ספריית "הורדות" ויציע לסווג קבצים חדשים. וכמובן, עלינו ליצור מנהל קבצים סמנטי גרפי רגיל. פעם אפילו יצרתי שירות אינטרנט לארגון לשימוש קולקטיבי בקבצים, אבל זה לא היה בראש סדר העדיפויות והפך ללא רלוונטי, למרות שהשיג רמת ביצועים גבוהה. (עקב שינויים גדולים ב ויטיס, זה כבר לא שמיש.)

הנה הדגמה קטנה

מסקנה

ויטיס זה לא הניסיון הראשון לשנות באופן קיצוני את סגנון העבודה עם נתונים, אבל חשבתי שזה חשוב ליישם את הרעיונות שלי ולהפוך את היישום לזמין לציבור תחת רישיון GNU GPL. מטעמי נוחות, נוצרה חבילת deb עבור x86-64; היא אמורה לעבוד על כל ההפצות המודרניות של Debian. היו קשיים קלים ב-ARM (בעוד שכל התוכניות האחרות קשורות ל ויטיס, עובד בסדר), אבל בעתיד תורכב חבילת עבודה עבור הפלטפורמה הזו (armhf). הפסקתי ליצור חבילות RPM לעת עתה עקב בעיות ב-Fedora 30 והקושי להתפזר על פני הפצות RPM רבות, אך חבילות מאוחרות יותר עדיין ייעשו עבור לפחות כמה מהן. בינתיים אתה יכול להשתמש make && make install או checkinstall.

תודה לכולכם על תשומת הלב! אני מקווה שמאמר זה והפרויקט הזה יכולים להיות שימושיים.

קישור למאגר הפרויקטים

מקור: www.habr.com