Virtuella filsystem i Linux: varför behövs de och hur fungerar de? Del 1

Hej alla! Vi fortsätter att lansera nya flöden för de kurser ni redan älskar, och nu är vi glada att meddela att vi startar en ny kurs «Linuxadministratör», som börjar i slutet av april. I samband med detta kommer en ny publikation att publiceras. Den ursprungliga texten kan ni läsa här.

Virtuella filsystem fungerar som en slags magisk abstraktion som gör att Linux-filosofin kan påstå att "allt är en fil".

Vad är ett filsystem? Baserat på orden från en av de första bidragsgivarna och författarna till Linux Robert Love, "Ett filsystem är ett hierarkiskt datalager som är organiserat enligt en viss struktur." Hur som helst passar denna definition lika bra för VFAT (Virtual File Allocation Table), Git och Cassandra (NoSQL-databasen). Så vad definierar ett begrepp som "filsystem"?

Grunderna för filsystemet

Linux-kärnan har vissa krav på en entitet som kan betraktas som ett filsystem. Den måste implementera metoderna open(), read() och write() för permanenta objekt som har namn. Ur ett objektorienterat programmeringsperspektiv, definierar kärnan ett generiskt filsystem som en abstrakt gränssnitt, och dessa tre stora funktioner betraktas som "virtuella" och har ingen konkret definition. Därmed kallas standardimplementeringen av ett filsystem för ett virtuellt filsystem (VFS).

Om vi kan öppna, läsa och skriva till en entitet, betraktas denna entitet som en fil, som vi ser i exemplet i konsolen ovan.
Fenomenet VFS betonar bara en observation som är karaktäristisk för Unix-liknande system, som säger att "allt är en fil". Tänk på hur konstigt det är att det lilla exemplet ovan med /dev/console visar hur konsolen egentligen fungerar. Bilden visar en interaktiv Bash-session. Att skicka en rad till konsolen (virtuell konsolenhet) visar den på den virtuella skärmen. VFS har andra, ännu mer märkliga egenskaper. Till exempel möjliggör den att söka i dem.

De system som vi känner till, såsom ext4, NFS och /proc har tre viktiga funktioner i C-strukturer som kallas file_operations. Dessutom utökar och åsidosätter vissa filsystem VFS-funktioner på ett bekant objektorienterat sätt. Som Robert Love påpekar gör VFS-abstraktionen att Linux-användare utan bekymmer kan kopiera filer till eller från andra operativsystem eller abstrakta entiteter som pipes, utan att behöva oroa sig för deras interna dataformat. Från användarsidan kan en process via systemanrop kopiera från en fil till kernelstrukturer med metoden read() från ett filsystem, och sedan använda metoden write () från ett annat filsystem för att skriva ut data.

Definitioner av funktioner som tillhör grundtyperna i VFS finns i filerna fs/*.c i kärnans källkod, medan undermapparna fs/ innehåller specifika filsystem. I kärnan finns även enheter såsom cgroups, /dev och tmpfs, som krävs under uppstartsprocessen och därför definieras i kärnans undermapp init/. Observera att cgroups, /dev och tmpfs de inte anropar 'de stora tre' funktionerna file_operations, utan läser och skriver direkt till minnet.
I diagrammet nedan visas hur användarrummet interagerar med olika typer av filsystem som vanligtvis monteras i Linux-system. Konstruktioner såsom pipes, dmesg och POSIX-klockor, som också implementerar strukturen, visas inte, och åtkomsten sker genom VFS-lagret. file_operationsVFS är ett 'skal' mellan systemanrop och implementationer av specifika

procfs. file_operations, såsom ext4 och Funktionerkan interagera antingen med enhetsdrivrutiner eller med minnesåtkomstenheter. file_operations devtmpfs tmpfs, använder inte och cgroups , utan adresserar minnet direkt. file_operationsExistensen av VFS möjliggör kodåteranvändning, eftersom de grundläggande metoderna relaterade till filsystem inte behöver implementeras på nytt av varje typ av filsystem. Kodåteranvändning är en allmänt använd praxis bland mjukvaruingenjörer! Men om den återanvända koden innehåller
allvarliga buggar , drabbas alla implementationer som ärver de gemensamma metoderna.Ett enkelt sätt att upptäcka att VFS finns i systemet är att skriva

/tmp: Простая подсказка

mount | grep -v sd | grep -v :/ , vilket visar alla monterade (mounted) filsystem som inte är residenta på disken och inte är NFS, vilket gäller för de flesta datorer. En av de listade monteringarna (mounts)) VFS, det kommer säkert att /tmp, eller hur?

Alla vet att lagring / tmp på fysisk media är galenskap! Källa.

Varför är det oönskvärt att lagra /tmp på fysisk media? För att filer i /tmp är temporära och lagringsenheter är långsammare än minnet där tmpfs skapas. Dessutom är fysiska medier mer utsatta för slitage vid omskrivning än minnet. Slutligen kan filer i /tmp innehålla konfidentiell information, så deras försvinnande vid varje omstart är en inneboende funktion.

Tyvärr skapar vissa installationsskript för Linux-distributioner /tmp på lagringsenheten som standard. Oroa dig inte om detta har skett med ditt system. Följ några enkla instruktioner från Arch Wiki, för att åtgärda detta, och kom ihåg att minnet som tilldelas för tmpfs blir otillgängligt för andra ändamål. Med andra ord kan ett system med en enorm tmpfs och stora filer i den förbruka allt minne och krascha. Ett annat tips: när du redigerar filen /etc/fstab, kom ihåg att den ska sluta med en ny rad, annars kommer ditt system att misslyckas med att starta.

/proc и /sys

Förutom /tmp, VFS (virtuella filsystem) som är mest kända för Linux-användare är /proc och /sys. (/dev beläget i delat minne och har ingen file_operations). Varför just dessa två komponenter? Låt oss förstå denna fråga.

Funktioner skapar en ögonblicksbild av kärnans och de processer som den kontrollerar för userspace. I /proc kärnan ger information om vilka resurser den har tillgång till, till exempel avbrott, virtuell minne och schemaläggare. Dessutom /proc/sys är det en plats där inställningar, konfigurerade med kommandot sysctl, är tillgängliga för userspace. Status och statistik för individuella processer visas i kataloger /proc/.

Här /proc/meminfo — är en tom fil som ändå innehåller värdefull information.

Beteendet /proc hos filer visar hur olika filsystem VFS kan vara. Å ena sidan /proc/meminfo innehåller information som kan ses med kommandot free. Å andra sidan är de tomma! Hur är det möjligt? Situationen påminner om den berömda artikeln med titeln «Finns månen när ingen ser på den? Verklighet och kvantteori», skriven av fysikprofessor David Mermin vid Cornell University 1985. Poängen är att kärnan samlar statistik över minnet när en begäran görs. /proc, och i själva verket finns det ingenting i filerna /proc när ingen tittar på dem. Som Merlin, "Den grundläggande kvantdoktrinen säger att mätning i allmänhet inte avslöjar något tidigare existerande värde av den uppmätta egenskapen." (Och fundera över frågan om månen som läxa!)
Den till synes tomma Funktioner har betydelse, eftersom informationen där är dynamisk. En något annan situation är med sysfs. Låt oss jämföra hur många filer som är minst en byte stora som finns i /proc och i /sys.

Procfs har en fil, nämligen den exporterade kärnkonfigurationen, som är ett undantag eftersom den bara behöver genereras en gång per boot. Å andra sidan innehåller /sys många mer omfattande filer, varav många tar upp en hel sida minne. Vanligtvis innehåller filer sysfs precis ett nummer eller en sträng, till skillnad från informations tabeller som erhålls när man läser sådana filer som /proc/meminfo.

Syftet sysfs är att tillhandahålla egenskaper som kan läsas och skrivas av det som kärnan kallar "kobjects" i användarrummet. Den enda målsättningen med kobjects är referensräkning: när den sista referensen till en kobject tas bort kommer systemet att återställla resurserna kopplade till det. Trots detta /sys utgör en stor del av den berömda "stabila ABI för användarrum" i kärnan, som ingen någonsin, under några omständigheter kan "bryta".Detta innebär inte att filerna i sysfs är statiska, vilket skulle stå i kontrast till referensräkningen för instabila objekt.
Den stabila binära applikationsgränssnittet av kärnan (kernel’s stable ABI) begränsar vad som kan dyka upp i /sys, snarare än vad som faktiskt finns där vid den aktuella tidpunkten. En lista över filrättigheter i sysfs ger en förståelse för hur konfigurerbara enheter, moduler, filsystem osv. kan ställas in eller läsas. Vi kan dra den logiska slutsatsen att procfs också är en del av den stabila ABI:n i kärnan, även om detta inte anges tydligt i dokumentationen.

Filer i sysfs beskriver en specifik egenskap för varje entitet och kan vara läsbara, skrivbara eller både och. "0" i filen indikerar att SSD:n inte kan tas bort.

Den andra delen av översättningen börjar med hur man observerar VFS med hjälp av eBPF-verktyg och bcc, och nu ser vi fram emot era kommentarer och inbjuder traditionellt till öppen webbinarie, som redan den 9 april kommer att hållas av vår lärare — Vladimir Drozdetsky.

Källa: habr.com