4.2.2. RBER en schijfleeftijd (exclusief PE-cycli).
Figuur 1 laat een significante correlatie zien tussen RBER en de leeftijd, het aantal maanden dat de schijf in het veld is geweest. Dit kan echter een valse correlatie zijn, aangezien het waarschijnlijk is dat oudere schijven meer PE's hebben en daarom is RBER meer gecorreleerd met PE-cycli.
Om het effect van leeftijd op slijtage veroorzaakt door PE-cycli te elimineren, hebben we alle maanden van gebruik in containers gegroepeerd, waarbij we de decielen van de PE-cyclusverdeling gebruiken als grens tussen containers. De eerste container bevat bijvoorbeeld alle maanden van de levensduur van de schijf tot aan de eerste deciel van de verdeling van de PE-cyclus, enzovoort. We hebben geverifieerd dat binnen elke container de correlatie tussen PE-cycli en RBER vrij klein is (aangezien elke container slechts een klein bereik aan PE-cycli bestrijkt), en vervolgens voor elke container afzonderlijk de correlatiecoëfficiënt tussen RBER en schijfleeftijd berekend.
We hebben deze analyse voor elk model afzonderlijk uitgevoerd, omdat eventuele waargenomen correlaties niet te wijten zijn aan verschillen tussen de jongere en oudere modellen, maar uitsluitend aan de leeftijd van de drijfveren van hetzelfde model. We hebben waargenomen dat zelfs nadat het effect van PE-cycli op de hierboven beschreven manier was beperkt, er voor alle aandrijfmodellen nog steeds een significante correlatie bestond tussen het aantal maanden dat een rit in het veld was geweest en de RBER ervan (correlatiecoëfficiënten varieerden van 0,2 tot 0,4). ).
Rijst. 3. De relatie tussen RBER en het aantal PE-cycli voor nieuwe en oude schijven laat zien dat de leeftijd van de schijf de RBER-waarde beïnvloedt, ongeacht de PE-cycli veroorzaakt door slijtage.
We hebben ook grafisch het effect van de leeftijd van de schijf gevisualiseerd door de dagen waarop de schijf werd gebruikt op een “jonge” leeftijd tot 1 jaar te verdelen en de dagen waarop de schijf werd gebruikt over de leeftijd van 4 jaar, en vervolgens de RBER van elke leeftijd in kaart te brengen. groep tegen het aantal PE-cycli. Figuur 3 toont deze resultaten voor het MLC-D-aandrijfmodel. We zien een merkbaar verschil in RBER-waarden tussen de groepen oude en nieuwe schijven gedurende alle PE-cycli.
Hieruit concluderen we dat leeftijd, gemeten aan de hand van het aantal dagen schijfgebruik in het veld, een significante impact heeft op RBER, onafhankelijk van de slijtage van geheugencellen als gevolg van blootstelling aan PE-cycli. Dit betekent dat andere factoren, zoals siliciumveroudering, een grote rol spelen bij de fysieke slijtage van de schijf.
4.2.3. RBER en werkdruk.
Er wordt aangenomen dat bitfouten worden veroorzaakt door een van de volgende vier mechanismen:
- opslagfouten Retentiefouten, wanneer een geheugencel na verloop van tijd gegevens verliest
Leesstoringsfouten, waarbij een leesbewerking de inhoud van een aangrenzende cel beschadigt; - Schrijfstoringsfouten, waarbij een leesbewerking de inhoud van een aangrenzende cel beschadigt;
- Onvolledige wisfouten, wanneer de wisbewerking de inhoud van de cel niet volledig verwijdert.
Fouten van de laatste drie typen (leesverstoring, schrijfverstoring, onvolledig wissen) zijn gecorreleerd met de werklast, dus het begrijpen van de correlatie tussen RBER en werklast helpt ons de prevalentie van verschillende foutmechanismen te begrijpen. In een recente studie, "A large-scale study of flash memory Failures in the field" (MEZA, J., WU, Q., KUMAR, S., MUTLU, O. "A large-scale study of flash memory mislukkingen in the field." In Proceedings of the 2015 ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems, New York, 2015, SIGMETRICS '15, ACM, pp. 177–190) werd geconcludeerd dat opslagfouten de overhand hebben in het veld, terwijl leesfouten zijn vrij gering.
Figuur 1 toont voor sommige modellen een significante relatie tussen de RBER-waarde in een bepaalde maand levensduur van de schijf en het aantal lees-, schrijf- en wisbewerkingen in dezelfde maand (de correlatiecoëfficiënt is bijvoorbeeld hoger dan 0,2 voor de MLC - B model en hoger dan 0,6 voor de SLC-B). Het is echter mogelijk dat dit een valse correlatie is, aangezien de maandelijkse werklast gerelateerd kan zijn aan het totale aantal gymcycli.
We hebben dezelfde methodologie gebruikt als beschreven in paragraaf 4.2.2 om de effecten van werkdruk te isoleren van de effecten van PE-cycli door maanden van schijfgebruik te isoleren op basis van eerdere PE-cycli, en vervolgens de correlatiecoëfficiënten afzonderlijk voor elke container te bepalen.
We zagen dat de correlatie tussen het aantal leesbewerkingen in een bepaalde maand van de levensduur van de schijf en de RBER-waarde in die maand bleef bestaan voor de MLC-B- en SLC-B-modellen, zelfs als de PE-cycli werden beperkt. We hebben ook een soortgelijke analyse herhaald, waarbij we het effect van leesbewerkingen op het aantal gelijktijdige schrijf- en wisbewerkingen hebben uitgesloten, en geconcludeerd dat de correlatie tussen RBER en het aantal leesbewerkingen geldt voor het SLC-B-model.
Figuur 1 toont ook de correlatie tussen RBER en schrijf- en wisbewerkingen, dus herhaalden we dezelfde analyse voor lees-, schrijf- en wisbewerkingen. We concluderen dat door het beperken van de impact van PE-cycli en leesbewerkingen er geen verband bestaat tussen de RBER-waarde en het aantal schrijf- en wisbewerkingen.
Er zijn dus schijfmodellen waarbij leesovertredingsfouten een aanzienlijke impact hebben op RBER. Aan de andere kant is er geen bewijs dat RBER wordt beïnvloed door schrijffouten en onvolledige wisfouten.
4.2.4 RBER en lithografie.
Verschillen in objectgrootte kunnen de verschillen in RBER-waarden tussen aandrijfmodellen die dezelfde technologie gebruiken, namelijk MLC of SLC, gedeeltelijk verklaren. (Zie Tabel 1 voor een overzicht van de lithografie van de verschillende modellen die in deze studie zijn opgenomen).
Twee SLC-modellen met 2 nm-lithografie (modellen SLC-A en SLC-D) hebben bijvoorbeeld een RBER die een orde van grootte hoger is dan die van twee modellen met 34 nm micro-elektronische lithografie (modellen SLC-B en SLC-C). In het geval van MLC-modellen heeft alleen het 2 nm-model (MLC-B) een mediaan RBER die 50% hoger is dan de andere 43 modellen met 50 nm-lithografie. Bovendien neemt dit verschil in RBER met een factor 3 toe naarmate de schijven verslijten, zoals weergegeven in figuur 50. Ten slotte kan dunnere lithografie de hogere RBER van eMLC-schijven verklaren in vergelijking met MLC-schijven. Over het geheel genomen hebben we duidelijk bewijs dat lithografie RBER beïnvloedt.
4.2.5. Aanwezigheid van andere fouten.
We onderzochten de relatie tussen RBER en andere soorten fouten, zoals niet-corrigeerbare fouten, time-outfouten, etc., in het bijzonder of de RBER-waarde hoger wordt na een maand blootstelling aan andere soorten fouten.
Figuur 1 laat zien dat hoewel de RBER van de voorgaande maand voorspellend is voor toekomstige RBER-waarden (correlatiecoëfficiënt groter dan 0,8), er geen significante correlatie bestaat tussen niet-corrigeerbare fouten en RBER (meest rechtse groep items in figuur 1). Voor andere soorten fouten is de correlatiecoëfficiënt zelfs nog lager (niet weergegeven in de figuur). We hebben de relatie tussen RBER en niet-corrigeerbare fouten verder onderzocht in paragraaf 5.2 van dit artikel.
4.2.6. Invloed van andere factoren.
We hebben bewijs gevonden dat er factoren zijn die een aanzienlijke impact hebben op RBER waar onze gegevens geen rekening mee konden houden. We hebben met name gemerkt dat de RBER voor een bepaald schijfmodel varieert, afhankelijk van het cluster waarin de schijf is geïmplementeerd. Een goed voorbeeld is Figuur 4, waarin RBER wordt weergegeven als een functie van PE-cycli voor MLC-D-schijven in drie verschillende clusters (stippellijnen) en wordt vergeleken met RBER voor dit model ten opzichte van het totale aantal schijven (ononderbroken lijn). We constateren dat deze verschillen blijven bestaan, zelfs als we de invloed van factoren zoals schijfleeftijd of aantal leesbewerkingen beperken.
Een mogelijke verklaring hiervoor zijn verschillen in het type werkbelasting tussen clusters, aangezien we waarnemen dat clusters waarvan de werkbelastingen de hoogste lees-/schrijfverhoudingen hebben, de hoogste RBER hebben.
Rijst. 4a), b). Mediane RBER-waarden als functie van PE-cycli voor drie verschillende clusters en afhankelijkheid van de lees-/schrijfverhouding van het aantal PE-cycli voor drie verschillende clusters.
Figuur 4(b) toont bijvoorbeeld de lees-/schrijfverhoudingen van verschillende clusters voor het MLC-D-schijfmodel. De lees-/schrijfverhouding verklaart echter niet de verschillen tussen clusters voor alle modellen, dus er kunnen andere factoren zijn waar onze gegevens geen rekening mee houden, zoals omgevingsfactoren of andere externe werklastparameters.
4.3. RBER tijdens versnelde duurzaamheidstesten.
Het meeste wetenschappelijke werk, evenals de tests die worden uitgevoerd bij de aankoop van media op industriële schaal, voorspellen de betrouwbaarheid van apparaten in het veld op basis van de resultaten van versnelde duurzaamheidstests. We besloten uit te zoeken hoe goed de resultaten van dergelijke tests overeenkomen met praktische ervaringen met het gebruik van solid-state opslagmedia.
Analyse van testresultaten uitgevoerd met behulp van de algemene versnelde testmethodologie voor apparatuur geleverd aan de datacenters van Google toonde aan dat veld-RBER-waarden aanzienlijk hoger zijn dan voorspeld. Voor het eMLC-a-model was de mediaan RBER voor schijven die in het veld werden gebruikt (aan het einde van de test bedroeg het aantal PE-cycli 600) bijvoorbeeld 1e-05, terwijl volgens de resultaten van voorlopige versnelde tests deze RBER waarde moet overeenkomen met meer dan 4000 PE-cycli. Dit geeft aan dat het erg moeilijk is om de RBER-waarde in het veld nauwkeurig te voorspellen op basis van RBER-schattingen verkregen uit laboratoriumtests.
We hebben ook opgemerkt dat sommige soorten fouten vrij moeilijk te reproduceren zijn tijdens versneld testen. In het geval van het MLC-B-model ondervindt bijvoorbeeld bijna 60% van de schijven in het veld onherstelbare fouten en ontwikkelt bijna 80% van de schijven slechte blokkades. Tijdens versnelde duurtests ondervond geen van de zes apparaten echter onherstelbare fouten totdat de schijven meer dan drie keer de PE-cycluslimiet bereikten. Bij eMLC-modellen traden niet-corrigeerbare fouten op bij meer dan 80% van de schijven in het veld, terwijl tijdens versnelde tests dergelijke fouten optraden na het bereiken van 15000 PE-cycli.
We hebben ook gekeken naar de RBER die werd gerapporteerd in eerder onderzoek, die was gebaseerd op experimenten in een gecontroleerde omgeving, en kwamen tot de conclusie dat het bereik van waarden extreem breed was. Bijvoorbeeld, L.M. Grupp en anderen rapporteren in hun werk uit 2009-2012 RBER-waarden voor aandrijvingen die de PE-cycluslimieten bijna bereiken. Voor SLC- en MLC-apparaten met lithografieformaten die vergelijkbaar zijn met die gebruikt in ons werk (25-50 nm), varieert de RBER-waarde bijvoorbeeld van 1e-08 tot 1e-03, waarbij de meeste geteste schijfmodellen een RBER-waarde hebben die dichtbij 1e ligt. 06.
In onze studie hadden de drie aandrijfmodellen die de PE-cycluslimiet bereikten RBER's variërend van 3e-08 tot 8e-08. Zelfs als we rekening houden met het feit dat onze cijfers ondergrenzen zijn en in het allerslechtste geval 16 keer groter zouden kunnen zijn, of als we rekening houden met het 95e percentiel van RBER, zijn onze waarden nog steeds aanzienlijk lager.
Hoewel de werkelijke RBER-waarden in het veld hoger zijn dan de voorspelde waarden op basis van versnelde duurzaamheidstests, zijn ze over het algemeen nog steeds lager dan de meeste RBER's voor vergelijkbare apparaten die in andere onderzoekspapers zijn gerapporteerd en zijn berekend op basis van laboratoriumtests. Dit betekent dat u niet moet vertrouwen op voorspelde veld-RBER-waarden die zijn afgeleid uit versnelde duurzaamheidstesten.
5. Onherstelbare fouten.
Gezien het wijdverbreide voorkomen van niet-corrigeerbare fouten (UE's), die in sectie 3 van dit artikel werden besproken, onderzoeken we in deze sectie hun kenmerken in meer detail. We beginnen met te bespreken welke maatstaf we moeten gebruiken om UE te meten, hoe deze zich verhoudt tot RBER en hoe UE wordt beïnvloed door verschillende factoren.
5.1. Waarom de UBER-ratio niet klopt.
De standaardmetriek die niet-corrigeerbare fouten karakteriseert, is de UBER-foutpercentage voor niet-corrigeerbare bits, dat wil zeggen de verhouding tussen het aantal niet-corrigeerbare bitfouten en het totale aantal gelezen bits.
Deze metriek gaat er impliciet van uit dat het aantal niet-corrigeerbare fouten op de een of andere manier verband houdt met het aantal gelezen bits, en daarom moet worden genormaliseerd door dit aantal.
Deze aanname geldt voor corrigeerbare fouten, waarbij het aantal waargenomen fouten in een bepaalde maand sterk gecorreleerd blijkt te zijn met het aantal metingen gedurende dezelfde periode (Spearman-correlatiecoëfficiënt groter dan 0.9). De reden voor zo’n sterke correlatie is dat zelfs één slecht bit, zolang het corrigeerbaar is met behulp van ECC, het aantal fouten zal blijven verhogen bij elke leesoperatie waartoe het toegang krijgt, aangezien de evaluatie van de cel die het slechte bit bevat, niet onmiddellijk gecorrigeerd wanneer een fout wordt gedetecteerd (schijven herschrijven slechts periodiek pagina's met beschadigde bits).
Dezelfde veronderstelling geldt niet voor niet-corrigeerbare fouten. Een niet-corrigeerbare fout sluit verder gebruik van het beschadigde blok uit, dus zodra het wordt gedetecteerd, heeft een dergelijk blok geen invloed op het aantal fouten in de toekomst.
Om deze veronderstelling formeel te bevestigen, hebben we verschillende statistieken gebruikt om de relatie te meten tussen het aantal leesbewerkingen in een bepaalde maand van de levensduur van de schijf en het aantal niet-corrigeerbare fouten gedurende dezelfde periode, inclusief verschillende correlatiecoëfficiënten (Pearson, Spearman, Kendall) , evenals visuele inspectie van grafieken. Naast het aantal niet-corrigeerbare fouten hebben we ook gekeken naar de frequentie van niet-corrigeerbare foutincidenten (dat wil zeggen de waarschijnlijkheid dat een schijf gedurende een bepaalde periode ten minste één dergelijk incident zal hebben) en hun relatie met leesbewerkingen.
We hebben geen bewijs gevonden voor een verband tussen het aantal lezingen en het aantal niet-corrigeerbare fouten. Voor alle aandrijfmodellen waren de correlatiecoëfficiënten lager dan 0.02, en de grafieken vertoonden geen enkele toename in UE naarmate het aantal lezingen toenam.
In paragraaf 5.4 van dit artikel bespreken we dat schrijf- en wisbewerkingen ook geen relatie hebben met niet-corrigeerbare fouten, dus de alternatieve definitie van UBER, die wordt genormaliseerd door schrijf- of wisbewerkingen in plaats van leesbewerkingen, heeft geen betekenis.
We concluderen daarom dat UBER geen betekenisvolle metriek is, behalve misschien wanneer het wordt getest in gecontroleerde omgevingen waar het aantal lezingen wordt bepaald door de onderzoeker. Als UBER tijdens veldtesten als maatstaf wordt gebruikt, wordt het foutenpercentage voor schijven met een hoog aantal leesbeurten kunstmatig verlaagd en wordt het foutenpercentage voor schijven met een laag leesaantal kunstmatig verhoogd, aangezien er onherstelbare fouten optreden, ongeacht het aantal leesbeurten.
5.2. Niet-corrigeerbare fouten en RBER.
De relevantie van RBER wordt verklaard door het feit dat het dient als maatstaf voor het bepalen van de algehele betrouwbaarheid van de schijf, met name op basis van de waarschijnlijkheid van niet-corrigeerbare fouten. In hun werk waren N. Mielke et al. in 2008 de eersten die voorstelden het verwachte niet-corrigeerbare foutenpercentage te definiëren als een functie van RBER. Sindsdien hebben veel systeemontwikkelaars soortgelijke methoden gebruikt, zoals het schatten van het verwachte niet-corrigeerbare foutenpercentage als functie van het RBER- en ECC-type.
Het doel van deze sectie is om te karakteriseren hoe goed RBER niet-corrigeerbare fouten voorspelt. Laten we beginnen met figuur 5a, waarin de mediaan RBER voor een aantal schijfmodellen van de eerste generatie wordt uitgezet tegen het percentage dagen dat ze in gebruik waren en waarbij oncorrigeerbare UE-fouten optraden. Opgemerkt moet worden dat sommige van de 16 modellen in de grafiek niet in Tabel 1 zijn opgenomen vanwege een gebrek aan analytische informatie.
Rijst. 5a. Relatie tussen mediaan RBER en niet-corrigeerbare fouten voor verschillende aandrijfmodellen.
Rijst. 5b. Relatie tussen mediaan RBER en niet-corrigeerbare fouten voor verschillende schijven van hetzelfde model.
Bedenk dat alle modellen binnen dezelfde generatie hetzelfde ECC-mechanisme gebruiken, dus verschillen tussen modellen zijn onafhankelijk van ECC-verschillen. We zagen geen verband tussen RBER- en UE-incidenten. We hebben dezelfde grafiek gemaakt voor de 95e percentiel-RBER versus UE-waarschijnlijkheid en zagen opnieuw geen correlatie.
Vervolgens herhaalden we de analyse met een granulariteit van individuele schijven, dat wil zeggen dat we probeerden uit te vinden of er schijven waren waar een hogere RBER-waarde overeenkomt met een hogere UE-frequentie. Als voorbeeld toont figuur 5b de mediaan RBER voor elke schijf van het MLC-c-model versus het aantal UE's (resultaten vergelijkbaar met die verkregen voor het 95e percentiel RBER). Opnieuw zagen we geen enkele correlatie tussen RBER en UE.
Ten slotte hebben we een nauwkeurigere timinganalyse uitgevoerd om te onderzoeken of de bedrijfsmaanden van schijven met een hogere RBER zouden overeenkomen met de maanden waarin UE's plaatsvonden. Figuur 1 heeft al aangegeven dat de correlatiecoëfficiënt tussen niet-corrigeerbare fouten en RBER erg laag is. We hebben ook geëxperimenteerd met verschillende manieren om de waarschijnlijkheid van UE als functie van RBER in kaart te brengen, maar hebben geen bewijs van correlatie gevonden.
We concluderen dus dat RBER een onbetrouwbare maatstaf is voor het voorspellen van UE. Dit kan betekenen dat de faalmechanismen die tot RBER leiden, verschillen van de mechanismen die tot niet-corrigeerbare fouten leiden (bijvoorbeeld fouten in individuele cellen versus grotere problemen die zich voordoen met het hele apparaat).
5.3. Onherstelbare fouten en slijtage.
Omdat slijtage een van de belangrijkste problemen van flashgeheugen is, toont Figuur 6 de dagelijkse waarschijnlijkheid van niet-corrigeerbare schijffouten als functie van PE-cycli.
Figuur 6. Dagelijkse waarschijnlijkheid van het optreden van niet-corrigeerbare aandrijffouten, afhankelijk van PE-cycli.
We merken op dat de kans op een UE voortdurend toeneemt met de leeftijd van de schijf. Net als bij RBER is de toename echter langzamer dan gewoonlijk wordt aangenomen: de grafieken laten zien dat UE's lineair groeien in plaats van exponentieel met PE-cycli.
Twee conclusies die we hebben getrokken voor RBER zijn ook van toepassing op UE's: ten eerste is er geen duidelijke toename van het foutpotentieel zodra de PE-cycluslimiet is bereikt, zoals in figuur 6 voor het MLC-D-model waarvan de PE-cycluslimiet 3000 is. varieert het foutenpercentage tussen verschillende modellen, zelfs binnen dezelfde klasse. Deze verschillen zijn echter niet zo groot als bij RBER.
Ten slotte hebben we, ter ondersteuning van onze bevindingen in paragraaf 5.2, vastgesteld dat binnen een enkele modelklasse (MLC versus SLC) de modellen met de laagste RBER-waarden voor een bepaald aantal PE-cycli niet noodzakelijkerwijs de modellen met de laagste zijn. waarschijnlijkheid van het optreden van UE. Over 3000 PE-cycli hadden MLC-D-modellen bijvoorbeeld RBER-waarden die 4 keer lager waren dan MLC-B-modellen, maar de UE-waarschijnlijkheid voor hetzelfde aantal PE-cycli was iets hoger voor MLC-D-modellen dan voor MLC-B modellen.
Figuur 7. Maandelijkse waarschijnlijkheid van het optreden van niet-corrigeerbare schijffouten als functie van de aanwezigheid van eerdere fouten van verschillende typen.
5.4. Onherstelbare fouten en werkdruk.
Om dezelfde redenen waarom de werkdruk RBER kan beïnvloeden (zie paragraaf 4.2.3), kan worden verwacht dat dit ook de UE zal beïnvloeden. Omdat we bijvoorbeeld hebben waargenomen dat leesovertredingsfouten invloed hebben op RBER, kunnen leesbewerkingen ook de kans op niet-corrigeerbare fouten vergroten.
We hebben een gedetailleerd onderzoek uitgevoerd naar de impact van de werkdruk op de EU. Zoals opgemerkt in paragraaf 5.1 hebben we echter geen verband gevonden tussen UE en het aantal lezingen. We herhaalden dezelfde analyse voor schrijf- en wisbewerkingen en zagen opnieuw geen correlatie.
Merk op dat dit op het eerste gezicht in tegenspraak lijkt te zijn met onze eerdere observatie dat niet-corrigeerbare fouten gecorreleerd zijn met PE-cycli. Daarom zou je een correlatie kunnen verwachten met het aantal schrijf- en wisbewerkingen.
In onze analyse van de impact van PE-cycli hebben we echter het aantal niet-corrigeerbare fouten in een bepaalde maand vergeleken met het totale aantal PE-cycli dat de aandrijving gedurende zijn hele levensduur tot nu toe heeft ondergaan, om het effect van slijtage te meten. Bij het bestuderen van de impact van de werkdruk hebben we gekeken naar de maanden waarin de schijf in bedrijf was en waarin in een bepaalde maand het hoogste aantal lees-/schrijf-/wisbewerkingen plaatsvonden, waarbij ook een grotere kans bestond op het veroorzaken van onherstelbare fouten. Dat wil zeggen dat we geen rekening hielden met rekening houden met het totale aantal lees-/schrijf-/wisbewerkingen.
Als gevolg hiervan kwamen we tot de conclusie dat leesfouten, schrijffouten en onvolledige wisfouten niet de belangrijkste factoren zijn bij de ontwikkeling van niet-corrigeerbare fouten.
Bedankt dat je bij ons bent gebleven. Vind je onze artikelen leuk? Wil je meer interessante inhoud zien? Steun ons door een bestelling te plaatsen of door vrienden aan te bevelen, 30% korting voor Habr-gebruikers op een unieke analoog van instapservers, die door ons voor u is uitgevonden: (beschikbaar met RAID1 en RAID10, tot 24 cores en tot 40GB DDR4).
Dell R730xd 2 keer goedkoper? Alleen hier in Nederland! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - vanaf $99! Lees over
Bron: www.habr.com