Хабра-детектив: вашата снимка е изгубена

Чудили ли сте се някога колко информация се губи безследно? В крайна сметка информацията е това, за което съществува Habr. Знаете ли какво най-често се случва с ресурси, базирани на потребителски публикации? Авторите вмъкват изображения, снимки и видеоклипове от сайтове на трети страни и след известно време те вече не са достъпни. За това е създаден някога. Хабрасъхранение. Практиката показва, че никой (с изключение на редакторите и няколко ентусиасти) не качва изображения там самостоятелно. Следователно в даден момент администрацията на Habr направи тази функция автоматична - всяко изображение, което се появява в публикация, автоматично се качва в хранилището и няма да изчезне оттам, докато съществува самият Habr. Разбира се, има изключения и нещо може да се обърка, но не за тях сега.

Най-големият проблем в цялата тази схема със зареждането на изображения в Habrastorage се появи по време на нейното внедряване. По това време някои стари публикации вече нямаха чертежи и затова останаха така. Днес ще се опитаме да разберем колко графична информация Habr е загубил от раждането си. Освен това, може би можем да намерим нещо, което липсваше? Това „изображението не може да се зареди“ мъниче е досадно, нали? Днешната детективска история е посветена точно на това. Да започваме!

Може да сте били доведени до тази статия чрез споменаване в преследвач? Вероятно е изчезнала снимка от някоя от старите ви публикации и аз я намерих. Ако не искате да прочетете цялата публикация, можете просто да превъртите до спойлера в самия край (раздел резултати), който изброява всички намерени публикации и изображения. Благодаря ти!

Въведение и методи

Нашата детективска история ще започне от самото начало (логично, нали?). От началото на Хабр. В крайна сметка, колкото по-рано е публикувана публикация, толкова по-голям е шансът изображенията от нея да бъдат изгубени някъде в историята. Затова ще започнем от 2006 г. и ще продължим малко напред.

Всички публикации от 40 хъба, които в момента са в началото на класацията, са включени в разглеждането. Пълният списък на тези хъбове е представен под спойлера. Всъщност много от тях не съществуваха тогава, но когато бяха добавени нови центрове, публикациите бяха прехвърлени там.

Списък на хъбове

* никс, Алгоритми, Изкуствен интелект, астронавтика, Биотехнологии, Мозък, C + +, Управление на развитието, Направи си сам, Екология, Разработване на игри, Игри и игрови конзоли, Здраве на маниак, История на ИТ, информационна сигурност, IT кариера, ИТ инфраструктура, IT компании, Ява, JavaScript, Законодателство в ИТ, Lifehacks за маниаци, машина обучение, Производство и разработка на електроника, Nginx, Отворен код, отдел личен състав, Физика, Научно-популярна, Продуктов мениджмънт, Програмиране, Управление на проекти, Питон, Читалня, Обратно инженерство, Социални мрежи и общности, Администриране на системата, Анализ и дизайн на системата, Бъдещето е тук, Разработване на уебсайтове

Информацията е събрана с помощта на набор от PHP скриптове. Всяка публикация беше изтеглена, съдържанието на етикета беше определено и проверени за етикети вътре. За всяко изображение се съхраняват връзки към изображенията, свързани с ID на публикацията в Habré. Тази информация се анализира допълнително.

Какво е публикувано и кога

2006

В самото начало на Habr нямаше толкова публикации, колкото сега, а в тях имаше още по-малко снимки. Общо 2006 публикации бяха публикувани в изброените центрове през 05.06.2006 г. (започвайки от 221 г.). 53 от тези публикации съдържат общо 75 изображения. Максимум изображения (10 броя) в публикация "Десет джаджи, които промениха света". 50 рисунки вече са на Habrastorage. Други 25 са изгубени. Всички те са уникални и не се повтарят.

Интересен факт: Две от изображенията водят до самия Habr, но не са достъпни от дълго време. Това са изображенията http://www.habrahabr.ru/tmp/sup_blogs_preview.gif и http://www.habrahabr.ru/tmp/upgrade-chart.gif.

И така, загубени за 2006 г 33.3% изображения в публикации.

2007

През 2007 г. броят на публикациите нараства значително, както и броят на изображенията - публикувани са 1 публикации. 713 публикации съдържат 599 изображения. 1 изображения бяха прехвърлени в Habrastorage, а 467 бяха загубени (16.2%).

Интересен факт: Публикуване Топ 100 на Mac OS приложения съдържа максимум 2007 изображения за 100 г. и не съдържа авторски текст.

Освен това някои от тези изгубени изображения са дубликати. И така, едно от тях се среща 6 пъти в едно Публикуване само с 6 снимки. Освен това изображението „Up.gif“ се повтаря 21 пъти, „Down.gif“ 16 пъти и „Same.gif“ 8 пъти от един домейн. И всички тези 45 изображения от един пост, който съдържа само 47 снимки.

Остават 191 уникални .

2008

Тъй като броят на публикациите на Habré се увеличава само от година на година, през 2008 г. нашият детектив ще прегледа 2 публикации, както и 520 изображения. Забелязахме, че през 2 г. броят на изображенията в публикациите най-накрая надхвърли броя на публикациите. Освен това само 969 публикации съдържат снимки, а в публикацията са представени максимум 2008 елемента графична информация "Историята на празничните лога на Google". 1 изображения вече са запазени в Habrastorage, а 943 са изгубени (34.6%).

Интересен факт: Най-неочакваното изображение (или по-скоро проблемът в дизайна на публикацията) е локализирано тук. В резултат на това Habr се опитва да изтегли изображението чрез http://#/.

Ориз. 1. Обща статистика на разглежданите

Възможно ли е да се възстанови поне нещо?

Частичното възстановяване не е трудно. Например, най-мързеливият начин би бил да използвате Internet Archive в опит да заредите запазени страници на публикация. Освен това можете да опитате да „намерите“ самите изображения в архива, като използвате директни връзки.

Да си улесниш живота: Трябва да проверите за наличието на изображения във всички версии на страницата в архива, а не само в най-старите и най-новите.

За съжаление, въпреки че този метод работи в някои случаи, е толкова трудно да се възстановят поне половината от изображенията. Следователно следващата стъпка е да проверите кръстосаното публикуване, оригиналните преводи и, разбира се, архивните копия на оригиналните страници.

Освен това можете да опитате да намерите желаните изображения, като използвате едно от неофициалните огледала на Habr, които веднъж са работили и все още съхраняват част от копираната информация.

Последният и най-труден вариант е използването на търсачки. Ако знаете точно какво трябва да има в изображението (има описание и контекст), има шанс да намерите файлове със същото име, ако някога са били копирани от някой в ​​друг ресурс.

Естествено всяка следваща стъпка увеличава нелинейно времето за търсене.

Какво намерихме

Може да не сте много впечатлени от броя на изображенията, намерени досега - те са 300 (съдържат се в 140 публикации от 81 автори). Ако вземем предвид броя на „загубите“ (1), резултатът е около 24.2%. Защо има по-малко липсващи изображения, отколкото бяха? Всички безполезни изображения (като броячи на прегледи) и несъществуващи изображения (като вече споменатия http://#/, както и http://fig.jpg/ и т.н.).

Как измислихте такова кръгло число? Факт е, че приблизително 300 дни търсене приключи. Първоначално щях да отида на 333, но 300 изглежда доста добре. Освен това в момента около 33% всички "жертви на издирването".

Ориз. 2. Текущи резултати от търсенето

Всички намерени изображения (с изключение на един .bmp, с него би бил 301) се качват на hsto.org, а връзки към тях и публикации, както и индекси на изображения в тях, са дадени в следващия раздел.

резултати

И така, под спойлера са успешно намерените изображения, както и идентификаторът на публикациите, индексът на изображението в текста на публикацията (започвайки от 1, а не от 0) и авторът на публикацията. Ако вие сте автор на споменатата публикация и намерените снимки са верни, моля коригирайте публикациите си. Благодаря ти!

Между другото, някои изображения всъщност все още са достъпни за гледане в публикации, но не са прехвърлени в Habrastorage и следователно в даден момент те също могат да станат недостъпни.

300 снимки

Автор
ID на публикация
Индекси и връзки
Пример

0x62ash
27149
1

0xa8
11105
1

2 Лошо
607
1

1097
1

1106
1, 2, 3, 5, 24

13836
2

4eese
30820
1, 2, 3, 5

8cinq
41853
1

46498
1

Адам_Б
12582
1

айну
39501
1

алардус
2628
1

Аляска
23447
1, 2

aleks_raiden
24479
2

30594
3

39037
1

40312
1, 2, 3, 4

44152
1, 2, 3

46294
1

46741
1

47782
1, 2, 3, 4, 5

alfsoft
42782
1, 2, 3, 4, 5

ализар
37779
1, 2

altblog
44677
1

арестов
37921
1

чл
19726
1

badlittleduck
16292
1, 2, 3, 4, 5

Барков
26335
1

BBSoD
8505
1

bO_oblik
22150
1, 2, 3, 4, 5

22186
1

22215
1

22322
1, 2, 3, 4, 5, 6

22334
1, 2

22375
1, 2, 3

22510
1, 2

22614
1

22836
1, 2

26181
1, 2, 3, 4, 6

28196
1, 2, 3, 4, 5, 6, 7, 8

29706
1, 2, 3, 4

31490
1, 2, 3, 4

36713
1

37180
1

37249
1

37306
1, 2

38013
1

38389
1, 2

41104
1, 2

41647
1

41821
1, 2

pure_v
12783
1

чулак
45783
1, 2, 3, 4, 5, 6, 7

Кос
31069
1

Къдрава скоба
11010
1

11941
1

14157
1

37303
1

dreikanter
31320
1, 2, 4

ентце
40767
1

Феникс
20843
2

23902
1

39109
1

първи байт
38314
1

фритоник
26593
1

фруджо
40987
1

garbuz
29694
1

горинич
12027
1

Земно притегляне
28840
1

HREF
46908
1, 2

илява
30902
2, 3

Imposeren
26566
1

invladis
42904
1

Карлсон
8971
Надолу.gif, Същото.gif, tpci_trends.png, Up.gif

31042
1

31050
1

31141
1, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17

Клаус
15775
1, 2, 3, 4, 5, 6, 7, 8

Lain_13
16891
2

лепард
38391
1

ЛукаСафонов
43537
1

меако
26705
1

Мидгард
31419
2, 3, 4

Mio
396
1

753
1

936
1

мозайка
744
1

Mr_Floppy
28343
1

нула
44476
1

офицер
110
1

oleg_bunin
7207
1

7226
1

8679
1

12768
1

olegafx
43934
1, 2, 3, 4, 5, 6, 7, 8-9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19

островитянин
37146
2, 3

пономар
14141
1

порчини
21850
1, 2

Pure_BY
8416
1

RAF
851
1, 2

рамбер
43693
1

Рост
44380
1

рускар
42578
3, 5, 8

светец
702
1

SamDark
30104
1

Scala
37804
4

Шапелез
23260
1

44379
1, 2

46113
1

46599
1

47536
1

удрям се
8134
1, 2

смартов
17160
3

смитана
30375
1

spanasik
44755
17

spiritus_sancti
41129
1, 2

SummerDream
3801
1

слънчева мечка
31211
1, 2

прекъсвач
9095
1

Таурус
37507
1

Тоген
38733
1

45024
1

45170
1

цепелев
36611
1

VadimUA
46922
1

витол
26073
1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21

30171
1, 2, 3

XaocCPS
40036
1

284390
1

284392
1

284394
1

284396
1

yaneblog
39007
1, 6

40621
3

Есутин
9453
1

9645
1

31078
1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12

yshilyaev
5556
1, 2, 3

Zada
31123
2

Зигзаг
15492
1

Вместо заключение

Може би някой ще сметне, че възстановяването на такава остаряла информация няма смисъл. И освен това, някои от намерените изображения бяха безсмислени дори когато бяха публикувани. Това несъмнено е вярно.

Всяка информация е важна. Поне от гледна точка на историческия анализ. Да не говорим за факта, че в някои авторски материали той играе ключова роля. Да, в момента Habr няма дори 15 години и някои от източниците все още са налични, но с течение на времето те ще стават все по-малко и затова си струва да помислите предварително дали нещо ще остане за по-късно или ще има бъде вечно „недостъпно изображение“.

Е, не забравяйте, че контейнерите за недостъпни изображения са просто досадни. Разбира се, малко хора ще прочетат „някои стари неща“, но ще има такива хора. Следователно, тъй като тези публикации все още са достъпни на Habré, тяхното съдържание трябва да бъде възможно най-пълно.

За съжаление, Habrastorage все още не поддържа директно изтегляне за всички формати на изображения, но може би това ще бъде поправено някой ден.

Последният проблем, който бих искал да спомена и за който вероятно сте мислили, „ами ако авторът не е използвал Habr дълго време и не се интересува от коригиране на стари неща?“ Този въпрос е възниквал в главата ми повече от веднъж, но решението тук не е толкова трудно. Старите публикации винаги могат да бъдат коригирани НЛО в лицето на модераторите (можете, Екзосфера?) или администрация (Бумбурум може да даде на някого задача).

Какво мислите, струва ли си да се опитате да възстановите поне нещо?

Това е всичко за днес. Благодаря ви за вниманието и нека всичките ви изображения да бъдат качени в Habrastorage без проблеми! Нека това да не се случва

PS Ако откриете печатни грешки или грешки в текста, моля, уведомете ме. Това може да стане, като изберете част от текста и натиснете "Ctrl / ⌘ + Enter", ако имате Ctrl / ⌘, или чрез лични съобщения. Ако и двете опции не са налични, пишете за грешките в коментарите. Благодаря ти!

PPS Може би ще се заинтересувате и от другите ми изследвания на Habr или искате да предложите своята тема за следващата публикация или може би дори за нов цикъл от публикации.

Къде да намерите списъка и как да направите оферта

Цялата информация може да бъде намерена в специално хранилище хабр-детектив. Там можете също да разберете кои предложения вече са били изразени и какво вече се работи.

Също така можете да ме споменете (като пишете VaskivskyiYe) в коментарите към публикация, която ви се струва интересна за изследване или анализ.

Източник: www.habr.com