В тази статия ви представям мислите си за историята и перспективите за развитие на Интернет, централизираните и децентрализираните мрежи и в резултат на това възможната архитектура на следващото поколение децентрализирана мрежа.

Нещо не е наред с интернет

За първи път се запознах с интернет през 2000 г. Разбира се, това е далеч от самото начало - Мрежата вече е съществувала преди това, но това време може да се нарече първият разцвет на Интернет. Световната мрежа е гениалното изобретение на Тим Бърнърс-Лий, web1.0 в неговата класическа канонична форма. Много сайтове и страници, свързани помежду си с хипервръзки. На пръв поглед архитектурата е проста, като всички гениални неща: децентрализирано и безплатно. Искам - пътувам до сайтове на други хора, като следвам хипервръзки; Искам да създам собствен уебсайт, на който да публикувам това, което ме интересува - например мои статии, снимки, програми, хипервръзки към интересни за мен сайтове. И други публикуват връзки към мен.

Изглежда ли идилична картина? Но вече знаете как свърши всичко.

Има твърде много страници и търсенето на информация се е превърнало в много нетривиална задача. Предписаните от авторите хипервръзки просто не можаха да структурират това огромно количество информация. Първо имаше ръчно попълнени директории, а след това гигантски търсачки, които започнаха да използват гениални евристични алгоритми за класиране. Уеб сайтовете бяха създадени и изоставени, информацията беше дублирана и изкривена. Интернет бързо се комерсиализира и се отдалечава все повече от идеалната академична мрежа. Езикът за маркиране бързо се превърна в език за форматиране. Появиха се реклами, неприятни досадни банери и технология за популяризиране и заблуда на търсачките - SEO. Мрежата бързо се задръстваше с информационен боклук. Хипервръзките престанаха да бъдат средство за логическа комуникация и се превърнаха в средство за промоция. Уебсайтовете се затвориха в себе си, превърнаха се от отворени „страници“ в запечатани „приложения“ и се превърнаха единствено в средство за генериране на доходи.

Дори тогава имах известна мисъл, че „тук нещо не е наред“. Куп различни сайтове, вариращи от примитивни начални страници с вид на гугли очи, до „мегапортали“, претоварени с мигащи банери. Дори сайтовете да са на една и съща тема, те изобщо не са свързани, всеки има собствен дизайн, своя структура, досадни банери, лошо работещо търсене, проблеми с тегленето (да, исках да имам информация офлайн). Още тогава интернет започваше да се превръща в някаква телевизия, където всякакъв вид сърма беше прикован към полезно съдържание.
Децентрализацията се превърна в кошмар.

Какво искаш?

Парадоксално е, но дори и тогава, все още не знаейки за web 2.0 или p2p, аз като потребител нямах нужда от децентрализация! Спомняйки си незамъглените си мисли от онези времена, стигам до извода, че имах нужда от... единна база данни! Такава заявка, за която ще върне всички резултати, а не тези, които са най-подходящи за алгоритъма за класиране. Такъв, в който всички тези резултати ще бъдат проектирани еднакво и стилизирани от моя собствен униформен дизайн, а не от въртящите очи собственоръчно направени дизайни на много Вася Пъпкини. Такъв, който може да бъде запазен офлайн и да не се страхувате, че утре сайтът ще изчезне и информацията ще бъде загубена завинаги. Един, в който мога да въвеждам информацията си, като коментари и тагове. Един, в който мога да търся, сортирам и филтрирам със собствените си лични алгоритми.

Web 2.0 и социалните мрежи

Междувременно концепцията за Web 2.0 навлезе на арената. Формулиран през 2005 г. от Тим ​​О'Райли като "техника за проектиране на системи, които, като вземат предвид мрежовите взаимодействия, стават по-добри, колкото повече хора ги използват" - и предполага активното участие на потребителите в колективното създаване и редактиране на уеб съдържание. Без преувеличение върхът и триумфът на тази концепция бяха социалните мрежи. Гигантски платформи, които свързват милиарди потребители и съхраняват стотици петабайти данни.

Какво получихме в социалните мрежи?

• унификация на интерфейса; оказа се, че потребителите не се нуждаят от всички възможности за създаване на разнообразие от привлекателни дизайни; всички страници на всички потребители имат еднакъв дизайн и това устройва всички и дори е удобно; Само съдържанието е различно.
• унификация на функционалността; цялото разнообразие от скриптове се оказа ненужно. „Фийд“, приятели, албуми... по време на съществуването на социалните мрежи тяхната функционалност повече или по-малко се стабилизира и е малко вероятно да се промени: в крайна сметка функционалността се определя от видовете дейности на хората и хората практически не се променят .
• единна база данни; се оказа много по-удобно да се работи с такава база данни, отколкото с много различни сайтове; търсенето стана много по-лесно. Вместо непрекъснато сканиране на различни слабо свързани страници, кеширане на всички, класиране с помощта на сложни евристични алгоритми - сравнително проста унифицирана заявка към една база данни с известна структура.
• интерфейс за обратна връзка - харесвания и повторни публикации; в обикновената мрежа същият Google не можа да получи обратна връзка от потребителите, след като последва връзка в резултатите от търсенето. В социалните мрежи тази връзка се оказа проста и естествена.

Какво загубихме? Загубихме децентрализацията, което означава свобода. Смята се, че нашите данни сега не ни принадлежат. Ако по-рано можехме да поставим начална страница дори на собствения си компютър, сега даваме всичките си данни на интернет гиганти.

Освен това с развитието на интернет правителствата и корпорациите се заинтересуваха от него, което повдигна проблеми с политическата цензура и ограниченията на авторските права. Нашите страници в социалните мрежи могат да бъдат забранени и изтрити, ако съдържанието им не отговаря на правилата на социалната мрежа; за невнимателен пост - привличане към административна и дори наказателна отговорност.

И сега отново си мислим: не трябва ли да върнем децентрализацията? Но в различна форма, лишена от недостатъците на първия опит?

Peer-to-peer мрежи

Първите p2p мрежи се появяват много преди уеб 2.0 и се развиват успоредно с развитието на мрежата. Основното класическо приложение на p2p е споделянето на файлове; са разработени първите мрежи за обмен на музика. Първите мрежи (като Napster) бяха по същество централизирани и затова бързо бяха затворени от притежателите на авторски права. Последователите последваха пътя на децентрализацията. През 2000 г. се появяват протоколите ED2K (първият клиент eDokney) и Gnutella, през 2001 г. - протоколът FastTrack (клиент KaZaA). Постепенно степента на децентрализация нараства, технологиите се подобряват. Системите „опашка за изтегляне“ бяха заменени от торенти и се появи концепцията за разпределени хеш таблици (DHT). Тъй като държавите затягат винтовете, анонимността на участниците става все по-търсена. Мрежата Freenet се разработва от 2000 г., I2003P от 2 г., а проектът RetroShare стартира през 2006 г. Можем да споменем множество p2p мрежи, както съществуващи, така и вече изчезнали, и работещи в момента: WASTE, MUTE, TurtleF2F, RShare, PerfectDark, ARES, Gnutella2, GNUNet, IPFS, ZeroNet, Tribbler и много други. Много от тях. Те са различни. Много различни - и като предназначение, и като дизайн... Сигурно много от вас дори не са запознати с всички тези имена. И това не е всичко.

Въпреки това p2p мрежите имат много недостатъци. В допълнение към техническите недостатъци, присъщи на всеки конкретен протокол и клиентска реализация, можем например да отбележим един доста общ недостатък - сложността на търсенето (т.е. всичко, което Web 1.0 среща, но в още по-сложна версия). Тук няма Google с неговото вездесъщо и моментално търсене. И ако за мрежи за споделяне на файлове все още можете да използвате търсене по име на файл или мета информация, тогава намирането на нещо, да речем, в мрежите onion или i2p overlay е много трудно, ако не и невъзможно.

Като цяло, ако направим аналогии с класическия Интернет, повечето децентрализирани мрежи са заседнали някъде на FTP ниво. Представете си интернет, в който няма нищо друго освен FTP: няма модерни сайтове, няма web2.0, няма Youtube... Това е приблизително състоянието на децентрализираните мрежи. И въпреки индивидуалните опити да се промени нещо, промените засега са малко.

Съдържание

Нека се обърнем към друга важна част от този пъзел – съдържанието. Съдържанието е основният проблем на всеки интернет ресурс и особено на децентрализиран. Откъде да го вземем? Разбира се, можете да разчитате на шепа ентусиасти (както се случва със съществуващите p2p мрежи), но тогава развитието на мрежата ще бъде доста дълго и там ще има малко съдържание.

Работата с обикновен интернет означава търсене и изучаване на съдържание. Понякога - спестяване (ако съдържанието е интересно и полезно, тогава мнозина, особено тези, които дойдоха в Интернет в дните на комутируема връзка - включително и аз - предпазливо го запазват офлайн, за да не се изгубят; защото Интернет е нещо извън нашия контрол, днес сайтът е там, утре няма, днес има видеоклип в YouTube - утре ще бъде изтрит и т.н.

А за торенти (които възприемаме повече като просто средство за доставка, отколкото като p2p мрежа), спестяването обикновено се подразбира. И това, между другото, е един от проблемите с торентите: файл, изтеглен веднъж, е трудно да се премести там, където е по-удобно за използване (като правило трябва ръчно да регенерирате разпространението) и абсолютно не може да бъде преименуван ( можете да го свържете твърдо, но много малко хора знаят за това).

Като цяло много хора запазват съдържание по един или друг начин. Каква е бъдещата му съдба? Обикновено запазените файлове се озовават някъде на диска, в папка като Downloads, в общата купчина и лежат там заедно с много хиляди други файлове. Това е лошо - и лошо за самия потребител. Ако интернет има търсачки, тогава локалният компютър на потребителя няма нищо подобно. Добре е, ако потребителят е чист и свикнал да сортира „входящите“ изтеглени файлове. Но не всички са така...

Всъщност вече има много, които не спестяват нищо, а разчитат изцяло на онлайн. Но в p2p мрежите се предполага, че съдържанието се съхранява локално на устройството на потребителя и се разпространява на други участници. Възможно ли е да се намери решение, което да позволи и на двете категории потребители да бъдат включени в децентрализирана мрежа, без да променят навиците си и освен това да улеснят живота им?

Идеята е съвсем проста: какво ще стане, ако направим средство за запазване на съдържание от обикновения интернет, удобно и прозрачно за потребителя, и интелигентно запазване - със семантична метаинформация и не в обща купчина, а в специфична структура с възможността за по-нататъшно структуриране и в същото време разпространение на запазеното съдържание в децентрализирана мрежа?

Да започнем със спестяването

Няма да разглеждаме утилитарното използване на интернет за гледане на прогнози за времето или разписания на самолети. Ние се интересуваме повече от самодостатъчни и повече или по-малко неизменни обекти - статии (от туитове/публикации от социални мрежи до големи статии, като тук на Хабре), книги, изображения, програми, аудио и видео записи. Откъде идва най-вече информацията? Обикновено това

• социални мрежи (различни новини, малки бележки - "туитове", снимки, аудио и видео)
• статии за тематични ресурси (като Habr); Няма много добри ресурси, обикновено тези ресурси също са изградени на принципа на социалните мрежи
• новинарски сайтове

Като правило има стандартни функции: „харесване“, „репост“, „споделяне в социалните мрежи“ и др.

Нека си представим някои плъгин за браузър, който специално ще запази всичко, което сме харесали, публикували отново, запазили в „любими“ (или щракнали върху специален бутон на приставката, показан в менюто на браузъра - в случай, че сайтът няма функция за харесване/репост/маркиране). Основната идея е просто да ви хареса - както сте правили милиони пъти преди, и системата запазва статията, снимката или видеоклипа в специално офлайн хранилище и тази статия или снимка става достъпна - и за вас за офлайн гледане през децентрализиран клиентски интерфейс и в най-децентрализираната мрежа! Според мен е много удобно. Няма ненужни действия и ние решаваме много проблеми наведнъж:

• Запазване на ценно съдържание, което може да бъде изгубено или изтрито
• бързо запълване на децентрализираната мрежа
• агрегиране на съдържание от различни източници (можете да бъдете регистрирани в десетки интернет ресурси и всички харесвания/репостове ще се вливат в една локална база данни)
• структуриране на съдържание, което ви интересува според Вашият правила

Очевидно плъгинът на браузъра трябва да бъде конфигуриран за структурата на всеки сайт (това е съвсем реалистично - вече има плъгини за запазване на съдържание от Youtube, Twitter, VK и др.). Няма толкова много сайтове, за които има смисъл да се правят персонални плъгини. Като правило това са обикновени социални мрежи (едва ли има повече от дузина от тях) и редица висококачествени тематични сайтове като Habr (има и няколко от тях). С отворен код и спецификации разработването на нов плъгин въз основа на шаблон не трябва да отнема много време. За други сайтове можете да използвате универсален бутон за запазване, който ще запази цялата страница в mhtml - може би след като първо изчистите страницата от реклами.

Сега относно структурирането

Под „интелигентно“ запазване имам предвид поне запазване с мета информация: източникът на съдържанието (URL), набор от предварително зададени харесвания, тагове, коментари, техните идентификатори и т.н. В края на краищата, по време на нормално запазване тази информация се губи... Източникът може да се разбира не само като директен URL адрес, но и като семантичен компонент: например група в социална мрежа или потребител, който е направил репост. Приставката може да бъде достатъчно интелигентна, за да използва тази информация за автоматично структуриране и маркиране. Също така трябва да се разбере, че самият потребител винаги може да добави някаква метаинформация към запазеното съдържание, като за целта трябва да се осигурят най-удобните инструменти за интерфейс (имам доста идеи как да направя това).

По този начин проблемът със структурирането и организирането на локалните файлове на потребителя е решен. Това е готово предимство, което може да се използва дори без p2p. Просто някакъв вид офлайн база данни, която знае какво, къде и в какъв контекст сме записали и ни позволява да провеждаме малки проучвания. Например, намерете потребители на външна социална мрежа, които най-много са харесали същите публикации като вас. Колко социални мрежи позволяват това изрично?

Тук вече трябва да се спомене, че един плъгин за браузър със сигурност не е достатъчен. Вторият най-важен компонент на системата е децентрализираната мрежова услуга, която работи във фонов режим и обслужва както самата p2p мрежа (заявки от мрежата и заявки от клиента), така и запазването на ново съдържание с помощта на плъгина. Услугата, работеща заедно с плъгина, ще постави съдържанието на правилното място, ще изчисли хешове (и евентуално ще определи, че такова съдържание вече е било запазено преди това) и ще добави необходимата метаинформация към локалната база данни.

Интересното е, че системата би била полезна вече в този си вид, без никакъв p2p. Много хора използват уеб клипери, които добавят интересно съдържание от мрежата към Evernote например. Предложената архитектура е разширена версия на такъв клипер.

И накрая, p2p обмен

Най-добрата част е, че информацията и метаинформацията (както заснета от мрежата, така и ваша собствена) могат да се обменят. Концепцията за социална мрежа се пренася перфектно в p2p архитектурата. Можем да кажем, че социалната мрежа и p2p изглеждат създадени един за друг. Всяка децентрализирана мрежа в идеалния случай трябва да бъде изградена като социална, само тогава ще работи ефективно. „Приятели“, „Групи“ - това са същите връстници, с които трябва да има стабилни връзки, и те са взети от естествен източник - общите интереси на потребителите.

Принципите за запазване и разпространение на съдържание в децентрализирана мрежа са напълно идентични с принципите за запазване (улавяне) на съдържание от обикновения Интернет. Ако използвате някакво съдържание от мрежата (и следователно сте го запазили), тогава всеки може да използва вашите ресурси (диск и канал), необходими за получаване на това конкретно съдържание.

хъскита — най-простият инструмент за запазване и споделяне. Ако ми хареса - без значение във външния интернет или вътре в децентрализираната мрежа - това означава, че харесвам съдържанието и ако е така, тогава съм готов да го запазя локално и да го разпространявам на други участници в децентрализираната мрежа.

• Съдържанието няма да бъде „загубено“; вече е запазено локално, мога да се върна към него по-късно, по всяко време, без да се притеснявам, че някой ще го изтрие или блокира
• Мога (незабавно или по-късно) да го категоризирам, да го маркирам, да го коментирам, да го свържа с друго съдържание и като цяло да направя нещо смислено с него – нека го наречем „генериране на метаинформация“.
• Мога да споделя тази мета информация с други членове на мрежата
• Мога да синхронизирам моята мета информация с мета информацията на други членове

Вероятно отказът от нехаресвания също изглежда логичен: ако съдържанието не ми харесва, тогава е съвсем логично, че не искам да губя дисковото си пространство за съхранение и интернет канала си за разпространение на това съдържание. Следователно неприязънта не се вписва много органично в децентрализацията (въпреки че понякога го прави може да бъде полезно).

Понякога трябва да запазите това, което „не харесвате“. Има такава дума "трябва" :)
«Bookmarks” (или „Любими”) – не изразявам афинитет към съдържанието, но го запазвам в моята локална база данни с отметки. Думата „любими“ не е съвсем подходяща по смисъл (за това има харесвания и последващата им категоризация), но „отметките“ са доста подходящи. Съдържанието в „отметките“ също се разпространява - ако „имате нужда“ от него (тоест го „използвате“ по един или друг начин), тогава е логично някой друг да „има нужда“ от него. Защо не използвате вашите ресурси, за да направите това?

Функцията "друзья". Това са връстници, хора със сходни интереси и следователно тези, които е най-вероятно да имат интересно съдържание. В децентрализирана мрежа това основно означава абониране за емисии с новини от приятели и достъп до техните каталози (албуми) със съдържание, което са запазили.

Подобно на функцията "групи„- някакъв вид колективни емисии, или форуми, или нещо, за което можете също да се абонирате - и това означава да приемете всички материали на групата и да ги разпространявате. Може би „групите“, като големите форуми, трябва да бъдат йерархични - това ще позволи по-добро структуриране на груповото съдържание, както и ограничаване на потока от информация и не приемане/разпределение на това, което не ви е много интересно.

Всички останали

Трябва да се отбележи, че децентрализираната архитектура винаги е по-сложна от централизираната. В централизираните ресурси има строг диктат на сървърния код. При децентрализираните има нужда от преговори между много равнопоставени участници. Разбира се, това не може да стане без криптография, блокчейн и други постижения, разработени основно върху криптовалути.

Предполагам, че може да са необходими някакви криптографски оценки за взаимно доверие, формирани от участниците в мрежата един за друг. Архитектурата трябва да позволява ефективна борба с ботнет мрежи, които, съществувайки в определен облак, могат например взаимно да повишават собствените си оценки. Наистина искам корпорациите и ботнет фермите, с цялото им технологично превъзходство, да не поемат контрола върху такава децентрализирана мрежа; така че основният му ресурс са живи хора, способни да произвеждат и структурират съдържание, което е интересно и полезно за други живи хора.

Аз също искам такава мрежа, която да движи цивилизацията към прогрес. Имам цял куп идеи по този въпрос, които обаче не влизат в обхвата на тази статия. Само ще кажа, че по определен начин научни, технически, медицински и т.н. съдържанието трябва да има предимство пред забавлението и това ще изисква някакъв вид умереност. Самото модериране на децентрализирана мрежа е нетривиална задача, но може да бъде решена (обаче думата „модериране“ тук е напълно неправилна и изобщо не отразява същността на процеса - нито външно, нито вътрешно... и Дори не можех да си представя как може да се нарече този процес).

Вероятно би било излишно да споменаваме необходимостта от осигуряване на анонимност, както чрез вградени средства (като в i2p или Retroshare), така и чрез преминаване на целия трафик през TOR или VPN.

И накрая, софтуерната архитектура (схематично нарисувана на снимката към статията). Както вече споменахме, първият компонент на системата е плъгин за браузър, който улавя съдържание с мета информация. Вторият най-важен компонент е p2p услугата, която работи във фонов режим („backend“). Работата на мрежата очевидно не трябва да зависи от това дали браузърът работи. Третият компонент е клиентският софтуер – frontend. Това може да бъде локална уеб услуга (в този случай потребителят ще може да работи с децентрализирана мрежа, без да напуска любимия си браузър) или отделно GUI приложение за конкретна операционна система (Windows, Linux, MacOS, Andriod, iOS, и т.н.). Харесва ми идеята всички опции за интерфейс да съществуват едновременно. В същото време това ще изисква по-стриктна бекенд архитектура.

Има много други аспекти, които не са включени в тази статия. Свързване към разпространението на съществуващи файлови хранилища (т.е. когато вече имате няколко терабайта изпомпвани данни и оставите клиента да ги сканира, да получи хешове, да ги сравни с това, което е в мрежата и да се присъедини към разпространението, и в същото време получават метаинформация за собствените си файлове - нормални имена, описания, оценки, рецензии и т.н.), свързване на външни източници на метаинформация (като базата данни Libgen), незадължително използване на дисково пространство за съхраняване на криптирано съдържание на други хора (както във Freenet ), интеграционна архитектура със съществуващи децентрализирани мрежи (това е напълно тъмна гора), идеята за медийно хеширане (използването на специални перцептивни хешове за медийно съдържание - снимки, аудио и видео, което ще ви позволи да сравнявате медийни файлове на със същото значение, различни по размер, разделителна способност и т.н.) и много други.

Кратко резюме на статията

1. В децентрализираните мрежи няма Google с неговото търсене и класиране - но има общност от реални хора. Социалната мрежа със своите механизми за обратна връзка (харесвания, повторни публикации...) и социална графика (приятели, общности...) е идеален модел на приложен слой за децентрализирана мрежа
2. Основната идея, която нося с тази статия, е автоматичното запазване на интересно съдържание от обикновения интернет, когато зададете харесване/репост; това може да бъде полезно без p2p, просто поддържане на личен архив с интересна информация
3. Това съдържание може също автоматично да запълни децентрализираната мрежа
4. Принципът на автоматично запазване на интересно съдържание работи и с харесвания/репостове в най-децентрализираната мрежа

Източник: www.habr.com