„Прочитаћу касније“: тешка судбина ванмрежне колекције интернет страница

Постоје врсте софтвера без којих неки људи не могу да живе, док други не могу ни да замисле да тако нешто постоји или да је некоме уопште потребно. За мене је дуги низ година овај програм био Мацропоол ВебРесеарцх, који вам је омогућио да сачувате, читате и организујете Интернет странице у неку врсту офлајн библиотеке. Сигуран сам да се многи наши читаоци сасвим добро сналазе са колекцијом веза или комбинацијом претраживача и фасцикле са скупом сачуваних докумената. Желео бих да могу барем да означим документе као „прочитане“ или „омиљене“, да брзо прелазим са једног текста на други и да не зависим од доступности Интернета или одређеног сајта. Дешава се да имате времена да читате тачно када нема интернета (на путу, на пример), а линкови се, нажалост, често испостављају као краткотрајни.

Очигледно, аутори ВебРесеарцх-а су рачунали отприлике на ове људе. Овај програм је био препун широког спектра функција: каталогизација по одељцима и ознакама, уређивање белешки, све врсте извоза/увоза, итд. Међутим, око 2013. године пројекат је престао да се ажурира, а затим је веб локација програмера престала да постоји. Још неколико година успевао сам да јашем овог коња, али су прво отпали додаци претраживача (доступни само за тадашње верзије ИЕ и ФиреФок-а), а онда су модерни сајтови престали да се нормално приказују у прегледнику заснованом на старом ИЕ енгине-у.

Главни прозор ВебРесеарцх-а, ПЦ Веек/РЕ бр. 17 (575)

Пут разочарења

Чим је постало јасно да се замена не може избећи, у позадини сам почео да тражим пристојан аналог. Чинило ми се да овде неће бити неких посебних потешкоћа, пошто су моје жеље изузетно скромне. Био сам спреман да се задовољим само са малим подскупом алата ВебРесеарцх, укључујући:

• чување ХТМЛ странице из претраживача помоћу екстензије;
• барем минимални алати за каталогизацију (преименовање, организовање каталога, етикете);
• (пожељно) подршка за ПДФ документе;
• било који пристојан начин да синхронизујете своју колекцију са другим уређајима.

На своје изненађење, нисам успео да пронађем ништа слично, иако сам поштено претурао по Интернету надалеко и пажљиво проучио десетак програма који су одговарали напоменама (са изузетком Еверноте-а, где је функционалност слична по опису доступна само уз претплату). Данас једино што бар некако задовољава моје жеље су пројекти ТагСпацес и миБасе. Њихово проучавање, уопштено говорећи, представља одређени културни интерес.

ТагСпацес је такав „стилски-модни-младински” организатор на Елецтрону са прелепом веб локацијом, прилагодљивим изгледом и, наравно, мрачном темом, где бисмо били без тога. Истовремено, несрећни садржај колекције са модерним заобљеним иконама заузима половину екрана, а може да прими највише двадесетак елемената, а исписане су основне ствари попут подршке за брзе тастере или приказивања документа који се прегледава. по резидуалном принципу. Као резултат тога, документи се приказују криво, а рад са колекцијом претвара се у досадан и дуготрајан скуп вежби помоћу миша.

Његов антипод миБасе потиче из касних деведесетих: овде, поред чисто функционални интерфејс имамо изузетно богат скуп подешавања и функција. Међутим, прозор за преглед овде је исти претраживач заснован на старом ИЕ (што већ отежава читање), а сви документи се чувају у монолитној бази података. Ако га, на пример, ставите у фасциклу Дропбок (још увек нема других начина за синхронизацију са другим уређајима), онда уз најмању промену у колекцији морате сачекати док се стотине мегабајта информација не пренесу на сервер.

Прекретница

Вероватно се читаоцу чини очигледан даљи садржај белешке: сада ће нам бити понуђен сопствени бицикл, који ће, наравно, бити изнад сваког постојећег аналога. Некако да, али не баш. Заиста нисам могао да поднесем муку са миБасе-ом и ТагСпацес-ом и скицирао сам свој менаџер докумената, везу до које ћу дати при крају. Међутим, овај мали лични пројекат не би заслужио сопствени чланак; Пишем углавном зато што сам сматрао да би било занимљиво да поделим искуство које сам стекао током рада и низ непријатних изненађења која нисам очекивао.

Циљеви и циљеви

Дозволите ми да почнем са чињеницом да сада имам прилично заузет живот и једноставно немам времена за пуноправне хоби пројекте. Стога сам од самог почетка одлучио да сам спреман да направим свој инструмент од свих компоненти које ми дођу, ако би то убрзало ствари. Поред тога, за сада се обавезујем да имплементирам само апсолутни минимум функционалности, без чега је апсолутно немогуће.

Формат података и чување странице

У ком облику веб странице треба да се чувају на диску? Узимајући у обзир претходно формулисане захтеве, чинило ми се да је избор мали: или формат чувања „целе веб странице“, односно главна ХТМЛ датотека и фасцикла са припадајућим ресурсима, или МХТМЛ формат. Прва опција ми се одмах учинила мање пожељном: мало је радости што имате гомиле датотека на диску, из којих ћете морати да издвојите значајне документе, филтрирате непотребне приликом претраживања и надгледате интегритет приликом копирања. Када сам покушао да радим са ТагСпацес-ом, морао сам поново да сачувам све своје документе тако да име директоријума ресурса почиње са тачком: тада их је систем препознао као „скривене“ и није их приказао.

Овај проблем је скривен од погледа у миБасе-у, пошто је све ускладиштено у бази података, али у мом случају је превагнуо принцип једноставности: заиста сам желео да све ускладиштим као обичне датотеке на диску како не бих морао да се бавим имплементацијом рутинске операције попут копирања, преименовања, брисања и синхронизације.

МХТМЛ формат пролази кроз тешка времена. Једноставан начин да сачувате МХТМЛ је избачен из Цхроме-а овог лета, а не знам ни где сада треба да се чувају странице? Јасно је да прилика још није нестала, постоје екстензије трећих страна, али генерално ово је нека врста лошег знака. Поред тога, чување у МХТМЛ формату није подржано у Цхромиум Ембеддед Фрамеворк-у, што такође не улива оптимизма.

У исто време, почео сам да тражим једноставан начин да сачувам странице из претраживача у наведену фасциклу. Као резултат тога, оба проблема су решена са малим губицима: наишао сам на диван пројекат Један фајл, способан да сачува садржај веб странице у засебној независној ХТМЛ датотеци. Ово се ради претварањем свих повезаних ресурса у басе64 формат и њиховим уграђивањем директно у ХТМЛ. Наравно, величина датотеке расте, а садржај изгледа мало претрпан, али генерално, приступ ми се чинио поузданим и једноставним, па сам се одлучио на њега.

СинглеФиле долази и као проширење претраживача и као апликација командне линије. Сада само користим екстензију: прилично је згодно, осим чињенице да морате ручно да изаберете циљну фасциклу за чување. У будућности ћу вероватно покушати да побољшам апликацију како бих поједноставио овај процес. Да бисте позвали апликацију треће стране из Цхроме-а, можете да користите екстензију Дугме за спољну апликацију - ово је још једно моје корисно откриће. Иначе, апликација је већ била корисна: уз њену помоћ сам конвертовао колекцију фасцикли и датотека из ТагСпацес-а у скуп независних ХТМЛ докумената.

Проблеми са ГУИ и претраживачем

Открио сам да је Питхон добар за све врсте једноставних операција са датотекама и стринговима, а пошто један од мојих радних пројеката користи вкВидгетс, избор вкПитхон изгледало логично као главни оквир.

Даље, пошто сам видео довољно проблема са приказивањем страница у другим програмима, дошао сам до закључка да је једини поуздан начин за решавање њих увођење визуелизатора у програм заснован на модерном претраживачу, односно Цхроме-у или Фирефок-у.

Морам признати да сам последњи пут овако нешто морао да урадим пре 15-ак година и нисам очекивао никакве замке. Испоставило се да је немогуће „само ударити претраживач на образац“: човечанство некако није било у стању да се поуздано и универзално носи са овим задатком. Нека врста листе или дугмета на обрасцу може се поставити у било који ГУИ оквир, па чак и генерисати међуплатформски код, а чинило ми се да је 2019. ХТМЛ приказ такође требало да буде универзално решен проблем.

Испоставило се да је у wxWidgets-у, на пример, стандардна компонента „прегледача“ крос-платформски омотач преко системски зависног „прегледача“, који у овом случају Windows, на пример, значи Интернет екплорер КСНУМКС, и ситуација у Windows Форме нису ништа боље, а верзије новије од IE9 су доступне само преко нетривијалних манипулација регистром. Као што видите, нисам једини који се бави другим стварима последњих 15 година – ни овде се ништа није померило.

Тада сам био суочен са избором: променити оквир или потражити алтернативну компоненту за претраживач. Након оклевања, одлучио сам да прво испробам други пут и брзо сам наишао на пројекат ЦЕФ Питхон: Питхон везе за Цхромиум Ембеддед Фрамеворк, дизајниран посебно за задатак уграђивања Цхромиум-а у Питхон апликације.

Процените ситуацију: Питхон је један од најпопуларнијих програмских језика на свету, Цхроме је у суштини монополиста на тржишту претраживача. У исто време, ЦЕФ Питхон је заправо подржан енергијом један момак, снаге и здравља њему. Зар ово више никоме није потребно?..

Међутим, ЦЕФ Питхон ми на крају није помогао: иако је чак и основни пример интеграције са вкВидгетс-ом из репозиторијума пројекта, искрено, погрешио, покушао сам да се још више бавим њиме, али нисам могао да решим све проблеме који су се појавили. Нећу ни да улазим дубље у тему, тешко да то заслужује.

Детаљније сам погледао компоненте засноване на Цхромиум Ембеддед Фрамеворк-у и коначно одлучио да покушам верзија за Ц#Пошто скоро све време радим са Windows, могућност напуштања подршке за различите платформе ме није баш узнемирила.

Након неизбежне почетне гужве, ствари су ишле много брже: комбинација CefSharp-а и Windows Форме су се испоставиле као победник и успео сам да решим већину техничких изазова без икаквих проблема.

О несуђеним

Такође можете покушати да имплементирате ФиреФок у Ц# апликацију користећи компоненту Гецкофк, али не могу ништа да кажем о њему. Стандардна компонента претраживача Кт оквира тзв КВебЕнгинеВиев основао на Цхромиум-у, тако да ће вероватно радити исто као и ЦефСхарп.

Љубитељи Кт-а могу бити у искушењу да коментаришу: само да су узели Кт, не би имали никаквих проблема. Ово може бити тачно, али вкВидгетс се могу узети у обзир, ако не прва, онда друга опција када се бира ГУИ оквир за апликације у Питхон-у или Ц++. И по мом скромном мишљењу, такву ствар као што је претраживач треба уградити у било који више или мање развијен ГУИ оквир без плесања са тамбуром.

ВебЛибрари

Вратимо се, међутим, мојој пријави са радним насловом ВебЛибрари. Данас то изгледа (бубањ ролл) овако:

Поред чист и концизан интерфејс Овде су имплементиране само најосновније функције:

• Прикажите било који наведени директоријум у систему као библиотеку докумената.
• Прегледајте документе у прозору прегледача. Крећите се кроз листу на уобичајен начин (тастери са курсором, ПгУп, ПгДн, Хоме, Енд), скролујте кроз претраживач користећи тастере за размак и Схифт+размак.
• Преименовање докумената.
• Означите документе као прочитане или омиљене помоћу интервентних тастера.
• Сортирање докумената по било ком пољу.
• Освежава прозор апликације када дође до промена у фасцикли библиотеке.
• Сачувајте поставке прозора приликом изласка.

Све ово може изгледати као тривијална функционалност, али, рецимо, чување величина колона у ТагСпацес-у још увек није подржано - очигледно, аутори имају друге приоритете.

Статус (прочитано/омиљено) се једноставно чува у називу датотеке (читај фајл doc.html преименован у doc{R,S}.html). Не постоји синхронизација као таква, али једноставно чувам библиотеку у Дропбок-у - на крају крајева, то је само фасцикла са датотекама.

Још увек постоје планови за побољшање једноставних ствари попут премештања и брисања датотека, као и за имплементацију означавања произвољним ознакама. Ако неко жели да помогне, биће ми драго.

Налази

Разноликост. Као што сам рекао од почетка, невероватно је колико се алати једне особе могу разликовати од других. Коришћење алатке као што је ВебРесеарцх је природно за мене и осећао сам скоро физичку нелагодност због његовог одсуства. У исто време, очигледно, имам мало истомишљеника, иначе не би било проблема са проналажењем аналога. С друге стране, слични случајеви се дешавају са много популарнијим софтвером: на пример, Мицрософт неће ажурирати десктоп верзију ОнеНоте-а, тако да сам приморан да користим верзију из 2016. и пре или касније ћу такође морати да пређем са то негде.

Оно што је такође изненађујуће је колико је тешко кретати се кроз тренутни пејзаж библиотека и оквира. У свом послу, ретко морам да пишем десктоп апликације од почетка до краја, и претпоставио сам да би буквално било који алат за било који програмски језик био погодан за мој задатак (један прозор, три компоненте, тривијалне интеракције). Тако да само узмемо било шта и урадимо то у року од неколико дана.

Испоставило се да је стварност много мање благонаклона и да можете једноставно наићи на проблем из ведра неба. Рецимо да имам два разделника који могу да се користе за развлачење прозора претраживача. Дакле, враћање њихових позиција након учитавања у вкВидгетс је изузетно тешко, пошто их систем поставља на подразумеване позиције након скоро свих мени доступних догађаја, а ја морам да урадим разне врсте хаковања да бих постигао оно што ми је потребно. Ко би претпоставио?

С друге стране, јасно је да у Windows Формс је дизајниран за пословне интерфејсе. Скоро све што ми је било потребно било је доступно одмах по инсталацији: чување и враћање подешавања апликације, интерфејс компоненти једноставан за коришћење (на пример, нисам очекивао да се компонента TreeView може упитивати за пуну путању од корена до било ког подређеног елемента као стринг) и софистициране функције попут праћења промена садржаја фасцикле.

У сваком случају, време није изгубљено, а резултат се може сматрати задовољавајућим, па шта више желите од живота, зар не?

Извор: ввв.хабр.цом