Yandex.Disk zakázal používanie open source nástroja rclone

Pozadie

Ahoj, Habr!

K napísaniu tohto príspevku ma doviedla dosť zvláštna chyba, ktorú som včera večer na notebooku s Linuxom (áno, patrím k tým zvláštnym ľuďom, ktorí používajú GNU/Linux na notebooku) dostal namiesto obsahu svojho Yandex.Disku:

$ ls -l /mnt/yadisk
ls: reading directory '.': Input/output error
total 0

Prvá myšlienka: sieť vypadla, nič hrozného. Ale pri pokuse o opätovné pripojenie adresára sa objavila nová chyba:

$ sudo umount /mnt/yadisk && rclone mount --timeout 30m ya:/ /mnt/yadisk
2020/02/21 20:54:26 ERROR : /: Dir.Stat error: [401 - UnauthorizedError] Unauthorized (Nie je autorizované.)

To už bolo zvláštne. Token vypršal? Nevadí, znovu sa autorizujem!

$ rclone config
... (vynechám tu celý výstup terminálu) ..

Po prechode na web a pokuse o autorizáciu tam dostávam už konkrétnejšiu správu:

Táto aplikácia bola zablokovaná za škodlivé činnosti, preto prístup nie je povolený (unauthorized_client).

Prvá myšlienka: čooo?

O rclone

Trochu informácií:
rclone je dosť známy open source nástroj na práci s cloudovými úložiskami (viackrát raz, dva, tri spomínaný na Habré). Autor ho nazýva "rsync pre cloudové úložiská", čo je dosť presné. Ale touto funkčnosť sa to nekončí: okrem funkcií rsync môže ešte montovať disky, vykonávať funkciu ncdu (čo mi, mimochodom, raz umožnilo odhaliť nesprávny výpočet voľného miesta na Yandex.Disku a úspešne vyriešiť tento problém cez technickú podporu), a tiež množstvo ďalších vecí. Nástroj podporuje desiatky cloudových úložísk, ako aj tradičné protokoly — WebDAV, FTP, rsync a ďalšie. Na prístup k Yandex.Disku nástroj používa oficiálne verejné API Disku.

Nástroj je skutočne jedinečný a (podľa môjho názoru) predstavuje triedu programov, ktoré nainštalujete raz a prinášajú vám trvalý úžitok.

Čo sa stalo?

Pri hľadaní na Google som hneď pochopil, že nie som sám. Existuje bug na oficiálnom GitHub-e, ako aj diskusia na oficiálnom fóre.
Stručné zhrnutie: client_id nástroja bol zablokovaný Yandex.Diskom, kvôli čomu sa už nedá autorizovať. Môžete skúsiť zmeniť client_id, ale nie je isté, že rovnaký osud nepostihne aj nový id.
Odpoveď podpory je zverejnená na tom istom fóre:

Ide o to, že program Rclone umožňuje používať Yandex.Disk ako infraštrukčný komponent, avšak Yandex.Disk je osobná služba, ktorá nie je určená na riešenie takýchto úloh. Preto nepodporujeme prácu kombinácie Rclone - Yandex.Disk.

"Infraštrukčný komponent"? Takže ak sa to nedá, asi to bude popísané v pravidlách, pomyslel som si, a nič také v pravidlách samotného disku alebo jeho verejného API som nenašiel.

Dobre, napíšeme do podpory.
Prvý odpoveď prišla 1:1 tá, ktorá je uvedená vyššie (o "infraštrukčnom komponente"). Dobre, nie sme pyšní.

Ďalšia korešpondencia s podporou

Ja:

A môžete mi prosím povedať, ktoré pravidlo služby porušujem?
Preštudoval som podmienky používania Yandex.Disku a žiadne zákazy používania "ako infraštrukčného komponentu" tam nie sú.

Navyše, nemôžem používať nástroj z osobného notebooku na prácu s diskom. To už naozaj žiadny spôsob nespadá pod "infraštrukčný komponent". Štandardný klient disku je hrozný, prepáčte.

Podpora:

Sergej, ide o to, že Yandex.Disk je predovšetkým osobná služba, ktorá nie je určená na automatické nahrávanie záloh.
Môžete synchronizovať dáta medzi vaším počítačom a Yandex.Diskom, a takisto využívať webové rozhranie Disku na nahrávanie súborov a prácu s nimi.

Ak vás z nejakého dôvodu naša aplikácia neuspokojuje, prosím povedzte nám o tom. Tradične si vážime názory používateľov pri uvoľnení aktualizácií produktu.

Môžete sa oboznámiť s dokumentmi, ktoré upravujú používanie služby, konkrétne s „Používateľskou zmluvou služieb Yandex“, publikovanou na adrese: https://yandex.ru/legal/rules/, a tiež s „Podmienkami používania služby 'Yandex.Disk'“: https://yandex.ru/legal/disk_termsofuse

Na riešenie úloh, ktoré vyžadujú veľké zdroje, odporúčame používať Yandex.Cloud. Je to iná cloudová služba Yandexu, ktorá bola vytvorená na riešenie obchodných úloh. Viac informácií o Yandex.Cloud nájdete tu: https://cloud.yandex.ru

Ja:

Neodpovedali ste na moju otázku. Povedzte prosím, ktorý bod pravidiel služby porušuje používanie rclone? Dôkladne som si preštudoval pravidlá podľa vášho odkazu (ešte predtým, ako ste mi ich poslali).

Nedávno ste písali príspevok, že Yandex každým spôsobom podporuje OpenSource a bez OpenSource by moderný internet neexistoval.https://habr.com/ru/post/480090/).

A teraz blokujete OpenSource nástroj z vymysleného dôvodu.

Mimochodom, program neumožňuje "automatické nahrávanie záloh", program je určený na prácu s cloudovými úložiskami, vrátane synchronizácie údajov medzi počítačom a Yandex.Diskom. A to je môj hlavný use-case nástroja, ktorý teraz nie je dostupný.

Podpora:

Podľa bodu 3.1. "Používateľskej dohody" má Yandex právo stanoviť obmedzenia pre používanie služieb pre všetkých používateľov, alebo pre konkrétne kategórie používateľov (v závislosti od miesta pobytu, jazyka, v ktorom sa služba poskytuje, atď.), vrátane: existencie/neexistencie niektorých funkcií služby, doby uchovávania e-mailových správ v službe Yandex.Mail, akéhokoľvek iného obsahu, maximálneho počtu správ, ktoré môže jeden registrovaný používateľ odoslať alebo prijať, maximálnej veľkosti e-mailovej správy alebo diskového priestoru, maximálneho počtu požiadaviek na službu v danom časovom období, maximálneho trvania uchovávania obsahu, špeciálnych parametrov nahrávaného obsahu atď. Yandex môže zakázať automatické volanie svojich služieb, ako aj prerušiť akékoľvek informácie generované automaticky (napríklad e-mailový spam).

Používateľ je o tom takisto informovaný v bode 4.6. "Podmienok používania Yandex.Disku".

Upozorňujeme, že „Podmienky používania Yandex.Disku“ tiež stanovujú povinnosť pre používateľa konať v dobrej viere a zdržať sa zneužívania funkcií služby. Používateľ sa v tomto ohľade zaväzuje zdržať organizovania hromadnej výmeny súborov pomocou funkcií služby.

Yandex má právo uplatňovať pravidlá, limity a obmedzenia zamerané na prevenciu, obmedzenie a potlačenie hromadnej výmeny súborov podľa pravidiel bodu 4.5. týchto „Podmienok“.

Posledná odpoveď priniesla jasnosť. Osobitne prvé dva odseky, ktoré odkazujú na bod 3.1. „Používateľskej dohody“ Yandexu a bod 4.6. „Podmienok používania Yandex.Disku“. Text 4.6 tu nie je uvedený, uvediem:

4.6. Yandex si vyhradzuje právo stanoviť akékoľvek pravidlá, limity a obmedzenia (technické, právne, organizačné alebo iné) na používanie Služby a môže ich meniť podľa vlastného uváženia, bez predchádzajúceho upozornenia Používateľa. V prípadoch, keď to nie je zakázané zákonom, tieto pravidlá, limity a obmedzenia môžu byť rôzne pre rôzne kategórie Používateľov.

Aké sú závery?

Celkom nedávno vážený bobuk vo svojom príspevku tu na Habré písal, že Yandex považuje, že:

Vo Yandexe považujeme, že moderný internet nie je možný bez kultúry open source a ľudí, ktorí investujú svoj čas do vývoja programov s otvoreným kódom.

A v praxi to vyzerá úplne inak. Skvelý nástroj je zablokovaný za niečo, čo nie je zakázané pravidlami služby. Za to, že nástroj umožňuje používať otvorený verejný API Disku na jeho priame určenie — nahrávať súbory. Zablokované nie je za porušenie pravidiel služby, ale preto, že môžu.
Dvojnásobne zvláštne je, že zablokovaní nie sú konkrétni porušovatelia pravidiel (tiež nejasne, v pravidlách používanie disku na zálohovanie nikde nie je zakázané). Zablokovaný je nástroj, funkcia vykonávania zálohovania v ktorom je len jedna z mnohých.

Čo je to infraštruktórny komponent a prečo ich nemožno používať s diskom, tiež nie je jasné. Dokonca aj prehliadač môže byť použitý ako 'infraštruktúrny komponent', nemali by sme zakázať používať disk v prehliadači?

Čo robiť?

Zatiaľ používať svoj client_id a ďalej žiť. Ale podľa odpovede technickej podpory, môžeme očakávať pokračovanie lovu na čarodejnice a blokáciu ďalších client_id, user-agent rclone alebo, dokonca, nejaké heuristické spôsoby na zablokovanie nástroja.

P.S. Úprimne dúfam, že išlo o jednoduchú chybu alebo nedorozumenie. Vo Yandexe pracujú skvelí odborníci (s mnohými sa poznám osobne) a medzi nimi, som presvedčený, sú aj používatelia rclone.

Aktualizácia 24.02.2020:
V vydaní 690 podcastu Rádio-T, ktorého spoluhosťom je tiež vážený Bobuk, bola diskutovaná blokácia rclone. Začiatok o 1:51:40.

Zdroj: habr.com