Yandex.Disk har forbudd bruken av open source-verktøyet rclone

Bakgrunn

Hei, Habr!

К написанию этого поста привела довольно странная ошибка, которую вчера вечером на ноутбуке с Linux (да, я из тех странных людей, кто использует GNU/Linux на ноутбуке) я получил вместо содержимого своего Яндекс.Диска:

$ ls -l /mnt/yadisk
ls: reading directory '.': Input/output error
total 0

Первая мысль: сеть отвалилась, ничего страшного. Но при попытке перемонтировать директорию появилась новая ошибка:

$ sudo umount /mnt/yadisk && rclone mount --timeout 30m ya:/ /mnt/yadisk
2020/02/21 20:54:26 ERROR : /: Dir.Stat error: [401 - UnauthorizedError] Unauthorized (Не авторизован.)

Это было уже странно. Токен протух? Не беда, авторизую заново!

$ rclone config
... (опущу тут весь вывод терминала) ..

После перехода на веб и попытки авторизоваться там получаю уже более конкретное сообщение:

Это приложение заблокировано за вредоносные действия, поэтому доступ не разрешён (unauthorized_client).

Первая мысль: чтоооо?

О rclone

Немного справки:
rclone — достаточно известная открытая утилита для работы с облачными хранилищами (неоднократно ein, to, tre упоминалась на Хабре). Автор называет её "rsync for cloud storage", что довольно ёмко. Но этим функциональность не ограничивается: помимо функций rsync она ещё может монтировать диски, выполнять функцию ncdu (что, кстати, мне позволило однажды обнаружить неправильный подсчёт свободного места на Яндекс.Диске и успешно решить эту проблему через техподдержку), а также кучу всего ещё. Утилита поддерживает как десятки облачных хранилищ, так и более традиционные протоколы — WebDAV, FTP, rsync и другие. Для доступа к Яндекс.Диску утилита использует официальный публичный API Диска.

Утилита поистине уникальна и (по моему мнению) представляет из себя тот класс программ, которые ставишь один раз, а пользу они приносят постоянно.

Hva skjedde?

Обратившись к Google я сразу понял, что не одинок. Есть баг в официальном гитхабе, а также обсуждение на det offisielle forumet.
Краткое содержание: client_id утилиты заблокирован Яндекс.Диском, из-за чего авторизоваться больше нельзя. Можно попробовать поменять client_id, но не факт, что та же участь не постигнет и новый id.
Ответ поддержки опубликован на том же форуме:

Saken er at programmet Rclone lar deg bruke Yandex.Disk som en infrastrukturkomponent, mens Yandex.Disk er en personlig tjeneste som ikke er beregnet for slike oppgaver. Derfor støtter vi ikke bruken av Rclone - Yandex.Disk.

"Infrastrukturkomponent"? Vel, siden det ikke er tillatt, tenkte jeg at dette kanskje er forklart i reglene, og jeg fant ingenting som helst i reglene for selve disken eller dens offentlige API jeg ikke fant.

Vel, vi skriver til supporten.
Det første svaret som kommer er det samme som publisert ovenfor (om "infrastrukturkomponent"). Greit, vi er ikke stolte.

Den videre korrespondansen med supporten

Jeg:

Kan du være så snill å si meg hvilket regelverket dette bryter?
Jeg har studert vilkårene for bruk av Yandex.Disk, og jeg ser ingen forbud mot å bruke det "som infrastrukturkomponent".

Videre kan jeg ikke bruke verktøyet fra min personlige bærbare datamaskin for å jobbe med disken. Dette faller helt utenfor hva som kan anses som "infrastrukturkomponent". Den offisielle klienten for disken er forferdelig, beklager.

Støtte:

Sergiy, poenget er at Yandex.Disk er først og fremst en personlig tjeneste som ikke er beregnet for å laste opp sikkerhetskopier automatisk.
Du kan synkronisere data mellom datamaskinen din og Yandex.Disk, samt bruke nettgrensesnittet til Disken for å laste opp filer og jobbe med dem.

Hvis det av en eller annen grunn ikke passer for deg, vennligst si ifra. Tradisjonelt lytter vi til brukernes meninger når vi lanserer oppdateringer av produktet.

Du kan gjøre deg kjent med dokumentene som regulerer bruken av tjenesten, blant annet "Brukervilkåret for Yandex-tjenester", publisert på adressen: https://yandex.ru/legal/rules/, samt "Vilkårene for bruk av tjenesten 'Yandex.Disk'": https://yandex.ru/legal/disk_termsofuse

For oppgaver som krever høyere ressurser, anbefaler vi å bruke Yandex.Cloud. Dette er en annen skybasert tjeneste fra Yandex som er designet for å løse forretningsoppgaver. For mer informasjon om Yandex.Cloud, se her: https://cloud.yandex.ru

Jeg:

Du svarte ikke på spørsmålet mitt. Kan du være så snill å si meg hvilken punkt i regelverket for tjenesten bryter bruken av rclone? Jeg har nøye gått gjennom reglene via linken din (enda før du sendte meg dem).

Nylig skrev du et innlegg om at Yandex støtter OpenSource, og uten OpenSource ville ikke Yandex eller internett som vi kjenner det, eksistert.https://habr.com/ru/post/480090/).

Men nå blokkerer dere et OpenSource-verktøy uten reell grunn.

Forresten utfører programmet ikke "automatisert sikkerhetskopiering"; det er ment for å jobbe med skylagring, inkludert for synkronisering av data mellom datamaskinen og Yandex.Disk. Dette er også min primære bruksområde for verktøyet, som nå ikke lenger er tilgjengelig.

Støtte:

I henhold til punkt 3.1 i "Brukervilkårene" har Yandex rett til å innføre begrensninger på bruken av tjenester for alle brukere eller for bestemte kategorier av brukere (avhengig av brukerens lokasjon, språket tjenesten tilbys på, osv.), inkludert: tilgjengelighet/utestenging av spesifikke funksjoner i tjenesten, lagringstid for e-poster i Yandex.Mail, annen type innhold, maksimum antall meldinger som kan sendes eller mottas av én registrert bruker, maksimal størrelse på e-postmeldinger eller diskplass, maksimal antall forespørsel til tjenesten i en viss tidsperiode, maksimal oppbevaringsperiode for innhold, spesielle parametere for opplastet innhold, osv. Yandex kan forby automatisk tilgang til sine tjenester og stoppe aksept av all informasjon generert automatisk (for eksempel e-post spam).

Brukeren blir også informert om dette i punkt 4.6 i "Vilkårene for bruk av Yandex.Disk".

Vær oppmerksom på at "Vilkårene for bruk av Yandex.Disk" også pålegger brukeren å handle i god tro og avstå fra å misbruke funksjonene i tjenesten. Brukeren forplikter seg også til å avstå fra å organisere masse filutveksling ved bruk av tjenestens funksjoner.

Yandex har rett til å anvende regler, grenser og restriksjoner for å forhindre, begrense og stoppe masse filutveksling i henhold til reglene i punkt 4.5 i disse "Vilkårene".

Det siste svaret gav klarhet. Spesielt de første to avsnittene med henvisning til p. 3.1 fra "Brukeravtalen" til Yandex og p. 4.6 fra "Vilkår for bruk av Yandex.Disk". Teksten i 4.6 er ikke sitert her, så jeg vil gjøre det:

4.6. Yandex forbeholder seg retten til å etablere alle regler, grenser og begrensninger (tekniske, juridiske, organisatoriske eller andre) for bruk av Tjenesten, og kan endre dem etter eget skjønn, uten forhåndsvarsel til Brukeren. Der hvor lovgivningen ikke forbyr det, kan de nevnte reglene, grensene og begrensningene variere mellom forskjellige kategorier Brukere.

Konklusjoner?

For ikke så lenge siden skrev den respektable bobuk i sitt innlegg her på Habré at Yandex mener at:

Vi i Yandex mener at moderne internett er umulig uten kulturen av open source og folk som investerer sin tid i utviklingen av programmer med åpen kildekode.

Og i praksis viser det seg å være helt annerledes. En utmerket utility blir blokkert for noe som ikke er forbudt av tjenestens regler. Fordi den tillater å bruke åpen offentlig API for Disk til sitt primære formål — å laste opp filer. Den blir ikke blokkert for å bryte tjenestens regler, men fordi de kan.
Det er dobbelt merkelig at det ikke er spesifikke regelbrytere som er blokkert (hvilke regler, for øvrig, er det uklart, bruken av disken for sikkerhetskopiering er ikke forbudt noe sted i reglene). Et verktøy er blokkert, hvor sikkerhetskopieringsfunksjonen bare er en av mange.

Hva et infrastrukturelt komponent er, og hvorfor de heller ikke kan brukes med disken, er heller ikke klart. Selv en nettleser kan brukes som "infrastrukturelt komponent", bør ikke bruken av disken i nettleseren forbys?

Hva skal man gjøre?

Inntil videre bruke sin egen client_id og fortsette videre. Men, ifølge svaret fra kundestøtten, kan man forvente en fortsettelse av heksejakten og blokkering av andre client_id, user-agent fra rclone eller til og med noen heuristiske metoder for å blokkere verktøyet.

P.S. Jeg håper oppriktig at det har vært en enkel feil eller misforståelse. Det jobber utmerkede spesialister i Yandex (mange jeg kjenner personlig) og blant dem, er jeg sikker, finnes det brukere av rclone.

Oppdatering 24.02.2020:
I i episode 690 av Radio-T-podcasten, hvor den respektable Bobuk også er medvert, ble blokkeringen av rclone diskutert. Start at 1:51:40.

Kilde: habr.com