🥇The Death of Koschei in the Recommendations (Can You Make YouTube Cozy and Safe?)

Kort introduktion: Jag vill berätta om Youtube-spelaren för Android med lokala spellistor, kanaler och rekommendationer.

Döden av Kosjey i rekommendationslistan (kan man göra Youtube mysigt och säkert?)

Utvecklad introduktion:
För ett tag sedan stötte jag på precis samma problem som författaren till den fantastiska appen Channel Whitelist, och jag hade samma inställning: jag vill kunna ge mitt barn en surfplatta eller smartphone med tecknat då och då, men jag är helt och hållet missnöjd med vart rekommendationslistan i de standard Youtube-apparna leder barnet efter 2-3 klick.

Tyvärr, efter installationen av Channel Whitelist upptäckte jag en annan mer prosaisk men ändå fatal nackdel – NIH kändes (och framför allt min son) inte så bekväm, speciellt efter att ha vant mig vid att använda Youtube Kids-spelaren.

Alltså, efter en tid kände jag mig redo att göra min egen implementation. Lite senare blev det möjligt att sätta en tagg på den första utgåvan.

Key features:

Lägg till dina favoritkanaler och spellistor – de kommer att sparas och indexeras i den lokala databasen
Inuti de tillagda spellistorna kan du stänga av onödiga videor om de inte behövs
Rekommendationslistan genereras slumpmässigt endast från de kanaler och spellistor som lagts till i appen

Källorna är öppna, licensen är GPLv3: https://github.com/sadr0b0t/yashlang/

Härnäst en översikt av de viktigaste funktionerna mer i detalj, plus lite tekniska detaljer om hur man spelar video från Youtube i din Android-app utan att använda Googles API och webbomslag.

På huvudsidan och på spelarsidan: slumpmässiga rekommendationer från icke-slumptävlade kanaler

Omedelbar sökning i den lokala databasen

Lägg till ny kanal eller spellista

Sök efter namn online eller klistra in en känd adress. Videolistan för kanalen eller spellistan sparas i den lokala databasen, ikoner cachas inte.

Dynamisk spellista – spela resultaten från din sökning

I rekommendationerna under videon kommer det endast finnas videor som uppfyller sökfrågan.

På liknande sätt, om du öppnar en video från spellistinställningarna, kommer endast videor från samma spellista att visas i rekommendationerna.

Spellistor och kanaler kan tillfälligt stängas av och slås på igen

Observera: videor från den avstängda spellistan kommer även att försvinna från sökresultaten, visningshistoriken och favoriter. Men oroa dig inte, de kommer att dyka upp där igen så fort spellistan slås på igen.

Lägg videon i svarta listan

Den blockerade videon kommer inte att visas i rekommendationerna, sökresultaten, försvinner från favoriter och visningshistoriken. Videon kommer fortfarande att vara synlig i spellistans inställningar.

Se över svarta listan och återaktivera objekt som blockerats av misstag:
Inställningar > meny i rubriken > Svart lista

Favoritvideor och visningshistorik

Favoritvideor på spelarskärmen markeras med en stjärna i det övre högra hörnet.

Kontextmenyer i rubriken på skärmen och vid långt tryck i gallerier och listor

Kopiera namn eller adress för video eller spellista från visningsskärmen eller i vilken lista som helst.

Snabbstart – lägg till rekommenderade kanaler och spellistor

Appen kommer omedelbart att se ut som på skärmbilderna ovan.

Onödiga kanaler och spellistor kan stängas av eller tas bort i inställningarna.

Installation

Projektets sida: https://github.com/sadr0b0t/yashlang/
på engelska: https://github.com/sadr0b0t/yashlang/blob/master/README.en.md
utgåvor: https://github.com/sadr0b0t/yashlang/releases

Det finns inga på Google Play och det kommer inte att finnas inom den närmaste tiden (Google blockerar appar som kringgår API:et för att skrapa deras webbplats, inklusive nämnda Channel Whitelist eller spelaren NewPipe)
Samla från källkoden: https://github.com/sadr0b0t/yashlang/
Ladda ner apk från avsnittet med utgåvor: https://github.com/sadr0b0t/yashlang/releases
Jag hoppas att det kommer att dyka upp i katalogen snart F-Droid (ansökan om tillägg verkar godkänd, men har inte rört sig framåt på nästan en månad), men fortfarande inte

Ha i åtanke att det inte går att växla mellan olika versioner från olika källor på en och samma enhet på grund av olika signaturer på apk-filen. Innan du installerar en version från en ny källa måste du först ta bort den installerade versionen tillsammans med data – cache för spellistor och visningshistorik (eller komma på hur dessa data kan överföras).

Tekniska detaljer

Kräver inget Google/YouTube-konto, endast internet, använder bibliotek:

NewPipeExtractor för att hämta data från YouTube-tjänsten och
ExoPlayer för att spela upp video.

Öppen källkod, fri licens GPLv3.

Fråga: Är det lagligt att skrapa webbplatser utan tillstånd (eller med uttrycklig förbud) från upphovsmännen? Google tar bort appar från Google Play, som inte använder deras API, utan hämtar deras webbplatser, eftersom de bryter mot deras användarvillkor.
svaret: självklart, det är lagligt, det är ditt beslut vilken verktyg du använder för att läsa offentlig information. Mer än så: USA:s domstolar har helt legaliserat webbskrapning och förbjudit att tekniskt förhindra det, men Google kan ha en annan åsikt, personligen har jag för närvarande ingen lust att gå till amerikansk domstol för att övertyga dem.

Lite kod

Bibliotek NewPipeExtractor — ett hjälpprojekt för spelaren NewPipe, låter dig ladda ner en lista med videor för en angiven kanal eller spellista, hämta detaljerad information om en känd video (det som syns på webbsidan för videon), få adressen till videons ikon samt hämta adressen till videoströmmen.

Koden för att ladda ner spellistan är lite klumpig, så jag kommer inte att ta med den här, för den som är intresserad — kika i källorna, det handlar i huvudsak om klassen ContentLoader.

Låt oss se hur man får adressen till videoströmmen via adressen till videons offentliga sida och spela upp den i spelaren.

Anslut biblioteket i
app/build.gradle

dependencies {
...
    // NewPipe: youtube parser
    // https://github.com/TeamNewPipe/NewPipeExtractor
    implementation "com.github.TeamNewPipe:NewPipeExtractor:v0.17.4"
...
}

Det är intressant att efter detta kommer det fortfarande inte att gå att använda, eftersom exemplen kommer att klaga på den saknade klassen Downloader. Den kan kopieras till projektet från katalogen för automatiska tester NewPipeExtractor/extractor/src/test/java/org/schabi/newpipe/Downloader.java — fungerar för version 0.17.4 (det verkar som om denna del har ändrats i en nyare version av biblioteket, men det behöver kontrolleras).

Att få adressen till videoströmmen via adressen till videons sida på YouTube:

app/src/main/java/su/sadrobot/yashlang/controller/ContentLoader.java

    public String extractYtStreamUrl(final String ytVidUrl) throws ExtractionException, IOException {
        // https://github.com/TeamNewPipe/NewPipeExtractor/blob/dev/extractor/src/test/java/org/schabi/newpipe/extractor/services/youtube/YoutubeStreamExtractorDefaultTest.java
        NewPipe.init(Downloader.getInstance(), new Localization("GB", "en"));
        final YoutubeStreamExtractor extractor = (YoutubeStreamExtractor) YouTube
                .getStreamExtractor(ytVidUrl);
        extractor.fetchPage();
        final String streamUrl = extractor.getVideoStreams().size() > 0 ? extractor.getVideoStreams().get(0).getUrl() : null;
//        for (final VideoStream stream : extractor.getVideoStreams()) {
//            stream.getUrl();
//        }
        return streamUrl;
    }

Som adress för videon kan ytVidUrl vara den publika adressen till sidan för vilken som helst video på YouTube, till exempel https://www.youtube.com/watch?v=pd2RlatmNRk

Spelaren kommer att ExoPlayer från Google. Detta är inte en webbläsartillägg på YouTube, utan en riktig inbäddad spelare för att spela upp videoklipp, som är tillräckligt flexibel och anpassningsbar. Den kan också spela videoströmmar från YouTube om rätt adress anges. Adressen till strömmen fick vi just nu, så låt oss se hur vi skickar den till spelaren.

Anslut biblioteket till projektet app/build.gradle:

dependencies {
...
    // google Exoplayer
    // https://github.com/google/ExoPlayer
    // https://exoplayer.dev/
    implementation 'com.google.android.exoplayer:exoplayer:2.10.8'
...
}

Vi kommer inte att gå igenom alla detaljer kring placeringen av komponenten på appens skärm (du kan titta på exemplen på projektets webbplats eller i koden), utan fokuserar bara på hur man startar uppspelning av video från YouTube i spelaren med den adress vi fick ovan:

app/src/main/java/su/sadrobot/yashlang/WatchVideoActivity.java

privat void spelaVideoström(final String strömUrl, final long sökTill) {
    if (strömUrl == null) {
        // stoppa uppspelningen av den aktuella videon, om den har laddats
        videoPlayerView.getPlayer().stop(true);
    } else {
        // https://exoplayer.dev/
        // https://github.com/google/ExoPlayer

        final Uri mp4VideoUri = Uri.parse(strömUrl);
        final MediaSource videoSource = new ProgressiveMediaSource.Factory(videoDataSourceFactory)
                .createMediaSource(mp4VideoUri);

        // Sätt den gamla videon på paus medan vi förbereder den nya
        if (videoPlayerView.getPlayer().getPlaybackState() != Player.STATE_ENDED) {
            // Om vi pausar här efter att spelaren har pausat sig själv, när den avslutat
            // spela videon, får vi här ett andra händelse STATE_ENDED, så vi behöver här
            // en särskild kontroll.
            // Dessutom kommer värdet för getPlayWhenReady() att förbli true, så vi kontrollerar just tillståndet.
            // https://github.com/google/ExoPlayer/issues/2272
            videoPlayerView.getPlayer().setPlayWhenReady(false);
        }

        // Förbered spelaren med källan.
        ((SimpleExoPlayer) videoPlayerView.getPlayer()).prepare(videoSource);

        // Ange den aktuella positionen omedelbart vid videoladdning
        // (i kommentarerna nämns något om datakällor som stöder eller inte stöder
        // sökningar vid laddning, verkar som att det är nonsens - vi gör bara sökning direkt efter laddning)
        // Exoplayer spelar nya spellistor från början istället för angiven position
        // https://github.com/google/ExoPlayer/issues/4375
        // Hur man laddar ström i önskad position? #2197
        // https://github.com/google/ExoPlayer/issues/2197
        // här är den normala längden ännu inte tillgänglig, så vi kontrollerar den inte
        //if(sökTill > 0 && sökTill  0) {
            // 5 sekunder tidigare
            videoPlayerView.getPlayer().seekTo(sökTill - 5000 > 0 ? sökTill - 5000 : 0);
        }
        videoPlayerView.getPlayer().setPlayWhenReady(true);
    }
}

Kända problem

Kommer inte att spela videor med åldersbegränsningar som kräver inloggning på Google/YouTube

till exempel: Ilja Muromets, Filmkoncern "Mosfilm", Ruslan och Ludmila del 1 / Ruslan and Lyudmila film 1, Filmkoncern "Mosfilm"

tips: lägg sådana videor på svarta listan eller be videoförfattaren att ta bort begränsningen som ställts in av misstag.

Kommer att spela vissa livevideor där tjänsten returnerar noll längd (för sådana videor anges längden i listor och galleri som "[dur undef]")

till exempel: Nåväl Vänta! Alla Utgåvor Soyuzmultfilm HD (Tecknade filmer för barn), Tecknade filmer från Soyuzmultfilm, Topp tecknade filmer från Soyuzmultfilm, Tecknade filmer från Soyuzmultfilm

Tips: Add such videos to the blacklist.

Videos that are only available via direct links may not appear in the local playlist, even if you upload all the user's videos.

till exempel: Taming of the Fire Episode 1, Mosfilm

If you encounter a public video that doesn't require a login, plays in the browser, but doesn't play in the player, please send a bug report (it’s quite possible that the issue has already been fixed in the new version, NewPipeExtractor and only updating to this version will be necessary. for example).
The interface may lag with slow (but not turned off) internet.

I slutändan

My son moved from a tablet to a Samsung smart TV, which cannot run Android applications. Therefore, the best parental control is still personal involvement.

But the app turned out to be convenient enough for me to start using it myself. My first impression from the early working versions was that I had entered another world. All content is loaded from YouTube, but it is no longer YouTube; it’s something else, safe and controlled, as if I removed a centipede from my eye and placed it in a glass jar. And it’s all about the recommendations.

Källa: habr.com