Wie das Docker-Geschäft sich skalieren lässt, um Millionen von Entwicklern zu bedienen, Teil 2: Ausgehende Daten

Dies ist der zweite Artikel aus einer Artikelreihe, in der die Einschränkungen beim Herunterladen von Container-Images behandelt werden.

Im ersten Teils Wir haben die in Docker Hub gespeicherten Images, dem größten Registry für Container-Images, ausführlich untersucht. Wir schreiben darüber, damit Sie besser verstehen, wie unsere aktualisierten Nutzungsbedingungen die Entwicklerteams beeinflussen, die Docker Hub zur Verwaltung von Container-Images und CICD-Pipelines verwenden.

Die Einschränkungen hinsichtlich der Download-Häufigkeit wurden bereits in unseren Nutzungsbedingungenbekannt gegeben. Wir werden die Einschränkungen hinsichtlich der Häufigkeit, die am 1. November 2020 in Kraft treten, im Detail erläutern:

Kostenloser Tarif, anonyme Benutzer: 100 Downloads in 6 Stunden
Kostenloser Tarif, registrierte Benutzer: 200 Downloads in 6 Stunden
Pro-Tarif: keine Einschränkungen
Team-Tarif: keine Einschränkungen

Die Download-Häufigkeit von Docker wird definiert als die Anzahl der Manifestanfragen an Docker Hub. Die Einschränkungen für das Herunterladen von Images hängen von der Art des Kontos ab, das das Image anfordert, nicht von der Art des Kontos des Image-Eigentümers. Für anonyme (nicht registrierte) Benutzer ist die Download-Häufigkeit an die IP-Adresse gebunden.

N.B. Mehr Einzelheiten und Best Practices erhalten Sie im Docker-Kurs von Praktikern. Sie können ihn bequem absolvieren – sowohl zeitlich als auch nach Ihrer Stimmung.

Wir erhalten Fragen von Kunden und der Community zu den Schichten von Container-Images. Wir berücksichtigen die Schichten des Images nicht bei der Begrenzung der Download-Häufigkeit, da wir die Downloads von Manifests einschränken, und die Anzahl der Schichten (Blob-Anfragen) derzeit nicht begrenzt ist. Diese Änderung basiert auf dem Feedback der Community, um es benutzerfreundlicher zu gestalten, sodass die Benutzer nicht die Schichten für jedes verwendete Image zählen müssen.

Detailanalyse der Download-Häufigkeit von Docker Hub-Images

Wir haben viel Zeit damit verbracht, das Herunterladen von Images aus dem Docker Hub zu analysieren, um die Gründe für die Geschwindigkeitsbegrenzung sowie die Art und Weise, wie diese Begrenzung umgesetzt werden sollte, zu bestimmen. Das, was wir gesehen haben, hat bestätigt, dass tatsächlich alle Benutzer die Images mit einer vorhersehbaren Geschwindigkeit für typische Arbeitsabläufe herunterladen. Es gibt jedoch einen spürbaren Einfluss einer kleinen Anzahl an anonymen Benutzern, beispielsweise stammen etwa 30 % aller Downloads nur von 1 % anonymen Benutzern.

Die neuen Einschränkungen basieren auf dieser Analyse, sodass die meisten unserer Benutzer nicht betroffen sein werden. Diese Einschränkungen sollen das übliche Nutzungsmuster von Entwicklern abbilden – das Erlernen von Docker, die Entwicklung von Code, das Erstellen von Images usw.

Hilfe für Entwickler, um die Begrenzung der Downloadfrequenz besser zu verstehen

Jetzt, da wir die Auswirkungen sowie die Grenzen, die gesetzt werden müssen, verstanden haben, mussten wir die technischen Bedingungen für das Funktionieren dieser Einschränkungen definieren. Das Herunterladen von Images aus dem Docker-Registry ist ziemlich herausfordernd. Sie werden keine API für Downloads in der Beschreibung des Registrys finden – diese existiert einfach nicht. In der Tat stellt das Herunterladen eines Images eine Kombination von Manifest- und Blobs-Anfragen über die API dar, die je nach Zustand des Clients und des angeforderten Images unterschiedlich ausgeführt werden.

Wenn Sie beispielsweise bereits ein Image haben, stellt die Docker Engine eine Anfrage für das Manifest, erkennt, dass sie bereits alle erforderlichen Schichten basierend auf dem empfangenen Manifest hat, und hört dann auf. Andererseits – wenn Sie ein Image herunterladen, das mehrere Architekturen unterstützt, gibt die Anfrage für das Manifest eine Liste von Manifesten für jedes unterstützte Architektur zurück. Anschließend stellt die Docker Engine eine weitere Anfrage für das Manifest bezüglich der spezifischen Architektur, auf der sie läuft, und erhält eine Liste aller Schichten des Images. Danach wird sie jede fehlende Schicht (Blob) anfordern.

N.B. Ein umfassender behandelte dieses Thema auf dem Docker-Kurs, in dem wir alle seine Werkzeuge von den grundlegenden Abstraktionen bis hin zu Netzwerkkonfigurationen, der Arbeit mit verschiedenen Betriebssystemen und Programmiersprachen behandeln. Sie werden mit der Technologie vertraut gemacht und verstehen, wo und wie Docker am besten eingesetzt werden kann.

Es stellt sich heraus, dass der Download eines Images tatsächlich eine oder zwei Manifestanfragen sowie von null bis unendlich – Layeranfragen (Blob) sind. Historisch gesehen hat Docker die Downloadhäufigkeit basierend auf den Layers verfolgt, da dies am ehesten mit der Bandbreitennutzung verbunden ist. Dennoch haben wir auf die Gemeinschaft gehört, dass dies komplizierter ist, da die Anzahl der angeforderten Layer verfolgt werden muss, was zu Ignorierung der Best Practices in Bezug auf den Umgang mit Dockerfiles führen kann und außerdem intuitiv schwerer verständlich für Benutzer ist, die einfach mit dem Registry arbeiten möchten, ohne sich im Detail auszukennen.

Daher beschränken wir die Anzahl der Anfragen basierend auf den Manifestanfragen. Dies steht direkt im Zusammenhang mit dem Download von Images, was für die Benutzer leicht verständlich ist. Es gibt jedoch einen kleinen Haken – wenn Sie versuchen, ein bereits vorhandenes Image herunterzuladen, wird die Anfrage dennoch erfasst, auch wenn Sie keine Layers herunterladen werden. In jedem Fall hoffen wir, dass diese Methode der Downloadgeschwindigkeitsbegrenzung sowohl fair als auch benutzerfreundlich sein wird.

Wir freuen uns auf Ihr Feedback

Wir werden die Einschränkungen überwachen und entsprechende Anpassungen basierend auf gängigen Nutzungsszenarien vornehmen, um sicherzustellen, dass die Einschränkungen für jeden Benutzertyp geeignet sind, und wir werden uns insbesondere bemühen, Entwicklern niemals bei ihrer Arbeit im Wege zu stehen.

Bleiben Sie in den nächsten Wochen dran, es wird einen weiteren Artikel zur CI- und Produktionssystemkonfiguration im Lichte dieser Änderungen geben.

Im Rahmen der Unterstützung der Community der Open-Source-Entwickler werden wir bis zum 1. November neue Preispläne für Open Source anbieten. Um einen Antrag zu stellen, müssen Sie ein Formular ausfüllen hier.

Für weitere Informationen zu den letzten Änderungen der Nutzungsbedingungen wenden Sie sich an FAQ.

Für diejenigen, die die Downloadgeschwindigkeit für Images erhöhen müssen, bietet Docker unbegrenzte Downloads von Images als Funktion an der Pro- oder Team-Pläne. Wie immer freuen wir uns über Ihr Feedback und Ihre Fragen hier.

Quelle: habr.com