{"id":39249,"date":"2019-10-31T22:28:41","date_gmt":"2019-10-31T19:28:41","guid":{"rendered":"https:\/\/prohoster.info\/blog\/cse-kubernetes-dlya-teh-kto-v-vcloud-e\/"},"modified":"2019-10-31T22:28:41","modified_gmt":"2019-10-31T19:28:41","slug":"cse-kubernetes-dlya-teh-kto-v-vcloud-e","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/cse-kubernetes-dlya-teh-kto-v-vcloud-e","title":{"rendered":"CSE: Kubernetes f\u00fcr diejenigen, die in vCloud sind","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"CSE:
\nHallo zusammen!<\/b><\/p>\n

Es hat sich so ergeben, dass unser kleines Team, um es milde auszudr\u00fccken, schon eine Weile damit besch\u00e4ftigt ist, einige (und perspektivisch alle) Produkte auf Kubernetes zu migrieren. <\/p>\n

Die Gr\u00fcnde daf\u00fcr waren vielf\u00e4ltig, aber unsere Geschichte handelt nicht von einem Streit.<\/p>\n

Bei der Infrastruktur hatten wir nicht viele Optionen. vCloud Director und vCloud Director. Wir w\u00e4hlten die neuere Version und entschieden uns, zu beginnen. <\/p>\n

Nachdem ich erneut \"The Hard Way\" durchgesehen hatte, kam ich sehr schnell zu dem Schluss, dass ein Tool zur Automatisierung zumindest grundlegender Prozesse wie Deployment und Sizing schon gestern n\u00f6tig gewesen w\u00e4re. Eine tiefgehende Recherche bei Google brachte mich zu dem Produkt VMware Container Service Extension (CSE) \u2013 ein Open-Source-Produkt, das es erm\u00f6glicht, die Erstellung und das Sizing von k8s-Clustern f\u00fcr diejenigen zu automatisieren, die in vCloud arbeiten.
\n<\/a><\/noindex><\/p>\n

Haftungsausschluss: CSE hat seine Einschr\u00e4nkungen, aber f\u00fcr unsere Zwecke war es ideal. Au\u00dferdem sollte die L\u00f6sung vom Cloud-Anbieter unterst\u00fctzt werden, aber da der Serverteil ebenfalls Open-Source ist, fordern Sie dessen Verf\u00fcgbarkeit von Ihrem n\u00e4chsten Manager \ud83d\ude42<\/p><\/blockquote>\n

F\u00fcr den Start ben\u00f6tigen Sie ein Administratorkonto in der vCloud-Organisation und ein im Voraus erstelltes Routed-Netzwerk f\u00fcr den Cluster (w\u00e4hrend des Deployments ist Internetzugang aus diesem Netzwerk erforderlich, vergessen Sie nicht, Firewall\/NAT einzurichten). Die Adressierung spielt keine Rolle. In diesem Beispiel verwenden wir 10.0.240.0\/24.<\/p>\n

\"CSE:<\/p>\n

Da der Cluster nach der Erstellung verwaltet werden muss, wird ein VPN mit Routing in das erstellte Netzwerk empfohlen. Wir verwenden einen Standard-SSL-VPN, der auf dem Edge Gateway unserer Organisation eingerichtet ist.<\/p><\/blockquote>\n

Als n\u00e4chstes m\u00fcssen Sie den CSE-Client installieren, von dem aus die k8s-Cluster verwaltet werden. In meinem Fall ist es ein Arbeitslaptop und eine paar gut versteckte Container, die die Automatisierung steuern. <\/p>\n

Der Client erfordert eine installierte Python-Version von 3.7.3 oder h\u00f6her und das installierte Modul vcd-cli<\/a><\/noindex>, daher installieren wir beides.<\/p>\n

pip3 install vcd-cli\n\npip3 install container-service-extension\n<\/code><\/pre>\n
\nNach der Installation \u00fcberpr\u00fcfen wir die Version von CSE und erhalten Folgendes:<\/p>\n
# vcd cse version\nError: No such command \"cse\".\n<\/code><\/pre>\n
\n\u00dcberraschend, aber korrigierbar. Es stellte sich heraus, dass CSE als Modul an vcd-cli angeh\u00e4ngt werden muss.
\nDazu m\u00fcssen Sie zun\u00e4chst vcd-cli in unsere Organisation einloggen:<\/p>\n
# vcd login MyCloud.provider.com org-dev admin\nPassword: \nadmin logged in, org: 'org-dev', vdc: 'org-dev_vDC01'\n<\/code><\/pre>\n
\nDanach erstellt vcd-cli eine Konfigurationsdatei ~\/.vcd-cli\/profiles.yaml<\/i>
\nAm Ende dieser Datei muss Folgendes hinzugef\u00fcgt werden:<\/p>\n
extensions:\n  - container_service_extension.client.cse\n<\/code><\/pre>\n
\nDanach \u00fcberpr\u00fcfen wir erneut:<\/p>\n
# vcd cse version\nCSE, Container Service Extension for VMware vCloud Director, version 2.5.0\n<\/code><\/pre>\n
\nDie Installation des Clients ist abgeschlossen. Lassen Sie uns versuchen, den ersten Cluster bereitzustellen.
\nCSE hat mehrere Satzparameter zur Nutzung, die Sie sich alle ansehen k\u00f6nnen hier.<\/a><\/noindex><\/p>\n
Zun\u00e4chst erstellen wir Schl\u00fcssel f\u00fcr den passwortlosen Zugang zum zuk\u00fcnftigen Cluster. Dieser Punkt ist wichtig, da der Passwortzugang zu den Knoten standardm\u00e4\u00dfig deaktiviert ist. Wenn keine Schl\u00fcssel festgelegt werden, kann man viel \u00fcber die Konsolen der virtuellen Maschinen erreichen, was nicht unbedingt bequem ist.<\/p>\n
# ssh-keygen\nGenerating public\/private rsa key pair.\nEnter file in which to save the key (\/root\/.ssh\/id_rsa): \nCreated directory '\/root\/.ssh'.\nEnter passphrase (empty for no passphrase): \nEnter same passphrase again: \nYour identification has been saved in \/root\/.ssh\/id_rsa.\nYour public key has been saved in \/root\/.ssh\/id_rsa.pub.\n<\/code><\/pre>\n
\nWir versuchen, die Erstellung des Clusters zu starten:<\/p>\n
vcd cse cluster create MyCluster --network k8s_cluster_net --ssh-key ~\/ .ssh \/ id_rsa.pub --nodes 3 --enable-nfs<\/code><\/pre>\n
\nWenn wir einen Fehler erhalten Fehler: Sitzung abgelaufen oder Benutzer nicht eingeloggt. Bitte erneut einloggen.<\/i> \u2014 melden Sie sich erneut bei vcd-cli in vCloud an, wie oben beschrieben, und versuchen Sie es erneut.<\/p>\n
Dieses Mal l\u00e4uft alles gut und die Aufgabe zur Erstellung des Clusters wurde gestartet.<\/p>\n
Cluster-Betrieb: Erstellen des vApp-Clusters 'MyCluster' (38959587-54f4-4a49-8f2e-61c3a3e879e0) aus der Vorlage 'photon-v2_k8-1.12_weave-2.3.0' (Revision 1)\n<\/code><\/pre>\n
\nF\u00fcr den Abschluss der Aufgabe werden ungef\u00e4hr 20 Minuten ben\u00f6tigt, w\u00e4hrenddessen werden wir die grundlegenden Startparameter durchgehen.<\/p>\n
\u2014 Netzwerk \u2014 das von uns zuvor erstellte Netzwerk.
\n\u2014 ssh-key \u2014 die von uns erstellten Schl\u00fcssel, die auf die Knoten des Clusters geschrieben werden.
\n\u2014 nodes n \u2014 Anzahl der Worker-Knoten im Cluster. Es wird immer einen Master geben, das ist eine Einschr\u00e4nkung von CSE.
\n\u2014 enable-nfs \u2014 einen zus\u00e4tzlichen Knoten f\u00fcr die NFS-Freigabe f\u00fcr persistent volumes erstellen. Eine etwas komplizierte Option, auf die wir sp\u00e4ter zur\u00fcckkommen werden.\n<\/p><\/blockquote>\n
 W\u00e4hrenddessen k\u00f6nnen wir in vCloud visuell die Erstellung des Clusters beobachten.
\n\"CSE:
\n
\nSobald die Aufgabe zur Erstellung des Clusters abgeschlossen ist, ist er bereit zur Nutzung.<\/p>\n
Pr\u00fcfen wir die Richtigkeit des Deployments mit dem Befehl vcd cse cluster info MyCluster<\/i><\/p>\n
\"CSE:
\n
\nAls n\u00e4chstes m\u00fcssen wir die Konfiguration des Clusters f\u00fcr die Nutzung erhalten kubectl<\/i><\/p>\n
# vcd cse cluster config MyCluster > .\/.kube\/config\n<\/code><\/pre>\n
\nUnd mit diesem k\u00f6nnen wir den Status des Clusters bereits \u00fcberpr\u00fcfen:<\/p>\n
\"CSE:
\n
\nAn diesem Punkt kann der Cluster als funktionsf\u00e4hig angesehen werden, w\u00e4re da nicht die Angelegenheit mit den persistenten Volumes. Da wir in vCloud sind, ist die Nutzung des vSphere Providers nicht m\u00f6glich. Die Option \u2014 enable-nfs<\/i> sollte dieses Problem mildern, aber es hat nicht ganz geklappt. Eine manuelle Nachjustierung ist erforderlich.<\/p>\n
Zun\u00e4chst muss unser Knoten eine separate unabh\u00e4ngige Festplatte in vCloud erstellen. Dies gew\u00e4hrleistet, dass unsere Daten nicht zusammen mit dem Cluster verschwinden, sollte er gel\u00f6scht werden. Au\u00dferdem verbinden wir die Festplatte mit NFS. <\/p>\n
# vcd disk create nfs-shares-1 100g --description 'Kubernetes NFS shares'\n# vcd vapp attach mycluster nfsd-9604 nfs-shares-1\n<\/code><\/pre>\n
\nDanach gehen wir per SSH (Sie haben die Schl\u00fcssel wirklich erstellt?) zu unserem NFS-Knoten und schlie\u00dfen die Festplatte endg\u00fcltig an:<\/p>\n
root@nfsd-9604:~# parted \/dev\/sdb\n(parted) mklabel gpt\nWarnung: Das vorhandene Datentr\u00e4gerlabel auf \/dev\/sdb wird gel\u00f6scht und alle Daten auf diesem Laufwerk gehen verloren. M\u00f6chten Sie fortfahren?\nJa\/Nein? ja\n(parted) Einheit GB\n(parted) mkpart primary 0 100\n(parted) print\nModell: VMware Virtual disk (scsi)\nLaufwerk \/dev\/sdb: 100GB\nSektorgr\u00f6\u00dfe (logisch\/physisch): 512B\/512B\nPartitionstabelle: gpt\nDisk Flags:\n\nNummer Start End Gr\u00f6\u00dfe Dateisystem Name Flags\n 1 0.00GB 100GB 100GB primary\n\n(parted) quit\nroot@nfsd-9604:~# mkfs -t ext4 \/dev\/sdb1\nErstelle Dateisystem mit 24413696 4k Bl\u00f6cken und 6111232 Inodes\nDateisystem UUID: 8622c0f5-4044-4ebf-95a5-0372256b34f0\nSuperblock Sicherung auf folgenden Bl\u00f6cken:\n\t32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,\n\t4096000, 7962624, 11239424, 20480000, 23887872\n\nZuweisung der Gruppentabellen: erledigt\nSchreiben der Inode-Tabellen: erledigt\nErstellen des Journals (32768 Bl\u00f6cke): erledigt\nSchreiben der Superbl\u00f6cke und der Informationen zur Dateisystembuchhaltung: erledigt\n<\/code><\/pre>\n
\nErstellen Sie ein Verzeichnis f\u00fcr die Daten und mounten Sie dort die neue Partition:<\/p>\n
mkdir \/export\necho '\/dev\/sdb1  \/export   ext4  defaults   0 0' >> \/etc\/fstab\nmount -a\n<\/code><\/pre>\n
\nErstellen wir f\u00fcnf Testpartitionen und teilen sie mit dem Cluster:<\/p>\n
>cd \/export\n>mkdir vol1 vol2 vol3 vol4 vol5\n>vi \/etc\/exports\n#F\u00fcgen Sie dies am Ende der Datei hinzu\n\/export\/vol1 *(rw,sync,no_root_squash,no_subtree_check)\n\/export\/vol2 *(rw,sync,no_root_squash,no_subtree_check)\n\/export\/vol3 *(rw,sync,no_root_squash,no_subtree_check)\n\/export\/vol4 *(rw,sync,no_root_squash,no_subtree_check)\n\/export\/vol5 *(rw,sync,no_root_squash,no_subtree_check)\n#:wq! ;)\n#Als n\u00e4chstes - exportieren wir die Partitionen\n>exportfs -r\n<\/code><\/pre>\n
\nNach all diesem Zauber k\u00f6nnen wir PV und PVC in unserem Cluster ungef\u00e4hr so erstellen:
\nPV:<\/p>\n
cat <<EOF | kubectl apply -f -\napiVersion: v1\nkind: PersistentVolume\nmetadata:\n  name: nfs-vol1\nspec:\n  capacity:\n    storage: 10Gi\n  accessModes:\n    - ReadWriteMany\n  nfs:\n    # Gleiche IP wie der NFS-Host, zu dem wir vorher SSH hatten.\n    server: 10.150.200.22\n    path: "\/export\/vol1"\nEOF\n<\/code><\/pre>\n
\nPVC:<\/p>\n
cat <<EOF | kubectl apply -f -\napiVersion: v1\nkind: PersistentVolumeClaim\nmetadata:\n  name: nfs-pvc\nspec:\n  accessModes:\n    - ReadWriteMany\n  storageClassName: ""\n  resources:\n    requests:\n      storage: 10Gi\nEOF\n<\/code><\/pre>\n
\nDamit endet die Geschichte der Erstellung eines Clusters und die Geschichte seines Lebenszyklus beginnt. Als Bonus - noch zwei n\u00fctzliche CSE-Befehle, die manchmal helfen k\u00f6nnen, Ressourcen gut zu sparen oder nicht:<\/p>\n
#\u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0434\u043e 8 \u0432\u043e\u0440\u043a\u0435\u0440 \u043d\u043e\u0434\n>cse cluster resize MyCluster --network k8s_cluster_net --nodes 8\n\n#\u0412\u044b\u0432\u043e\u0434\u0438\u043c \u043d\u0435\u043d\u0443\u0436\u043d\u044b\u0435 \u043d\u043e\u0434\u044b \u0438\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0441 \u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435\u043c\n>vcd cse node delete MyCluster node-1a2v node-6685 --yes\n<\/code><\/pre>\n
\nVielen Dank f\u00fcr Ihre Zeit, bei Fragen - stellen Sie diese in den Kommentaren.
\n
Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u0422\u0430\u043a \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u043d\u0435 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u0434\u0430\u0432\u043d\u043e, \u0438 \u0443\u0436 \u0442\u043e\u0447\u043d\u043e \u043d\u0435 \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e, \u0434\u043e\u0440\u043e\u0441\u043b\u0430 \u0434\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 (\u0430 \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 \u0438 \u0432\u0441\u0435\u0445) \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0432 Kubernetes. \u041f\u0440\u0438\u0447\u0438\u043d \u0442\u043e\u043c\u0443 \u0431\u044b\u043b\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e, \u043d\u043e \u043d\u0430\u0448\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043d\u0435 \u043f\u0440\u043e \u0445\u043e\u043b\u0438\u0432\u0430\u0440. \u0418\u0437 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0439 \u043e\u0441\u043d\u043e\u0432\u044b \u0432\u044b\u0431\u043e\u0440 \u0443 \u043d\u0430\u0441 \u0431\u044b\u043b \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439. vCloud Director \u0438 vCloud Director. \u0412\u044b\u0431\u0440\u0430\u043b\u0438 \u0442\u043e\u0442, \u0447\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29455,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-39249","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47CSE: Kubernetes f\u00fcr diejenigen, die in vCloud sind | ProHoster","description":"Hallo zusammen! Es ist so gekommen, dass unsere.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/cse-kubernetes-dlya-teh-kto-v-vcloud-e","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47CSE: Kubernetes \u0434\u043b\u044f \u0442\u0435\u0445 \u043a\u0442\u043e \u0432 vCloud-\u0435 | ProHoster","og:description":"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u0422\u0430\u043a \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043d\u0430\u0448\u0430.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/cse-kubernetes-dlya-teh-kto-v-vcloud-e","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:28:41+00:00","article:modified_time":"2019-10-31T19:28:41+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"39249","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 01:28:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:53:37","updated":"2026-01-24 01:28:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/39249","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=39249"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/39249\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/29455"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=39249"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=39249"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=39249"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}