Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen der Seite angezeigt.

Link zu der Vergleichsansicht

Nächste Überarbeitung		 Vorherige Überarbeitung
virtualisierung:proxmox_kvm_und_lxc:einrichtung_eins_standard_proxmox4_clusters [2017/04/12 23:51] – angelegt adminvirtualisierung:proxmox_kvm_und_lxc:einrichtung_eins_standard_proxmox4_clusters [2017/04/14 14:13] (aktuell) – [FAQS] admin
Zeile 1: Zeile 1:
 ====== Einrichtung eins Standard Proxmox4 Clusters ====== ====== Einrichtung eins Standard Proxmox4 Clusters ======
  
-FIXME+===== Voraussetzungen ===== 
 + 
 + 
 +In dem Beitrag wird beschrieben wie man einen Cluster (mind. 2 für Config) verbindet. Folgende Voraussetzungen müssen gegeben sein: 
 +  * Datum und Zeit synchron 
 +  * SSH über Port 22 zwischen den Nodes ist möglich 
 +  * Möchte man HA benutzen, ab 3 Nodes, sollte man überall die selbe PVE Version verwenden 
 +  * Mind. eine dizierte NIC für die Clusterkommunikation 
 +  * Eigenes Clustervlan oder eigenen PHY Switch mit eigenem Subnet 
 +  * Alle Clustermitglieder müssen auf diesem Interface das gleich IP Netz verwenden, ob IPV4 oder IPV6 ist egal 
 +  * Alle Clustermitglieder müssen über Multicast (Corosync verwendet UDP 5404 und 5405) kommunizieren können.  
 + 
 +===== Installation und Konfiguration ===== 
 + 
 +Als erstes installiert man auf allen Mitgliedern, in unsereme Fall 2 Server, Proxmox in der gleichen Version. Wenn man eine [[https://www.proxmox.com/de/proxmox-ve/preise|Subscription]] verwendet ist es wichtig das alle Clustermitglieder die gleiche verwenden. Hat man alles erfolgreich installiert, Updates usw. gehts an die Konfiguration.  
 + 
 +==== Netzwerk einrichten ==== 
 +Wir gehen hier von einer Mindestkonfig von zwei NICs pro Server aus. Einmal das Homenetzwerk ''192.168.0.0/24'' und einmal das Proxmox Clustervlan ''192.168.1.0/24''. Dies kann man natürlich alles grafisch über das PVE Webinterface erledigen, oder man editiert einfach die ''/etc/network/interfaces''.  
 + 
 +**Netzwerkconfig pve01:** 
 +<code> 
 +auto lo 
 +iface lo inet loopback 
 + 
 +iface eth0 inet manual 
 + 
 +auto vmbr0 
 +iface vmbr0 inet static 
 +        address 192.168.0.1 
 +        netmask 255.255.255.0 
 +        gateway 192.168.0.254 
 +        bridge_ports eth0 
 +        bridge_stp off 
 +        bridge_fd 0 
 + 
 +auto eth1 
 +iface eth1 inet static 
 +        address 192.168.1.1 
 +        netmask 255.255.255.0 
 +#Clusternetzwerk 
 +</code> 
 + 
 +**Netzwerkconfig pve02:** 
 +<code> 
 +auto lo 
 +iface lo inet loopback 
 + 
 +iface eth0 inet manual 
 + 
 +auto vmbr0 
 +iface vmbr0 inet static 
 +        address 192.168.0.2 
 +        netmask 255.255.255.0 
 +        gateway 192.168.0.254 
 +        bridge_ports eth0 
 +        bridge_stp off 
 +        bridge_fd 0 
 + 
 +auto eth1 
 +iface eth1 inet static 
 +        address 192.168.1.2 
 +        netmask 255.255.255.0 
 +#Clusternetzwerk 
 +</code> 
 +Um das Neue Netzwerk zu aktivieren startet man die Server einfach durch. Man kann aber auch den Netzwerkdienst neustarten: 
 +<code> 
 +/etc/init.d/networking restart 
 +</code> 
 +==== Cluster generiern und erweitern ==== 
 +Den Cluster generiert man mit folgendem Befehl: 
 +<code> 
 +pvecm create proxmoxcl01 -bindnet0_addr 192.168.1.0 -ring0_addr 192.168.1.1 
 +</code> 
 +Mit ''pvecm status'' sieht nun das man einen Cluster mit dem Namen "proxmoxcl01" generiert hat, dieser besteht aus einem Host. Da haben wir natürlich nicht viel davon, deshalb loggen wir uns jetzt auf dem zweiten Proxmox Server ein, dieser soll ja dem gerade generierten Cluster beitreten. Wichtig ist natürlich das sich am zweiten Host keine VM's oder sonstige Config befindet. Diese wird beim Beitritt zum Cluster überschrieben.  
 +Eingeloggt man zweiten Host, treten wir dem Cluster mit folgendem Befehl bei: 
 +<code> 
 +pvecm add 192.168.1.1 -ring0_addr 192.168.1.2 
 +</code> 
 +Jetzt werden Zertifikate/Schlüssel usw. ausgetauscht. Auch das Proxmox [[https://pve.proxmox.com/wiki/Proxmox_Cluster_File_System_(pmxcfs)|Cluster File System wird gesynct]]. Sehen wir uns nun den Cluster an, sehen wir bereits zwei Host die synchron sind.  
 +<code> 
 +Quorum information 
 +------------------ 
 +Date:             Fri Apr 14 12:59:52 2017 
 +Quorum provider:  corosync_votequorum 
 +Nodes:            2 
 +Node ID:          0x00000001 
 +Ring ID:          1/68 
 +Quorate:          Yes 
 + 
 +Votequorum information 
 +---------------------- 
 +Expected votes:   2 
 +Highest expected: 2 
 +Total votes:      2 
 +Quorum:           2   
 +Flags:            Quorate  
 + 
 +Membership information 
 +---------------------- 
 +    Nodeid      Votes Name 
 +0x00000001          1 192.168.1.1 (local) 
 +0x00000002          1 192.168.1.2 
 +</code> 
 +Eine Masternode gibt es nicht, man kann also überall alles bearbeiten.  
 + 
 +==== Clusterkommunikation ausfallsicher ==== 
 +Natürlich möchte man im Produktivbetrieb minds. zwei Interfaces für die Clusterkommunikation verwenden, falls mal eines ausfällt, oder man Wartungesarbeiten durchführen muss. Noch besser wäre wenn man die Interfaces auf zwei PHY getrennte Switches verteilt.  
 +Bei unserer Testconfig gehen wir von zwei Interfaces pro Server für die Clusterkommunikation aus. Man sollte am Switch kein Trunk/LACP oder ähnliches erstellen sondern das RRP-Protokoll von Corosync nutzen. In der Netzwerkconfig der Server muss jedes weitere Interface default hinzugefügt werden. Das ganze sieht dann so aus: 
 + 
 +**Netzwerkconfig pve01:** 
 +<code> 
 +auto lo 
 +iface lo inet loopback 
 + 
 +iface eth0 inet manual 
 + 
 +auto vmbr0 
 +iface vmbr0 inet static 
 +        address 192.168.0.1 
 +        netmask 255.255.255.0 
 +        gateway 192.168.0.254 
 +        bridge_ports eth0 
 +        bridge_stp off 
 +        bridge_fd 0 
 + 
 +auto eth1 
 +iface eth1 inet static 
 +        address 192.168.1.1 
 +        netmask 255.255.255.0 
 + 
 +auto eth2 
 +iface eth2 inet static 
 +        address 192.168.2.1 
 +        netmask 255.255.255.0 
 +#Clusternetzwerk 
 +</code> 
 + 
 +**Netzwerkconfig pve02:** 
 +<code> 
 +auto lo 
 +iface lo inet loopback 
 + 
 +iface eth0 inet manual 
 + 
 +auto vmbr0 
 +iface vmbr0 inet static 
 +        address 192.168.0.2 
 +        netmask 255.255.255.0 
 +        gateway 192.168.0.254 
 +        bridge_ports eth0 
 +        bridge_stp off 
 +        bridge_fd 0 
 + 
 +auto eth1 
 +iface eth1 inet static 
 +        address 192.168.1.2 
 +        netmask 255.255.255.0 
 + 
 +auto eth2 
 +iface eth2 inet static 
 +        address 192.168.2.2 
 +        netmask 255.255.255.0 
 +#Clusternetzwerk 
 +</code> 
 +Um das Neue Netzwerk zu aktivieren startet man die Server einfach durch. Man kann aber auch den Netzwerkdienst neustarten: 
 +<code> 
 +/etc/init.d/networking restart 
 +</code> 
 +Cluster generieren und Node hinufügen: 
 +<code> 
 +pvecm create proxmoxcl01 -bindnet0_addr 192.168.1.0 -ring0_addr 192.168.1.1 -bindnet1_addr 192.168.2.0 -ring1_addr 192.168.2.1 
 +</code> 
 +Auf dem zweiten Host einloggen: 
 +<code> 
 +pvecm add 192.168.1.1 -ring0_addr 192.168.1.2 -ring1_addr 192.168.2.2 
 +</code> 
 + 
 +===== Cluster mit IPV6 generieren ===== 
 +Da hier keine öffentlichen (RADVD) adressen von nöten sind holt man sich einfach ein Subnet. Z.B. ''fddd:a4fb:635c:b9ef::/64''. Von der Config ist zwischen IPV4 und IPV6 kein Unterschied. Lediglich mit den Multikast muss man ein wenig aufpassen. Unsere Netzwerkconfig würde dann so ausehen.  
 + 
 +**Netzwerkconfig pve01:** 
 +<code> 
 +auto lo 
 +iface lo inet loopback 
 + 
 +iface eth0 inet manual 
 + 
 +auto vmbr0 
 +iface vmbr0 inet static 
 +        address 192.168.0.1 
 +        netmask 255.255.255.0 
 +        gateway 192.168.0.254 
 +        bridge_ports eth0 
 +        bridge_stp off 
 +        bridge_fd 0 
 + 
 +iface vmbr0 inet6 static 
 +        address  2001:470:2a1c:561:eb5:7aff:fa2f:f7b2 
 +        netmask  64 
 +        gateway  2001:470:2a1c:561::8 
 + 
 +auto eth1 
 +iface eth1 inet6 static 
 +        address fddd:a4fb:635c:b9ef::1 
 +        netmask 64 
 +#Clusternetzwerk 
 +</code> 
 + 
 +**Netzwerkconfig pve02:** 
 +<code> 
 +auto lo 
 +iface lo inet loopback 
 + 
 +iface eth0 inet manual 
 + 
 +auto vmbr0 
 +iface vmbr0 inet static 
 +        address 192.168.0.2 
 +        netmask 255.255.255.0 
 +        gateway 192.168.0.254 
 +        bridge_ports eth0 
 +        bridge_stp off 
 +        bridge_fd 0 
 + 
 +iface vmbr0 inet6 static 
 +        address  2001:470:2a1c:561:ec4:7aaf:fe21:f7a1 
 +        netmask  64 
 +        gateway  2001:470:2a1c:561::8 
 + 
 +auto eth1 
 +iface eth1 inet6 static 
 +        address fddd:a4fb:635c:b9ef::2 
 +        netmask 64 
 +#Clusternetzwerk 
 +</code> 
 +Um das Neue Netzwerk zu aktivieren startet man die Server einfach durch. Man kann aber auch den Netzwerkdienst neustarten: 
 +<code> 
 +/etc/init.d/networking restart 
 +</code> 
 +Cluster generieren und Node hinufügen: 
 +<code> 
 +pvecm create osit-cl01 -bindnet0_addr fddd:a4fb:635c:b9ef::1 -ring0_addr fddd:a4fb:635c:b9ef::1 
 +pvecm add fddd:a4fb:635c:b9ef::1 -ring0_addr fddd:a4fb:635c:b9ef::2 
 +</code> 
 +Unser Cluster sieht nun so aus: 
 +<code> 
 +Quorum information 
 +------------------ 
 +Date:             Fri Apr 14 13:54:29 2017 
 +Quorum provider:  corosync_votequorum 
 +Nodes:            2 
 +Node ID:          0x00000001 
 +Ring ID:          1/344 
 +Quorate:          Yes 
 + 
 +Votequorum information 
 +---------------------- 
 +Expected votes:   2 
 +Highest expected: 2 
 +Total votes:      2 
 +Quorum:           2   
 +Flags:            Quorate  
 + 
 +Membership information 
 +---------------------- 
 +    Nodeid      Votes Name 
 +0x00000001          1 fddd:a4fb:635c:b9ef::1 (local) 
 +0x00000002          1 fddd:a4fb:635c:b9ef::2 
 +</code> 
 + 
 +===== FAQS ===== 
 +  * Was passiert bei einem Zweiergespann wenn mir eine Node ausfällt? 
 +    * In dem Fall hat das System kein Quorum mehr, und wird keine Änderungen an den Configs annehmen. Die zu startenden VM's warten dann so lange zum Start bis Quorum verfügbar ist. Also bis die zweite Node wieder Online ist.  
 +  * Muss ich eim Einschalten der Clusterserver etwas beachten? Kommt es auf die Anzahl der Clusternodes ans? 
 +    * Nein, aber am besten ist alles gleichzeitig einschalten.  
 +  * Eine meiner Nodes wird dauernd im Webinterface rot, was kann da die Ursache sein?  
 +    * Meist ist das ein Problem mit dem Netzwerk. Sehr oft wird das gleiche Netzwerk der VM's auch für die Clusterkommunikation verwendet. Das sollte man auf keinem Fall in einem Produktivsystem tun, da das gesamte Netz mit Mulitkast überschemmt wird. 
 +  * Wenn ich local-storage verwende kann ich dann auch zwischen den Hosts migrieren?  
 +    * Ja natürlich, aber nur Offline und die storage muss natürlich überall gleich sein, also z.B. pve-data, da die Configs ja im Cluster gesynct werden. Man kann natürlich gewisse Storages von Hosts excluden.  
 + 
 + 
 +===== Links ===== 
 +  * [[http://pve.proxmox.com/pve-docs/chapter-pvecm.html|PVE Cluster Manager]]