Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- dnbd3 [2018/01/16 18:47 CET] – +Reste chr
+++ dnbd3 [2018/10/01 16:45 CEST] – [DNBD3 (Seite im Aufbau)] chr
@@ Zeile 1: / Zeile 1: @@
-====== DNBD3 (Seite im Aufbau) ======
+====== DNBD3 ======
 Das 'Distributed Network Block Device 3' ist ein neuartiges, verteiltes, blockbasiertes Speichersystem. Dateien werden nicht als ganzes, sondern blockweise gelesen und verteilt. Dies ermöglicht beim Einsatz eines DNBD3-Proxys einfaches Caching häufig angefragter Blöcke und eine sehr effiziente Übertragung. Je nach Konfiguration des Proxys können wahlweise vollständige Inhalte, also komplette VM-Abbilder, oder lediglich angefragte Blöcke repliziert werden. Mehrere DNBD3-Proxies können zudem problemlos im Verbund eingesetzt werden. Für das netzwerkbasierte System bwLehrpool ergeben sich durch die Verwendung von DNBD3 eine Reihe von Vorteilen gegenüber herkömmlichen Speicherlösungen.
@@ Zeile 6: / Zeile 6: @@
 Die bwLehrpool-Clients beziehen alle benötigten Daten über Netzwerk. Der Satellitenserver liefert im Kilobytebereich Veranstaltungs-Metadaten und im Megabytebereich (~300MB) das grundlegende Minilinux aus; die Virtuellen Maschinen (~Gigabyte) werden in der Regel von einem separaten Storageserver (NFS/CIFS) bezogen. Die Bootdauer der Clients hängt somit maßgeblich von zwei Faktoren ab.
-[{{ :dnbd3:nfs-cifs.png?direct&400|NFS- bzw. CIFS-basierter Aufbau}}]
+[{{ :dnbd3:nfs-cifs.png?direct&400|NFS- bzw
+{{ :dnbd3:3_Satellit_dnbd3_aufklapp_hinzufuegen_getestet.png?250|}}
+. CIFS-basierter Aufbau}}]
   * Der Leserate des Satelliten- bzw. Storageservers
@@ Zeile 37: / Zeile 40: @@
 Sie haben bisher nur einen Proxy, nämlich den Satellitenserver selbst. Unabhängig vom tatsächlichen Speicherort der VMS (intern, NFS, CIFS) laufen nun alle Clientzugriffe über den Satellitenserver. Falls Ihr NFS beispielsweise mit 10 GBit, der Satellitenserver jedoch nur mit 1 GBit angebunden ist, haben Sie nun einen neuen Flaschenhals geschaffen. Es ist daher dringend zu empfehlen, weitere Proxy-Server anzulegen und den Satellitenserver nach Möglichkeit ebenfalls mit 10 GBit anzubinden.
-Zur Bereitstellung zusätzlicher Proxy-Server haben Sie zwei Möglichkeiten:
-  - Sie installieren auf einem bestehenden Linux-Server DNBD3 und fügen diesen als 'Externen Server' hinzu. Sie sind dann selbst für Konfiguration, Updates, Neustarts usw. verantwortlich.
-  - Sie nutzen einen dedizierten Rechner, binden diesen in bwLehrpool ein und lassen diesen mindestens einmal bwLehrpool booten, damit er dem System bekannt ist. Anschließend klicken Sie auf 'Automatisch konfigurierten Proxy hinzufügen' und fügen diesen Rechner über die Suche hinzu. Der so konfigurierte Rechner ist nicht als Arbeitsstation nutzbar und startet sich regelmäßig neu, um eventuelle MiniLinux-Updates zu erhalten. Sie müssen nur dafür sorgen, dass der Rechner läuft und innerhalb des Poolraums nicht unabsichtlich ausgeschaltet wird.
-[{{ :dnbd3:dnbd3_add_auto_client.png?direct&300| Automatisch konfigurierten Proxy hinzufügen}}]
+[{{ :dnbd3:dnbd3_add_auto_client.png?direct&300| Automatisch konfigurierten Proxy hinzufügen}}]Zur Bereitstellung zusätzlicher Proxy-Server haben Sie zwei Möglichkeiten:
+  - Sie installieren auf einem bestehenden Linux-Server DNBD3 und fügen diesen als 'Externen Server' hinzu. Sie sind dann selbst für Konfiguration, Updates, Neustarts usw. verantwortlich. Eine Anleitung zur Installation finden Sie weiter unten im Abschnitt [[#dnbd3-proxy-installation]].
+  - Sie nutzen einen dedizierten Rechner, binden diesen in bwLehrpool ein und lassen diesen mindestens einmal bwLehrpool booten, damit er dem System bekannt ist. Anschließend klicken Sie auf '**Automatisch konfigurierten Proxy hinzufügen**' und fügen diesen Rechner über die Suche hinzu. Der so konfigurierte Rechner ist nicht als Arbeitsstation nutzbar und startet sich regelmäßig neu, um eventuelle MiniLinux-Updates zu erhalten. Sie müssen nur dafür sorgen, dass der Rechner läuft und innerhalb des Poolraums nicht unabsichtlich ausgeschaltet wird.\\ Zur Speicherung replizierter VMs auf dem Proxy-Server müssen Sie auf der Festplatte des Proxy-Servers eine persistente **ID45**-Partition einrichten. Diese Partiton sollte natürlich von ausreichender Größe sein. Im Gegensatz zur ID44-Partition, die Sie bereits von den bwLehrpool Arbeitsstationen kennen, wird diese nicht bei jedem Neustart formatiert.
-Zur Speicherung replizierter VMs auf dem Proxy-Server müssen Sie auf der Festplatte des Proxy-Servers eine persistente **ID45**-Partition einrichten. Im Gegensatz zur ID44-Partition, die Sie bereits von den bwLehrpool Arbeitsstationen kennen, wird diese nicht bei jedem Neustart formatiert.
 ==== Serverliste ====
@@ Zeile 78: / Zeile 81: @@
 Es wäre auch möglich, eine Kombination aus SSD und HDD zu verwenden. Mit Hilfe von 'bcache' kann ein hochperformanter Speichercache realisiert werden. Auch hier sind normale Desktop-Speichermedien völlig ausreichend. Diese Konstellation müssen Sie jedoch selbst einrichten. Eine Integration als 'automatischer DNBD3-Proxy' ist in diesem Fall nicht möglich. Wir empfehlen daher im Zweifelsfall eher eine ausreichende Dimensionierung des Arbeitsspeichers und den Verzicht auf SSDs.
-===== dnbd3-Installation (in Arbeit) =====
+===== dnbd3-Proxy-Installation =====
 Falls Sie einen eigenen Rechner als dnbd3-Proxy abstellen wollen, müssen Sie dnbd3 zur Installation aus den Quellen kompilieren. Für eine Minimalinstallation benötigen Sie nur den Server-Part.
@@ Zeile 105: / Zeile 108: @@
 cd build
 </code>
+== Minimal, nur Server ==
 Führen Sie dort, also im build-Verzeichnis, den Befehl <code>ccmake ..</code> aus. Nach der Meldung 'Empty cache' drücken Sie 'c' zum Konfigurieren. Sie werden zwar wahrscheinlich von einer Fehlermeldung a la "CMake Error at CMakeLists.txt:91 (message): Aborting." begrüßt, ignorieren Sie diese und drücken 'e'. Anschließend sollten Sie einige Optionen sehen:
@@ Zeile 113: / Zeile 118: @@
 ...</code>
-Wählen Sie mit Cursor- und Entertasten so aus, daß lediglich bei BUILD_SERVER 'ON' steht, und tragen Sie bei 'CMAKE_BUILD_TYPE' "Release" ein. Drücken Sie anschließend erneut 'c'; Sie sollten dann keine Fehlermeldung mehr sehen. Drücken Sie erneut 'e', und abschließend 'g'. ccmake sollte sich daraufhin ohne Fehler beenden.
+Wählen Sie mit Cursor- und Entertasten so aus, daß lediglich bei BUILD_SERVER 'ON' steht, und tragen Sie bei 'CMAKE_BUILD_TYPE' "Release" ein. Drücken Sie anschließend erneut 'c'; Sie sollten dann keine Fehlermeldung mehr sehen. Drücken Sie erneut 'e', und abschließend 'g'. ccmake sollte sich daraufhin ohne Fehler beenden. Verfahren Sie anschließend weiter wie bei "Kompilierung" beschrieben.
+== Komplett (Client, Kernelmodul usw.) ==
+Eine komplette Installation ist nicht unbedingt zu empfehlen, da die zusätzlichen Teile (Client, Kernelmodel usw.) nicht für den Betrieb eines dnbd3-Proxys notwendig sind und die zusätzlich benötigten Bibliotheken einigen Raum belegen. Falls Sie sich dennoch für eine komplette Installation entscheiden, installieren Sie zusätzlich die Pakete fuse-devel, fuse-libs, kernel-devel (Kernelsourcen) sowie kernel-headers. Führen Sie anschließend ein 'cmake ..' aus.
 === Kompilierung ===
@@ Zeile 119: / Zeile 128: @@
 Stoßen Sie die Kompilierung mit <code>make</code> an. Sie sollte mit "[100%] Built target dnbd3-server" beendet werden.
-Sie finden die ausführbare Datei <code>dnbd3-server</code> im gleichen Verzeichnis. Wir schlagen vor, diese in ein zu erstellendes Verzeichnis '/opt/openslx/dnbd3' zu kopieren; falls Sie sie an einem anderen Ort haben wollen, geht dies auch; Sie müssen dann allerdings darauf achten, die notwendigen Konfigurationsdateien anzupassen.
+Sie finden die ausführbare Datei <code>dnbd3-server</code> im gleichen Verzeichnis. Wir schlagen vor, diese in ein zu erstellendes Verzeichnis '/opt/dnbd3' zu kopieren; falls Sie sie an einem anderen Ort haben wollen, geht dies auch; Sie müssen dann allerdings darauf achten, die notwendigen Konfigurationsdateien anzupassen.
 ==== Konfiguration ====
-Erstellen Sie ein Verzeichnis <code>/etc/dnbd3-server</code>. Erzeugen Sie in diesem drei Dateien, rpc.acl, alt-servers und server.conf.
+Erstellen Sie ein Verzeichnis <code>/etc/dnbd3-server</code>
+Erzeugen Sie in diesem drei Dateien, rpc.acl, alt-servers und server.conf. Vergleichen Sie für erweiterte Optionen die Datei dnbd3/conf/README.server.
-<code>### rpc.acl ###
+== /etc/dnbd3-server/rpc.acl ==
-# Everything from localhost
+<code>
-[IP-Adresse des Satellitenservers] ALL
+# localhost
+.0.0.0/8 ALL
+[IP des Satellitenservers] ALL
 </code>
-<code>### alt-servers ###
+<note>Die Datei rpc.acl regelt nur die Abfrage der Statusinformationen, nicht den Zugriff auf den dnbd3-proxy an sich. Eine Zugriffsregelung erfolgt vorteilhaft durch iptables. Bitte beachten Sie, daß bei Einträgen der rpc.acl keine Namensauflösung erfolgt; eine Eintragung 'localhost' würde daher nicht funktionieren. Beachten Sie auch, daß bei nicht vorhandener rpc.acl, leerer rpc.acl oder einer rpc.acl mit nicht verständlichem (namensbasiertem) Eintrag keine Kontrolle erfolgt, also der Status von überall ausgelesen werden kann.</note>
+== /etc/dnbd3-server/alt-servers ==
+<code>
 [IP des Satellit]
 [IP anderer Proxy 1, wenn vorhanden]
@@ Zeile 136: / Zeile 151: @@
 </code>
-<code>### server.conf ###
+Am wichtigsten ist der Eintrag des Satellitenservers in dieser Datei, damit der Proxy-Server eine Quelle für die Images kennt. Die Eintragung anderer Proxy-Server sorgt für zusätzliche Redundanz bzw. Lastausgleich für die Replikation. Es ließen sich jedoch auch beliebig komplizierte Hierarchien konstruieren, in denen es auch Proxies gibt, die die Images nicht direkt vom Satellitenserver beziehen, sondern von anderen Proxies.
+== /etc/dnbd3-server/server.conf ==
+<code>
 [dnbd3]
 listenPort=5003
 # Je nach Partitionierung ggf. ein anderes Verzeichnis wählen:
-basePath=/tmp/dnbd3
+basePath=/mnt/huge_disk/dnbd3
 serverPenalty=500
 clientPenalty=0
 isProxy=true
 backgroundReplication=true
+sparseFiles=false
 lookupMissingForProxy=true
 removeMissingImages=false
@@ Zeile 152: / Zeile 171: @@
 [logging]
 consoleMask=ERROR WARNING MINOR INFO
+; Valid types (warning: specifying invalid types will not yield an error!)
+; ERROR     Fatal error, server will terminate
+; WARNING   Major issue, something is broken but keep running
+; MINOR     Minor issue, more of a hickup than serious problem
+; INFO      Informational message
+; DEBUG1    Debug information, used for medium verbosity
+; DEBUG2    Used for debug messages that would show up a lot
 </code>
-Vergessen Sie auch nicht, das in der Datei server.conf unter basePath angegebene Verzeichnis ggf. zu erstellen und dafür zu sorgen, daß der User dnbd3 schreiben kann.
+Wenn Sie zu Testzwecken eine Logdatei benötigen, hängen Sie noch folgendes an die Abteilung [logging] an. Beachten Sie jedoch, daß diese Logs sehr schnell sehr groß werden können - im Normalbetrieb daher nicht zu empfehlen!
+<code>
+; file logging:
+file=/var/log/dnbd3.log
+; which type of messages to log to file:
+fileMask=ERROR WARNING MINOR INFO DEBUG1
+</code>
+Die wichtigsten Optionen sind:
+  * **basePath**: Caching-Verzeichnis des Proxies. Es wird der gesamte Platz genutzt. Versucht der Proxy ein neues Image zu cachen, für das nicht genug Platz zur Verfügung steht, wird das am längsten nicht verwendete Image gelöscht (bzw. die ältesten). Der Einfachste weg, den maximal zu verwendeten Speicher zu beschränken, ist das Anlegen einer separaten Partition.
+  * **serverPenalty**: "Straffaktor" wenn sich ein anderer DNBD3 Proxy zu diesem Server/Proxy verbindet. Je höher dieser Wert ist, desto unattraktiver erscheint er dem anderen Proxy als Replikationsquelle. Somit lässt sich das Load-Balancing beeinflussen.
+  * **clientPenalty**: Gleiche Funktion wie serverPenalty, allerdings für Clients.
+  * **lookupMissingForProxy**: Diese Option entscheidet, ob dieser Proxy-Server Anfragen eines anderen Proxy-Servers nach einem ihm nicht bekannten Image weiterleitet (an den Satelliten oder andere konfigurierte Proxies), oder die Anfrage ablehnt.
+  * **backgroundReplication**: Wenn **false**, leitet der Proxy nur Anfragen nach Image-Teilen an den Satellitenserver bzw. andere Proxies weiter, für die er selbst eine Anfrage von einem Client erhalten hat. Nur diese Teile werden dann auf dem Proxy gecached. Wird die Option auf **true** gesetzt, nutzt der Proxy freie Bandbreite, um nach und nach das gesamte Image lokal zu cachen.
+  * **sparseFiles=false**: Wenn **false**, wird der für ein Abbild notwendige Platz präalloziiert, also bei Anfrage des ersten Blocks komplett reserviert. Sollte der zur Verfügung stehende Speicherplatz sehr knapp sein, kann dieses auf **true** gesetzt werden.
+Vergessen Sie auch nicht, das in der Datei ''server.conf'' unter ''basePath'' angegebene Verzeichnis ggf. zu erstellen und dafür zu sorgen, daß der User dnbd3 lesen **und** schreiben kann.
+In der (git-)Datei dnbd3/conf/server.conf ist übrigens eine recht vollständige Beispielkonfiguration zu finden.
 ==== Automatischer Start ====
@@ Zeile 163: / Zeile 209: @@
 [Service]
-Type=forking
 User=dnbd3
-ExecStart=/opt/dnbd3/dnbd3-server
+ExecStart=/opt/dnbd3/dnbd3-server -n
-Restart=always
+Restart=on-failure
 RestartSec=3
 TimeoutStopSec=10
@@ Zeile 174: / Zeile 219: @@
 WantedBy=network-online.target</code>
-Führen Sie anschließend die Befehle <code>systemctl daemon-reload</code> und <code>systemctl enable dnbd3-proxy.service</code> aus, damir der dnbd3-Proxy bei jedem Neustart automatisch startet.
+Führen Sie anschließend die Befehle <code>systemctl daemon-reload</code> und <code>systemctl enable dnbd3-proxy.service</code> aus, damit der dnbd3-Proxy bei jedem Neustart automatisch gestartet wird. Sie können ihn selbstverständlich gleich mit <code>systemctl start dnbd3-proxy</code> starten.
+==== Satellitenserver ====
+{{ :dnbd3:1_satellit_dnbd3_vor_hinzufuegen.png?direct&250|}}Abschließend muß der neue Proxy dem zuständigen Satellitenserver mitgeteilt werden. Gehen Sie hierzu in der Webschnittstelle des Satellitenservers auf den Menupunkt DNBD3 und wählen "+Externen Server hinzufügen". {clear}
+{{ :dnbd3:2_Satellit_dnbd3_aufklapp_hinzufuegen.png?direct&250|}}Geben Sie dann die IP des Proxys ein, … {clear}
+{{ :dnbd3:3_Satellit_dnbd3_aufklapp_hinzufuegen_getestet.png?direct&250|}} … aber drücken Sie auf "Testen", bevor Sie die IP speichern. {clear}
+{{ :dnbd3:4_Satellit_dnbd3_refresh.png?direct&250|}}Klicken Sie anschließend auf das Doppelpfeilsymbol neben "Serverliste" zur Aktualisierung der Anzeige. {clear}

Zuletzt angesehen:

Unterschiede

Suche

Navigation

Drucken/exportieren

Werkzeuge