dnbd3_fuse_cow - bwLehrpool

Diese Seite ist nicht editierbar. Sie können den Quelltext sehen, jedoch nicht verändern. Kontaktieren Sie den Administrator, wenn Sie glauben, dass hier ein Fehler vorliegt.
====== dnbd3-fuse-cow ======

Diese Erweiterung des fuse dnbd3-Clients ermöglicht, Images (virt. Abbilder) beschreibbar zu mounten. Änderungen werden in einer separaten Datei auf dem Client-Computer gespeichert (auch Copy on Write, kurz cow genannt) und im Hintergrund auf den cow-Server hochgeladen. Verbleibende Änderungen werden hochgeladen, sobald das Image ausgehängt wird. Nach Upload aller Änderungen werden sie in einer Kopie des Original-Images auf dem Cow-Server zusammengeführt, wenn dies in den Startparametern eingestellt wurde.

Ein typischer Anwendungsfall ist das Aktualisieren oder Hinzufügen von Software zu einem bestehenden Image. Der Vorteil ist, dass nicht erst das komplette Abbild heruntergeladen, lokal bearbeitet und anschließend wieder hochgeladen werden muss. Stattdessen wird das Image beschreibbar per dnbd3 gemountet; die Uploadzeit ist deutlich kürzer, da Änderungen bereits während der Session hochgeladen werden.

===== Installation =====

Diese Anleitung umfasst die Installation der nötigen Komponenten sowie die Anwendung der Tests.
==== Installation dnbd3-Server, dnbd3-fuse-Client, Testprogramm ====

=== Installation der Abhängigkeiten ===

Beispiel Ubuntu 22.04 oder Debian 11, andere Distributionen mit evtl. abweichenden Paketnamen:

<code>
apt-get update -y
apt-get install -y make cmake clang-format linux-headers-generic libfuse-dev libjansson-dev libcurl4-openssl-dev
</code>

=== Download Quellcode ===

Download des Quellcodes aus dem git-Repository:
<code>
git clone -b fuse_cow_2 git://git.openslx.org/dnbd3.git
</code>

=== Bau und Installation ===

Vor dem Bau in das nach dem Download erzeugte Verzeichnis dnbd3 wechseln. Dann zur Konfiguration des Baus ausführen:
<code>
cmake -D DNBD3_KERNEL_MODULE=OFF \
      -D DNBD3_BENCHMARK=OFF \
      -D DNBD3_CLIENT_FUSE=ON \
      -D DNBD3_CLIENT_FUSE_COW_TEST=ON \
      -D DNBD3_SERVER=ON \
      -D DNBD3_SERVER_FUSE=OFF \
      -D DNBD3_SERVER_AFL=OFF \
      -D DNBD3_SERVER_DEBUG_LOCKS=OFF \
      -D DNBD3_SERVER_DEBUG_THREADS=OFF \
      -D DNBD3_RELEASE_HARDEN=OFF \
      -D DNBD3_PACKAGE_DOCKER=OFF
</code>

… und anstoßen:
<code>
make && make install
</code>

Ein ausgeführtes 'make install' installiert die ausführbaren Dateien dnbd3-fuse, dnbd3-fuse-cow-test sowie dnbd3-server nach /usr/local/bin. '/usr/local/bin' sollte im Pfad enthalten sein.

==== Installation cow_merger_service ====

=== Installation von .NET 6 SDK ===

== Ubuntu 22.04 ==
Beispiel Ubuntu 22.04

<code>
apt install dotnet6
</code>

== Debian ==

Folgende Befehle gelten für Debian 10 und 11; für Debian 10 einfach vorkommende '11' durch '10' ersetzen.

<code>
wget https://packages.microsoft.com/config/debian/11/packages-microsoft-prod.deb -O packages-microsoft-prod.deb && \
dpkg -i packages-microsoft-prod.deb && \
rm packages-microsoft-prod.deb
</code>

Diese Befehle erzeugen einen Repositoriumseintrag unter /etc/apt/sources.list.d/microsoft-prod.list. Dieser kann nach erfolgter Installation gelöscht werden. Die eigentlich Installation erfolgt mit
<code>
apt-get update && apt-get install -y dotnet-sdk-6.0
</code>

<note important>Achtung: Dotnet telefoniert wie viele MS-Produkte sehr gern heim zu Microsoft. Es ist daher sehr empfehlenswert, stets die Umgebungsvariable DOTNET_CLI_TELEMETRY_OPTOUT auf '1' oder 'true' zu setzen, um dies zu verhindern.</note>

== Andere Distributionen ==

Für andere Distributionen kann Dotnet ggf. nach Eintrag einen Microsoft-Repositoriums per jeweiligem Paketmanager oder nach direktem Download der Paketdate erfolgen. Informationen dazu finden Sie bei [[https://dotnet.microsoft.com/en-us/download?initial-os=linux|Microsoft]].

=== Download Quellcode ===

<code>
git clone "https://github.com/z0Kng/cow_merger_service.git"
</code>

=== Bau des cow_merger_service ===

<code>
cd cow_merger_service
dotnet build cow_merger_service.csproj --runtime linux-x64
</code>

Empfehlenswert sind die Optionen **-p:PublishSingleFile=true** und **-p:PublishTrimmed=True**. Diese bewirken, dass der Server als einzelne Datei gebaut und die Dateigröße reduziert wird, **--self-contained true** bewirkt, dass .NET nicht auf dem Zielsystem installiert sein muss.

<code>
dotnet publish -c Release -o publish -p:PublishReadyToRun=true -p:PublishSingleFile=true -p:PublishTrimmed=True -p:PublishReadyToRunShowWarnings=true --self-contained true --runtime linux-x64
</code>

Erzeugte Dateien (Serverprogramm und Konfigurationsdatei) werden in cow_merger_service/publish/ abgelegt. Kopieren Sie die ausführbare Datei cow_merger_service und die Konfiguration appsettings.json an einen geeigneten Ort, beispielsweise in ein eigenes Verzeichnis hinter /opt.

=== Start cow_merger_service ===

Der Start des cow_merger_services kann automatisiert werden. Erzeugen Sie dazu eine Datei in /etc/systemd/system/cow_merger_service.service folgenden Inhalts:

<code>
[Unit]
Description=CoW merger service
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
WorkingDirectory=/opt/cow_merger_service
Environment="DOTNET_CLI_TELEMETRY_OPTOUT=TRUE"
ExecStart=/opt/cow_merger_service/cow_merger_service
Restart=on_failure
User=root

[Install]
WantedBy=multi-user.target
</code>

… und führen anschließend den Befehle 'systemctl enable cow_merger_service' aus. 'systemctl daemon-reload && systemctl start cow_merger_service' startet den Dienst direkt.

==== Konfiguration ====

Serverseitig sollten 3 Verzeichnisse erstellt werden:

<code>
mkdir [WorkingDirectory]
mkdir [OriginalImageDirectory]
mkdir [DestinationDirectory]
</code>

=== dnbd3-Server ===

Die Konfiguration des dnbd3-Servers erfolgt per **server.conf**. Eine Beispielkonfiguration ist in **pkg/config/server.conf** zu finden. Diese kann an einen passenden Ort kopiert werden; der Pfad kann dem dnbd3-Server mit dem Startparamerter **--config** übergeben werden. Die wichtigste Konfigurationsoption ist **basePath**, die das Verzeichnis bezeichnet, in dem die von Server bereitgestellten Images liegen. Die Abbilddateien müssen auf .r[1-9][0-9]* enden. Nach Ablage der Images in diesem Ordner kann der Server gestartet werden.

<code>
dnbd3-server --config [Pfad zur Config]
</code>


== Autostart dnbd3-server ==

Der dnbd3-Server wird am besten direkt beim Systemstart mittels systemd gestartet. Dazu folgende Datei unter /etc/systemd/system/dnbd3-server.service ablegen …

<code>
[Unit]
Description=CoW merger service
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
WorkingDirectory=/opt/cow_merger_service
Environment="DOTNET_CLI_TELEMETRY_OPTOUT=TRUE"
ExecStart=/opt/cow_merger_service/cow_merger_service
Restart=on_failure
User=root

[Install]
WantedBy=multi-user.target
</code>

… und mittels 'systemctl enable dnbd3-server' zum automatischen Start registrieren. Ein Direktstart kann mittels 'systemctl daemon-reload', systemctl start dnbd3-server' erfolgen.

=== cow_merger_service ===

Die Konfiguration des cow_merger_service erfolgt über die Datei **appsettings.json**, welche sich im gleichen Order wie die Executable befindet.

^Schlüssel              ^ Wert ^ Beschreibung                                                                                                                                     ^ 
|WorkingDirectory       | Pfad| Order in dem der Server die aktiven Images zur Bearbeitung zwischen speichert.                               |
|OriginalImageDirectory	| Pfad | Ordner der die Originalen Image Dateien enthält. |
|DestinationDirectory	| Pfad | In diesen Ordner werden die fertigen Images kopiert.|
|Urls	                | url:port,..,url:port| Url Liste auf die der Server hören soll.|

Sämtliche genannten Werte aus der Tabelle **müssen** konfiguriert werden. Sollten sich die Serverprozesse cow_merger_service und der dnbd3-server auf dem selben System befinden, macht es Sinn, dass **OriginalImageDirectory** auf den gleichen Ordner wie der **basePath** des dnbd3 Servers zeigt.

=== Serverstart ===

<code>
cow_merger_service
</code>

=== dnbd3_fuse_cow ===

Es werden zwei leere Verzeichnise benötigt. Der **mountPfad** muss ein leerer Ordner sein, in diesen wird das Image gemounted.
Im **tmpCowPfad** speichert die COW Erweiterung die Änderungen und Metadaten des Images zwischen und bei Benutzung des **--cowStatFile** Parametrs wird dort auch die **status.txt** angelegt welche debug informationen zur COW Erweiterung  enthält.
<code>
mkdir [mountPfad]
mkdir [tmpCowPfad]
</code>

^opt ^ longopt        ^ Paramter ^ Beschreibung^
|-f  |                |                       | Kein fork, Log wird in stdout geschrieben.                      |
|-h  | --host         | <address1 address2..> | host Adressen der dnbd3 Server.                                 |
|-i  | --image        | <imagename>           | Name des images das geladen werden soll.                        |
|-c  | --cow          | <tmpCowPfad>          | Erstellt eine neue Cow session,                                 |
|-L  | --loadCow      | <tmpCowPfad>          | Läd eine cow Session von dem Pfad welche noch kein merge hatte. |
|-C  | --cowServer    | <url:port>            | Url/Ip und Port des cow_merger_service                          |
|-m  | --merge        |                       | Merged das Image sobald die Session beendet wird.               |
|-x  | --cowStatStdout|                       | Schreibt den Cow status in stdout.                              |
|-y  | --cowStatFile  |                       | Schreibt den Cow status in status.txt in <tmpCowPfad> .         |

Beispiel Startparameter: Laden eines Images im cow-Modus mittels fuse-Client; Image wird nach erfolgtem unmount gemerged.

<code>
dnbd3-fuse [mountPfad] -f -h [dnbd3 server ip] -i test -c [tmpCowPfad] " -C [url:port] -m 
</code>

===== Tests =====

Für die Tests wird ein komplettes Setup, bestehend aus dnbd3 server, cow_merger_service und dnbd3_fuse client benötigt. Das Testprogramm enthält zwei verschiedene Tests; bei beiden Test wird ein per dnbd3_fuse gemountetes Testabbild benötigt. Der Standardtest enthält verschiedene Tests, die allgemeine Funktionen und Edge Cases testen. Hierbei werden Schreib-, Lese- und Größenanderungen durchgeführt. Diese werden anschließend mit den erwarteten Werten verglichen.

Der Random Test führt zufällige Schreibvorgänge und Größenänderungen durch. Diese werden sowohl auf dem gemounteten Image als auch auf einer im Dateisystem befindlichen Kopie desselben durchgeführt. Beide Abbilder werden zum Abschluss auf Gleichheit getestet.

==== Allgemeine Testvorbereitungen ====

dnbd3-server, dnbd3-fuse-cow-test, dnbd3-fuse, und cow_merger_service sollten wie oben beschrieben erstellt und konfiguriert sein. Anschließend kann mit folgendem Befehl ein Testimage erstellt werden:

<code>
dnbd3-fuse-cow-test -c [Imagename].r1
</code>

Dieses Abbild kann anschließend in den basePath-Ordner des dnbd3-Servers verschoben werden und, falls der cow_merger_service-[OriginalImageDirectory]-Order nicht auf denselben zeigt, in diesen kopiert werden. Die Prozesse dnbd3-server und cow_merger_service müssen natürlich ebenfalls gestartet werden, falls noch nicht geschehen .

<code>
dnbd3-server --config [Pfad zur Config]
cow_merger_service
</code>

Sollte der dnbd3-server schon laufen muss dieser neu gestartet werden.

==== Parameter des Testprogrammes ====

^opt^longopt^ Arguments                    ^ Beschreibung^
|-c|--testFile       |<path>                      | Generiert eine Test Datei dem angegebenen Pfad, dieses Datei wird für die Tests benötigt.|
|-t|--test           |<file>                      | Führt den Standard Test an der angegebenen Datei durch.|
|-d|--delay          |<seconds>                   |Setzt den Warte Wert im Standart Test für den MultipleWrites test.|
|-v|--verify         |<file>                      | Dient zum verifizieren des Datei nachdem der Standard Test ausgeführt wurde.|
|-r|--randomTest     |<mountedFile> <normalFile>  | Dieser Test schreibt und ändert die Größe beider Dateien zufällig, solange bis der Test beendet wird (ctrl+c). Dann werden beide Dateien auf gleichheit getestet.|
|-x|--compare        |<mergedFile> <normalFile>   | Prüft beide Dateien auf Gleichheit|
|-y|--minSizePercent |[1-200]                     | Minimaler Prozentualer wert auf die der Random Test das Image bei einer Größenänderung reduziert.|
|-z|--maxSizePercent |[1-200]                     | Maximaler Prozentualer wert auf die der Random Test das Image bei einer Größenänderung erhöht.|

==== Standard-Test ====

1. Mit dem Fuse Client im cow modus eine neue Session starten:
<code>
dnbd3-fuse [mountPfad] -f -h [dnbd3 server ip] -i [imageName] -c [tmpCowPfad] -C [url:port] -y -x 
</code>
2. Standard-Test starten:
<code>
cowtest/dnbd3-fuse-cow-test -t [mountPfad]  
</code>
3. Nach Abschluss des Tests unmounten:
<code>
umount [mountPfad]
</code>
4. A alte cow-Sitzung wieder laden und merge (-m) aktivieren:
<code>
dnbd3-fuse [mountPfad] -f -h [dnbd3 server ip] -i [imageName] -c [tmpCowPfad] -C [url:port] -y -x -m
</code>
5. Image auf Fehler prüfen:
<code>
dnbd3-fuse-cow-test -v [mountPfad]  
</code>
6. Unmount nach Abschluss der der Prüfung:
<code>
umount [mountPfad]
</code>
7. Nach Beendigung des merge-Vorgangs prüfen, ob im [DestinationDirectory] das neue Image vorhanden ist, dann das fertige Image auf Fehler prüfen:
<code>
dnbd3-fuse-cow-test -v "[DestinationDirectory]/[imageName].r2" 
</code>

==== Random-Test ====

1. Kopie des Testimages auf einen beliebigen Ort innerhalb des lokalen Dateisystems als Vergleichsbasis des Random-Tests erstellen:
<code>
cp [OriginalImageDirectoryPfad]/[imageName].r1 [Pfad im lokalen Dateisystem]
</code>

2. Start einer neues Session mittels Fuse-Client im cow-Modus:
<code>
dnbd3-fuse [mountPfad] -f -h [dnbd3 server ip] -i [imageName] -c [tmpCowPfad] -C [url:port] -y -x
</code>

3. Teststart per dnbd3-fuse-cow-test (neues Terminal empfehlenswert):
<code>
dnbd3-fuse-cow-test --randomTest "[mountPfad]/img" "[Pfad im lokalen Dateisystem]/[imageName].r1"
</code>

4. Nach beliebiger Zeit den Random-Test beenden (Strg+C). Darauf werden beide Abbilder auf Gleichheit getestet.

5. Image des dnbd3-fuse-Clients unmounten:
<code>
umount [mountPfad]
</code>

6. Laden der alten cow-Session  (erstes Terminal) und Merge (-m) aktivieren:
<code>
dnbd3-fuse [mountPfad] -f -h [dnbd3 server ip] -i [imageName] -L [tmpCowPfad] -C [url:port] -m -y -x
</code>

7. Beide Abbilder auf Gleichheit testen, um sicherzustellen, dass das Laden funktioniert:
<code>
dnbd3-fuse-cow-test --compare [mountPfad] "[Pfad im lokalen Dateisystem]/[imageName].r1"
</code>

8. Optional: Random-Test erneut ausführen (siehe Schritt 3 und 4).

9. Image des dnbd3-fuse clients unmounten; dies löst den Merge-Vorgang des cow_merger_service automatisch aus:
<code>
umount [mountPfad]
</code>

10. Nach Beendigung des Merge-Vorgangs sollte im [n DestinationDirectory] das neue Image vorhanden sein. Anschliessend können beide Abbilder verglichen werden:
<code>
dnbd3-fuse-cow-test --compare "[DestinationDirectory]/[imageName].r2" "[Pfad im lokalen Dateisystem]/[imageName].r1"
</code>

===== Funktionsweise =====

<note warning>To do</note>

==== REST-API ====

Die folgende REST API wird genutzt zur Komunikationund Datenübertragung mit dem cow_merger_service.

=== /api/File/Create ===

**POST**
**Responses**

^ Code ^ Description ^
| 200 | Success |

Diese Anfrage wird verwendet, sobald eine neue COW Session erstellt wird. Die zurückgegebene GUID wird in allen nachfolgenden Anfragen zur Identifizierung der Session verwendet.


=== /api/File/Update ===

**POST**
**Parameters**

^ Name ^ Located in ^ Description ^ Required ^ Schema ^
| guid | query |  | Yes | string (uuid) |
| blockNumber | query |  | Yes | integer |

**Responses**

^ Code ^ Description ^
| 200 | Success |

Dient zum Hochladen eines COW Block. Die Blocknummer ist die absolute Blocknummer. Der Body enthält einen "application/octet-stream", wobei die ersten Bytes das Bitfeld sind, direkt gefolgt von den eigentlichen Blockdaten. 

=== /api/File/StartMerge ===

**POST**
**Parameters**

^ Name ^ Located in ^ Description ^ Required ^ Schema ^
| guid | Form |  | Yes | string (uuid) |
| originalFileSize | Form |  | Yes | integer |
| newFileSize | Form |  | Yes | integer |

**Responses**

^ Code ^ Description ^
| 200 | Success |
Wird verwendet, um einen Merge auf dem Server zu starten.

=== /api/File/GetTopModifiedBlocks ===

**GET**
**Parameters**

^ Name ^ Located in ^ Description ^ Required ^ Schema ^
| guid | query |  | Yes | string (uuid) |
| amount | query |  | Yes | integer |

**Responses**

^ Code ^ Description ^
| 200 | Success |

Diese Anfrage liefert eine Liste mit den Block-IDs und der Anzahl der Uploads dieses Blocks, sortiert nach der Anzahl der Uploads. Dies ist nützlich, um die `COW_MIN_UPLOAD_DELAY` anzupassen.

=== /api/File/Status ===

**GET**
**Parameters**

^ Name ^ Located in ^ Description ^ Required ^ Schema ^
| guid | query |  | Yes | string (uuid) |

**Responses**

^ Code ^ Description ^
| 200 | Success |

Gibt das SessionStatus-Modell zurück, das Informationen über die Session liefert.

=== Models ===

**BlockStatistics**

^ Name ^ Type ^ Description ^ Required ^
| blockNumber | integer |  | Yes |
| modifications | integer |  | Yes |

**SessionState**

^ Name ^ Type ^ Description ^ Required ^
| SessionState | string |  |  |

**SessionStatus**

^ Name ^ Type ^ Description ^ Required ^
| state | string | _Enum:_ `"Copying"`, `"Active"`, `"Merging"`, `"Done"`, `"Failed"` | Yes |
| imageName | string |  | Yes |
| originalImageVersion | integer |  | Yes |
| newImageVersion | integer |  | Yes |
| mergedBlocks | integer |  | Yes |
| totalBlocks | integer |  | Yes |


===== Alter Schrott =====

[Auswanzen, was verwendbar, Rest weg]

  * fuse-client mit cow-Erweiterung Readme: https://git.openslx.org/dnbd3.git/tree/src/fuse/cowDoc/readme.md?h=fuse_cow_2
  * Testprogramm: https://git.openslx.org/dnbd3.git/tree/src/cowtest/readme.md?h=fuse_cow_2
  * cow-Server image-merge: https://github.com/z0Kng/cow_merger_service/blob/master/README.md
   * https://github.com/z0Kng/cow_merger_service.git


dnbd3 Branch fuse_cow_2 gebaut mit:
<code>
cmake -D DNBD3_KERNEL_MODULE=OFF -D DNBD3_BENCHMARK=OFF -D DNBD3_CLIENT_FUSE=ON -D DNBD3_CLIENT_FUSE_COW_TEST=ON -D DNBD3_SERVER=ON -D DNBD3_SERVER_FUSE=OFF -D DNBD3_SERVER_AFL=OFF -D DNBD3_SERVER_DEBUG_LOCKS=OFF -D DNBD3_SERVER_DEBUG_THREADS=OFF -D DNBD3_RELEASE_HARDEN=OFF -D DNBD3_PACKAGE_DOCKER=OFF
</code>

cow_merger_service-Bau:
<code>
dotnet build cow_merger_service.csproj --runtime linux-x64
dotnet publish -c Release -o publish -p:PublishReadyToRun=true -p:PublishSingleFile=true -p:PublishTrimmed=True -p:PublishReadyToRunShowWarnings=true --self-contained true --runtime linux-x64
</code>

<code>
{
    "Logging": {
        "LogLevel": {
            "Default": "Information",
            "Microsoft": "Warning",
            "Microsoft.Hosting.Lifetime": "Information"
        }
    },
    "Settings": {
        "WorkingDirectory": "/srv/cow_merger_service/WorkingDirectory",
        "OriginalImageDirectory": "/srv/dnbd3",
        "DestinationDirectory": "/srv/cow_merger_service/Output"
    },
    "AllowedHosts": "*",
    "Urls": "http://localhost:5000"
</code>    


(/usr/local/bin/)dnbd3-fuse-cow-test


Image generieren:


./dnbd3-fuse "/home/user/VMs/mount" -f -h localhost -i [imageName] -c "/home/user/temp" -C "192.168.178.20:5000"

Also für "cow mode" 
-c <pfad >  setzt halt den ordner wo er die temporären daten lagern kann (änderungen etc)
-C <adress> sagt ihm wo er den cow server findet.

Sobald die beiden parameter gesetzt sind ist der fuse client quasi im "cow mode".

Statt -c <pfad> geht auch -L <pfad> wenn man die alte session laden will.
Und mit -m merged er nach dem unmounten.

dnbd3-fuse "/srv/cow_merger_service/mount" -f -h localhost -i /srv/dnbd3/test.dnbd3 -c "/srv/cow_merger_service/WorkingDirectory" -C "192.168.2.130:5000"


 Nachfolgend wird davon ausgegangen, dass '/usr/local/bin' im Pfad enthalten ist.
Zuletzt angesehen: • pxe_bootmenu • virt-v2v • ldap-wizard • virtualisierer • ipxe-probleme • faq • port_forwarding • ad_wizard • dnbd3_fuse_cow • statistics_reporting
Suche

Navigation

Drucken/exportieren

Werkzeuge
