Hinweise

• Programmieren ist nur als Pseudocode gefordert
• Man sollte die Unterschiede des Receive bei UDP und TCP kennen
• Die Folien 3-90 sind nicht klausurrelevant
• Hilfsmittel sind keine erlaubt
• Die Fragen aus dem Skript sind wichtig, aber nur die konkret beantwortbaren Fragen

Der Beitrag Verteilte Systeme (Klausurvorbereitung) erschien zuerst auf Maximilian Krieg.

Middleware

Middleware bezeichnet in der Informatik anwendungsneutrale Programme, die so zwischen Anwendungen vermitteln, dass die Komplexität dieser Applikationen und ihre Infrastruktur verborgen werden

Allgemeines

Was ist Middleware?

• Eine Infrastruktur mit Standard-Lösungen für Standardaufgaben
• Liegt in einer Schicht über dem Betriebssystem und unter den Anwendungen
• Vermittelt zwischen Anwendungen, dass die Komplexität dieser Applikationen und ihre Infrastruktur verborgen werden

Welche Arten von Middleware gibt es?

• Web Services (SOAP/WSDL, REST)
• Message-oriented Middleware (MPI/PVM)
• Object-oriented Middleware (Java RMI, CORBA)

Welche Transparenzeigenschaften erfüllen sie?

• Verteilungstransparenz
• Ortstransparenz

Was unterscheidet Middleware von den bisher betrachteten Netzwerkdiensten (Sockets und RPCs)?

• Nichts

Web Services

Welche Vorteile bieten Web Services im Vergleich zu XML-RPC?

• Größere Freiheit bei Definition von Datenstrukturen und Austausch
• Unterstützung bei der Codeerzeugung
• Veröffentlichung der Definitionen
• Web (mit HTTP als Protokoll) als erprobte, standardisierte Basis
• Dienste können über ein Verzeichnis automatisiert lokalisiert werden

Kann man damit Server-Server Kommunikation realisieren?

• Ja

Aus welchen Komponenten bestehen Web Services?

Wie werden Informationen mit XML ausgetauscht?

• XML Header mit Version und Encoding
• XML Tags für Objekte und Attribute (Schachtelung)
• Tags mit IDs für Objekte zur Identifikation

Wo ist die Definition der Tags?

• In der Schema-Datei

Was ist das XML-Schema?

• Bietet vordefinierte Datentypen und Möglichkeiten zur Definition komplexer Datentypen
• Dateiendung .xsd
• .xml Dateien enthalten Link auf ein (oder mehrere) Schema
• .xml Dateien können dann gemäß des Schemas interpretiert werden

Was ist Simple Object Access Protocol (SOAP)?

• Transportprotokoll für Client-Server-Anwendungen
• Zustandslos (wie HTTP)
• Besteht aus Envelope, Header und Body
• Im Header können Zusatzinformationen definiert werden (Alarm mit Priorität und Ablaufdatum)
• Im Body wird die Spezifikation des Headers aufgegriffen (Nachricht des Alarms)

Was ist die Web Services Description Language (WSDL)?

• Sprache zur Beschreibung von Schnittstellen
• Verwendet zur Veröffentlichung von Web Services
• Vollständig in XML formuliert, eigenes Schema
• Benutzt SOAP für den Nachrichtenaustausch

Welche Ziele verfolgt die WSDL?

• Maschinenlesbarer Zugang zu Diensten
• Weitgehend automatisierte Integration von Diensten in neue Anwendungen
• Integration zur Laufzeit
• Automatische Erstellung von Beschreibungen und Client/Server Software durch Werkzeuge

Wie ist die WSDL aufgebaut?

Was ist Universal Description, Discovery and Integration (UDDI)?

• Verzeichnisdienst für Web Services
• Veröffentlicht WSDL Definitionen von Web Services
• Veröffentlicht Zusatzinformationen zu Inhalten und verantwortliche Organisation
• Publishing API = Veröffentlichen von Web Services
• Inquiry API = Suchen nach Web Services

Der Beitrag Verteilte Systeme (Teil 3) erschien zuerst auf Maximilian Krieg.

Einleitung

Definition

Was sind verteilte Systeme?

• Ansammlung unabhängiger Computer
• System erscheint den Benutzern kohärent
• Kohärenz ist der Zusammenhang des Gesamtsystems
• Verteilung ist unsichtbar für Benutzer (Verteilungstransparenz)
• Multicore Rechner sind keine verteilte Systeme (wegen fehlender Unabhängigkeit)

Qualitätsmerkmale

Wie sollte ein gutes verteiltes System aussehen?

• Verteilungstransparenz
• Offenheit
• Skalierbarkeit
• Zuverlässigkeit
• Zugriff auf Ressourcen

Was ist Verteilungstransparenz?

Welche der Transparenzen kann man realistischerweise implementieren?

• Zugriff
• Ort
• Nebenläufigkeit
• Migration
• Fehlertoleranz

Was ist Offenheit?

• Schnittstellen sind offen und unabhängig vom Betriebssystem
• Kommunikation zwischen unterschiedlichen Systemen (HW und SW)
• Austausch von Komponenten ist möglich (Portabilität)
• Zusätzliche Komponenten können einfach integriert werden (Erweiterbarkeit)
• Umsetzung mittels Schnittstellenbeschreibungssprachen (IDL)

Was ist Skalierbarkeit?

• Verteiltes System soll einfach erweiterbar sein
• Erweiterung bei zusätzlicher Rechenlast, Nutzern oder Aufgaben
• Zugriffe müssen dabei noch sinnvoll verteilt werden
• Unterteilung in Zonen (DNS)

Wie kann man die Skalierbarkeit verbessern?

• Kluge Auslagerung von Teilaufgaben an andere Systeme (Client)
• Daten am Stück übertragen statt in kleinen Teilen

Was ist Zuverlässigkeit?

• Das System sollte immer zur Verfügung stehen
• Verteilung und Redundanz kompensiert Ausfälle (Fehlertoleranz)
• Es gibt keine single points of failure

Was ist Zugriff auf Ressourcen?

• Das System sollte den Zugriff auf benötigte Ressource einfach machen

Welche Probleme gibt es bei verteilten Systemen?

• Ad-hoc Netzwerke
• Sich ständig ändernde Topologien
• Datenschutz

Welche Herausforderungen gibt es in verteilten Systemen?

Beispiele

Was sind Beispiele für verteilte Systeme?

Warum werden Cloud-Dienste in aller Regel von verteilten Systemen bereitgestellt?

• Latenz (Globaler Zugriff)
• Skalierbarkeit (Starkes Wachstum)
• Zuverlässigkeit (Jederzeit Zugriff)

Welche Komponenten interagieren in einem Cloud-Dienst wie Google?

• Rechenzentren mit tausenden einzelnen Servern
• Stellt Dienste wie Webserver, Loadbalancer, Indexserver, Dokumentenserver und Spellchecker bereit
• Alle Dienste sind über einen zentralen Zugang (www.google.de) erreichbar
• Den Anwendern gegenüber bleibt die komplexe verteilte Architektur gegenüber verborgen

Architekturen

Welche Architekturen gibt es?

• Hardware
• Software
• System

Was ist eine Hardware-Architektur?

• Einzelne Rechner mit mehreren CPUs werden zu einem Cluster-Rechner hinzugefügt
• Die Komponenten im Cluster sind über das Netzwerk verbunden
• Die Dienste und Aufgaben werden auf die einzelnen Rechner (Rechen-Knoten) verteilt
• Systeme werden über die Laufzeit durch Erweiterungen heterogener
• Der Master-Knoten kontrolliert die Rechenknoten

Was ist eine Software-Architektur?

• Zusammenschluss von Rechnern zu einem gemeinsamen System
• Heterogenität wird durch Middleware verborgen
• Middleware ist eigentlich kein Betriebssystem (Arbeitet in der Schicht darüber)
• Eine einheitliche Schnittstelle verbirgt die Verteilung (Transparenz)

Welche Systemarchitekturen gibt es?

• Geschichtet
• Objektbasiert (service oriented)
• Ereignisbasiert (event driven)
• Datenzentiert (data centric)

Was sind geschichtete Systemarchitekturen?

• Unterteilung der Aufgaben in Schichten
• Jede Schicht kann auf einem anderen System liegen
• Client-Server-Architekturen (1 Client und 1 Server)
• Multitier-Architekturen (1 Client und n Server)
• Bei Multitier-Architekturen wird in Darstellung, Verarbeitung und Daten-Schicht unterteilt

Was sind objektbasierte Systemarchitekturen?

• Objekte besitzen klar definierte Schnittstellen und Aufgaben
• Objekte greifen auf ihre Methoden zu um diese Aufgaben zu erledigen
• Position der Objekte wird durch Namensdienste bekannt gegeben

Was sind ereignisbasierte Systemarchitekturen?

• Komponenten greifen auf einen Bus zu, der Ereignisse an die anderen Komponenten ausliefert
• Vorheriges Abonnieren der Ereignisse notwendig

Was sind datenzentrierte Systemarchitekturen?

• Daten liegen ausschließlich im zentralem Speicherraum
• Daten werden hier hin veröffentlicht
• Daten werden von hier angefordert

Realität

Welche Fehleinschätzungen werden häufig gemacht?

• Netzwerke sind unsicher, nicht zuverlässig und nicht immer verfügbar (Firewalls, Paketverlust, Defekte, etc.)
• Nachrichten brauchen Zeit um den Empfänger zu erreichen (Latenz)
• Reihenfolge von Nachrichten wird im Netzwerk vertauscht
• Es gibt keine gemeinsame Zeit (Zeit ist nicht synchronisiert)
• Komponenten können ausfallen
• Bandbreite und Rechenleistung ist begrenzt

Der Beitrag Verteilte Systeme (Teil 1) erschien zuerst auf Maximilian Krieg.

Das Skript enthält alle Informationen dieser Vorlesung.

Der Beitrag Verteilte Systeme (Vorlesung 18) erschien zuerst auf Maximilian Krieg.

Ausgefallen wegen dem Bildungsstreik.

Der Beitrag Verteilte Systeme (Vorlesung 17) erschien zuerst auf Maximilian Krieg.

Lamport-Algorithmus

Aufgabe 1

Wofür wird der Zeitstempel im ACK gesendet?

Er dient zur Sicherstellung der Fairness zwischen verschiedenen Prozessen

Aufgabe 2

Was kann man machen, wenn ein ACK nicht zugestellt wird? (Server ist ausgefallen)

1. Einen Timeout setzen und den Server aus der Liste werfen
2. Senden nochmal mit exponential backoff probieren

Aufgabe 3

Wie schließt ein Client den Tunnel eines HTTP Proxy?

Indem er die TCP Verbindung zum Server beendet. Der Proxy erkennt dies in den Paketen und schließt den Tunnel.

Lightweight Directory Access Protocol (LDAP)

• Passwörter werden nur als gehashte Werte gespeichert
• Diese Hashes werden dann mit dem Hash eines übermittelten Passworts verglichen

Firewall

• Schützt vor unerlaubtem Lesen und Schreiben
• Unterbindet unerlaubten Zugriff auf definierte Dienste im Netzwerk

Der Beitrag Verteilte Systeme (Vorlesung 16) erschien zuerst auf Maximilian Krieg.

Für diesen Termin habe ich keine Lösung implementiert.

Der Beitrag Verteilte Systeme (Praktikum 5) erschien zuerst auf Maximilian Krieg.

Network File System (NFS)

• Datei wird in kleinen Teilen geschickt
• Server kann die Größe dieser Teile limitieren
• RPC-basiert
• Zustandsbehaftet

Andrew File System (AFS)

• Implementiert den Zugriff auf eine entfernt liegende Datei
• Soll gut skalierbar sein
• Verwendet 64 KB Blöcke
• Das whole file sharing entspricht dem upload/download-Prinzip
• Das whole file caching entspricht dem Zurückschicken, am Ende eines Zugriffs, von NFS
• Keine Garantie für Schutz von Dateien durch überschreiben bei gleichzeitiger Öffnung (callback promise)
• Der Server verspricht alle Clients, die die Datei gecacht haben, darüber zu informieren, wenn diese auf dem Server aktualisiert wird
• AFS verschlüsselt nur mit DES (schwach)

Google File System (GFS)

• Hier laufen Map Reduce Prozesse gut
• Schwerpunkte auf Fehlertoleranz, Skalierbarkeit, verteilter Speicher und großen Datenmengen
• Der Master verteilt und verwaltet die Chunks der Slaves
• Der Master speichert die einzelnen Handels der Chunks für jede Datei

Annahmen

• Server laufen mit günstiger Standard-Hardware (Quantität statt Qualität)
• Es gibt hauptsächlich große Dateien
• Schreiboperationen finden meist am Ende einer Datei statt (Anhängen)
• Seltener werden Dateien ganz ersetzt oder mittendrin bearbeitet
• Inkonsistenzen in kleinerem Umgang werden hingenommen (Alte Suchergebnisse)

Namensdienste

• DNS
• LDAP
• WINS

Aufgabe

Worauf kann ein verteiltes System in keinem Fall verzichten?

1. Zuverlässigkeit

Der Beitrag Verteilte Systeme (Vorlesung 15) erschien zuerst auf Maximilian Krieg.

Network File System (NFS)

• Protokoll zum Zugriff auf Dateien über ein Netzwerk
• Dateien werden nicht wie bei FTP übertragen
• Benutzer greifen auf entfernte Ressourcen so zu, als ob sie lokal gespeichert wären
• Mit NFS V4 können mehrere Operationen gleichzeitig aufgerufen werden
• Dadurch können in einem RPC mehrere Funktionen hintereinander ausgeführt werden.

Aufgabe 1

Welchen Vorteil bringt das Aufrufen mehrerer Funktionen durch einen einzigen RPC?

Dadurch können RPCs eingespart werden.

Aufgabe 2

Wo wird dieses Verfahren auch genutzt?

Es wird beim Pipelining von idempotenten und unabhängigen HTTP-Anfragen genutzt.

Aufgabe 3

Welche Nachteile gibt es bei der Operation READ?

Da die Position des Zugriffs und die Anzahl der zu lesenden Bytes angegeben werden können, kann es zu Speicherzugriffsverletzungen kommen. Zusätzlich muss vom Server die Menge der Bytes pro Transaktionen limitiert werden, da bei einem Timeout sonst alles neu übermittelt werden müsste und die Bandbreite von einer Übermittlung blockiert würde.

Aufgabe 4

Ist NFS V4 zustandslos?

Nein, da die locking und delegation Funktionen mit Zuständen arbeiten.

Aufgabe 5

Implementiert NFS V4 das Modell remote access oder upload/download?

Es implementiert remote access.

Aufgabe 6

Was muss beim Client beachtet werden, wenn ein Server Dateien von einem anderen Server importiert?

Es wird beim Client nur das importiert, was physikalisch auf dem Server liegt. Ein Client muss solche Daten ausdrücklich importieren.

Der Beitrag Verteilte Systeme (Vorlesung 14) erschien zuerst auf Maximilian Krieg.

Konsistenz

• Paralelle Zugriffe können mit Hilfe von Lamport blockiert werden

2 Phasen Commit

1. Koordinator (Aufrufender Prozess) fragt die Teilnehmer, ob die Transaktion gelingt
2. Ein Teilnehmer blockiert seine Ressourcen nach seinem ready, bis eine Antwort vom Koordinator kommt
3. Nur wenn alle Teilnehmer zustimmen, leitet der Koordinator das finale Schreiben ein
4. Wenn ein Teilnehmer fehlschlägt, werden die Transaktionen zurückgesetzt
5. Die Ressourcen werden danach wieder freigegeben

Commit-request Phase

• Koordinator sendet ein prepare an alle Teilnehmer
• Koordinator wartet auf Antworten aller Teilnehmer
• Teilnehmer verarbeiten die Transaktion bis zu dem Punkt, wo die Transaktion entweder mit commit oder rollback abgeschlossen würde
• Teilnehmer schreiben Einträge in ihr undo log und in ihr redo log
• Teilnehmer antworten mit ready, wenn die Transaktion erfolgreich war – oder sie antworten mit failed, wenn die Transaktion fehlgeschlagen ist

Commit Phase

Alle Teilnehmer sind ready

1. Der Koordinator sendet commit an alle Teilnehmer
2. Die Teilnehmer schließen die Transaktion mit commit ab und geben alle Locks und Ressourcen frei
3. Die Teilnehmer senden ein acknowledgment zurück
4. Der Koordinator beendet die Transaktion, wenn er von allen Teilnehmern die Bestätigung erhalten hat

Wenn mindestens ein Teilnehmer failed ist

1. Koordinator sendet abort an alle Teilnehmer
2. Die Teilnehmer schließen die Transaktion mit rollback ab (mittels des undo logs) und geben alle Locks und Ressourcen frei
3. Die Teilnehmer senden ein acknowledgment zurück
4. Der Koordinator beendet die Transaktion ebenso mit rollback, wenn er von allen Teilnehmern die Bestätigung erhalten hat

Quorum Algorithmen

• Bildung von Untermengen auf denen Lese- und Schreiboperationen realisiert werden
• Im Hintergrund kann dann später noch aktualisiert werden
• Bei Timeouts kann es zu Deadlocks kommen

Fehlersemantik

Idempotente Operation

einzahlen(Wert, Eindeutige ID);

Wie kann man Fehler behandeln?

• Auftrag bzw. Nachricht einfach wiederholen
• Zwischenspeicherung der Nachrichten beim Server und nochmal schicken (auf Anfrage)
• Neustart des Servers und Clients wiederholen Anfragen mittels exponential backoff
• Server schickt vorläufige Antwort mit Status

exponential backoff

• Exponentiell steigendes Intervall
• Nachricht wird nach 1, 2, 4, 8, 16, .. neu gesendet

Der Beitrag Verteilte Systeme (Vorlesung 13) erschien zuerst auf Maximilian Krieg.