Kurzfassung

Die Vorteile der Servervirtualisierung ermöglichen die schnelle Bereitstellung von Test- und Entwicklungsumgebungen. Soll neben Einzel-Systemen ein Cluster virtualisiert werden, kann das in virtuellen Umgebungen bekannte Timekeeping-Problem durch unvorhersehbare Zeitsprünge eine erfolgreiche Virtualisierung verhindern. In seiner Bachelor-Arbeit hat Thomas Lange die vollständige Virtualisierung eines Datenbank-Clusters auf einem einzelnen Computer untersucht und dabei auftretende Probleme analysiert. Auf den Ergebnissen aufbauend, soll in dieser Arbeit Oracle Real Application Clusters (Oracle RAC) mit Oracle VM anstelle von VMware Server virtualisiert werden. Um das in Unternehmen häufig verwendete Virtualisierungsprodukt VMware vSphere 4 weiter verwenden zu können und die Wiederverwendbarkeit zu ermöglichen, soll Oracle VM selbst in einer virtuellen Maschine installiert werden. Dadurch entsteht eine doppelt virtualisierte Umgebung.

Durch eine zusätzliche Virtualisierungsschicht können Entwickler, bei doppelter Virtualisierung, selbst die für ein Datenbank-Cluster notwendigen Einstellungen vornehmen. Diese Arbeit untersucht, ob und in welchem Ausmaß die Probleme der Bachelor-Arbeit in der speziellen, virtuellen Systemumgebung auftreten. Neben technischen spielen auch organisatorische Faktoren, wie die mangelnde Anpassung von Geschäftsprozessen, bei der Einführung von Virtualisierung eine Rolle. Anhand eines Fallbeispiels wird gezeigt, wie Virtualisierung in großen Unternehmen wie der Telekom Deutschland GmbH realisiert werden kann. Die Erläuterung von Anforderungen an eine virtuelle Testumgebung und die Untersuchung der Besonderheiten von doppelter Virtualisierung führen zum Praxisteil, bei dem ein Oracle RAC mit zwei doppelt virtualisierten Knoten aufgebaut und untersucht wird. Das für die Umgebung optimale Speichersystem wurde in Testreihen ermittelt und anhand technischer und organisatorischen Faktoren ausgewählt. Neben der Untersuchung der technischen Umsetzbarkeit und dem Ausmaß des Timekeeping-Problems wurde die Leistungsfähigkeit auf jeder Systemebene gemessen und miteinander verglichen. Die Spezifizierung des Leistungsverlusts durch einfache und doppelte Virtualisierung war somit möglich. Zwar wurde das Timekeeping-Problem nicht vollständig behoben, das große Ausmaß aus der Bachelor-Arbeit konnte jedoch in keinem Experiment nachgestellt werden. Die zuverlässige Virtualisierung eines Datenbank-Clusters war sowohl mit einfacher als auch mit doppelter Virtualisierung möglich. Sind der Leistungsverlust und die organisatorischen Faktoren im Unternehmen für den Anwendungsfall irrelevant, ist ein virtualisiertes Datenbank-Cluster eine kosteneffiziente Lösung für Test- und Entwicklungsumgebungen. Die Virtualisierung von stark ausgelasteten Produktionsdatenbanken verbietet sich aufgrund des Leistungsverlustes. Offene Forschungsfelder sind die Spezifizierung der organisatorischen Faktoren bei Einführung und Verwendung von Virtualisierung sowie die weitergehende Untersuchung der Aspekte von doppelter Virtualisierung. Durch die Weiterentwicklung heutiger Virtualisierungsmethoden kann der Leistungsverlust durch doppelte Virtualisierung eingegrenzt und deren Vorteile besser genutzt werden.

Inhaltsverzeichnis

  Inhaltsverzeichnis  

  Abbildungsverzeichnis  III

Tabellenverzeichnis IV   

  Quelltextverzeichnis  V

  Abkürzungsverzeichnis  VI

  Glossar  VIII

1.  Einleitung  1

1.1.  Motivation und Problemstellung  1

1.2.  Zielsetzung und Aufbau der Arbeit  4

2.  Technologien und Konzepte in virtuellen Umgebungen  6

2.1.  Virtualisierung  6

2.1.1.  Technologischer Hintergrund  6

2.1.2.  Virtualisierte Zeitgebung: Das Timekeeping-Problem  9

2.1.3.  Virtualisierungslösungen  10

2.2.  Speichertechnologien  13

2.2.1.  Direct Attached Storage (DAS)  14

2.2.2.  Speichernetze  14

2.2.3.  Speicher in virtuellen Umgebungen  15

2.3.  Oracle Real Application Clusters (RA)C  17

2.3.1.  Architektur  18

2.3.2.  Automatic Storage Management  19

2.3.3.  Oracle RAC in virtuellen Umgebungen  20

2.4.  ITIL (IT Infrastructure Library)  21

3.  Strategien zum Aufbau virtueller (Test)-Umgebungen  23

3.1.  Virtualisierung in Unternehmen  23

3.2.  Fallbeispiel: Virtualisierung bei der Telekom Deutschland GmbH  26

3.2.1.  Umfang der Virtualisierung  26

3.2.2.  Probleme in der Praxis  28

3.3.  Anforderungen an eine virtualisierte Testumgebung  29

3.4.  Doppelte Virtualisierung: Probleme und Konsequenzen  31

I

Inhaltsverzeichnis

4.  Oracle RAC in einer doppelt virtualisierten Testumgebung  34

4.1.  Konzept und Vorgaben  34

4.2.  Vorstellung der Testumgebung  34

4.2.1.  Testaufbau und Erläuterung der Systemebenen  34

4.2.2.  Hardwareausstattung und Softwareversionen  38

4.2.3.  Analysemethoden und -werkzeuge  39

4.3.  Auswahl der Speichersysteme  41

4.4.  Installation  44

4.4.1.  VMware vSphere 4 und VMware Server  44

4.4.2.  Oracle VM  45

4.4.3.  Oracle RAC  47

4.5.  Analyse der Umgebungseigenschaften  49

4.5.1.  Leistungsfähigkeit  49

4.5.2.  Timekeeping  52

4.5.3.  Testszenario: Oracle RAC  54

5.  Auswertung und Interpretation der Ergebnisse  56

6.  Fazit und Ausblick  59

  Quellen und Literatur  62

A.  Anhang  67

II

  Abbildungsverzeichnis  

  Abbildungsverzeichnis  

1.1.  Grobmodell doppelter Virtualisierung  3

2.1.  Berechtigungsmodell der x86-Architektur  7

2.2.  Berechtigungsmodell der x86-Architektur bei Verwendung von Virtualisierung  8

2.3.  Aufbau VMware vSphere 4  11

2.4.  Aufbau Oracle VM  13

2.5.  Speichervirtualisierung in einem Storage Area Network (SAN)  16

2.6.  Speichervirtualisierung eines Virtualisierungsservers  17

2.7.  Aufbau einer Oracle RAC Umgebung mit zwei Cluster-Knoten  18

3.1.  Telekom Deutschland GmbH: Virtuelles Oracle RAC  28

3.2.  Ausnahmebehandlung bei doppelter Virtualisierung  33

4.1.  Ebenen-Modell der Testumgebung  35

4.2.  Oracle RAC Netzwerkzugriff über Adressübersetzung (NAT)  37

4.3.  Geschwindigkeitsvergleich von iSCSI, NFS und DAS auf allen Systemebenen  43

4.4.  Ergebnisse der Leistungstests auf allen Systemebenen  50

4.5.  Leistungstest Datenbank-Cluster: Simulation eines Onlineshops  51

4.6.  Analyse des Timekeeping-Problem auf allen Systemebenen  53

5.1.  Timekeeping-Tests während hoher Systemlast  56

III

  Tabellenverzeichnis  

  Tabellenverzeichnis  

2.1.  Vergleich von Virtualisierungslösungen  10

2.2.  5 Kernbücher von ITIL  21

3.1.  Vorteile bei der Einführung von Virtualisierung  24

3.2.  Nachteile bei der Einführung von Virtualisierung  24

4.1.  Hardware-Ausstattung der in der Testumgebung verwendeten Computer  38

4.2.  Verwendete Softwareversionen innerhalb der Testumgebung  39

4.3.  Test- und Benchmarkprogramme zur Leistungs- und Funktionsüberprüfung der  

  Testumgebung  41

4.4.  Netzwerkkonfiguration der Cluster-Knoten innerhalb der Testumgebung  47

IV

  Quelltextverzeichnis  

  Quelltextverzeichnis  

4.1.  Shell-Skript zur Analyse des Timekeeping-Problems  40

4.2.  Konfigurationsdatei des NTP-Dienstes für virtuelle Umgebungen  44

4.3.  Angepasste Bootparameter: Auszug aus der Datei grub.conf  45

4.4.  Auszug der Konfigurationsdatei eines virtuellen RAC-Knoten  47

4.5.  Konfigurationsdatei tnsnames.ora des Oracle Instant-Clients  54

4.6.  Erfolgreicher Failover-Test innerhalb der Testumgebung  55

V

Abkürzungsverzeichnis

Abkürzungsverzeichnis

CD Compact Disc CIFS DB Datenbank DBMS

IDE Integrated Drive Electronics iSCSI internet SCSI IT

VI

Abkürzungsverzeichnis

VII

Glossar

Glossar

VIII

Glossar

IX

Glossar

X

1. Einleitung

1. Einleitung

1.1. Motivation und Problemstellung

Mit der Verschmelzung von Geschäftsprozessen und den Funktionen moderner Computer, begann vor Jahren die Suche nach größtmöglicher Effizienz bei dem Betrieb der Informationstechnologie (IT). So sagten 87% der Nordamerikaner und 80% der Europäer bei einer Befragung zu Möglichkeiten der IT-Effizienzsteigerung aus, ihr Unternehmen, sowie die vorhandenen Geschäftsprozesse ohne Technologie nicht führen zu können [9]. Die hohe Abhängigkeit von der IT ist risikoreich, da die Verfügbarkeit der IT und die zuverlässige Speicherung von Unternehmensdaten für den Geschäftserfolg unabdingbar sind. Im Regelfall werden für die Speicherung von Daten Datenbank-Cluster eingesetzt. Ein Cluster ist eine Gruppe unabhängiger Computer, die als Einzelsystem agieren und dabei eine höhere Verfügbarkeit sowie Skalierung erlauben als ein System, welches nur aus einem einzelnen Computer besteht [11].

Neben dem hohen Risiko sind jedoch die Faktoren für einen größeren Geschäftserfolg bekannt: Werden die Effizienz der IT und die Produktivität der Mitarbeiter maximiert, können die Geschäftsprozesse schnell durchlaufen und der Geschäftserfolg gesteigert werden. Mit ITIL gibt es für die Verbesserung von Geschäftsprozessen ein in der Praxis erprobtes Rahmenwerk, welches in fünf Büchern den Weg zu einem effizienten IT-Betrieb aufzeigt. Um die Effizienz der IT in einem Unternehmen zu steigern, gibt es mehrere Ansätze. Zwei Maßnahmen sind die effiziente Nutzung vorhandener Ressourcen und die Reduzierung der Kosten. An diesen Punkten setzt Virtualisierung an. Im IT-Bereich bedeutet Virtualisierung die Abstraktion von physischer Hardware hin zu einer Virtuelle Maschine (VM). Die tatsächlich vorhandene Hardware wird dabei in einzelnen, abstrahierten Anteilen zu virtuellen Maschinen zusammengefasst, die sich wie eigenständige Computer verhalten [32]. Werden mehrere physische Server auf einem einzelnen leistungsstarken Server konsolidiert, werden vorhandene Ressourcen besser genutzt und Energie, Platz und damit Kosten eingespart.

Neben dem effizienten Betrieb von Produktionsanlagen, eignet sich Virtualisierung durch die schnelle Bereitstellung virtueller Server für Testanlagen. Testingenieure und Entwickler benötigen für Systemabnahmen und die Entwicklung von Anwendungen Testanlagen, die ohne Virtualisierung zusätzliche Hardwarekosten verursachen. Bei dem Bedarf an virtuellen Cluster-Lösungen müssen neben der benötigten Cluster-Knoten auch ein gemeinsamer Speicher und ein den Anforderungen entsprechendes Netzwerk zur Verfügung stehen. Der Wunsch, Datenbanksysteme virtualisiert zu betreiben, basiert auf den Vorteilen des effizienteren Einsatzes, der Kostenersparnis und der schnellen Bereitstellung. Weitere Sonderfunktionen heutiger Virtualisierungslösungen wie die freie Platzierung einer virtuellen Maschine in einem Serververbund, ermöglichen

1

1. Einleitung

unterbrechungsfreien Betrieb auch bei Hardwareausfall oder Wartungsarbeiten. Ein Datenbank-Cluster ermöglicht eine hochverfügbare und skalierbare Speicherung von Daten auf mehreren Cluster-Knoten. Werden die Funktionen der Virtualisierungslösungen mit einem Datenbank-Cluster kombiniert, kann ein hochverfügbares, gegen Hardwareausfälle abgesichertes System bereitgestellt werden. Durch die virtuelle Bereitstellung der Server, des gemeinsamen Speichers und der Netzwerkverbindungen können auch Unternehmen mit wenigen Servern Datenbank-Cluster-Anwendungen nutzen, testen und entwickeln.

Im Rahmen einer vorangegangenen Bachelor-Arbeit mit dem Thema “Untersuchung von Strategien und Konfigurationen für den Einsatz von Datenbank-Cluster-Technologien in virtuellen Systemumgebungen“, beschäftigte sich der Autor Thomas Lange mit dem Betrieb von Datenbank-Clustern in virtuellen Umgebungen [12]. Ziel der Arbeit war die Entwicklung einer virtuellen

Testumgebung, die den Betrieb eines Datenbank-Clusters der Firma Oracle erlaubt. Die einge- setzte Virtualisierungslösung war VMware Server, da die Verbreitung von VMware Produkten in Unternehmen durch die Rolle als Marktführer sehr groß ist und somit die Wiederverwend- barkeit sichergestellt werden kann. Die hohe Verbreitung von VMware-Produkten zeigte sich auch in einer Befragung zum Thema “Oracle-Lizenzierung bei Virtualisierung und im Cloud Computing“. Dort gaben 79,6% der Befragten an, VMware-Produkte zur Virtualisierung zu ver- wenden [8]. Unter VMware Server wurde Oracle Real Application Clusters (Oracle RAC) mit zwei virtuellen Knoten und einem gemeinsamen Speicher installiert und untersucht. Dabei kam der Autor der Bachelor-Arbeit durch die Ergebnisse seiner Experimente zu dem Schluss, dass der Betrieb eines virtualisierten Oracle RAC möglich, in der Praxis jedoch mit Einschränkun- gen verbunden ist. Die in virtuellen Umgebungen problematische Zeithaltung (das so genannte Timekeeping-Problem) konnte in umfassenden Messreihen nachgewiesen und ausgewertet wer- den. Stark abweichende Systemzeiten verhinderten den zuverlässige Betrieb des Clusters durch unvorhersehbare Neustarts und Installationsabbrüche.

Während der Messreihen konnten Zeitabweichungen im dreistelligen Sekundenbereich gemessen werden. Nach ausführlicher Fehleranalyse konnte Oracle RAC unter Anwendung diverser Optimierungsmaßnahmen installiert werden. Der Autor empfiehlt, aufgrund der nicht vorhersehbaren Auswirkungen der aufgetretenen Probleme, den Betrieb virtualisierter Datenbank-Cluster erst nach umfassenden Tests der eingesetzten Systemumgebung in einem nicht produktiv eingesetzten Umfeld. Die Migration der Testumgebung in das Hochschulumfeld der Hochschule Wismar war aufgrund der Kompatibilität der Virtualisierungslösungen untereinander problemlos möglich [12]. Das Timekeeping-Problem ist sowohl unter VMware Server als auch in dem für Rechenzentren verwendeten VMware vSphere 4 (ehemals VMware ESX) bekannt [40].

Oracle selbst bietet mit Oracle VM eine für Oracle RAC zertifizierte Virtualisierungslösung an. Durch die Zertifizierung garantiert Oracle den zuverlässigen Betrieb eines Datenbank-Clusters innerhalb einer virtuellen Umgebung [20]. Auf den Ergebnissen der Bachelor-Arbeit aufbauend, soll in der vorliegenden Arbeit der Aufbau einer speziellen Testumgebung mit Oracle VM und Oracle RAC getestet und in Hinblick auf das Timekeeping-Problem analysiert werden. Um

2

1. Einleitung

weiterhin die Migration der Testumgebung in VMware-Umgebungen zu ermöglichen, soll Oracle VM selbst in einer virtuellen Maschine installiert werden. Diese Art von Virtualisierung nennt man doppelte Virtualisierung oder auch nested virtualization (engl.) [27].

Abbildung 1.1.: Grobmodell doppelter Virtualisierung

In großen virtuellen Umgebungen, wie beispielsweise die der Telekom Deutschland GmbH (siehe Kapitel 3.2), sind Administrationsberechtigungen häufig an einzelne Abteilungen vergeben, so dass die Anwender der virtuellen Maschinen Sonderkonfigurationen wie gemeinsamen Speicher oder zusätzliche Netzwerkverbindungen nicht eigenmächtig konfigurieren können. Auch die Konfiguration der bereitgestellten virtuellen Hardware kann ausschließlich in Absprache mit der verantwortlichen Administrationsabteilung vorgenommen werden.

Abbildung 1.1. zeigt das Grobmodell einer doppelt virtualisierten Umgebung. Eine virtuelle Maschine (blau) wird durch den Systemadministrator bereitgestellt und mit dem Virtualisierungsprodukt Oracle VM versehen. Innerhalb der doppelt virtualisierten Umgebung kann der Anwender Hardware-Einstellungen an den selbst erstellten virtuellen Maschinen vornehmen (orange), ohne die Administrationsberechtigungen der Unternehmens-Plattform zu benötigen (blau / grau).

Durch die Möglichkeit, innerhalb einer einzelnen virtuellen Maschine doppelt virtualisierte Maschinen zu erstellen, erhält der Anwender Administrationsrechte über die selbst erstellten virtuellen Maschinen (orange). Somit lassen sich auch aufwändige Konfigurationen wie ein Datenbank-Cluster realisieren, da der gemeinsame Speicher, die zusätzliche Netzwerkverbindung oder besondere Hardware-Konfigurationen innerhalb von Oracle VM (blau/orange) konfiguriert werden können. Doppelte Virtualisierung macht den Anwender aus technischer Sicht unabhängig von den Administratoren der Unternehmenslösung.

Die Besonderheiten, die Probleme und die Leistungsfähigkeit einer solchen Umgebung sollen in dieser Arbeit untersucht und ausgewertet werden, wobei ein besonderes Augenmerk auf den

3

1. Einleitung

Einsatz eines passenden Speichersystems gelegt werden soll. Dazu sollen alle gängigen und verfügbaren Methoden zur Bereitstellung von Speicher untersucht und in Bezug zu der besonderen Umgebung gesetzt werden. Durch den speziellen Aufbau der Testumgebung muss neben dem Timekeeping-Problem auch die Leistungsfähigkeit des Datenbank-Clusters ermittelt werden. Testumgebungen benötigen für realitätsnahe Testszenarien eine Mindestleistung, so dass der Leistungsverlust durch die doppelte Virtualisierung beziffert werden muss. Dazu wird die Leistung aller relevanten Komponenten gemessen und ausgewertet. Die Funktionsfähigkeit des Datenbank-Clusters soll mit einem geeigneten Testfalls überprüft und eine abschließende Konfigurationsempfehlung erstellt werden.

Neben der reinen Leistungsfähigkeit spielen auch Punkte wie Umsetzbarkeit und Integration einer doppelt virtualisierten Testumgebung in den Geschäftsbetrieb eine Rolle. So bedeutet doppelte Virtualisierung neben technischer Unabhängigkeit auch organisatorische Komplexität, da durch eigenständige Konfigurationen undokumentierte Umgebungen entstehen können.

1.2. Zielsetzung und Aufbau der Arbeit

Die vorliegende Arbeit baut auf den Ergebnissen der Bachelor-Arbeit von Thomas Lange auf ([12]) und soll zeigen, ob die Probleme der Testumgebung aus der zugrunde liegenden Arbeit auch in der speziellen Umgebung unter Verwendung einer doppelten Virtualisierung auftreten. Das Ergebnis dieser Arbeit soll zum einen eine Konfigurationsempfehlung für eine solche Testumgebung geben und zum anderen einen Überblick über den Einsatz von Virtualisierungslösungen in Unternehmen liefern.

Dazu werden in Kapitel 2 die notwendigen Grundlagen für Datenbank-Cluster, Virtualisierungstechnologien und Speichersysteme erläutert und ausgewählte Lösungen vorgestellt. Um die Maßnahmen und Voraussetzungen für eine erfolgreiche Einführung von Virtualisierung in Unternehmen zu verstehen, werden grundlegende Aspekte des Prozessmanagements erläutert. In Kapitel 3 werden Aspekte für den Einsatz von Virtualisierungslösungen in Unternehmen genannt. Anhand eines Fallbeispiels einer Abteilung der Telekom Deutschland GmbH soll gezeigt werden, wie eine Virtualisierungsumgebung unter realen Bedingungen betrieben werden kann. Weiterhin sollen Anforderungen an eine virtualisierte Testumgebung formuliert und das Konzept der doppelten Virtualisierung kritisch betrachtet werden.

Kaptiel 4 befasst sich mit dem Aufbau einer Testumgebung und der Installation von Oracle RAC innerhalb von Oracle VM, welches selbst eine virtuelle Maschine innerhalb von VMware ESXi ist. Das Produkt VMware ESXi entspricht im Wesentlichen dem leistungsstärksten Produkt der Firma VMware (VMware vSphere 4) und somit der Virtualisierungslösung vieler Unternehmen [8]. Um das in der Bachelor-Arbeit aufgetretene Problem der Zeithaltung nachzustellen, werden die zeitbezogenen Experimente auch unter Verwendung der Software VMware Server durchgeführt. Neben der Auswertung des Zeithalteproblems soll auch die Funktionsfähigkeit des Datenbank-Clusters anhand eines praktischen Testfalls untersucht werden. Die Leistungsuntersuchung der

4

1. Einleitung

aufgebauten Umgebung schließt das vierte Kapitel ab und umfasst neben der Auswertung der doppelt virtualisierten Umgebung auch die der Bachelor-Arbeit.

Die kritische Betrachtung der im vorherigen Kapitel erhobenen Messdaten und Ergebnisse findet im fünften Kapitel statt. Die Interpretation der Ergebnisse soll eine Empfehlung für den Aufbau und die Konfiguration einer solchen Umgebung geben. Zum Abschluss soll der Vergleich zu den Ergebnissen der Bachelor-Arbeit angestellt werden.

Das Gesamtfazit über die Arbeit und die gewonnenen Erkenntnisse wird in Kapitel 6 gezogen. Nicht abgedeckte Untersuchungsfelder sowie offene und interessante Fragen werden aufgezeigt und zur späteren Erforschung empfohlen.

5