Projektumfang

• Konzeption eines Linux Clusters, welcher aus mehreren Web-, Datenbank- und Streaming-Servern besteht.
• Die Server stehen dabei nicht alle in einem Rack, sondern sind zum Teil auf mehrere Rechenzentren in unterschiedlichen Ländern verteilt.
• Im Cluster sollen einzelne Nodes ohne Probleme mehrere TByte Traffic / Tag ausliefern können, ohne dass es im Frontent/Backend zu nennenswerten Einschränkungen kommt.
• Monitoring des Server und der darauf laufenden Dienste, sowie Überwachung bestimmter Zustände auf Anwendungsebene.
• Fällt ein Web- oder Datenbank-Server aufgrund eines Defekts aus oder wird aufgrund von Wartungsarbeiten kurzfristig vom Netz genommen, sollen die Aufgaben der ausgefallen Systeme automatisch auf die anderen Server verteilt werden.

Umsetzung

• Auf den Servern kommt als OS Ubuntu Linux mit Long Time Support (=LTS) bzw. Debian GNU/Linux zum Einsatz.
• Für die Streaming-Server wurde der Adobe® Flash® Media Server (FMS) gewünscht, da Features wie die automatische Bandbreitenerkennung benötigt wurden.
• Programmierung diverser Tools zur Automatisierung der Arbeitsabläufe (z.B. Konvertierung von Videomaterial, automatische Verteilung von Kontent auf mehrere Server, usw.)
• Programmierung eines Flash-Players zur Wiedergabe von Mediendaten mit Optionen wie automatische Bandbreitenerkennung, User-Verwaltung u.v.a.m.
• Die MySQL-Datenbanken werden im Backend-LAN eines Rechenzentrums mittels Master-Master bzw. Master-Slave-Replikation synchron gehalten.
• Rechenzentren übergreifend wurden selbst entwickelte Techniken eingesetzt, die einen synchronen Datenbestand der Datenbanken auch bei kurzfristigen Verbindungsabbrüchen aufgrund von z.B. zu hoher Latenzen ermöglicht.
• Die Anfragen der User wird über Load Balancer an die verschiedenen Webserver verteilt.

Projektumfang

Entwicklung eines Load Balancer-Clusters mit folgenden Eigenschaften:

• Hohe Stabilität auch bei starken Traffic-Spitzen (mehrere 100.000 Anfragen / Tag)
• Verarbeitung von http- und https-Anfragen.
• Verwendung von Webservern mit unterschiedlich starker Hardware Webserver muss möglich sein, indem die Anzahl der verteilten http/https-Anfragen zwischen den Webservern frei definiert werden kann.
• Hardwareausfälle im Cluster müssen vom System erkannt und abgefangen werden.
• Bei Software-Probleme bei den Webservern im Backend muss der Load Balancer die entsprechenden Server automatisch aus dem verbind nehmen.
• Die Webserver im Backend müssen z.B. aufgrund von Wartungsarbeiten auch von Hand temporär aus dem Backend entfernt werden können.
• Die Skalierung der Webserver im Backend muss auch zu einem späteren Zeitpunkt gewährleistet werden sein.
• Zentrale Verwaltung auch mehrerer SSL-Zertifikate auf den Load Balancern
• Der Cluster soll mehrerer unterschiedlicher Web-Projekte (Domains) inkl. SSL-Zertifikat gleichzeitig verwalten können.
• Verwaltung von Session-Informationen.
• Es sollen umfangreiche Logging-Möglichkeiten inkl. grafischer Auswertung der ermittelten Daten existieren.

Umsetzung

Das Projekt wurde ausschließlich mit OpenSource-Software umgesetzt. Dadurch konnten Lizenzen, welche beim Einsatz alternativer Lösungen angefallen wären, zu 100% eingespart werden.