Archiv
Synology DS415+ VMWare 6 NFS oder iSCSI?
Da ich kürzlich mein LAB erweitert und mit VMWare vSphere 6.0 U2 neu installiert habe, habe ich mir erneut die Frage gestellt ob iSCSI immer noch die beste Methode ist eine Synology an einen ESX Host anzuschließen. Synology unterstützt mit DSM 6.0 leider noch kein NFS 4.1 Multipathing was der VMWare Server mittlerweile beherrscht. Also wird wohl iSCSI mit einem Host dank Multipathing immer noch am schnellsten sein. Aber wie sieht das Ganze aus wenn zwei oder gar drei Hosts auf die Synology zugreifen?
Um dies herauszufinden habe ich mein Lab wie folgt konfiguriert:
Drei ESX Hosts mit folgender Konfiguration:
Xeon E3 3.5 GHz, 32 GB RAM, 2x Intel NIC onboard, 4x Intel NIC PCIe. Vier der Netzwerkkarten sind in einem Distributed Switch mit Aktivem LACP zusammengefasst. Die Switchports wurden als Trunk mit Jumbo Frames (9K) konfiguriert. Auf VMware Seite wurden 2 VLANs eingerichtet. Beide VLANs haben einen vmKernel Port aus dem entsprechenden Subnetz (192.168.178.0/24, 192.168.179.0/24).
Die Synology DS415+ ist mit 4 WD RED Pro Festplatten (3TB) bestückt. Die beiden Ethernetanschlüsse sind analog zum VMWare in einem LACP Bond gebündelt und haben 2 VLAN´s konfiguriert.
Als Switch dient ein TPLINK SG3424 Switch.
VMware ESXi, 6.0.0, 3620759 läuft auf den Maschinen und es wurde der VMware I/O Analyzer in der Version 1.6.2 eingesetzt. Alle Tests wurden mit dem Workload Spec. Max_Throughput.icf durchgeführt, da mich der Maximaldurchsatz interessiert. Es wurde für den Test nicht der Synology NFS Treiber verwendet sondern der, der mit VMWare geliefert wurde. Die Appliance(s) wurde(n) mit Storage vMotion auf den entsprechend konfigurierten Datastore verschoben.
Anbei die Screenshots mit den Testergebnissen:
Test 1 Host, Zugriff via NFS
Test 1 Host, Zugriff via iSCSI Multipathing
Wie erwartet ist der iSCSI Zugriff über Multipathing (Round Robin) am gleichen dvSwitch deutlich schneller, sogar fast doppelt so schnell.
Ich dachte mir LACP kann in dem Testszenario wohl nur einen Stream 1GB/s benutzen also habe ich die OVA ein zweites mal auf einem anderen Host deployed.
Am Test wurde nichts verändert außer, dass nun zwei Appliances von unterschiedlichen Servern gleichzeit auf die Synology zugreifen.
Test 2 Hosts, Zugriff über NFS
Scheinbar ist der NFS3 Zugriff nicht durch die Netzwerkkarte beschränkt wie das Ergebnis zeigt.
Der letzte Test mit 2 Hosts und Zugriff über iSCSI Multipathing
Das Ergebnis hat mich etwas stutzig gemacht, es kann doch nicht so ein massiver Unterschied zwischen NFS und iSCSI sein? Dann habe ich etwas nachgelesen in verschiedenen Whitepapern von VMWare. Der Fehler liegt manchmal im Detail. Ich habe auf meinem Physikalischen Switch in der LACP Config das Load Balancing auf MAC basiert konfiguriert, also schnell auf IP-Based umgestellt und auf dem dvSwitch das gleiche wiederholt und schon sieht das Ergebnis mit zwei Hosts völlig anders aus:
2 Hosts NFS, IP hash Load Balancing
Trotzdem den gleichen Test mit 1 Host deutlich langsamer als bei iSCSI.
1 Host NFS, IP hash Load Balancing
Fazit: Wenn man für eine VM bestmögliche Performance möchte ist man bei iSCSI Multipathing richtig. Falls man allerdings mehrere VM´s bedient ist der Unterschied kaum vorhanden, dafür lässt sich NFS einfacher administrieren und einbinden.
Ich werde wohl demnächst das LAB für vSAN umkonfigurieren und bin gespannt was dort an Leistungszuwachs zu erwarten ist…. 🙂
ESXi Spielwiese @ Home 2015
Kürzlich habe ich mein VMWare Home Lab auf neuere Hardware aktualisiert. Ziel war es eine Enterprise Umgebung im Kleinen nachzubauen. Mein erster Gedanke viel auf die gerade neue Generation des Intel NUC. Das Gerät gefällt mir sehr gut, platz- und energiesparend aber was RAM (16GB) und Netzwerk (1×1 GB/s) angeht nicht für mich ausreichend. Deshalb viel die Wahl doch wieder auf einen Eigenbau. Ich wollte es allerdings vermeiden Community Treiber oder Custom Images zu verwenden. Hier mein Erfahrungsbericht:
Als Gehäuse habe ich mich für einen Silverstone SUGO SG09 entschieden. Ein 23 Liter Gehäuse welches ausreichend Platz für mATX Komponenten, Festplatten etc. bietet. Die Aufteilung des Gehäuses ist sehr innovativ, es bietet eine sehr gute Lüftung und ist sehr leise. Zur Zeit ist das Gehäuse noch relativ leer bietet aber später noch für 4 Festplatten (2×3,5″ und 2x 2,5″) Platz. Also vielleicht mal ein dritter Host und ein Hyper-Converged System aufbauen mit vSAN, Nutanix oder doch Windows 2016? Mal sehen, im Moment habe ich mich damit noch nicht ausreichend beschäftigt…
http://www.silverstonetek.com/product.php?pid=345&area=de
Das Mainboard sollte mit mindestens 32 GB RAM bestückt werden. Hier viel die Wahl auf das ASUS P9D-MV. Das Board ist mit zwei Intel I210AT Netzwerkkarten bestückt die in der HCL von VMWare sind.
https://www.asus.com/Commercial_Servers_Workstations/P9DMV/
Das Board habe ich mit einem Intel Xeon E3-1246 v3 bestückt. Zwar lässt sich die GPU des Prozessors auf dem Asus Board nicht nutzen aber die interessiert mich ohnehin bei einem ESXi nicht.
Hier war der Preis entscheidend.
Speicher wurde wieder mit der Maximalbestückung von 32 GB RAM gekauft, diesmal von Kingston das KIT KVR16E11K4/32. Dieses wird von Kingston für das Asus Board empfohlen.
Der Hypervisor wurde auf einen 8GB USB Stick installiert welcher im inneren des Gehäuses verschwindet. Das Asus Board hat eine „onboard“ interne USB Buchse.
Die alte QNAP859 habe ich schon vor einer Weile durch eine Synology DS415+ ersetzt. Der Hintergrund war hauptsächlich die Geräuschentwicklung der QNAP. Die Synology bietet zwei Netzwerkkarten für z.B. iSCSI Multipathing oder ein LACP Channel. Ich habe mich zuerst für letzteres: NFS und LACP entschieden bin dann aber doch bei iSCSI und Multipathing gelandet welches etwas bessere Performance geboten hat.
Das Netzwerk habe ich für das Multipathing auf zwei Switche aufgeteilt. Der Primärweg geht über einen Cisco 3560, der Sekundärweg über einen Cisco SLM2008. Auf beiden Geräten sind Jumbo Frames aktiv.
Bevor ich den ESXi installiert habe, habe ich auf dem Mainboard die aktuelle Bios Version installiert. Auf der Asus Homepage heißt es: „BIOS 1001 for P9D-MV released to public 1.Improve compatibility for ESXi 5.5 OS.“
Was auch immer vorher nicht ging ich wollte diese Erfahrung erst gar nicht machen und Improve hört sich ja immer gut an 🙂 Also Bios auf einen USB Stick und per EzFlash aktualisiert.
Die Installation verlief ohne jegliche Probleme alle Netzwerkkarten und SSD´s am SATA Controller wurden sauber von ESXi 5.5 erkannt. Ich habe die Installation mit der aktuellen Version die ich vorher per PowerCLI mit Patches (Build 2718055) versorgt habe durchgeführt. 6.0 folgt dann später mal, dort habe ich bisher noch keine Versuche gestartet….
Hier nochmal die Teile für die Server in einer Liste:
| Gehäuse | Silverstone SUGO-SG09 |
| Netzteil | Enermax Modular |
| Mainboard | Asus P9D-MV |
| CPU | Intel Xeon E3-1246 v3 Sockel LGA1150 |
| RAM | 32 GB Kingston ECC PC12800 KVR16E11K4/32 |
| SSD | Samsung 256 GB |
ESXi @ home
Heute ist endlich „Weihnachten“ und es gibt „kleine“ Upgrades
in der Computerecke zu Hause:
Bisher diente ein i5 mit Win7 8GB RAM und VMWare Workstation
als LAB Umgebung. Die Datenablage erfolgte auf eine iomega IX4.
Phase 1 für die neue LAB Umgebung sollte ein Shuttle PC mit
i7 als ESX Host sein. Storage aber schon zentral, damit man hier später einen
zweiten Shuttle für vMotion etc. nachrüsten kann, sobald das Budget es zulässt.
Die ix4 kann zwar iSCSI und NFS ist aber von der Performance nicht gerade prickelnd um
Server zu virtualisieren.
Im Internet finden sich zahlreiche Musterkonfigurationen für
solche Shuttle PC´s. Leider sind die original Shuttle PC´s recht teuer und man kann evtl.
vorhandene Marvell on Board Netzwerkkarten mit ESX gar nicht direkt nutzen, da Sie nicht in der HCL sind (Ausnahme über Directpath). Aber die Richtung Cube PC hat mich direkt
begeistert. Nach etwas Internet-Recherche bin ich zu folgender Konfiguration
für den ESX Host gekommen:
Als Gehäuse dient ein uATX Silverstone Sugo SG02-F Cube.
Etwas größer und nicht ganz so schön wie der Shuttle aber absolut
zweckerfüllend. Beim Netzteil habe ich mich für ein Enermax Modu87+ 80+ Gold
Modular. Das Energiesparzertifikat 80Plus Gold war mir hier wichtig und modular
ist auch vorteilhaft, da in dem Cube ja keinerlei Stromkabel bis auf die Mainboard
Versorgung benötigt werden. 600 Watt sind für den i7 auch schon fast überdimensioniert,
da ja keine Hochleistungsgrafikkarte und keinerlei Platten etc. eingebaut
werden. Aber auch dank 80Plus Gold keine Verlustleistung außer 20 EUR teurer als ein 500 W Netzteil. Wer weiß, was in Zukunft noch kommt.
Im uATX Mainboard Bereich gibt es gerade ein sehr geeignetes
Produkt von Asus. Das Rampage III Gene X58. Das Mainboard hat nicht nur den
neusten Intel X58 Chipsatz und den 1366 Sockel sondern als „Sugar on Top“ noch eine Intel Netzwerkkarte on Board, die
von ESX erkannt wird und in der HCL ist. So nebenbei kann man auch 6 RAM Module a 4 GB drauf
packen. Diese habe ich natürlich auch gekauft (Kostenpunkt 270EUR). RAM kann man ja nie genug haben
und der ist ja auch nicht mehr so teuer. Im Vergleich zum original Shuttle zwei ganz entscheidende Vorteile für einen ESX Server.
Als CPU habe ich mich für einen i7 950
entschieden. 4 Cores mit 3.06GHz Preis- Leistungsmäßig gerade genau richtig, da es den gerade für 240 EUR im Angebot gab.
Eine Grafikkarte braucht der PC leider zum Hochfahren schon
noch, hier habe ich die günstigste gekauft die passiv gekühlt arbeitet. Eine
Asus Radeon HD5450 mit 512 MB.
Als „Festplatte“ für den ESXi dient ein USB Stick von CN Memory. Das Model Airy mit 4GB. Der
ist recht flott, klein und günstig.
Ganz wichtig der Storage: Hier habe ich lange hin und her
überlegt. Synologie DS1511+, Thecus N7700 und die QNAP 859 Pro+ waren in der
engeren Auswahl. Ich habe mich für die QNAP entschieden, da Sie am wenigsten
Strom benötigt und im iSCSI Bereich super Leistungswerte hat.
Die QNAP habe ich mit 8 Seagate ST2000DL003 „Barracuda green“
ausgestattet. Die ist nicht in der HCL von QNAP funktioniert aber super und die
Platte ist mit 5.900 RPM ein super Kompromiss aus Leistung und Stromverbrauch.
Ausschlaggebend war allerdings der Preis. Sie kostet weniger als die Hälfte zur
ST32000641AS Barracuda XT. Ich denke mal, dass bei 8 Platten in der QNAP die
7.200 RPM auch keinen Vorteil mehr bringen, da hier der Atom Prozessor eher der
Leistungsbegrenzer ist. Also hier lieber leise und Strom sparen, da die QNAP ja
auch immer an ist. Die HCL stört mich hier nicht sonderlich, laut diversen Foren läuft diese Konfiguration bei vielen Leuten stabil.
In Phase 2 kommt dann ein zweiter identischer Cube dazu,
außerdem eine Intel Dualport E1G42ET mit iSCSI Bootrom und ein Cisco
3560CG-8TC-S. Der Cisco soll noch Ende Februar auf den Markt kommen und hat
IOS IP Plus Funktion. Hier kann man dann also alles zu Hause genauso konfigurieren wie
im Enterprise Netzwerk (VLAN, LACP, Access Listen etc.) Thema Nexus 1000 etc.
Preis für den Cube PC ca. 850 EUR brutto
Der Storage inkl. Platten leider etwas kostspieliger mit ca. 1700 EUR brutto, aber dafür kann ich ja jetzt auch die IX4 verkaufen 🙂
Lizenzierung in virtuellen Umgebungen
Die Lizenzierung in virtuellen Umgebungen ist nicht ganz einfach. Meistens kauft man einfach pro Prozessor eine Datacenter Lizenz und ist somit voll mit Betriebssystemlizenzen abgedeckt.
Es gibt ein offizielles Whitepaper von Microsoft:
Ich habe bei Youtube ein ganz nettes Video über das Thema gefunden:
http://www.youtube.com/watch?v=uc7mAyJdahM
Etwas komplizierter wird es wenn es um die Lizenzierung der Serversoftware wie SQL, Oracle, DB2 etc. Hier wird meistens nach den virtuellen Prozessoren lizenziert. Also die, die der VM tatsächlich zugewiesen werden.
Das muss man aber im Einzelfall mit dem Hersteller klären.
Barth-EDV.de 
