Dino's kleines Power NAS

[Dino]

Hallo zusammen,

hier gab es mal eine Empfehlung für ein Selbstbau NAS vor einiger Zeit. Da ich etwa zur selben Zeit bereits an einem NAS mit Gas(TM) gewerkelt habe und eine wenig beachtete Plattform dafür verwende, dachte ich mir ich stell die Büchse mal vor.

1. Gehäuse: Lian Li PC-Q25
   Arbeitsspeicher: 32 GB DDR3L-1600 Mhz CL11 ECC
   Prozessor: Intel Atom C2750
   Mainboard: ASRock C2750D4I
   SSD: 4x Crucial M500 240 GB
   HDD: 8x HGST EA5K1500 24x7 5400 RPM 2,5" HDD
   Netzwerkkarte: Intel X540-T2 Dual 10GBase-T Ethernet
   Wechselrahmen5x 3,5" -> 2x2,5" HDD Wechselrahmen von Akasa

und gleich vorab: Preislich liegen wir hier beim kompletten System bei ca. 2200 € ohne Arbeit und Aufwand.

Zum Vergleich: ein 8 Bay NAS gibt es ohne Festplatten ab etwa 670 €.
800 € entfallen bei meinem NAS alleine auf die HDDs, 450 € für die dual 10GBe NIC und rund 360 € waren's für die SSDs damals(TM). Außerdem schlagen die Wechselrahmen mit 150 € zu Buche.
Der RAM macht auch nochmals etwa 260 € aus in der Ausbaustufe. Theoretisch kann die Büchse 64 GB (non-reg.) ECC verschlingen, mangels entsprechender Module wird daraus vermutlich aber nie was werden. Immerhin steht ja bald DDR4 vor der Haustür.

Als OS verwende ich Windows Server 2012 R2 Datacenter. Die Festplatten sind als tiered Storage Space zusammen konfiguriert. Genau genommen kann man sich ein Laufwerk bestehend aus 240 GB Raid1 SSD + 8x1,5 TB HDD im Raid 10 vorstellen.
Sieht dann natürlich auch entsprechend so aus und bietet insgesamt 5,66 TB Speicherplatz laut Windows Explorer.


Bevor wir aber tiefer reinschauen erstmal etwas von diesem Bling zum anschauen:


Tut mir leid für die schlechte Bildqualität aber ich bin kein Redakteur oder Fotograf weshalb es für mich auch zur Doku genügt geschwind mit dem Handy drüber zu halten ;) Wie man sehen kann fehlt eigentlich auf dem Bild noch fast alles aber man bekommt schon einen ordentlichen Eindruck wie die Sache aussehen wird. Gekühlt wird mit 2 BeQuiet SilentWings. 1x140mm direkt vor den Wechselrahmen und 1x120mm direkt über der passiv gekühlten CPU. Die Dualport 10GBe Karte sieht man auch schon ganz gut.

Leider habe ich keine Bilder davon gemacht allerdings hängen alle 2,5" Platten in den Wechselrahmen an einem einzigen Stromkabel Marke Homegrown(TM). Dies hat mehrere Überlegungen zu Grunde liegend:

1) Fertigkabel wie z.B. das Silverstone 4x Sata -> SATA mit Powercap ist ganz nett aber die Kabel sind zu starr um sie dauerhaft unter ziemlicher Spannung am Wechselrahmen zu befestigen, meistens reicht dann auch antippen und irgendein Port fällt wieder raus. Man bedenke: Ich habe hier auf Höhe von 1x 3,5" HDD (wofür die Silverstone Kabel übrigens super sind um schnell 4 HDDs mit Strom zu versorgen!) gleich 2x SATA Stromstecker. Da sollten die Zwischenräume entweder besser angepasst sein oder
2) man nimmt sowas wie die Phobya 4xSata-> SATA / Molex Adapter, dann braucht man zwar zwei Molex Stecker (was meistens kein Problem ist) aber man hat trotzdem gefühlt 5 Kilometer unnötiges Kabel welches man dann noch irgendwo reinquetschen darf.

Mit meiner Variante (uv-grünes Kabel + gleichfarbige SATA Stromstecker) fällt das Ganze dann sauber weg. 1x Molex + 2x SATA Strom für die 2 unten liegenden SSDs genügt und mit entsprechenden Adaptern könnte man sich auch wieder zurück auf einen Molex Stecker für alle HDDs /SSDs zurückarbeiten.

Außerdem habe ich (zum Glück) gleich beim Kauf die Lian Li PE-01B Extension geholt mit der man längere Netzteile auch in so ein kompaktes Gehäuse wie das PC-Q25 Problemlos bekommt. Der Ursprüngliche Gedanke bei der Extension war, das Straight Power E9 400w oder TFX Power 300w von BeQuiet so etwas weiter weg von der passiven Kühlung der CPU zu bekommen um hoffentlich über den obenliegenden, saugenden 120mm SilentWings die Temperatur so noch ein bisschen weiter nach unten zu drücken.
Praktisch sah die Sache ganz anders aus: Ich hab beide NTs daheim vergessen, allerdings habe ich ein Dark Power Pro P10 550w herumliegen gehabt. Dank der PSU Extension konnte ich problemlos auch das Dark Power montieren. Montiert steht das Netzteil etwas raus, wer so ein Netzteil hat und sich 1/3 vom Lüfterdurchmesser vorstellen kann, weiß nun wie weit das NT raussteht :D

So genug von diesem TL:DR, hier nun ein paar erste Eindrücke die ich bereits teilen kann (das ganze ist noch nicht final abgeschlossen, z.B. kann ich gegenwärtig keine Netzwerktransfers & Stromverbrauch unter dieser Last feststellen):

Temperaturen:
Mainboard + CPU (geklaut aus dem IPMI Webinterface)



HDD Temps



Ich muss sagen ich bin beim Anblick der Temperaturen stolz auf den Atom, das Gehäuse, die Festplatten ... :D immerhin hatte ich da sicherlich 24°+ Raumtemperatur an dem Tag. CPU & Mainboard könnte nach meinen hohen Ansprüchen auch durchaus niedriger sein, mal schaun was sich da eventuell noch machen lässt, generell kann man so aber definitiv einen 24x7 Betrieb stemmen.

Ich habe mir keine bestimmte Struktur für die Vorstellung hier vorgenommen, weshalb ich bis zum finalen Setup (mit eigenem Post und etwas strukturierter) nur noch ein paar Bilder mehr oder minder kommentarlos reinwerfen werde. Viel Spass!

Atom @ Windows Update



8x 1,5 TB HDD @ Raid 0 Performance Read / Write ohne SSD Tiering



8x 1,5 TB HDD @ Raid 0 Performance access time ohne SSD Tiering







SSD Tiering = Kombination von SSDs mit HDDs wo entweder vom Betriebssystem oder vom RAID Controller anhand von Algorithmen häufig aufgerufene Dateien auf der SSD abgelegt werden während weniger häufig benutzte Dateien auf HDD verbleiben.

So das wär's vorerst mal. Bitte nicht heulen / betteln / sonstiges dass ich das hier möglichst schnell weiterführe. Wie gesagt ich werde dafür nicht bezahlt und hab leider auch noch viel anderes zu tun. Sofern mir die Zeit reicht werde ich diverse Benchmarks und real World Tests aus meinem Verwendungsszenario vorstellen und dann auch noch abschließend aus meiner Sicht die Vor- und Nachteile des Setups oder einzelnen Komponenten ausführlicher ansprechen.

Peace

Dino.

[Dino]

So langsam scheint sich auch ein Ende meiner Probleme mit 10GBe-T zu nähern (fingers crossed!) ... gerade einen allerersten Kurztest an einem Port gefahren.

Außerdem hat sich beim Messen des Stromverbrauches ein Fehler meinerseits eingeschlichen, die Anzeige vom Messgerät war falsch eingestellt. Die korrekten (bisher ermittelten Werte) sind:
Idle = 58 Watt
3 GBit/s Netzwerkverkehr = zwischen 64 und 69 Watt

3 GBit/s = ~24% CPU Last, Stromverbrauch ist schwankt um +- 5 Watt sofern man dem Messgerät natürlich trauen kann. Vielleicht werde ich wenn ich das Dark Power Pro 10 endlich rausnehme und gegen das 300W TFX / 400W ATX Pendant tausche auch noch mal die 10GBe Karte herausnehmen um zu sehen wie sich der Stromverbrauch ändert. Theoretisch müsste dieses Board unter Volllast 35W ziehen ohne Addin Karte und Laufwerke, somit komme ich theoretisch mit HDDs, Lüftern etc tatsächlich auf grob die gemessenen Werte.

Sorry nochmals wegen der Verwirrung, vielleicht mag ja ein Mod mal in meinem Namen etwas aufräumen weiter oben und ein paar Änderungen am Text für mich vornehmen damit sich 20 Zeilen Text nicht über 10 Seiten Fred gelesen werden müssen? :-)



Also die Blackmagic 4K (US$ 3000) mit 10 Bit Farbtiefe gibt es schon, in Relation dazu sogar mit einem recht günstigen Preis. Unabhängig davon wird hier für 4K Video Editing ein Raid 0 mit mindestens 3x 7200 RPM HDDs empfohlen. Demos bekommen will ich garnicht, gegenwärtig ist der Plan noch 1080p @ 60 oder 120 FPS. Im Gegensatz zu einer Filmproduktion werde ich bestimmt nicht 4+ Kameras im Format von TV Sendern rumschleppen während ich auf der Nordschleife #unter8 spielen will oder sowas. Unnötiges zusätzliches Gewicht ist bei solchen Autos nix. Jedoch bin ich mir sicher dass spätestens nach dieser WM allmählich auch mehr Hardware für die Content Produktion magischer Weise das Licht der Welt (für unbezahlbares Geld, vorerst ...) erblicken wird. Irgendwie muss man ja den Verkauf von "4K" Fernsehern (für mich ist 4K 4096 Pixel, Kinoformat, nicht TV 3840 irgendwas) für die, die bereits bezahlt haben rechtfertigen und die, die noch "nur" mit HD / FHD rumrennen - zu denen ich auch noch gehöre - muss man ja auch irgendwie zum Konsum anregen ... ;)

Das Endprodukt auf Youtube, Netflix Quali oder so einen Quatsch hat, ist erstmal zweitrangig. Bei einer persönlichen Präsentation würde ich mich allerdings ins letzte Eck verkriechen und heulen wenn ich gegenwärtig üblichen VOD / YT Angeboten nacheiere. Ein Beispiel für 60 FPS Aufnahmen (damals ... 2011 :D) sind die Räder in folgendem Clip:

[youtubehd]http://www.youtube.com/watch?v=xasYeNk3gUk[/youtubehd]

So detailierte Aufnahmen von drehenden Objekten (hier: Radmuttern) gehen mit 30 FPS schlichtweg nicht, das YT Video läuft trotzdem nur mit 30 FPS (falls überhaupt, nicht mein Video ;) ) falls überhaupt. Ja ich weiß man erkennt nicht so wirklich dass die Mutter 6 Kanten hat aber ... war auch nur günstige Hardware und auch nur 60 FPS :) Das Rohmaterial zu diesem Clip habe ich auch gesehen und es sah bei weitem besser aus als der Schund der auf YT übrig bleibt :(

[Dino]

mehr Text(TM) für irgendwann

[Dino]

einer geht noch(TM)

[PatkIllA]

Warum hast du keine 3,5" Platten genommen?
Was wird dann das Target? Mit welchem Protokoll willst du auf die Daten gehen?
Packt der Atom wirklich die Platten bzw die Netzwerkkarte auszulasten bzw skaliert das gut mit den vielen Kernen?

[Dino]

Ich habe mich ausdrücklich gegen 3,5" Platten aus mehreren Gründen entschieden:

1) Ich brauch nicht unbedingt arg viel Speicherplatz
2) Performance hingegen ist sehr wichtig
3) extrem niedriger Stromverbrauch ist sehr wichtig

Summa summarum habe ich bei der Idle Stromaufnahme einer 3,5" 7200 RPM 5x 2,5" HDDs (egal ob 5400 RPM oder 7200 RPM) inbegriffen bei einer wesentlich höheren Performance durch die gesamte Bank. Oder anders gesagt: Vom Stromverbrauch kann das Teil im laufenden Betrieb vielleicht sogar schon sowas wie einem Synology 4 Bay mächtig Konkurrenz machen. Bei einer Performance da schaut man bei Synology & Co erstmal doof :D Dabei reden wir ja noch nicht mal über 32 GB RAM, welcher für sagen wir ein ZFS Nas < 30TB Speicherplatz auch für Daten deren Integrität das Hauptkriterium ist oder einer ownCloud in a very small Box für bis zu ??? Benutzer (kA wieviele, kennt wer eine Benchmark Suite für sowas?) völlig ausreichend wäre.

Target wird ein Hyper-V Cluster mit ein paar Maschinen (ca. 20) drauf. Diese Büchse hat virtualisiert eine Backup Lösung die sämtliche Hyper-V Hosts und VMs bis runter auf Systemabbild Ebene wegsichern kann. Von dem Atom findet sich anschließend auch noch ein TCP/IP Datenstrom wo die gesicherten Daten auf 2 kleine externe NAS nochmals nachgesichert werden sozusagen als Archiv falls der Atom auf Dauer zu wenig Speicherplatz bekommt und Sicherungen löschen muss sollen die Speicherstände nicht verschwinden.

Außerdem ermöglicht mir die Software auch Hyper-V Snapshots mitzusichern so dass ich auf einer VM wo ich etwas teste und im nachhinein wieder rückgängig machen können will (weil ich was anderes / eine andere Variante testen will), die Speicherstände ebenfalls habe und nicht im Falle eines Crash des Raids wo die VMs drauf liegen, verloren sind.

Die Konfiguration ist so auch noch nicht final. Es ist mehr oder weniger ein Test. Wenn mir die Performance (IOPS vor allem) nicht zusagt über die Netzwerkschnittstellen, kommt die X540-T2 raus und in die Systeme dual FDR / QSFP Infiniband Adapter rein. Da die Preise für Kabel ziemlich abschreckend sind und ich sowieso wissen will was "Consumer Ethernet" in Zukunft bringen kann, wurde es 10GBase-T und nicht Infiniband. Die dritte Variante wäre noch SFP+ (10 GBe) gegen einen entsprechenden Switch möglich, die SFP+ Karten sind günstiger als die 10GBase-T Adapter aber auch eher 1000% Datacenter Equipment wie daheim anzutreffen.

[Dino]

Man darf sich vorstellen dass so eine durchschnittliche VM irgendwas zwischen 120GB und 3 TB haben kann, wenn ich mehr wegsichern will (oder alles) in einem 24h Zyklus, wird weder HDD noch Anbindungsperformance im Bereich Gigabit Ethernet genügen ;)

[Lustmolch]

........
Target wird ein Hyper-V Cluster mit ein paar Maschinen (ca. 20) drauf. Diese Büchse hat virtualisiert eine Backup Lösung die sämtliche Hyper-V Hosts und VMs bis runter auf Systemabbild Ebene wegsichern kann. Von dem Atom findet sich anschließend auch noch ein TCP/IP Datenstrom wo die gesicherten Daten auf 2 kleine externe NAS nochmals nachgesichert werden sozusagen als Archiv falls der Atom auf Dauer zu wenig Speicherplatz bekommt und Sicherungen löschen muss sollen die Speicherstände nicht verschwinden.........

Danke für die Info...ich habe schon ein WTF gedacht weil ich nicht wusste was man mit so einen "extremen" NAS Privat machen soll :)

[Dino]

Hehe witzig, den "extremen" Teil sehe ich relativ unextrem. Irgendwann wird das NAS 4K@60p /8K@60p (?) streamen können ohne Umbau, wenn's das entsprechende Material gibt.
Bis dahin gibt's auch 2,5" HDDs die mehr Plattenplatz bieten. Wenn also die Garantie auf die 1,5 TB ausgelaufen ist (oder mehr Platz benötigt wird) kann ich den Storage Space einfach online um den verfügbaren Speicher erweitern. Das Ding soll mir auf jeden Fall die nächsten 7 Jahre gute Dienste leisten können und passiv gekühlt (-1 Ausfallquelle) mit der halben Prozessorleistung einer Haswell CPU sehe ich kein mögliches Bottleneck. Wenn ich mir 4 oder 8 Bay Lösungen von der Stange anschaue wird das bald entweder ein herumgekrüppel vor dem Herrn oder es wurde eh schon eine i3+ CPU vom Hersteller verbaut. Da sehe ich den Aufpreis den ich jetzt im Vergleich zu fertigen Lösungen bezahle als günstig an, günstiger wie was neues kaufen in ein paar Jahren jedenfalls.

P.S. 60p / 120p sind mir sehr wichtig weil mehr Frames besser sind für Aufnahmen in schnell bewegenden Umgebungen - in meinem Falle gibt es wesentlich smoothere Aufnahmen aus einem Rennfahrzeug. Selbst wenn man die Aufnahme dann wieder schneller abspielt um 30p Geschwindigkeit zu sehen, bleibt der Eindruck einer besseren Aufnahme bestehen. Bereits erfolgreich mit 1080@60p getestet ;)

Was ich vor allem gerne mal (aus Interesse) getestet hätte ist wieviel IOPS die Plattform verträgt. Normale S2011 Plattformen vertragen ~1,2 Mio. IOPS bevor die CPU limitiert, interessant wäre ob die Atom Plattform analog zur CPU Leistung auf etwa 600.000 IOPS kommen kann oder nicht. Leider ist mir das Kaufen von 8x240 GB M500 für einen simplen Test schlichtweg zu teuer. Zumal ich gegenwärtig keinen Bedarf für so schnellen Speicher bei mir sehe ;)

[PatkIllA]

4K@60p wirst du auch mit einer billigstplatte und 100 MBit Netzwerk streamen können.

[Dino]

Das bezweifel ich doch etwas.

Full-HD-Video (1080p 60 Hz 24b/px unkomprimiert): ca. 3 Gbit/s, wenn wir das linear Hochskalieren auf 4K komm ich fast auf 10 Gbit/s. Ich habe bereits mit meiner WD Live (ok nicht bestes Beispiel, liest nur ca. 70 MB/s) Aussetzer beim streamen von BluRay Qualität, ohne 60p. Beim Streaming kommt ja auch neben den eigentlichen Daten auch noch Transport Overhead dazu, grobe Hausnummer dürften ca. 20% sein.

Wenn du natürlich an allen Ecken komprimierst (oder einfach Netflix oder sowas schaust) ist das was anderes. Unkomprimiertes Rohmaterial - das bekomm ich von Kameras wenn ich will - kannst du damit nicht streamen. Ich kann mit dem NAS dann noch in einer halbwegs akzeptablen Geschwindigkeit arbeiten (und dabei irgendwo auch etwas komprimieren). Nicht ohne Grund sind moderne Filmkameras mit SSDs (= mehreren) ausgestattet.

Ich nenne es übrigens "Content für Geniesser" wenn man sich nicht auf weniger als 24 Bit Farbtiefe einlässt :> Analog dazu natürlich auch "Werkzeug für Perfektionisten" beim kreieren von Content :D

[PatkIllA]

Bei Netflix hat UHD sogar nur 20 MBit IIRC.

Außer ein paar Demos auf Nachfrage wirst du da kaum was bekommen. Selbst in der Produktion ist sämtlicher Content komprimiert.

[Dino]

Na super, meine Beiträge von gestern weiter oben kann ich nicht bearbeiten...

[madmax]

Ich habs für dich umkopiert.