mattsweb

...and you will find someday that, after all, it isn’t as horrible as it looks. (Richard Feynman)

NAS - Resilver & Rebuild

3So, nun ist es passiert, mein zfs pool zeigte mir eine Festplatte im “degraded” Status an, was heißt, dass ich diese dringends austauschen musste.

Wie erwartet war es die Western Digital 2 TB, die bereits 7 nicht wiederbelegbare Sektoren angezeigt hatte. Und das innerhalb der Garantiezeit.

Also bin ich schnell zum nächsten Händler gegangen, hab mir eine neue 2 TB Festplatte gekauft, diese eingebaut und dann mittels des Befehls:

zfs replace tank <kaputt> <neu>

die Festplatte ersetzt.

Das Resilvern, also das neubelegen der Blöcke, dauerte circa 8 Stunden und währenddessen hätte eine zweite ausfallende Platte das RAID auch nicht zerstört, da ich momentan nur raidz2, also RAID 6, einsetze.

Während des Resilverns habe ich dann für die defekte Platte ein RMA bei Western Digital beantragt und noch am selben Tag diese nach Kelstersbach versandt.

Entgegen meiner früheren Erfahrung mit der RMA wurde der Eingang der Festplatte recht schnell registriert und nun hoffe ich, dass die Platte binnen 14 Tagen zurück kommt.

Beim ersten Mal, also ich bei Western Digital eine Platte tauschen musste, konnte man mir lange Zeit von deren Seite den Eingang nicht bestätigen und forderte eine Quittung von DHL in der das Gewicht der Sendung vermerkt wurde. Da ich aber alles online frankiert hatte, gab es dies natürlich nicht. Aber WD bestand darauf und meinte: “Es handelt sich dabei leider um Anforderungen die die Paketdienste verlangen, wenn wir eine Nachfrage stellen.”

Der Witz war: DHL hatte mir den Eingang des Paketes ja eindeutig bei der besagten Adresse bestätigt.

Nun ja…

Nachtrag: scrub fährt im Übrigen mit 333 MB/s, was mehr als 1 TB pro Stunde ist.

Selfmade NAS

Das erste Jahr ist locker um, dass mein selbstgebautes NAS auf Basis von Fedora Linux im Dauerbetrieb läuft. Bis auf eine kurze Urlaubsunterbrechung und ein paar “Strompausen”, zum Beispiel zum Einbau eines Xeon E3, lief es permanent.

Nachdem ich diverse vorgefertigte NAS Betriebssysteme wie OpenMediaVault, FreeNAS, NAS4Free und sogar Unraid in einer VM ausprobiert habe, kam ich zu dem Schluss, das ich mit meiner eigenen Lösung gar nicht so schlecht dastehe.

Also Monitoring Software verwende ich das recht simple Monitorix, zudem läuft im Hintergrund ein Clamd der mir verschieden Verzeichnisse auf Viren überwacht und mich ggf. per Mail benachrichtigt.

Angebunden ist der Windows Client natürlich per SMB, was absolut reibungslos funktioniert, wäre da nicht die Krux an Windows 10, dass derzeit kein Teaming, also die Bündelung von Netzwerkadaptern, unterstützt. So fließen die Daten vom NAS mit heutzutage lahmen 125 MB/s brutto und im Schnitt 112 MB/s Netto zum und vom NAS.

Für die Medien verwende ich Emby. Als Alternative gibt es noch Plex, was ich eine Weile ausprobiert habe und deutlich genauer bei der Erkennung der Mediendateien ist, aber mir gefällt nicht, dass man Plex wirklich nicht offline verwenden kann.

Ansonsten scheinen die im raidz2 angebundenen Festplatten bisher recht gut zu laufen, auch wenn einer der Western Digital Red 2 TB Platten seit Mitte des letzten Jahres 7 Reallocated Sectors hat. Nach einer Prüfung der Seriennummer hab ich noch bis Ende 2018 Zeit, diese zu tauschen :D

Karmi VI

So, ich musste im Laufe der Zeit nochmal etwas Kleines an Karmi ändern, aber im Grunde bleibt das Setup gleich.

Die Festplatten sind etwas gemischt, da ich unterschiedliche Meinungen zu den Seagate Laufwerken las und ich nicht alles auf eine Karte setzen wollte.

In Karmi befinden sich sechs Laufwerke, als ein zfs raidz2, folgende:

2x Seagate NAS HDD 2TB, SATA 6Gb/s (ST2000VN000)

2x  Western Digital WD Red 2TB, 3.5", SATA 6Gb/s (WD20EFRX)

2x  Western Digital RE4-GP 2TB, SATA 3Gb/s (WD2003FYPS)

Zustätzlich sichert sich das System automatisch mittels rsync nochmals auf eine Western Digital WD Red 4TB, wobei mir insgesamt im raidz2-Verbund 7.3 TB bzw. 7450.6 GB an Daten zur Verfügung stehen, aber nur knapp 3,3 TB davon belegt sind.

Die einzelnen Laufwerke sind allesamt mit dm-crypt LUKS verschlüsselt und dank eines kleines Shellscripts lassen die sich alle in einem Rutsch einbinden:

#!/bin/sh
read -s -p “Enter password:”  password

echo -e “\nMounting sda1 -> backup”
echo $password | cryptsetup luksOpen /dev/disk/by-uuid/0123456789 backup

echo “Mounting sdd -> zfs1”
echo $password | cryptsetup luksOpen /dev/disk/by-uuid/12345678901 zfs1

echo “Mounting sde -> zfs2”
echo $password | cryptsetup luksOpen /dev/disk/by-uuid/2345678912 zfs2

echo “Mounting sdf -> zfs3”
echo $password | cryptsetup luksOpen /dev/disk/by-uuid/3456789123 zfs3

echo “Mounting sdg -> zfs4”
echo $password | cryptsetup luksOpen /dev/disk/by-uuid/4567891234 zfs4

echo “Mounting sdh -> zfs5”
echo $password | cryptsetup luksOpen /dev/disk/by-uuid/5678912345 zfs5

echo “Mounting sdi -> zfs6”
echo $password | cryptsetup luksOpen /dev/disk/by-uuid/678912345 zfs6

echo “importing pools”
zpool import data
zpool import backup
zfs list

Somit mounte ich alle dm-crypt devices, importiere die Pools, da ZFS sonst Mühe hat diese zu erkennen und liste die nochmals sicherheitshalber auf.

Rsync sichert dann die Daten des pools “data” mittels des Befehls:

rsync -ua –stats –log-file=“/root/rsync-$(date +%Y%m%d%H%m).log” /data/ /backup

welchen ich mitels crond einmal stündlich anstoße.

Dieser schreibt mir dann ein Logfile, dass ich nehme um zu überprüfen ob alles von Statten ging. 

Natürlich kann man, vorallem wenn das manuell auslöst, noch “–progress” dranhängen, so dass man auch sieht, was rsync grade überträgt.

Korrektur: Es befindet sich noch ein 8. Laufwerk im System. Genauer eine kleine Intel SSD 535 mit 56GB auf welchem sich das Fedora so wie das /home Verzeichnis befindet.

Monochrome

So, mein neuer Desktop-Rechner ist eigentlich schon lange fertig, aber um das Gedächtnis aufrecht zu erhalten, hier die eingesetzte Hardware:

CPU: Intel Core i7-5820K, 6x 3.30GHz, 15MB L3 Cache

GPU: MSI GeForce GTX 960 4GD5T OC, 4GB GDDR5, DVI, HDMI, 3x DisplayPort

Mainboard: MSI X99S SLI Krait Edition

Memory: Kingston HyperX Fury DIMM Kit 32GB (4 x 8 GiB) , DDR4-2400, CL15-15-15

SSD: Samsung 950 Pro 256 GB NVMe, Samsung 850 Pro 512 GB SATA III,

PSU:  Corsair RMi Series RM650i, 650W ATX 2.4

Case: Fractal Design Define S

Cooling:  Watercool HTF2 Triple Radiator, 3 EK-Vardar F2-120 (1450rpm), Alphacool NexXxos XP Rev.2 CPU Cooling block

Die CPU läuft mit 4,0 GHz pro Kern bei etwas weniger als 1,1 Volt. Dank Wasserkühlung hält sie sich selbst unter Volllast auf allen Kernen bei 55°C.

Seitens der Grafikkarte hab ich zwar noch Luftkühlung, aber auch hier sind ein Takt von 1350 MHz im Kern so wie 1900 MHz beim Speicher möglich.

Naja und dank der 950 Pro SSD, die über den M.2 angebunden wird, ist das System so richtig schön ‘snappy’.

Karmi V

Hier nun ein paar Benchmarks meinens NAS. Ich habe mich dabei vorwiegend auf Speicher- und Netzwerkdurchsatz beschränkt, da ich das nur für relevant halte.

Die Festplatten selbst sind mittels LUKS verschlüssel und als raidz, also einem Software RAID 5, ins System eingebunden.

Schreiben von 1024 Dateien mit jeweils 128MB Größe aus dem Arbeitsspeicher auf den Festplattenverbund

[hello@karmi] dd if=/dev/zero of=tempfile bs=128M count=1024 conv=fdatasync,notrunc

1024+0 Datensätze ein

1024+0 Datensätze aus

137438953472 Bytes (137 GB) kopiert, 52,3362 s, 2,6 GB/s

Da war ich aber überrascht. 2.6 GB/s ist ja schon sonst eine Geschwindigkeit, die nicht mal über NVMe (M.2) angebundene SSDs erreichen. Wohlgemerkt lesen wir hier aus dem Arbeitsspeicher und Schreiben auf die Festplatten, was heißt, dass der Cache der HDDs eine große Rolle spielt.

Dann mal schauen, wie schnell wir lesen können. Das “test”-file ist hierbei exact 1024 Megabyte groß:

[hello@karmi]/mnt/data# dd if=test of=/dev/null
2097152+0 Datensätze ein
2097152+0 Datensätze aus
1073741824 Bytes (1,1 GB) kopiert, 3,45923 s, 310 MB/s

Na, dass ist doch mal gar nicht so schlecht. Zuletzt kopiere ich das test-file noch auf die root-partition, welche auf einer SSD liegt:

[hello@karmi]/mnt/data# dd if=test of=/root/test2097152+0 Datensätze ein2097152+0 Datensätze aus1073741824 Bytes (1,1 GB) kopiert, 5,34863 s, 201 MB/s

Jetzt schauen wir mal, was das Netzwerk vermag. Dazu verwende ich erstmal Samba, was einen Windows Client hat. Dazu verwende ich das Tool “LAN Speed Test Lite”

image

795 Mbit/s im Schreiben und 968 Mbit/s lesend, dies bei einer Gigabit-Anbindung, ist perfekt.

Alles in Allem bin ich mit dem Ergebniss sehr zufrieden. Auch verbraucht der Rechner im Idle nicht mehr als 40 Watt und die Festplatten sind dank aktiver Kühlung mittels vorgeschalteter Lüfter auf Raumtemperatur.

Karmi - IV

Das Projekt “Karmi” ist nun eigentlich abgeschlossen, sowohl was die Hardware betriftt, als auch die Software.

Das System setzt sich aus folgenden Komponenten zusammen:

  • Asus P9D-X Mainboard (Sockel 1155)
  • Intel Core i3-4330, 2x3.5 GHz
  • 2x 8GB DDR3-1600 ECC Memory von Kingston, CL 11
  • Fractal Design Define R4 PCGH-Edition
  • IBM M1015 SAS 8port RAID Controller (IT Mode)
  • 3x Western Digital WD Red 2TB, 3.5", SATA 6Gb/s, 5400rpm
  • 3x Seagate NAS 2TB, 3.5", SATA 6Gb/s, 5400rpm
  • Seasonic S12II-330 Netzteil
  • 1x Intel 535 SSD, 56 GB

Dem Ganzen habe ich dann ein Fedora 23 (server) aufgesetzt, mittels zfsonlinux die sechs Festplatten zu einem raidz-2 gebündelt, so dass ich effektiv 7,5 TB Speicherkapazität habe. Um meine Clients, OS X und Windows, anzubinden, nutze ich Samba und netatalk (für AFP).

Als Backup wird Ende des Monats noch eine Seagate 8 TB Festplatte dazukommen.

PC Geschichte - Teil 2

1999

Das Jahr 1999 ganz stand im Zeichen des Internet. Windows 98 erschien im Sommer in der zweiten Ausgabe und wir erhielten endlich einen ISDN-Anschluss, der uns nun immerhin mit 64 Kbit/s ins World Wide Web beförderte. Außerdem lief seit Ende 1998 im Fernsehen das Programm von NBC GIGA, was mich weiterhin beflügelte, mir vom Erspartem endlich einen völlig eigenen, modernen PC zu kaufen.

Damals, als Vobis noch ein richtig großer Player war, erwarb ich einen Midi-Tower gefüllt mit einem ATX Mainboard, auf welchem ein Intel Pentium III 500 MHz (“Katmai”) und 128 MB SD-RAM PC100 sein Werk verrichteten.

image

Außerdem waren die Festplatten mittlerweile im zweistelligem Gigabyte-Bereich angekommen, so dass ich eine 13.3 GB Festplatte von IBM (heute Hitachi) mein Eigen nennen konnte.

Den dazugehörigen 17 Zoll Röhrenmonitor sollte ich auch noch eine Weile behalten.

2002

Vor Beginn meiner Ausbildung hatte ich im Sommer gearbeitet, Windows XP war ein Jahr gut abgehangen und AMD setze mit seinen Athlon XP Prozessoren Intel mächtig unter Druck.

Ich entschied mich gleich mal die schnellste verfügbare CPU, den Athlon XP 2200+ mit 1,8 GHz, Codename “Thoroughbred A” zu kaufen. Hinzu kamen 2x256 MB DDR Arbeitspeicher und eine 120 GB Festplatte von IBM.

Das Ganze wurde in lilanes Chieftec CS-901 Gehäuse gesteckt.

Ein reichliches Jahr später ließ ich mir den Gehäusedeckel ausschneiden, so dass dort ein 360er-Radiator für meine neu erworbene Wasserkühlungg platzfand, die den neuen Athlon XP 2500+ die Wärme abführen sollte.

Den Prozessor konnte man ganz leicht, durch Überbrückung eines L1-Kontaktes von 1,833 GHz auf 2,5 GHz übertakten, da es so den Frontsidebustakt auf 400 anhob.

Zudem erwarb ich mir eine ausgesuchte ATI Radeon 9500  bei der sich die vier deaktivierten Pixelshader per Software freischalten ließen, so dass Sie der Leistung nach einer 9700 entsprach. Hinz kam, dass ich dank der Wasserkühlung, auch auf der GPU, noch Reserven zum Übertakten hatte.

2004-2007

Die Jahre vergingen, die Hardware kam und ging. Aus dem Athlon XP wurde erst ein Athlon 64, dann ein zweikerniger Athlon 64 X2 4200+ EE mit je 2,2 GHz und nur 65 Watt Stromverbrauch.

Auch der RAM hatte mittlerweile die Gigabyte-Grenze überschritten und war dank DDR2 und Dual Channel Interface auch ordentlich schnell geworden.

image

Das alte Gehäuse hatte seinen Besitzer gewechselt und wurde nochmals durch ein Chieftec ersetzt. Diesmal ein silbernes Chieftec Dragon.

2008

Im Frühjahr 2008 kaufte ich mir meinen ersten Laptop. Ein Macbook.

Doch dazu mehr im nächsten Artikel.

PC Geschichte - Teil 1

1992

An meinen ersten PC kann ich mich ziemlich gut erinnern, auch wenn es 1992 war, als mir der Onkel meines Vaters seinen auch damals schon sehr alten Amiga 500 von Commodore überließ.

image

Ausgestattet mit satten 512 KB Arbeitsspeicher und einem 7,09 MHz Motorola Prozessor konnte man immerhin Spiele, wie die Klassiker “Boulder Dash” und den wohl ersten First Person Shooter “The Eidolon” in Farbe spielen, auch wenn ich auf bunte Pixel erstmal verzichten musste, da ich den Amiga nur an einen 12 Zoll Schwarzweiß-Fernseher anschloß.

Das ganze System besaß keine Festplatte, sondern man musste jedes Programm, in meinem Fall waren das zu 100% nur Computerspiele, von einer 5,25 Zoll Floppy laden.

Es gab zwar in der Theorie auch ein mousegeführtes Betriebssystem, das Amiga OS, aber genau jene Mouse besaß ich nicht und schloß lieber zwei Joysticks an, so dass ich diverse Rennspiele auch gegen meine Schwester spielen konnte.

Irgendwann jedoch hatte ich es geschafft, dass das Floppylaufwerk den Geist aufgab und sogar ein wenig vor sich hin rauchte. Es war im Nachinein  nicht mehr klar, wo die Ursache war, da die Diskette im Laufwerk geschmolzen und es nicht mehr ansatzweise zu reinigen war.

Da auch damals schon die 3.5 Zoll Laufwerke (für Disketten) auf dem Vormarsch waren, musste mein Vater für ca. 200 DM ein neues (altes) Laufwerk kaufen, damit sein Sohn noch die nächsten 5 Jahre damit seine Freude haben konnte.

1994

Zwei Jahre später kamen wir in den Besitz eines IBM PS/2 Systems mit dem damals schnellstem x86-Prozessor, dem 486DX mit immerhin 100 MHz. Zusätzlich besaß das System satte 32 MB Arbeitsspeicher und eine 600 MiB Festplatte.

image

Zudem konnte ich erstmals auch den vollen Umfang eines grafischen Betriebssystems namens Windows 3.11 (for Workgroups!) genießen, wenn auch ein halbes Jahr später bereits Windows 95 erschien.

Neun Disketten musste man in das 3.5 Zoll Laufwerk schieben, ehe man das OS komplett installiert hatte.

Viel mehr Disketten habe ich nur in einem logischen Verbund gesehen, als mein Vater anfing, seine Briefmarkensammlung zu katalogisieren, den der Michel-Katalog kam auf insgesamt 15 Disketten, wenn man wie in unserem Fall kein CD-ROM Laufwerk besaß.

Das war auch das erste Mal, dass ich mit einem ernsthaften Computervirus in Berührung kam.

So hatte ich mir in der Stadtbibliothek ein Buch ausgeliehen, was ein Begleitprogramm von Diskette anbot. Es handelte sich bei dem Schadprogramm um den damals sehr weit verbreiteten “Parity Boot A” und bereitete mir einiges an Kopfzerbrechen.

1995

Ein Jahr später öffnete sich dann eine völlig neue Welt: wir bekamen ein 28.8-Modem von US-Robotics, was damals schon unglaublich schnell erschien, auch wenn wir das Internet nur sehr wenig nutzen und meine Eltern eher faxten als im BTX der Telekom rumsurften.

Da man im Grunde wie für ein Ferngespräch bezahlte kam man so sehr schnell auf umgerechnet fünf Euro pro Stunde oder mehr.

image
Erster Test des Helios 44-2 Objektivs bei richtig gutem Sonnenwetter.

Erster Test des Helios 44-2 Objektivs bei richtig gutem Sonnenwetter.

Und nocheinmal alle drei Objektive. Ganz oben links das Porst Tele MC, f/2,8, 135mm (KB ~ 208mm), Ø 55mm

Und nocheinmal alle drei Objektive. Ganz oben links das Porst Tele MC, f/2,8, 135mm (KB ~ 208mm), Ø 55mm