Hoher IO-Wait-Wert mit ext4

Flex

Full Member

Tuesday, August 14th 2012, 3:15am

1

Langsam bekomm ich mit der neuen Kiste echt nen Vogel. Extra für mehr Performance angeschafft, aber nix davon zu merken außer graue Haare...
Aktuelle Situation: 2x 750 GB HDDs mit jeweils Linux Software Raid 1 auf 2 Partitionen, Dateisystem von /dev/md0 und /dev/md1 ist jeweils ext4 (mein erster Versuch damit, zuvor hatte ich immer ReiserFS 3.6), frisch formatiert und mittels Samba den Windows-PCs zur Verfügung gestellt. Kopiere ich Daten - und dabei macht es übrigens keinen Unterschied, ob PC-intern oder extern via LAN - auf den to-be-Server, dann zeigt mir iotop im Wechsel mit mv oder samba satte 99,9% IO an, verursacht durch jbd2 - was wohl für die journal-Einträge von ext4 zuständig ist. Die Kopiererei wird, solange jbd2 alle Resourcen belegt, natürlich arg gebremst, was sich im Task-Manager der Windows-Kisten in einer gezackten Linie der Netzwerkauslastung widerspiegelt. Kann man dem IO irgendwie auf die Sprünge helfen? Sollte ich ext4 durch ein anderes Dateisystem ersetzen? Die Nettogeschwindigkeit wird durch die Warterei mehr als halbiert, dafür geht die Load auf über 3, solange der Kopiervorgang läuft - so hatte ich mir ext4 nicht vorgestellt (oder man sollte es nicht einfach out-of-the-box verwenden, sondern tunen?).

This post has been edited 3 times, last edit by "Flex" (Aug 14th 2012, 3:32am)

aquatube --> dfm high flow --> aquastream --> airplex xt 120 --> aquagratix 5870 --> aquabridge crosshair 3 --> cuplex di² --> airplex pro 120 --> airplex revo 420 --> aquatube

SMLunchen

Full Member

Tuesday, August 14th 2012, 10:27am

2

Magst du nicht vielleicht noch etwas mehr über die Hardware verraten?
ich weiß bisher nur, dass du zwei 750GB HDs im Software Raid 1 auf einem openSUSE 12.1 betreibst, welches mit einer intel 1Gbit/s netzwerkkarte an das LAN angebunden ist (da die realtek nicht willig ist)

Fürchtet den furchtbaren Fluch des Finsterwald-Fuchses!

Flex

Full Member

Tuesday, August 14th 2012, 11:49am

3

Ja doch, wäre wohl nicht das Verkehrteste

CPU: Athlon II X2 270, 2x 3,4 GHz
MB: Asus M5A97 Evo
RAM: G.Skill 2x 4 GB 1333 7-7-7-21
Primäre Platte/OS only: Super Talent UltraDrive GX2 64 GB (ext4)
Die beiden internen Platten mit den Software Raids sind Seagate Constellation ES.2 750 GB (ext4)
Via eSATA angebunden: Lian Li Raid Enclosure mit 4x Seagate Constellation ES 1 TB im Raid 10 (ReiserFS)

Bevor ich die drei erstgenannten Komponenten der Hardware ausgetauscht hatte, liefen die internen Platten auch mit ReiserFS.. Ich bin gerade am Überlegen, ob ich nicht wieder umstellen soll, immerhin rennt das externe Raid 10 nach wie vor sagenhaft und ohne Bremse - auch wenn viele Leute behaupten, Reiser sei tot und ext4 wesentlich besser. Wie gesagt, bisher stelle ich leider nur das genaue Gegenteil fest.

aquatube --> dfm high flow --> aquastream --> airplex xt 120 --> aquagratix 5870 --> aquabridge crosshair 3 --> cuplex di² --> airplex pro 120 --> airplex revo 420 --> aquatube

SMLunchen

Full Member

Tuesday, August 14th 2012, 7:10pm

4

Erfahrungsgemäß sind die Software-Raids nicht sonderlich performant. Wie sieht von der E/A Leistung bei lediglich einer Platte ohne Raid aus?

Fürchtet den furchtbaren Fluch des Finsterwald-Fuchses!

hurra

God

Wednesday, August 15th 2012, 4:53pm

5

Quoted from "SMLunchen"

Erfahrungsgemäß sind die Software-Raids nicht sonderlich performant. Wie sieht von der E/A Leistung bei lediglich einer Platte ohne Raid aus?

Ach, erfahrungsgemäß klappt das einwandfrei und schnell.

Die Smartdaten der Platten sind ok? Raid-Sync der Platten ist durch?

E: Wie sind die Mountoptionen?

This post has been edited 1 times, last edit by "hurra" (Aug 15th 2012, 5:21pm)

Flex

Full Member

Friday, August 17th 2012, 12:18am

6

Hab von der Softraid-Performance unter Linux noch nichts negatives gehört, die CPU-Last ist auch moderat..

Erstmal mounts der Raids: Jeweils (rw, relatime, user_xattr, acl, barrier=1, data=ordered), komplett synchronisiert.
Hab das Scheduling der beiden Platten testhalber von cfq auf deadline gestellt, macht keinen Unterschied.
Smart-Werte sind alle im grünen Bereich.

Transferleistung der Platten ohne Raid folgt, muss erst evakuieren

aquatube --> dfm high flow --> aquastream --> airplex xt 120 --> aquagratix 5870 --> aquabridge crosshair 3 --> cuplex di² --> airplex pro 120 --> airplex revo 420 --> aquatube

Flex

Full Member

Friday, August 17th 2012, 3:00am

7

Also für exakte Zahlen reichts nicht, aber zumindest eine Erkenntnis bringen erste Tests zutage bei Kopiervorgängen von einem Windows-PC via Samba auf die neue Kiste, belegt durch die Ausgaben durch Task Manager seitens Win und iotop/top seitens Linux:
- sdb1 (eine Partition auf einer der 750er Platten) ohne Raid, gemountet mit ext4 als reguläre Partition: Durchgehend volle Geschwindigkeit, wobei nie über ~ 80% (Leitung? Hardware? Man weiß es nicht, aber schnell genug)
- sdb1 im Raid als Teil von md0: Permanente Einbrüche der Speed, auf und ab zwischen 70% und 0%, IO auf Anschlag durch jdbd2
- sdd1 (extern mit Raid 10 inkl. Controller) zum Vergleich: Kontinuierlich fast volle Geschwindigkeit ~ 70%

So langsam drängt sich doch der Verdacht auf, dass es am Softraid liegt... Dabei ist die Mühle nicht voll ausgelastet, die CPU rennt noch nicht auf Anschlag, die Platten können offenbar normal auch mit mehr Geschwindigkeit - keine Ahnung, was ich noch machen soll. Das Softraid ausschalten möchte ich eben ungern, und es bleibt nach wie vor laut iotop das Journaling als Übeltäter. Was nu?

aquatube --> dfm high flow --> aquastream --> airplex xt 120 --> aquagratix 5870 --> aquabridge crosshair 3 --> cuplex di² --> airplex pro 120 --> airplex revo 420 --> aquatube

Flex

Full Member

Friday, August 17th 2012, 4:17am

8

So, habe mal ein wenig weitergehend recherchiert, viel gelesen - und die Lösung rückt offenbar näher! Den YaST Partitioner kann man wies scheint in der Pfeife rauchen... md0 mit Webmin komplett neu angelegt, md1 seit Erstellung in YaST unverändert.

cat /proc/mdstat sagt

Source code

Personalities : [raid1]
md0 : active raid1 sdc1[1] sdb1[0]
      209710008 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sdc2[1] sdb2[0]
      522861432 blocks super 1.0 [2/2] [UU]
      bitmap: 0/4 pages [0KB], 65536KB chunk

Und siehe da, md0 performt jetzt wesentlich besser. Offenbar gibt es auch keine bitmaps mehr? Vielerorts wird geschrieben, dass die Chunk Size bei Raid 1 keinen Einfluß auf die Performance hat, aber ich bilde mir ein, dass zwischen 4kB und 32kB ein Unterschied festzustellen war. Wie dem auch sei, es gibt so oder so kaum noch Einbrüche bei Übertragungen, und wenn sind sie eigentlich nicht der Rede wert. Ich werde md1 auch noch mit Webmin zerstören und neu aufbauen, dann sollte das gröbste ungewünschte Verhalten verschwunden sein.

This post has been edited 1 times, last edit by "Flex" (Aug 17th 2012, 4:25am)

aquatube --> dfm high flow --> aquastream --> airplex xt 120 --> aquagratix 5870 --> aquabridge crosshair 3 --> cuplex di² --> airplex pro 120 --> airplex revo 420 --> aquatube

Athlonheizer

God

Saturday, August 18th 2012, 11:56pm

9

Nee, nee, nee.....immer noch son gefrickel mit Linux.

Wenn ich die Folgen geahnt hätte wäre ich Uhrmacher geworden.

Flex

Full Member

Wednesday, August 22nd 2012, 3:30am

10

IMMER! Auch wenn ich jetzt meinen eigenen Thread hijacke für OT: Gerade letztens in der Arbeit die WS von Win 7 auf Ubuntu 12.04 umgestellt - und nur Probleme. Allein bis ich mal alle Verknüpfungen im Starter hatte, einiges Treibergefrickel, manuelle Anpassungen an diversen Stellen, usw usf. Da sind einfach so wahnsinnig viele Dinge unter Win um so viel besser gelöst... Es gibt einfach zu viele Stolpersteine unter Linux, die zu lösen dem durchschnittlichen Nutzer zu viel Zeit und/oder zu viel Wissen abverlangen. Wenn jemand Interesse hat, jedoch eine niedrige Frustgrenze, dann wird das Interesse recht schnell verflogen sein. Linux wird sich auch in den nächsten Jahren niemals aus dem Nischendasein im Desktopbereich lösen können.

BTT: Läuft! Es hilft übrigens auch, dem Dateisystem noch ein wenig Zeit zu geben, bis es sich vollständig mit der Platte vertraut gemacht hat

aquatube --> dfm high flow --> aquastream --> airplex xt 120 --> aquagratix 5870 --> aquabridge crosshair 3 --> cuplex di² --> airplex pro 120 --> airplex revo 420 --> aquatube

BloodHound

Senior Member

Thursday, August 23rd 2012, 3:28pm

11

Zu Ubuntu selbst kann ich nicht viel sagen da ich es nicht einsetze. Ich arbeite aber seit über 10 Jahren mit Debian und habe eigentlich noch nie wirkliche Probleme gehabt.
Treibergefrickel gibt es eher unter Windows als unter Linux. Versuche mal verschiedene UMTS unter Windows zum laufen zu bekommen. Die Software der Anbieter überschreiben sich meinst und da ist es aus.
Bei Debian einfach anstecken Land und Provider auswählen und verbinden. Es gibt kein perfektes Betriebssystem. Es gibt nur das passende Betriebssystem für einen Anwendungsfall.
Allerdings sehe ich echt nicht ein für was so ein verblödetes Windoof für ein OS OHNE Programme je nach Updates zwischen 10-20GB an Speicherplatz braucht wo ein Debian mit allen Programmen und ein paar IDEs nicht mal 10GB an Speicherplatz belegt.
Gerade bei SSDs ist das ein Problem. Ubuntu ist in manchen Bereichen zwar nett aber ich würde ein Debian fast immer vorziehen. Meine Erfahrung hat mir auch gezeigt dass gerade DAUs die vorher eher keine bis wenige Erfahrungen gemacht haben mit Computern mit Debian bei weitem besser zurecht kommen als mit Windows. Ich denke das liegt am ehesten an Gnome3 und einem um Welten besseren Bedienkonzept als es das Kachelgefrickel je haben wird.
Sorry for OT aber das musste jetzt sein!

For Windows reboot
for Linux be root