also 18 düsenkühler werden fast unmöglich sein mit 2 1048. und ausserdem das saubermachen der kühler nervt auch auf die dauer.

also ich mußte mein cuplex pro alle 2 monate saubermachen, weil ich 0 durchfluss mehr hatte, daher hab ich wieder den classic eingebaut.

mit düsenkühlern kann ich mir auch nicht vorstellen dass das funktioniert. ich würde in diesem fall den guten alten einfachen cuplex nehmen.

die pumpen keinesfalls einfach so parallel, denn wenn eine stehen bleibt dann fließt das wasser zwischen den pumpen im kreis. eine ruhende eheim 1046/48 hat so gut wie null durchflusswiderdand. ich würde eine einfache serielle anordnung der pumpen verwenden.

edit: dass die pumpe komplett verstopf kann ich mir irgendwie nich vorstellen. dass das pumpenrad aufgrund verschmutzung stecken bleibt wird ja möglich sein, aber dann ist auch nicht gleich die ganze pumpe dicht. ich glaub da verstopft vorher einer der kühler (vor allem wenn du düsenkühler verwendest ;-) )

2 oder 3 1048er Eheims, 1 AT, 1 evo 1800 mit voller Anzahl an 120er Lüftern, 20m Schlauch, Ac Fluid, Anschlüsse, 18 cuplex CLASSIC (!!), joar das wärs auch scho

bei 18 zu kühlenden cpus plus evtl einigen chipsets und grakas ist man ganz flott bei ca 25 zu kühlenden objekten.

zwar gehe ich davon aus, dass der evo1800 das packt (zur not halt aktiv)
jedoch bereiten mir die pumpen grössere sorgen.
zum einen sind die 1048 doch ein wenig lauter als die 1046, zum anderen wäre ich mir nicht sicher, dass es mit zweien getan ist. ich würde hier (falls keine winkel verbaut werden) eher auf 3-4 1046 oder sogar aquastream gehen. und diese dann gleichmässig zwischen den kühlern verteilen. (6 kühler - 1 pumpe - 6k - 1p - 6k - 1p - 6k - radi - agb)

auf düsenkühler würde ich nach möglichkeit ebenfalls verzichten. kanalkühler verstopfen weniger leicht, und haben zudem einen deutlich geringeren durchflusswiederstand. das erhöht die ausfallsicherheit, und somit auch die sicherheit des gesamten systems.

ein deutlich grösserer agb als der AT ist leider fast notwendig, wenn das system kompfortabel be- und nachfüllbar sein soll. ein behältnis in der grössenordnung 7-10 liter wird wohl das notwendige wasservolumen zur verfügung stellen können. wichtig dabei ist jedoch, dass es luftdicht verschliessbar ist, sonst hat man sehr flott eine algenbildung, die im schlimmsten fall zu einer verstopfung führt und somit das gesamte system aus 9 rechnern killt.

kontrolle und überwachung ist in einem solchen system ebenfalls unerlässlich. daher sollte bei der planung mind ein aquaero je pumpe (bei aquastreams kann auch die hälfte an AE verbaut werden) und eine ensprechende anzahl an durchflusssensoren verbaut werden.

Hi!

Ich frag mich ob das Kühlwasser sich bei 18 CPUs in Serie nicht doch etwas sehr aufheizt zum Ende hin?
Klar, in meinem kleinen Kreis aus 3 Kühlern ist die Temperatur im ganzen Kreislauf nahezu gleich, aber in diesem Fall könnte das doch schon etwas problematisch werden wenn erst nach 18 CPUs (+evtl mehr) wieder runtergekühlt wird ?!

Erfahrungswerte gibts da wohl eher wenige, aber vll weiss ja ein kluger Kopf, um wieviel Grad sich das Wasser pro CPU dann doch aufheizt...

Die Idee mit den Aqaueros finde ich hirnrissig, nicht weil es keinen sinn macht sondern weil das uebertieben teuer wird.

Ich würde es forendermaßen Anstellen:

Je 3 PCs ein Kreislauf: Mit Cuplex Classic und drei 1046er, nicht direct in Serie sondern in jeden PC eine. Als augelichbehälter würde das AT dann ausreichen, auch wenn man dann beim befüllen mehrmals nachfüllen muss. Mit der Radi größe bin ich mir nicht sicher. Ich denke er möchte das die PCs leise sind. Deshalb würde ich ich für jeweils 3 PCs zwei APE 240 nehmen aktiv auf 5V.

Zitat von »ToS«

Hi!

Ich frag mich ob das Kühlwasser sich bei 18 CPUs in Serie nicht doch etwas sehr aufheizt zum Ende hin?
Klar, in meinem kleinen Kreis aus 3 Kühlern ist die Temperatur im ganzen Kreislauf nahezu gleich, aber in diesem Fall könnte das doch schon etwas problematisch werden wenn erst nach 18 CPUs (+evtl mehr) wieder runtergekühlt wird ?!

Erfahrungswerte gibts da wohl eher wenige, aber vll weiss ja ein kluger Kopf, um wieviel Grad sich das Wasser pro CPU dann doch aufheizt...

Die Wassertemperatur ist im gesamten Kreislauf nahezu gleich soviel dazu.

Ich würde es anders machen und zwar 2x 240er (oder 360er) für die hälfte der cpu's. Das müsste reichen weil es wird ja nicht dauerbelastung also 100% auf die CPU's gegeben oder ?

Und das mit den Aqueros finde ich auch extremst übetrieben.

also wenn die pcs nie bewegt werden, dann würde ich 2 1800 nehmen und die dann passiv laufen lassen, das sollten die packen.

cuplex classic ist klar,
chipsets würde ich dann aber ebenfalls kühlen, falls lüfter drauf sind. grakas werden bei den rechnern wohl keine großen drin sein oder ?

zu den pumpen: ich würde einen kasten für mindestens 10 liter bauen, da 3 oder 4 pumpen als tauchpumpen rein und über t stücke oder 4fach verteiler in einen kreislauf pumpen. der kasten sollte wie schon gesagt luftdicht sein, hier empfiehlt sich wohl plexiglas, da es günstig ist und sich nach belieben verarbeiten lässt.

MFG Sebastian

Zitat von »ToS«

Hi!
Erfahrungswerte gibts da wohl eher wenige, aber vll weiss ja ein kluger Kopf, um wieviel Grad sich das Wasser pro CPU dann doch aufheizt...

Es ist tatsächlich so, das das was un in einem Einzelplatzsystem oder auch 2 bis 3 Systemen überhaupt kein Kopfzerbrechen bereiten muss, in einem Cluster von 18 CPUs an nicht mehr zu vernachlässigender Bedeutung gelangt.

Henrik schreibt auf seiner Seite zu den physikalischen Grundlagen:
....
Machen wir folgende Rechnung auf, die von einem idealen Kühlkörper ausgeht, der die zugeführte Energie 100prozentig an das Wasser weiter gibt. In der Realität funktioniert das so natürlich nicht, taugt aber, um den schlimmsten theoretischen Fall aufzuzeigen.

Angenommene Leistung: 100 Watt entspricht 100 Joule/s
Angenommener Volumenstrom: 40l/h = 0,011 l/s
Wärmekapazität von Wasser: 4,19 kJoule/(K*kg)

Rechnung: 100/0,011/1000/4,19 = 2,169 K entspricht 2,169°C

Das ist der theoretisch höchste Wert, um den bei diesen bewusst ungünstig gewählten Werten die Temperatur innerhalb des Systems pro Durchlauf steigen kann. In der Praxis wird dieser Wert natürlich nie erreicht, da der Wirkungsgrad eines KKs nicht bei 100% liegt. Die in diesem Zusammenhang oft gestellte Frage: "Und wo bleibt dann der Rest, das muss sich doch aufschaukeln?", sei vorsorglich auch gleich beantwortet. Der Rest wird über andere Grenzflächen abgegeben. Wäre dem nicht so, würde über kurz oder lang mit jedem Kühlkörper, der nicht 100% der zugeführten Wärmeleistung abführt, jeder Prozessor durchgebrennen. So haben wir eben nur höhere CPU-Kerntemperaturen. Messbar sind bei den oben genannten Parametern ca. 1 bis 1,5°C Differenztemperatur zwischen Vor- und Rücklauf. Voraussetzung für die Messung sind hochgenaue Instrumente.
....

Kurz: Das Projekt kann so nicht durchgeführt werden. Sinnvoll wäre eine Lösung mit jeweils z.B. 4 in einem Kreislauf gekühlten CPUs, mit eigenem Radiator und einer Eheim 1046. Düsenkühler sind hier völliger Unsinn, Kanalkühler haben in diesem Fall nur Vorteile.

Die Durchflussüberwachung sollte auch entsprechend für jedes Subsystem getrennt eingesetzt werden. Ein Aquaero wird dafür nicht benötigt. Wesentlich einfacherer Lösungen sind mehr als ausreichend.

Grüße
Mäuschen

Zitat von »ToS«

Erfahrungswerte gibts da wohl eher wenige, aber vll weiss ja ein kluger Kopf, um wieviel Grad sich das Wasser pro CPU dann doch aufheizt...

Das kann man ganz einfach ausrechnen  
Ich mach es kurz: Bei 40 l/h und 100W sind's etwa 2°C
Das deckt sich auch mir den Messwerten in meinen diversen Maschinchen.

mfg, Thomas

Nachtrag: @wuehlmaus - Die Rechnung stimmt auch bei "nicht idealen" Kühlern, weil auch diese dem Energieerhaltungssatz folgen müssen.

die von mir vorgeschlagene variante kostet ohne kühler und schlauch rund 650€
- evo1800
- 2 aquaero lt
- 4 aquastream


das von 1a/v alias siemens kühlsystem liegt bei rund 600€.
- 6 evo240
- 9 eheim 1046
hierbei ist jedoch keinerlei überwachung oder kontrolle des systems möglich, wenn man von einer sichtkontrolle in den jeweiligen AT absieht.


es macht also keinen grossen unterschied ob man aquaero's verbaut oder nicht.
und ich bin mir sicher, dass bei einer serverfarm eher auf die überwachungs und kontrollfunktion (und evtl fernwartung) wert gelegt wird, als auf den preis.

Zitat von »KampfSchwein«

also von serverfarm kann keine rede sein :

dann halt rechnerhaufen. ;D

Zitat von »wuehlmaus«

Es ist tatsächlich so, das das was un in einem Einzelplatzsystem oder auch 2 bis 3 Systemen überhaupt kein Kopfzerbrechen bereiten muss, in einem Cluster von 18 CPUs an nicht mehr zu vernachlässigender Bedeutung gelangt.

Henrik schreibt auf seiner Seite zu den physikalischen Grundlagen:
....
Machen wir folgende Rechnung auf, die von einem idealen Kühlkörper ausgeht, der die zugeführte Energie 100prozentig an das Wasser weiter gibt. In der Realität funktioniert das so natürlich nicht, taugt aber, um den schlimmsten theoretischen Fall aufzuzeigen.

Angenommene Leistung: 100 Watt entspricht 100 Joule/s
Angenommener Volumenstrom: 40l/h = 0,011 l/s
Wärmekapazität von Wasser: 4,19 kJoule/(K*kg)

Rechnung: 100/0,011/1000/4,19 = 2,169 K entspricht 2,169°C

Das ist der theoretisch höchste Wert, um den bei diesen bewusst ungünstig gewählten Werten die Temperatur innerhalb des Systems pro Durchlauf steigen kann. In der Praxis wird dieser Wert natürlich nie erreicht, da der Wirkungsgrad eines KKs nicht bei 100% liegt. Die in diesem Zusammenhang oft gestellte Frage: "Und wo bleibt dann der Rest, das muss sich doch aufschaukeln?", sei vorsorglich auch gleich beantwortet. Der Rest wird über andere Grenzflächen abgegeben. Wäre dem nicht so, würde über kurz oder lang mit jedem Kühlkörper, der nicht 100% der zugeführten Wärmeleistung abführt, jeder Prozessor durchgebrennen. So haben wir eben nur höhere CPU-Kerntemperaturen. Messbar sind bei den oben genannten Parametern ca. 1 bis 1,5°C Differenztemperatur zwischen Vor- und Rücklauf. Voraussetzung für die Messung sind hochgenaue Instrumente.
....

Kurz: Das Projekt kann so nicht durchgeführt werden. Sinnvoll wäre eine Lösung mit jeweils z.B. 4 in einem Kreislauf gekühlten CPUs, mit eigenem Radiator und einer Eheim 1046. Düsenkühler sind hier völliger Unsinn, Kanalkühler haben in diesem Fall nur Vorteile.

Die Durchflussüberwachung sollte auch entsprechend für jedes Subsystem getrennt eingesetzt werden. Ein Aquaero wird dafür nicht benötigt. Wesentlich einfacherer Lösungen sind mehr als ausreichend.

Grüße
Mäuschen

Gut, nun erhöh aber mal die zugeführte Leistuing, meine beiden MP1700+ haben 46 Watt pro Stk. an Wärmeabgabe, machrt also ~100 Watt. Das ganze dann mal 9 (9 Server in Reihe) bist du bei 900 Watt (bei 1700+, wer weiß was da drin steckt, kann also je nach Taktung und Core mehr oder ein wenig weniger sein :).
Gingen wir vorhin noch von ~2°K aus, sind es jetzt ~18 - kann also doch schon ein wenig warm werden für den letzten Rechner :. Einziger Vorteil: Der Wärmerücktausch an die Luft geht recht einfach, denn je höher der Unterschied zwischen Wasser- und Umgebungstemp, desto besser kann die Wärme wieder abgegeben werden .

Zitat von »x-stars«

Gut, nun erhöh aber mal die zugeführte Leistuing, meine beiden MP1700+ haben 46 Watt pro Stk. an Wärmeabgabe, machrt also ~100 Watt. Das ganze dann mal 9 (9 Server in Reihe) bist du bei 900 Watt (bei 1700+, wer weiß was da drin steckt, kann also je nach Taktung und Core mehr oder ein wenig weniger sein :).
Gingen wir vorhin noch von ~2°K aus, sind es jetzt ~18 - kann also doch schon ein wenig warm werden für den letzten Rechner :. Einziger Vorteil: Der Wärmerücktausch an die Luft geht recht einfach, denn je höher der Unterschied zwischen Wasser- und Umgebungstemp, desto besser kann die Wärme wieder abgegeben werden .

Na das sage ich doch! Warum meinst Du schreibe ich wohl:
"Es ist tatsächlich so, daß das, was uns in einem Einzelplatzsystem oder auch 2 bis 3 Systemen überhaupt kein Kopfzerbrechen bereiten muss, in einem Cluster von 18 CPUs an nicht mehr zu vernachlässigender Bedeutung gelangt."

@Thomas:
Selbsverständlich gilt der erste Energierehatungssatz hier auch. Die Seiteneffekte bedingt durch spezifische Eigenschaften der Kühler sind aber auch bei naturgemäß gleichbleibender Bilanz nicht unerheblich (bei 18 CPUs) und beinflusst die tatsächliche Temperaturerhöhung/CPU.
Solche Diskussionen sind aber in Foren erfahrungsgemäß völlig unfruchtbar. Daher ist hier bei mir auch Ende der Fahnenstange.

Mäuschen

Meiner Meinung nach ein sehr interessantes Projekt, ABER übertireben ohne Ende. Warum WaKü? Wohl nicht wegen OC'en. Und, wenn wegen Lautstärke, dann frag ich mich was mit den Netzteilen, Festplatten usw. pasieren soll. Um alles "lautlos" zu bekommen muss er AC reich machen.

Habt ihr mal an einen normalen Serverschrank gedacht? Da 9 mal 19" rein und gut is. Sieht auch schöner aus als 9 offene Big-Tower mit 20m Schlauch quer durch die Bude. Wär ja wie ein Mienenfeld und alles immer wieder zu warten würde viel Zeit in Anspruch nehmen. Im Schrank wär alles kompakt und übersichtlich.