• 23.08.2025, 00:46
  • Registrieren
  • Anmelden
  • Sie sind nicht angemeldet.

 

whyda

God

Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 04:57

Hallo,
ich habe in einer renommierten Computerzeitschrift etwas über Server-Wasserkühlungen gelesen und dazu ein bisschen gegoogled.

Aus Fairness AC gegenüber und gemäß den Forenregeln möchte ich den Hersteller der Kühlung nicht nennen, wer sich informieren will, benutzt google oder geht in Zeitschriftenladen.

Hiermal ein paar Infos:

Zitat


Seit September 2002 läuft in der Arbeitsgruppe 3D-Kryo-Elektronenmikroskopie der weltweit erste wassergekühlte PC-Cluster. Die von der Firma XXXXXX entwickelte Wasserkühlung garantiert die Wärmeabgabe der 68 AMD Athlon-MP-Prozessoren. Der Computer steckt in einem 19-Zoll-Rack mit 47 Höheneinheiten. Neben 32 Dual-Prozessor-Knotenrechnern und zwei Dual-Prozessor-Festplattenservern unter Windows 2000 sind eine Bedieneinheit, ein Netzwerkswitch und ein Einschub zur Überwachung der Kühlung im Rack untergebracht. Die zwei Festplattenserver mit ca. 2 TByte Festplattenplatz sind über Gigabit-Ethernet angebunden.

Bei voller Auslastung werden über die Wasserkühlung ca. 4kW Wärmeleistung der CPUs über einen Wärmetauscher an den zentralen Kühlwasserkreislauf im Institut abgegeben. Die Temperatur der Prozessoren liegt dabei mit 50 °C um ~10 Grad unter der Betriebstemperatur luftgekühlter Prozessoren. Netzteile, Festplatten und Mainboards werden konventionell mit Luft gekühlt. Insgesamt werden daher ~60% der entstehenden Wärme direkt an das Kühlwasser abgegeben. Die restliche Wärme muss über eine Klimaanlage "entsorgt" werden. Durch die Verwendung der Wasserkühlung können somit große Rechenkapazitäten in kleinen Räumen mit moderaten Anforderungen an die Klimatechnik realisiert werden.

Der Cluster wird benötigt zur parallelen Bildverarbeitung elektronenmikroskopischer Projektionsbilder makromolekularer Komplexe mit dem Ziel, die dreidimensionalen Strukturen der Makromoleküle zu rekonstruieren. Die Parallelisierung erfolgt durch gleichmäßiges Verteilen der zu bearbeitenden Bilder auf alle Prozessoren. Die verwendete Software wurde so optimiert, dass der Cluster nahezu 100% Skalierung erreicht. Das bedeutet, 68 parallel arbeitende Prozessoren sind in der Praxis auch fast 68 mal so schnell wie ein einzelner Prozessor. Die maximal erreichbare Auflösung der dreidimensionalen Strukturen ist unter anderem abhängig von der Anzahl der eingesetzten Projektionsbilder. 3-D Strukturen aus vielen Tausend Projektionsbildern können jedoch nur mit sehr leistungsstarken Computern berechnet werden. Der neue PC-Cluster läuft unter Voll-Last zuverlässig über mehrere Wochen und bietet dadurch genügend Rechenkapazität, um dieses Ziel in einem vernünftigen Zeitrahmen zu realisieren.




Bild

whyda

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 04:57


Sogar Intel plant, Server wasserzukühlen:




Zitat


news [<< Vorige] [Nächste >>]

Intel: Konzept für Flüssigkeitskühlung kommender Rackserver

Kompakte Wasserkühlung für 1-HE-Server


Intel arbeitet an einem Konzept für die Flüssigkeitskühlung kompakter Rackserver. Im Rahmen der Industrie-Initiative für Server-System-Infrastruktur (SSI) entstand ein Vorschlag für eine "Advanced Thermal Solution" für kommende Dual-Prozessor-Server mit dem Xeon-Nachfolger Nocona.

Eine Pumpe treibt dabei einen geschlossenen Flüssigkeitskreislauf. Das Wärme-Transportmedium durchströmt außer der Pumpe dabei zwei Kühlplatten (Cold plates), die die Abwärme der Prozessoren aufnehmen. Ein Luft-/Wasser-Wärmetauscher (Heat Exchanger, HEX) gibt die Abwärme widerum an einen kräftigen Luftstrom ab -- in der Zeichung hat Intel acht Lüfter eingezeichnet.

In Rackservern mit einer Höheneinheit Bauhöhe (1,75 Zoll, rund 4,5 Zentimeter) sitzen aus Platzgründen auf den Prozessoren nur passive Kühlkörper, die von einer Batterie zentral angeordneter Lüfter über eine Luftführung (Fan Duct) angeblasen werden. Dieses Konzept sichert auch eine gewisse Redundanz der Kühlung, weil der Ausfall eines Lüfters nicht zum kompletten Verlust der Luftströmung führt.

Wegen der hohen Abwärmeleistung der Prozessoren und der durch kleinere Halbleiterstrukturen steigenden Gefahr für lokale Überhitzungen (Hotspots) sind immer schwerere Kühlkörper erforderlich. Die SSI kümmert sich auch um mechanische Normen, die beispielsweise für die bis zu 450 Gramm schweren Passivühler aktueller Xeons eine direkte Befestigung am Chassis, also durch das Mainboard hindurch, vorsehen. Die Nocona-Xeons benötigen nach Intels Schätzung Kühler mit rund 900 Gramm Gewicht -- da könnte eine Flüssigkühlung bereits Gewichtersparnis bringen.

In großen Servern und Mainframes kamen und kommen ebenfalls noch geschlossene Flüssigkühler zum Einsatz. Im x86-Bereich war das bisher aber ungewöhnlich. Der Rack- und Gehäusespezialist XXXXX hat auf der letzten Hannover Messe ein System zur direkten CPU-Wasserkühlung in 19-Zoll-Rackservern gezeigt, das als Prototyp zur Kühlung eines Athlon-Clusters im Göttinger MPI für biophysiklaische Chemie zum Einsatz kommt. Den Wissenschaftlern dort steht allerdings zur Kühlung anderer Geräte ohnehin ein fest installierter Kühlwasserkreislauf im Gebäude zur Verfügung.

Laut Intel arbeitet die SSI auch an optimierten (redundaten) Netzteilen zur Versorgung für Rackserver. Es geht dabei um höhere Leistungen, mindestens 450 Watt sind demnach für Dual-Xeon-Server bald nötig -- zurzeit sind es für 1-HE-Server üblicherweise zwischen 250 und 350 Watt. Eine kommende Norm soll auch einen verbesserten Wirkungsgrad für Rackserver-Netzteile vorschreiben, offenbar ist auch an Netzteile mit nur einer Ausgangsspannung von 12 Volt gedacht. Diese würde dann erst auf dem Server-Mainboard in die benötigten Spannungen umgesetzt, was optimierte Spannungsregler möglich macht

whyda

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 04:57


Soweit, so gut, da spricht ja erstmal auch nichts dagegen, nur eines würde mich interessieren:

Laut mehrerer Meinungen soll es ja nicht möglich sein, zig CPU´s in Reihe mit nur einem Wärmetauscher zu kühlen, die Gründe dürften aufmerksamen Forumslesern ja nicht entgangen sein, es gab ja so einige hitzige Diskussionen.
Mich interessiert es jetzt mal, rein aus Neugierde, was denn technisch mit einer Wasserkühlung machbar ist.

Meine Bitte: Keine Produktvergleiche o.Ä., bitte nur Leute posten die auch Ahnung von der Sache haben, sonst artet das wieder in Flamerei aus oder verstößt gegen weitere Forumsregeln.


Also, meine Fragen:
Störanfälligkeit, wenn z.B. die Pumpe ausfällt oder ein Schlauch undicht wird, was dann?
Was geschieht mit den letzten CPU´s des Kreislaufes? Werden die gekocht?

Zitat

nsgesamt werden daher ~60% der entstehenden Wärme direkt an das Kühlwasser abgegeben. Die restliche Wärme muss über eine Klimaanlage "entsorgt" werden. Durch die Verwendung der Wasserkühlung können somit große Rechenkapazitäten in kleinen Räumen mit moderaten Anforderungen an die Klimatechnik realisiert werden.

Verstehe ich etwas nicht, aber wie wird die Abwärme des Wärmetauschers "entsorgt"? Doch auch über eine Klimaanlage o.Ä.?


Also, wie gesagt, bitte zurückhalten in Bezug auf Bösartigkeiten ;) , mich interessiert einfach nur der Stand der Dinge von Wasserkühlungen in der Industrie.


@AC-Team: sollte sich das Topic wider Erwarten doch zu sehr um Fremdhersteller drehen, bitte schnell closen, ich werds dann in anderen Foren posten





whyda

slame

Senior Member

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 09:25

Hi ..

soweit mir bekannt laufen mehrere Pumpen paralell. Sprich fällt eine aus, kannst Du die in Seelenruhe wechseln, ohne Sorge haben zu müssen.

Die Abwärme läuft über Radis wie z.B. den EVO1800.

slame

Hive

Full Member

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 10:05

Sehr interessantes Konzept. In meinem Serverraum stehen
im Moment 7 (rackmounted) Server die über bis zu acht
Lüfter verfügen. Dazu kommt noch eine widerliche Klima-
anlage die mir 19 Grad kalte Luft in den Nacken bläßt. Die
Geräuschkulisse ist dementsprechend. (Wir können nicht mal
den Nebenraum als Büro nutzen) Ein leises und sicheres Rack-
konzept würde die Standortwahl erheblich erleichtern.

:) Hive

Bluefake

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 10:10

Eine unbeantwortete Frage ist: Wo geht das warme Wasser hin? Ein Bild von der Lösung würde das aufklären. Und welche Lüfter sitzen auf dem Radi?
Arbeiten am Mac ist natürlich keine Arbeit, sondern sinnvoll gestaltetes Glück.

xx_ElBarto

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 10:22

ich denke ma die cpus sind net in reihe, sondern parallel geschaltet, und zwar so, das es halt nen duper dicker schlauch mit 10cm durchmesser oder so die kleineren schläuche versorgt, dann sollte es auch nirgends zu engpässen kommen

Zitat


B: Rückansicht des Clusters. Die Wasserkühlung erfolgt über einen zentralen Zulauf und Ablauf (Edelstahl rohr, rechts). Die einzelnen Einschübe werden über spezielle Schlauchverbindungen mit Kühlwasser versorgt

;)

powerslide

unregistriert

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 10:24

also bei der lösung macht mich erstma die verwendung von mikrostrukturkühlern stutzig..
also der widerstand wäre so gross wenn man das in reihe schaltet.. kann ich mir nich vorstellen..

ac sagt ja immer der tempunterschied von kühler zu kühler ist sehr klein wegen der "hohen" durchflussgeschwindigkeit

wenn das mikrostruktur is .. wird das wasser wärmer weil die verweildauer im kühler grösser ist..

zur abwärme.. da steht ja irgendwas .. vonwegen "wird über radiatoren an das kühlwassersystem abgegeben..
also ich nehm fast an die radis werden selber mit wasser durchströmt.
oder man klebt 2 radis aneinander.. bei dem hersteller wäre das möglich..
aber ob das sinnvoll ist..

mfg
slide

mictasm

Full Member

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 10:35

Soweit ich mich erinnere, gab es die Bilder schon mal zu einer kurzen Meldung in der c't im letzten Jahr (oder noch länger her). Das System arbeitet glaub ich mit Druck. Daher können sie alles über zentrale Zu- und Abläufe realisieren und kleine Strukturen im Kühler verwenden.. Ich glaub sogar, der eigentliche Wärme(/Luft-)tauscher steht dabei in einem anderen Raum.

Das wäre dann ein grundsätzlich anderer Ansatz als der, den wir hier kennen. Unsere "normalen" Waküs laufen ja alle drucklos und geben die Wärme an die unmittelbare Umgebung ab.

Und diskutiert wurde das damals auch schon. Ach ja, es ist auch weit vor der Zeit des EVO1800 gewesen.

Gruss,

MIC

Robin

Senior Member

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 13:00

Ja, das sind Überdruck Systeme. Die Kühler haben AFAIK keine Mikrostruktur. Aber bei den Abnahmezahlen ist der dort verwendete Kühlkorpus billiger als ein gefräster Block. Die Radiatoren hängen im Wasser des Hauses. Das wird meist von großen Tanks auf dem Dach oder unter der Erde bewässert und garantiert immer kühles Wasser. Eine Lufkühlung im normalen Sinne wäre auch nicht sonderlich vorteilhaft...

Bluefake

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 13:06

Ist aber schon interessant, wie sowas professionell eingesetzt wird. Wer den Link hat ... bitte KM an mich. :)
Arbeiten am Mac ist natürlich keine Arbeit, sondern sinnvoll gestaltetes Glück.

Clark

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 13:39

Zitat von »Robin«

Ja, das sind Überdruck Systeme. Die Kühler haben AFAIK keine Mikrostruktur. Aber bei den Abnahmezahlen ist der dort verwendete Kühlkorpus billiger als ein gefräster Block. Die Radiatoren hängen im Wasser des Hauses. Das wird meist von großen Tanks auf dem Dach oder unter der Erde bewässert und garantiert immer kühles Wasser. Eine Lufkühlung im normalen Sinne wäre auch nicht sonderlich vorteilhaft...

Afaik war das ein grösseres Institut, das diese Rechner eingebaut hat.

Und sie haben es zur Kühlung an den internen Kühlkreislauf des Instituts angeschlossen.
Wassertemperatur ~4°C.
Allerdings ist das jetzt aus dem Gedächtnis, aber ich glaube so war es ;)
c++: The power, elegance and simplicity of a hand grenade.

Bluefake

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 13:41

Was machen die mit dem Kondenswasser? Einfach mit den Lüftern wegpusten? Bei 4°C gibt es doch damit imho Probleme, oder?
Arbeiten am Mac ist natürlich keine Arbeit, sondern sinnvoll gestaltetes Glück.

panki

Full Member

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 14:17

Zitat von »Clark«


Afaik war das ein grösseres Institut, das diese Rechner eingebaut hat.


yep, Max-Planck-Institut...

cu, panki

edit: MPI für Biophysik

Zitat von »oldman«

... und wozu braucht man noch einen Computer, wenn man eine Wasserkühlung hat?

Clark

God

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 14:25

Zitat von »panki«



yep, Max-Planck-Institut...

Grünau, der Name war mit entfallen ;)


kA, was die mit Kondenswasser machen...

Aber vielleicht sind die rechner durch die Klimaanlage eh auf 10° herabgekühlt....
c++: The power, elegance and simplicity of a hand grenade.

Bulch

Senior Member

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 16:41

Man könnte doch auch ganz einfach einen großen Radiator aufs Dach des Gebäudes packen und wie eine große Klimaanlage laufen lassen. Das mit dem Kondenzwasser ist ganz einfach geregelt, da aus der Klimaanlage nur sehr trockene Luft kommt.

Ratman

Senior Member

Re: Cluster-Kühlung - Diskussion

Donnerstag, 18. September 2003, 17:04

Zitat von »Hive«

Dazu kommt noch eine widerliche Klima-anlage die mir 19 Grad kalte Luft in den Nacken bläßt. Die
Geräuschkulisse ist dementsprechend. (Wir können nicht mal
den Nebenraum als Büro nutzen) Ein leises und sicheres Rack-
konzept würde die Standortwahl erheblich erleichtern.


Nunja, Server-Racks sind nun mal zur Aufstellung in einem (nach außen hin schallgedämmten) Server-Raum gedacht. In unseren Server-Räumen gibt es selbstverständlich auch eine Klimaanlage. Diese ist nicht dafür gedacht, ein angenehmes Raumklima für die Mitarbeiter zu schaffen, sondern für die Rechner! Und in unsere Serverräume darf man auch nur mit Gehörschutz rein, anders würde man es auch nicht länger als fünf Minuten aushalten.

Wasserkühlungen für Server-Systeme sind auch nicht zur Senkung des Schallpegels gedacht, der spielt in Serverräumen keine Rolle. Sowas wird entwickelt und eingebaut, um einen sicheren Betrieb der Server zu gewährleisten.
-=Ratman=-