Tatsächlich habe ich heute morgen endlich die Lösung gefunden. Es war ein Softwareproblem.
Bevor ich die neue Grafikkarte eingebaut habe hatte ich ein Treiber-Deinstallationsprogramm benutzt und zusätzlich die nVidia Software deinstalliert, in der Hoffnung, dass das reicht.
Ich lag falsch.
Ich habe nochmals die nVidia-Software deinstalliert und ein anderes Treiber-Removal-Tool benutzt. Danach installierte ich regulär die neuesten Treiber und et voila - die Kartet taktet im Idle herunter.