Könnte daran liegen, dass der USB-Controller auf deinem Board kein DMA kann, oder DMA deaktiviert ist. Das muss nicht unbedingt am Board selber liegen, sondern kann auch im Kernel deaktiviert worden sein.
Ohne DMA muss sich der Kernel quasi um jedes Byte einzeln kümmern, das da auf die Platte geschrieben werden soll. Die Performance sollte auch entsprechend schlecht sein (also weit unterhalb dessen, was USB eigentlich können sollte).
Edith meint, dass du eventuell in den Mount-Optionen noch "noatime" aktivieren solltest, sonst wird bei jedem Zugriff auf die Platte gespeichert, wann wer auf welche Datei geguckt hat --> viel Last.