Java != JavaScript :
Eine relativ gute Möglichkeit ist es, per AJAX neue Daten zu holen und dynamisch einzufügen. Oder halt die komplette Seite neu laden. Ich habe aber auch schon experimentelle Chats gesehen, die ein GIF oder PNG dynamisch erstellen und sukzessive Bildzeilen ausliefern, der Request also aufrecht erhalten wird.