温泉は裸で入らないといけませんか？

はい。公衆浴場は水着を着けず、全裸で入ります。男女は別々です。持って入る小さなタオルは体を洗うためと歩くときの目隠しで、湯に浸けるものではありません。