障子は水拭きができません。なるべく汚れないよう、普段からホコリ取りなどをマメに行ってください。
はたきや柔らかいブラシを使うと良いでしょう。
また、どうしても汚れが目立つ場合は、汚れを取るよりも、張り替えた方が早いかもしれません。
障子の張り替えは、初めての方には少し難しいかもしれませんね。雨の日や曇りの日など、湿気の高い日に行うと、紙の伸びが良くキレイに仕上がります。

どうしても上手くいかない場合は、ご相談ください。