区間[0,1]でトマエ関数が連続点でも不連続点でも稠密、という表現は個人的に違和感を覚えるのですが、質問の意図は区間[0,1]においてトマエ関数の連続点全体も不連続点全体も稠密、ということですか?
トマエ関数は無理数で連続、有理数で不連続なのでそのことを示せれば稠密なことはしたがいますね
(証)
f(x)をトマエ関数とします
(無理数で連続なこと)
任意に無理数 x₀∈[0,1] をとる
任意の ε>0 に対して、
q₀>1/ε
となる自然数 q₀ をとる。このとき、
A={ |x₀-p/q| | 0≦p≦q, 1≦q≦q₀ }
δ=minA
とおけばAは有限集合で全ての要素が正なので δ>0
このとき、|x-x₀|<δ を満たす任意の x∈[0,1] に対して
xが有理数なら f(x)<1/q₀<ε
xが無理数なら f(x)=0<ε
より
|f(x)-f(x₀)|<ε
よって f は x=x₀ で連続
(有理数で不連続なこと)
任意に有理数 r₀ をとる
無理数の稠密性より r₀ に収束する無理数の列 {x_n} が取れるが、
f(x_n)=0 → 0 (n→∞)
となり f(x_n) ↛ f(r₀) だから、f(x) は r₀ で不連続 ◻︎
はいそうです、わかりずらくて申し訳ないです