ありがとうございます

tan∠ACB＝Xn-Xn+1/Xn+1のところが解りにくいかもしれません。
その時はSnとSn+1を書いた図を書いて見てください。その問題集の図でも大丈夫です。
Sn+1を書いた時に出来る、白い三角形の底辺の長さがSn+1の辺の長さであるXn+1であり、高さに当たるのがXn-Xn+1です。

それでは、勉強頑張ってください

Snを求めるには、Snについての漸化式をたてます。
これには、n番目とn+1番目の関係が重要で、今回はtanθを利用します。
正方形が一つ出来るごとにこの図の中で言えば白い三角形が一個できていきますが、この三角形は△ABCと相似であり、右下の角度は∠ACBと同じなので、それを利用します。

tan∠ACB＝AB/BC＝2/3
Snの一辺の長さをXnとすると tan∠ACB＝Xn-Xn+1/Xn+1
※底辺と高さからtanθを計算しています。分かり難かったらすみません。1番もその方法で解けばよかったですね、、

これより、Xn+1＝2/3Xn また、X1＝12/5
よって、Xn＝12/5・(2/3)^n-1
an＝Xn×Xn＝144/25×(4/9)^n-1

(与式)=144/25÷(1-4/9)＝1296/125 ←答

※無限等比級数の和は、等比数列の公比が-1より大、1未満の時に収束し、その和はa/1-rになります。今回は公比が4/9であり、-1＜4/9＜1を満たすので(満たさなければ発散してしまうので、問題として不適ですが。。)これを利用します。
計算間違えてたらごめんなさい。

S1の辺の長さを求めるには、三角形の相似を利用します。
S1の各頂点に名前をつけます。左下はBになっているので、右下をB1、右上をB2、左上をB3とします。
△AB3B2∽△ABCより、B3B2:BC＝AB3:AB
S1の辺の長さをxとして、 x:6＝4-x:4
これより、x=12/5