回答

参考・概略です

1回の操作は以下の4通りで
 ①A当り、B外れ
 ②A当り、B当り
 ③A外れ、B当り
 ④A外れ、B外れ

くじが無くなるまで繰り返すということは
  5回の操作をするということで

更に、Aが3本の当たりくじをすべて引くということは
  5回の操作のうち、②が3回、④が2回ということで
  パターンが、5C3=10あります

順を考えると
 ②②②④④,②②④②④、②④②②④,④②②②④
 ②②④④②,②④②④②,④②②④②
 ②④④②②,④②④②②
 ④④②②②

いずれも、
 分子が、(3×2×1)×(7×6×5×4×3×2×1)の順が違うだけで
 分母が、(10×9×8×7×6×5×4×3×2×1)の順が違うだけです

従って、求める確率【3回ともAが当たる確率】
 (5C3)×{(3!×7!)/(10!)}=(1/12)

参考
【Aが3回、Bが0回】(5C3)×(5C0)×{(3!×7!)/(10!)}=(1/12)
【Aが2回、Bが1回】(5C2)×(5C1)×{(3!×7!)/(10!)}=(5/12)
【Aが1回、Bが2回】(5C1)×(5C2)×{(3!×7!)/(10!)}=(5/12)
【Aが0回、Bが3回】(5C0)×(5C3)×{(3!×7!)/(10!)}=(1/12)

この回答にコメントする
疑問は解決しましたか?