参考・概略です
1回の操作は以下の4通りで
①A当り、B外れ
②A当り、B当り
③A外れ、B当り
④A外れ、B外れ
くじが無くなるまで繰り返すということは
5回の操作をするということで
更に、Aが3本の当たりくじをすべて引くということは
5回の操作のうち、②が3回、④が2回ということで
パターンが、5C3=10あります
順を考えると
②②②④④,②②④②④、②④②②④,④②②②④
②②④④②,②④②④②,④②②④②
②④④②②,④②④②②
④④②②②
いずれも、
分子が、(3×2×1)×(7×6×5×4×3×2×1)の順が違うだけで
分母が、(10×9×8×7×6×5×4×3×2×1)の順が違うだけです
従って、求める確率【3回ともAが当たる確率】
(5C3)×{(3!×7!)/(10!)}=(1/12)
参考
【Aが3回、Bが0回】(5C3)×(5C0)×{(3!×7!)/(10!)}=(1/12)
【Aが2回、Bが1回】(5C2)×(5C1)×{(3!×7!)/(10!)}=(5/12)
【Aが1回、Bが2回】(5C1)×(5C2)×{(3!×7!)/(10!)}=(5/12)
【Aが0回、Bが3回】(5C0)×(5C3)×{(3!×7!)/(10!)}=(1/12)