解いたのを貼ってくれますか？
どこが間違ってるのかを見てみますよ。その方が、こんど同じような問題を解いたときに、どこを注意したらよいかがわかると思いますから。
参考に
ルートの数の覚え方
√2 ---１．４１４２１３５６
ひとよひとよにひとみごろ（一夜一夜に人見頃)
√3 ---１．７３２０５０８
ひとなみにおごれや（人並みにおごれや）
√5 ---２．２３６０６７９
ふじさんろくおうむなく(富士山麓鸚鵡鳴く）
√6 --- ２．４４９４９
ふたよしくしく（二夜シクシク)
√7 --- ２．６４５７５
なにむしいない（菜に虫いない）
√8 --- ２．８２８４２７
にやにやよぶな (ニヤニヤ呼ぶな)
√10 --- ３．１６２２
ひとまるみいろにならぶ（一丸三色に並ぶ）。
√3 = 1.732…
を知ってるなら、これより、2√3=3.46… だから
a=3
とわかります。
知らないなら、、、
まず、
2√3 = √12
と変形して、
9 (=3^2) ＜ 12 ＜ 16 (=4^2)
であるから、全辺√ をつけて、
3 ＜ √12 ＜ 4
3 ＜ 2√3 ＜ 4
∴ a=3
となります。
これより、
b = 2√3 - a
= 2√3 - 3
与式 = (a+b)(a-b)
ここで、
a+b = 2√3
a-b = 3 - (2√3 - 3) = 6 - 2√3
であるから、
与式 = 2√3 × (6 - 2√3)
= 12√3 - 12