前置詞はある程度感覚的に使われることが多いので、厳密にいうことが難しいです。一応の考え方として参考にしてください
of all fruits
in my family
と考えた時にof には「何かの一部」というニュアンスがあります。今回の場合ももは果物の一部、一種なのでofを使っています。同じ比較級の文で言うと
He is one fo the best football player.
すごいサッカー選手はたくさんいてその中の1人なので、このone of the...のofも同じようなニュアンスです。
それに対してinはある程度バラバラなものの範囲、集合というニュアンスがあります。家族は確かに一つの共同体として考えられますが、性別も年齢もある程度バラバラなのでin を使っています。
前置詞は意味がはっきり決まらなかったり、時には一見違うような意味を持つことがあります。なので辞書で他の用例も引くなどして比較しながら、少しずつ意味の輪郭を把握するのが良いと思います!