人称でなく、述語動詞に着目します。
①finishやavoidは、目的語に必ず動名詞をとり、対して、planやrefuseは目的語に必ずto不定詞をとります(要暗記)。
(一般的に、動名詞で表す内容は過去・普遍のこと、不定詞は未来・特定のことを表すことが多いです。)
②regretなどは、動名詞とto不定詞の両方を目的語にとりますが、意味が異なります。
(regretで言えば、〈regret -ing〉で「-したことを公開する」、〈regret to〜〉で「残念ながら〜する」という意味です。)