itは、既出の単数の名詞を指します。
空欄の後ろには「私が最後に借りた」と関係詞の節がついていますから、空欄には「本」が入るとわかりますが、そうすると既出の「本」を表す名詞はany more booksなので、単数・複数でズレがあります。
では、複数形の③themだったら正しいのかというと、ここではそれも当てはまりません。itやthemは人称代名詞ですから、既出の名詞「それ自体」を指していることになります。
つまり空欄にthemが入った場合、themは
「couldn't borrow any more books」のbooks
つまり
「これ以上は借りられない本」を指します。
それを空欄に入れて、関係詞の節も併せて訳してみると
「私が最後に借りた、」「これ以上は借りられない本」という矛盾した文ができます。借りた本と言っていたり借りられていない本と言っていたりするわけです。
ここでは、oneはbookを言い換えていますが、あくまで同じ名詞の繰り返しを避けるための言い換えとして使われているだけです。既出の名詞それ自体を指しているわけではありません。
補足します
2文めの 空欄には「本」が入るとわかりますが、そうすると既出の
そうすると=it とすると ということです