＞aの十分近くでg(x)=0の時があったとしたら、そもそもf(x)/g(x)を議論することは可能なのでしょうか？

もちろん無理です。

言いたいことは、

https://imgur.com/L5fLjSO.jpg

↑で、 g'(x) が (a, b) で非零という仮定をわざわざ書く必要があるか？ということです。

b が a に十分近ければ、 (a, b) で g'(x) は非零でなければならないからです。