ある微分積分の本に、「連続関数に話を限れば、その不定積分と原始関数は同義語」
であると書かれています。

これって間違っていますよね。

金子晃著『微分積分I』に、

∫1/(1 + t^2) dt from t = a to t = x

と

Arctan(x) + C

は異なるという例が載っています。

∫1/(1 + t^2) dt from t = a to t = x

=

∫1/(1 + t^2) dt from t = 0 to t = x

+

∫1/(1 + t^2) dt from t = a to t = 0

=

Arctan(x)

+

∫1/(1 + t^2) dt from t = a to t = 0

ですが、 a ∈ (-∞, +∞) に対して、

-π/2 < ∫1/(1 + t^2) dt from t = a to t = 0 < π/2

です。

今、見てみたら、高木貞治著『解析概論』にも、

「f(x) が連続函数ならば、不定積分は原始函数と同意語である。」

と書かれています。