フレーゲが言い出したことだが数は対象じゃなくて性質というか述語の述語。
例えば０だったら
（Fを満足するxは存在しない）
O(F) : not(∃x.F(x))
みたいなかんじで述語の述語Oを数０とみなして論理体系上で数論はては数学全体を構成しよう
というのが論理主義の大体の妄想。

数セミ記事にも書いてあるが二階述語論理だといろいろ定義できるようになってその顕著なものが
自然数を自前で定義できるようになるというところだ。
というわけで、ゲーデル論文において、自然数を含むような論理体系というのは暗に高階述語を使える
論理体系（二階述語論理、ヒルベルト的には広義の述語論理）のことを指しとる、というのが当時の暗黙の了解だったんだろう。