>集団遺伝学のようにフィットネスを単に子孫を残した数と定義するなら

それが環境との相互作用による自然選択ということですから。
数学的に処理しようとすれば、それしかありませんもんね。