ちょこちょこ運動すれば1日あたり400kcal くらいにはなるし、無関係と言うには大きすぎるだろ。2000kcal 取ってたとして、運動してたら 1600 kcal 摂取相当になるわけで。
あと、運動しないで摂取だけ減らして痩せると、体力がマジで無くなる。代謝が下がるとかじゃなくて。