訂正します：

i.imgur.com/F7MdHq9.jpg

確率の問題です。
↑の(3)を満たしているかどうかのチェックって要りますか？
そもそも X の期待値が 0 でも n でもないので、 0 < a < 100 は明らかです。

「X の期待値が 16/5, 分散が 64/25 であるとき、袋の中の赤玉の個数 a および回数 n を求めよ。」
と書いてありますが、これを満たす、 a および n が存在するということは前提になっているのでは
ないでしょうか？