大学数学の範囲かな？

きれいに解くには
・ループを含む状態に対する確率と期待値
（マルコフ連鎖の遷移図、複雑な場合は行列式）
・2つ以上の確率変数を演算しながら求める確率
（複雑な積和や無限級数、畳み込み積分）
の扱いに関する知識が必要