もう一度言います最初の行列の単因子は
1, x-1, x^2-1=(x-1)(x+1)
単因子は定義により一つ前の多項式は次の多項式の因子です
だから単因子がx-1,x-1,x+1となることはありません
x-1の次は(x-1)*(何か)，今の場合（何か）=x+1ですね

もう一度教科書を確かめてください