齋藤正彦著『線型代数入門』のp.53の注意3に、

「
実際には、 (n, 2*n) 型の行列 (A E) を書き、これに上に述べた行のみの変形を施せば、結果は (E A^{-1}) となる。
もしもこの操作が途中で行詰れば、[4.4]によって A は正則ではない。すなわち、 A の正則性も同時に判定される。
」

と書いてあります。

たまたま、自分が行った行のみの変形では、途中で行き詰まったが、うまく行変形を行えば、 A を単位行列に変形できるという可能性を排除できませんよね。
[4.4]では 正則行列 A に対して、具体的にどのような行基本変形を施せば、単位行列に変形できるかということが書いてありません。

詰めが甘いですよね。