f(x, y) = (x^2 + y^2)^2 - 2(x^2 - y^2)

極座標に変換して x = r cosθ, y = r sinθ とすると、

f = r^4 - 2 r^2 cos2θ
= (r^2 - cos2θ)^2 - (cos2θ)^2

r を固定して θ の関数として考えると、
θ = 0, π で極小、θ = ±π/2 で極大

θ を固定して r の関数として考えると、
r = √(cos2θ) で極小、極大はなし
ただし r = 0 は別途考慮すると、
cos2θ の符号によって 極大/極小 が
混在していることがわかる。

結局、θ = 0, π、r = 1 のとき、
すなわち (x, y) = (±1, 0) のとき極小値 f = -1
をとり、極大は存在しない。