\(U^TAU=\pmatrix{a^2-abc}, \qquad U^TBU=\pmatrix{b^2-abc}, \qquad U=\pmatrix{x \cr y}, \qquad U^T=\pmatrix{x & y}, \qquad A=\pmatrix{1 & c/2 \cr c/2 & 0}, \qquad B=\pmatrix{0 & c/2 \cr c/2 & 1},\)
левые части уравнений можно рассматривать как квадратичные формы от \(U\). Основная идея решения - линейное преобразование от \(x\) и \(y\) к новым неизвестным \(s\) и \(t\) таким, что обе формы примут канонический вид, т.е. левые части уравнений будут зависеть от \(s^2\) и \(t^2\), но не от \(st\). Это преобразование находится без проблем:
\(\displaystyle A-\lambda B=\pmatrix{1 & (1-\lambda)c/2 \cr (1-\lambda)c/2 & -\lambda}, \qquad \det(A-\lambda B)=-\lambda-(1-\lambda)^2c^2/4=0, \qquad \lambda_{1,2}=\frac{1}{c^2}(-2+c^2 \pm 2\sqrt{1-c^2}).\)
Тогда
\(A-\lambda_{1,2} B=\pmatrix{1 & \left(1\mp \sqrt{1-c^2}\right)/c \cr \ldots & \ldots}, \qquad (A-\lambda_{1,2} B)W_{1,2}=0, \qquad W_1=\pmatrix{\left(1- \sqrt{1-c^2}\right)/c \cr -1}, \qquad W_2=\pmatrix{\left(1+ \sqrt{1-c^2}\right)/c \cr -1}.\)
Искомое линейное преобразование
\(\displaystyle x=\frac{1}{c}\left(1- \sqrt{1-c^2}\right)s+\frac{1}{c}\left(1+ \sqrt{1-c^2}\right)t, \qquad y=-s-t, \qquad (1)\)
В новых переменных система принимает вид
\(\displaystyle \frac{\sqrt{1-c^2}}{c^2}\left[\left(2\sqrt{1-c^2}-(2-c^2)\right)s^2+\left(2\sqrt{1-c^2}+2-c^2\right)t^2\right]=a^2-abc, \qquad \sqrt{1-c^2}s^2-\sqrt{1-c^2}t^2=b^2-abc.\)
Она линейна по \(s^2\) и \(t^2\) и решается без проблем. Существенно, что при этом выделяются полные квадраты:
\(\displaystyle s^2=\frac{c^2}{4(1-c^2)}\left[a-\frac{b}{c}\left(1+ \sqrt{1-c^2}\right)\right]^2, \qquad t^2=\frac{c^2}{4(1-c^2)}\left[a-\frac{b}{c}\left(1- \sqrt{1-c^2}\right)\right]^2,\)
так что
\(\displaystyle s=\pm \frac{1}{2}\left(\frac{ac-b}{\sqrt{1-c^2}}-b\right), \qquad t=\pm \frac{1}{2}\left(\frac{ac-b}{\sqrt{1-c^2}}+b\right)\).
Подставляем это во второе из уравнений (1), перебирая разные комбинации знаков:
\(\displaystyle y_1=\frac{ac-b}{\sqrt{1-c^2}}, \qquad y_2=-\frac{ac-b}{\sqrt{1-c^2}}, \qquad y_3=b, \qquad y_4=-b.\)
Так как \(y^2+cxy=b^2-abc\), то
\(\displaystyle x_1=\frac{bc-a}{\sqrt{1-c^2}}, \qquad x_2=-\frac{bc-a}{\sqrt{1-c^2}}, \qquad x_3=-a, \qquad x_4=a.\)