Я бы предложил перейти в новую СК, где ось Х' лежит на линии соединяющей центры шаров. Тогда по Х', скорость после удара полностью перейдёт первому шару, а второй остановится. А по Y' вообще не будет никакого взаимодействия, второй шар тупо сохранит свою скорость, а первый никакую не приобретёт. А потом, снова перейти в изначальную СК. Тогда и никакая система уравнений не нужна, всё просто как угол дома: поворачиваем изначальную СК на 30°, и задача практически решена. ))

Следуя строго Вашим советам:
\( V_{1x'}=v_{2x'}=v\cdot cos(\pi/6)=\frac{\sqrt 3}{2}v \)
\( V_{1y'}=0 \)
\( V_{2x'}=0 \)
\( V_{2y'}=v\cdot sin(\pi/6)=\frac{v}{2} \)
\( V_{1x}^2+V_{1y}^2=\frac{3}{4}v^2 \)
\( V_{2x}^2+V_{2y}^2=\frac{v^2}{4} \)
Так и дальше-то как? Два уравнения четыре неизвестных. Нужно же найти координаты векторов после удара, а не их модули. Как обойтись без решения системы из четырёх уравнений с четырьмя неизвестными в каждом? В штрихах мы нашли, но нам-то надо в нештрихах.
Чего-то я, наверное, недогоняю.
Да и какие-то математические ошибки явно получены. Я, кстати, для себя подправил Ваш текст слегонца, чтобы он соответствовал моей нумерации шаров.
А! Нашли модули и знаем углы. Первый шар полетел вниз вправо под углом 30 градусов, второй вверх вправо под углом 60 градусов. Остался один шаг.
\( V_{1x}=\frac{3}{4}v \)
\( V_{1y}=-\frac{\sqrt 3}{4}v \)
\( V_{2x}= \frac{v}{4} \)
\( V_{2y}=\frac{\sqrt 3}{4}v \)