Vì \(M\) thuộc mặt phẳng \((Oxy)\), nên tọa độ của \(M\) có dạng \(M(x;y;0)\).
Ta có:
\(A{{M}^{2}}={{(x-1)}^{2}}+{{(y-3)}^{2}}+{{(0-4)}^{2}}={{(x-1)}^{2}}+{{(y-3)}^{2}}+16\).
\(B{{M}^{2}}={{(x+1)}^{2}}+{{(y-1)}^{2}}+{{(0-2)}^{2}}={{(x+1)}^{2}}+{{(y-1)}^{2}}+4\).
\(C{{M}^{2}}={{(x-3)}^{2}}+{{(y-2)}^{2}}+{{(0+12)}^{2}}={{(x-3)}^{2}}+{{(y-2)}^{2}}+144\).
Theo đề bài, ta có \(A{{M}^{2}}+B{{M}^{2}}+C{{M}^{2}}=174\).
Thay các biểu thức đã tính ở trên vào, ta được:
\(\begin{align} & {{(x-1)}^{2}}+{{(y-3)}^{2}}+16+{{(x+1)}^{2}}+{{(y-1)}^{2}}+4+{{(x-3)}^{2}}+{{(y-2)}^{2}}+144 \\ & =174. \\ \end{align}\)
Khai triển và rút gọn phương trình trên, ta được:
\( {{x}^{2}}-2x+1+{{y}^{2}}-6y+9+16+{{x}^{2}}+2x+1+{{y}^{2}}-2y+1+4 +{{x}^{2}}-6x+9+{{y}^{2}}-4y+4+144 =174\)
\(3{{x}^{2}}-6x+3{{y}^{2}}-12y+188=174\)
\(3{{x}^{2}}-6x+3{{y}^{2}}-12y+14=0\)
\({{x}^{2}}-2x+{{y}^{2}}-4y+\frac{14}{3}=0\).
Để tìm tọa độ của \(M\), ta hoàn thành phương trình bằng cách đưa về dạng chính tắc của đường tròn:
\(\begin{array}{*{35}{l}} ({{x}^{2}}-2x+1)+({{y}^{2}}-4y+4) & =1+4-\frac{14}{3} \\ {{(x-1)}^{2}}+{{(y-2)}^{2}} & =\frac{15}{3}-\frac{14}{3} \\ {{(x-1)}^{2}}+{{(y-2)}^{2}} & =\frac{1}{3}. \\ \end{array}\)
Phương trình \({{(x-1)}^{2}}+{{(y-2)}^{2}}=\frac{1}{3}\) là phương trình của một đường tròn tâm \(I(1;2)\) và bán kính \(R=\sqrt{\frac{1}{3}}=\frac{1}{\sqrt{3}}\).
Vậy, tập hợp các điểm \(M\) thỏa mãn điều kiện đề bài là đường tròn có tâm \(I(1;2)\) và bán kính \(R=\frac{1}{\sqrt{3}}\).
Do đó, hoành độ của điểm \(M\) là 1 và tung độ của điểm \(M\) là 2.
Vậy, hoành độ của điểm \(M\) là 1 và tung độ của điểm \(M\) là 2.