男子 6人: A₁, A₂, … ,A₆
女子 6人: B₁, B₂, … ,B₆
12人を，P チーム5人, Q チーム4人, R チーム3人の3チームに分けたい。

12人をこの3チームに分ける場合の数は
₁₂C₅× ₇C₄× ₃C₃
これは，P が 5枚，Q が 4枚，R が 3枚の12枚のカードを一列に並べる場合の数と同じである。
\(\dfrac{12!}{5!\cdot4!\cdot 3!}=11\cdot 10\cdot 9\cdot 4\cdot 7\)

各チーム(男子, 女子) の人数を場合分けする。
① P(4, 1), Q(1, 3), R(1, 2)
② P(3, 2), Q(2, 2), R(1, 2)
③ P(3, 2), Q(1, 3), R(2, 1)
④ P(2, 3), Q(3, 1), R(1, 2)
⑤ P(2, 3), Q(2, 2), R(2, 1)
⑥ P(1, 4), Q(3, 1), R(2, 1)
男子だけ，女子だけのチームができないのはこれですべて。

6人を，P 4人, Q 1人, R 1人に分ける場合の数は 30 通り
6人を，P 3人, Q 2人, R 1人に分ける場合の数は 60 通り
6人を，P 2人, Q 2人, R 2人に分ける場合の数は 90 通り

① 30 × 60 (= 180 × 10)
② 60 × 90 (= 180 × 30)
③ 60 × 60 (= 180 × 20)
④ 60 × 60 (= 180 × 20)
⑤ 90 × 60 (= 180 × 30)
⑥ 60 × 30 (= 180 × 10)

求める確率は，
\(\dfrac{180\cdot(10+30+20)\cdot 2}{11\cdot 10\cdot 9\cdot 4\cdot7}\) \(=\dfrac{60}{77}\)