数研出版の教科書に載ってる場合の数と確率の問題ですが質問が。

A,B,C,Dの4人の名刺が1枚ずつ別々の封筒に入れてある。
この4人がそれぞれ別々の封筒を選ぶとき、次の確率を求めよ、というものの
(2)、「4人とも他人の名刺が入った封筒を選ぶ確率」、という問題で
自分はAが自分以外の名刺を選ぶから3通り、次のBは残りから選ぶから2通り、
その次のC、Dは残りだから1通りだから全部で6通り、それでこの4人の
名刺の選び方は４！だから24分の6で4分の１と出したのですが
教科書ガイドではこの4人とも他人の名刺が入った封筒を選ぶやり方を
わざわざ樹形図を使って9通りだから確率は9÷４！で8分の3が答え、となってました。

自分の考え方のどこが間違ってるのか、テストに出されたとき何を気を付ければ良いのか
良く分らないので教えてください。