>>375 が解法の本質をついているので、その方針で計算を示します。

正四面体ABCDの辺BCと辺BDをt:1-tに内分する点をそれそれP,Qとし、
三角形APQ (辺の長さはAP=AQ=a√(1-t+t^2), PQ=at) が単位円に内接するときの
三辺の長さと内接円半径の関係式を求めると
a=√(4-4t+3t^2)/(1-t+t^2)
となる。そしてこの右辺をf(t)と置いてf(t)の0<t<1での最大値を計算する。

f'(t)=0の分子の方程式3t^3-6t^2+7t-2=0をカルダノの公式で解くと
t_0= (2 + (-4+√43)^(1/3) - (4+√43)^(1/3))/3 = 0.39125971029558…
であり、このときの極値は
f(t_0)= (√3/9)√(38 + (277217+41796√43)^(1/3) + (277217-41796√43)^(1/3))
= 2.23311138619632… (これは9x^6-38x^4+9x^2-216=0の正の根でありaの最大値となる)

a=f(t_0)のとき点A,点P,点Qは単位円にギリギリ内接し、
PQを軸にして正四面体を回転させれば点Aを点B側にくぐらせることができ、
この手順を2回繰り返して単位円を通過させられる。
f(t_0)よりもaが大きいと正四面体はどうやっても1つの頂点しか単位円をくぐらない。

詳細な証明は >>376 の文献にあるので、腑に落ちない部分は補完してください。
また
http://www.alg.cei.uec.ac.jp/itohiro/Games/090303/090303-08.pdf
にこの問題の日本語サーベイがあって、答えを抽出すると全く同じ値
(aの最大値) = 2/γ(3,B_2) = 1/r　(rは216x^6-9x^4+38x^2-9=0の(0,1)区間の根)
= 2.23311138619632…
になります。

この問題の類題は東大入試で複数回（1988年,1990年）出題されているそうです。