もう一つの想定解のアルゴリズムはベクトルの外積の向きで判断する方法

点Pが内角∠ABCの間にあれば
ベクトルABとベクトルAPの外積ベクトルの向き（Z座標の正負として反映される)と
ベクトルAPとベクトルACの外積ベクトルの向きが同じになる。
Pが２つの内角の間にあれば領域内にあることになる。

筆算は億劫なのでWolframに計算してもらうと
https://i.imgur.com/tJ7qfzb.png
が得られる。