ノルムは括弧の類なので、\|というような左右の区別がない命令を使うのはあまり適切でない、らしい。

それはさておき、
\usepackage{fdsymbol}
しておいて、数式中で
\lVvert a \rVvert
とかではどう？大きさ調整したければ
\left\lVvert \frac{a}{b} \right\rVvert
とか。