違和感がよく言語化できないんですが、「何かに作用させる」というのが、群論だけで閉じてないような感じがします。