かんたんに言うと
指数関数を微分や積分すると、外型的に指数関数になることが観測されてんのよ

でy軸上で傾き1の指数関数は微分しても積分しても同じ形になるのよ

で、そのような指数の底をネイピア数にしたってだけの話