Java入門書を見ていたら、次のような記述がありました。

　最近のコンピュータは多くのメモリを搭載しているため、これら4つの型を厳密に使い分ける必要があるケースはまれです。また、short や byte より int のほうが高速に処理できるコンピュータも多いので、 整数を代入したい場合、通常は int 型 を使えば問題ありません。

何故shortやbyteなどの確保する記憶領域が少ないものの方が低速な処理になるという事が起こるのでしょうか？

何らかの最適化を行っているのでしょうが、直感とは反するので気になりました。

また、これはJavaのみの話ではなく他の言語でも同様なのでしょうか？(c言語など)