EJBのセッションBeanには、StatefulとStateless（とSingletonも？）があるようですが、その名称や動作の説明を見た印象では、セッションっぽいのはStatefulだけのように思います。
ここで私が認識している「セッション」とは、例えばサーブレットのセッションであったり、ASP.NETのセッション状態であったりするものです。

セッションBeanの「セッション」と、上記の私が認識する「セッション」は、同じ概念、同じ実装を指しているのでしょうか？

例えば、セッションBeanは、コンテナの内部処理などで、Webアプリケーションが持つセッション機能（SessionCookieとかURL rewriteとか使うやつ）を使っているのであれば、「セッションBean」という名前に納得できます。
しかし、StatelessやSingletonのコンテナの仕組みなどは、そのセッションとは関係なく実装できそうに思えます・・・