ActiveRecordのモデル(テーブル構造と1対1の属性を持つクラス)以外のクラスはどこのディレクトリにどういう規約で置くべきでしょうか。

現在は、
app
↳models
↳callbacks
↳services
↳view_objects
↳decorators
↳values
↳controllers
↳assets
↳apis
↳jobs
↳converters
↳helpers
↳mailers
↳views

といったディレクトリ構造をしています。
ただ単にクラスと言っても抽象的だとは思うのですが、例えばデザイン・パターンで言うところのファクトリーや、プロキシー、ストラテジー等といったオブジェクトの生成やアルゴリズムを委譲させるためのクラスなどをイメージしております。