出力したログから、必要な情報のみを抽出してDBに保存するバッチ処理を作成したいのですが、必要な情報を抽出し保存する部分の処理がわかりません。
Railsでログを出力する方法について知りました。
http://ruby-rails.hatenadiary.com/entry/20150110/1420863998
この出力したログから、必要な情報のみを抽出してDBに保存するバッチ処理を作成したいと思っております。
そこで質問です。
1) そもそもそういったことがかのうでしょうか?
2) 可能な場合、どのようにログ・ファイルから必要な情報を抽出できるのでしょうか?
3) もしできない場合、一般的にこういうケースはどのように実装しているのでしょうか?
人手でやるのであれば、
ログ・ファイルから必要な情報を抜き出し、コンソール上で保存をするという流れになりますが、
それを自動化したいです。
また、近しい内容でいうと次のようなものになるかと思います。
アクセス数をもとに人気の記事を取得するには
fluentdやmongodbというのも検討したいのですが、今回はこれらを使わず、mysqlとrailsで運用して、
運用が安定してからfluentdとかに移行していきたいと考えております。
よろしくお願いします。
追記
必要な情報のみを抽出するところ
こういうハッシュをログとして出力しているので、それを取得してPostモデルに保存するということをしたいです。
{post_id: 1, name: “hoge”, category_id: 1}
リアルタイムにDBに保存するのではなく、
バッチ処理として、まとめてDBに保存するといったことをやりたいです。