たとえばDateTimePickerのFormatをCustomにして
CustomFormatをdd-MMM-yyに指定することで、
2015/6/23を
23-Jun-15というように表示したいです。

以下の記事のようにPCのコントロールパネルから環境を変更すれば
上記を実現できるのですが、プログラム上で変更できないでしょうか？
https://social.msdn.microsoft.com/forums/vstudio/ja-JP/a3c0a8e1-7908-4706-b9f2-9bdb053d3648/datetimepicker

お知恵を拝借できれば幸いです。