きりしま屋

PSP用にエンコード済みのファイルはコンテンツ管理アシスタントで認識させて、PSVita側から操作して転送すれば再生できるようです。
（ファイルを選ぶのがちとめんどくさい）

PSP用のフォーマットをベースに、あとは、
PSVitaの解像度、960x544に合わせてどのぐらいのビットレートにできるか、というところでしょうか。

画質
ファイルサイズ
変換時間
の三方よし、のバランスの取れた設定を見つけ出す必要があります。

変換には、エンコードソフトのド定番「TMPGEnc Video Mastering Works 5」を使用。
速くてキレイで対応形式が多いので優秀です。怪しげなエンコードソフトを入れるよりも遥かに安心。

参考にしたのは、

PS Vitaでどんな解像度の動画が再生できるか試してみた | ほげげの戯言

で、x264のエンコードをPSP時代の鉄板、「VBR固定品質」に挑戦。

とりあえず設定ファイル

TMPGEnc Video Mastering Works 5 PSVita 16:9用出力テンプレート
TMPGEnc Video Mastering Works 5 PSVita 16:9用出力テンプレート v2
（サムネイル出力する設定にしました。下にもっと新しいファイルをアップしています）

をアップしておきます。

もう少しパラメータいじってみる。

2011.12.28 追記

割と動きの大きいアニメのOP（1分30秒,23.976fps）をPS3用のフォーマットでエンコードして、そこから各種設定でエンコードしてみた。
エンコードはCore i7-2600Kの3号機。

とこんな感じになります。
最初に約20秒、各形式にかかわらずかかる場所があって、これは、変換対象の時間が変わっても変化しないようです。（3分の動画をx264 VBR固定品質60で変換すると、20秒の準備時間、1:18秒の変換時間、と変換時間の部分だけ伸びました）

画質に関してはPSVitaに移動して再生してみたときに、×は全般的にブロックノイズが目立ち、△は動きの大きなところで目立ち、○は◎よりはノイズが多いのが分かる、という程度です。

変換速度だけならCUDAですが、環境を選ぶのと仕上がりが汚いことなどから、バランスがいいのは、
先にアップしたVBR固定品質60でした。59とか58とか刻めるような気もしますが、その検証はまた後ほど。

ちなみに一番下のは最大ビットレートを2500kbits/secから8000kbits/secにしたものです。
これだと、VBR固定品質70よりも大きくなってしまうので、最大ビットレートの設定が効いているのが分かると思います。
再生には支障がないようなので、もう少し最大ビットレートを上げてあげてもいいかと思いますが、USBでPSVitaに転送する時間も考慮すると、2500kbits/sec位で十分な気がします。

2011.12.31 追記
品質刻んでみました。

50と60の間で1ずつ刻んでみました。
見てみた感じでは、53か54あたりが境目かと思います。

TMPGEnc Video Mastering Works 5 PSVita 16:9用出力テンプレート VBR固定品質53 23.976fps
TMPGEnc Video Mastering Works 5 PSVita 16:9用出力テンプレート VBR固定品質53 29.97fps
TMPGEnc Video Mastering Works 5 PSVita 4:3用出力テンプレート VBR固定品質53 23.976fps
TMPGEnc Video Mastering Works 5 PSVita 4:3用出力テンプレート VBR固定品質53 29.97fps

とりあえず53でフレームレート違いも合わせてひとそろい用意してみました。

アニメだとノイズが目立つのでこのあたりの設定値ですが、実写のドラマの場合はもっと品質下げて50とかでも全然よさそうです。50切ってもあんまり気にならないかも。48でもまだ気になりませんでした。

2012.1.1追記
GIGAZINEさんで紹介（映像ファイルをPlayStation Vita向けに変換する方法やコツなど設定まとめ）してもらっているので、たくさんのアクセスをいただいています。
現在の設定であれば、特殊な環境（CUDA、QSV等）を必要とせず、高画質でサイズの小さいファイルを高速にエンコードすることができるのではないかと思いますので、是非ご利用ください。

また、記事になった時にはやってなかった、サムネイルも同時に生成されますので、PSVitaに転送したときに、サムネイルが表示されます。