GTX 560TiのCUDAを有効にするために、TMPGEnc Video Mastering Works 5 にアップグレードしました。
以前のバージョンも利用し続けられる変則的なバージョンアップも受けられるのですが、まあ、いままでも以前のバージョンが欲しくなったりしたことはないので。
モバイル向けMPEGファイルでPSPを選んで、ちょこちょこ設定すれば、とりあえず変換できます。
■映像設定
映像エンコーダ: CUDA
16:9素材用に、
サイズ: 480x272
レート調整モード: VBR（平均ビットレート）
設定は初期値の平均1152bps 、最大2000bps （CUDAだと2パスは選べない）
サムネイル生成方法: 先頭フレームの画像でサムネイルを作成する
で一応変換できるのですが、変換速度は速いものの、イマイチブロックノイズが目立つし、ファイルサイズもかなり大きめです。
そこで、以前
TMPGEnc 4.0 XPress で PSP用の動画をエンコード
でやってた設定に近いものを探してみました。
先ほどの状態からMPEG出力へ移行して、
■映像設定
映像エンコーダ: x264
プロファイル＆レベル: Main @ Level 3
レート調整モード: VBR（固定品質）
品質は初期値の50。60がキレイで、70にするとファイルサイズがVBRとかの時と同等になって意味があんまりない。
あと、
TMPGEnc Video Mastering Works 5を使ってPSP用動画(H.264 MP4)に変換するときの注意点 - どんとこいです
を参考に、
■詳細設定
重み付け予測モード（Pピクチャ） なし
としました。
CUDAが有効になっていると、エンコードエンジンがx264でもちょっとは使うらしく、
CUDAでエンコードした最初の設定で、
1分30秒のアニメのオープニングの変換が
22秒で15MB程度のところを、
この設定で
25秒で6MB程度に変換しますので、速度も十分ですしファイルサイズが小さいこちらのほうがいいかなと。
ちなみに、
そのままx264でVBR 2パスだと
46秒 15MB程度
そのままIntel Media SDK Software 1パス（2パス設定はない）だと
62秒 15MB程度
ファイルサイズはPSPに転送する時間だけの問題で、PSPのメモリースティックの空き容量がキツキツっていうわけではないので、多少の差はないことにします。
ちなみに先ほどの設定で
品質60で10MB
品質70で15MB
でした。
ちなみに環境は
Core i7/2600K + GTX 560Ti(900MHz) + TMPGEnc Video Mastering Works 5 (5.0.6.38) + Windows 7 Ultimate x64
以下、今回設定した出力テンプレート
TMPGEnc Video Mastering Works 5 PSP 16:9用出力テンプレート
ついでに4:3ソースに対応。
TMPGEnc Video Mastering Works 5 PSP 4:3用出力テンプレート
アナログ地上波のキャプチャーのような、
720x480のスクイーズMPEG2で、上下に黒帯のある16:9画像の場合は、
フィルタの映像クロップで上下64pxずつ、左右8pxずつけずり、
704x352としてから16:9用のテンプレートに乗せると黒帯がとれます。
黒帯気にしないならクロップしないで4:3のテンプレートに乗せて変換して、ズーム表示すれば一応画面いっぱいです。（解像度下がってますが）
ほか、参考になりそうなとこ
TMPGEnc Video Mastering Works 5用設定ファイル集(iPad, iPhone, iPod touch, PSP) | マイスクラップブック
TMPGEnc Video Mastering Works 5。x264 設定。アニメ向き。（Ver.5.0.6.38）：何もかも、ごめんなさい。：So-netブログ