つい先日、ISPでは4Kでのリアルタイムクロマキー合成を実現しました。
※4Kリアルタイムクロマキーの詳細は以下記事↓を参照
4KのROBUSKEYでこのパフォーマンスが出るのなら、フルHDであれば「珠肌」と「ROBUSKEY」両方処理してもリアルタイム処理できるんじゃないか！？
・・・と、なんとなく思ったのが事の発端。早速やってみました。
機器構成図は下図をご覧ください。ビデオカメラでグリーンバック映像を撮影し、映像をHDMIケーブルでBlack Magic Intensity Proでキャプチャしています。キャプチャ映像はNVIDIA GeForce GTX TITANに転送し、GPU上で「珠肌」と「ROBUSKEY」を両方処理しています。
その気になる実行結果はこちら！↓
——————————————–
フレーム読み込み：5(msec)
美肌処理：12(msec)
ROBUSKEY：4(msec)
画面描画：0(msec)
その他：2(msec)
合計：23(msec)
——————————————–
30fpsでリアルタイム処理するためには、1フレームあたり1000msec/30 = 約33msec以内で処理できれば良いので余裕のクリアですね！
ちなみにフレームレートが30fpsを超えているのは、処理が速すぎてビデオからの映像を余計にキャプチャしているということです。そして、画面描画時間が0msecなのは、OpenCVを利用してGPUのデバイスメモリから直接描画させているためです。これによって、GPU→CPUへのメモリ転送の時間を省略することができています。
以上の検証結果はGTC Japan 2013に技術出展いたします。クロマキー合成&美肌がリアルタイムに処理されているところを実際に見てみたい方は是非お越しください！
その他、4Kリアルタイムクロマキーなども出展しています！
【GTC Japan 2013】
2013年7月30日(火) 東京ミッドタウンホール＆カンファレンスにて開催
http://www.gputechconf.jp/