スマホでフレーム補間 「SVPlayer」

 PCでフレーム補間する際に使われるSmooth Video Project(SVP)がAndroid向けにも出ていたらしいので使用してみる。

PCのフレーム補間環境はAMDのFluidmotionが最新型では非対応になるなど下火になり、現状ではほぼSVP一択となっている。一方で、スマホにおいては中華スマホの一部でMEMCチップの搭載が見られ、最近ではついにAQUOSがミドル帯ながらもフレーム補間を含めた動画再生に特化したスマホを出すなど、チラチラと動きが見られる。スマホでのフレーム補間再生には前から興味があったので、この機会にどんなもんか試してみた。

UIは使いづらい

こういう高性能アプリあるある、UIがわかりにくい。PC版ではパラメーターの効果が表示されたようなきがするが、スマホ版では特にそういったチュートリアル的なものはないらしい。ファイル選択画面も野暮ったく使いにくい。Androidの動画再生アプリといえばMXPlayerが代表的で、それに比べるとかなり古臭く感じる。ただ、自分はスマホにある動画を再生するときはMXPlayerなどのファイル選択画面から直接再生するのではなく、ファイラーアプリから再生する癖があるので、再生画面のUI以外は実用上困ることはなさそう。

フレーム補間の倍率は結構豊富

一番重要な機能がPC版とほぼ同等であるのはありがたい。60fps以上への補間もできるようだ。自分の環境(Galaxy Note20 Ultra)は、ディスプレイ解像度を落とした状態でないと120hzにならない仕様のせいかSVPlayer実行時は60hz駆動になってしまうため、60fps以上の補間の効果は不明。

フレーム補間の精度はまあまあ

では実際のところちゃんとヌルヌルに見えるかというと、動きが単純なところでは一応効果がある。全体的にみると、PC版よりもフレーム補間の効きは緩めな印象で、恩恵はあまり感じられない。大画面のPCの方がフレーム補間の効きを実感しやすいため、そう感じるのかもしれない。細かく見ていくと、動きが複雑な部分や画質が悪い部分は画像の破綻や補間の効きの低下でカクカクして見える。動きが複雑なシーン全体の補間を弱める傾向にあるFluidmotionとは異なり、SVPlayerでは単純な領域(例えばカメラのパン)はちゃんと補間するので、映像の一部の領域だけカクカクしやすい。これはPC版SVPと同様の傾向だが、全体の滑らかさはPC版の方が優れていると感じた。

スペックは結構必要、かも

Google Playのページをみると、推奨スペックがSD855/4GB以上となっていることから、ハイエンドスマホであれば型落ちであっても動きそう。手元の映像では、4k30pを60p補間でところどころドロップフレームがあるものの再生することが出来たが、これはフレーム補間関係のパラメーターが全てデフォルトの状態だ。PC版と同様に初回起動時に端末のベンチマークを計測しているので、その結果を反映させたものだと思われる。そのほか、ログからはGalaxyのディスプレイを3088x1440@60Hzで認識しているので1440pへ縮小再生していることが確認できた。試しに、8k24pを再生させたところドロップフレームが酷すぎて元動画よりもカクカクしてしまった。FHD30pであれば、品質重視で補間してもドロップはしないのは良かった。もちろん、それなりの発熱もする。

その他の機能面

色々なタイプの動画を再生させたところわかったのは以下の通り。

• インターレースはフレームレートが倍で扱われる(30iなら60)ので、60Hz駆動時は30i動画は補間対象外→「高度な設定」の中に設定項目があり、倍処理を無効化すれば補間できる
• 再生解像度はディスプレイの解像度に依存して変更不可→スマホの画面だと1440pも1080pもそんなに違いがないので1080pで再生してその分のパフォーマンスを補間に回してもよかった。まあ別に超解像してるわけでもないからそんなに変わらないのかもしれない。
• m3u8を直接指定すればストリーミングすることができる→m3u8のリンクはインテントできないっぽいので使い勝手悪い。

まとめ

PCで初めてフレーム補間をしてみたときはめちゃくちゃ感動したけど、その時より印象が薄かった。やはり、小さい画面でいくらヌルヌル動いたところで大画面よりは体感しにくいのが大きいのかもしれない。元から、フレーム補間で見るような動画(=60fps以下の動画)はアニメだったりアーティストのPV、DVDぐらいしかないというのも原因の一つだと思う。今ではアニメの多くはストリーミングで見ちゃうし、そうするとDRMの都合上SVPlayerでの再生はできない(唯一見つけた有効？な使い方は超A&G+の視聴ぐらいかもしれない)。この点、AQUOSはDRMコンテンツの補間再生を謳っているので強みになっていると思う。今まで見てきたのは30p→60pの補間だけなので、これが120pになると体感どう変わるのかが気になるが、あいにく手元の端末で対応しているものはないので次の機種変後にでも試してみようと思う。