ロバストマスクガイドマッティング：ノイズ入力とオブジェクトの多様性への対応

リンク一覧

概要と1. はじめに

1. 関連研究

2. MaGGIe

   3.1. 効率的なマスクガイド付きインスタンスマッティング

   3.2. 特徴マット時間的一貫性

3. インスタンスマッティングデータセット

   4.1. 画像インスタンスマッティングと4.2. 動画インスタンスマッティング

4. 実験

   5.1. 画像データでの事前学習

   5.2. 動画データでの学習

5. 考察と参考文献

\ 補足資料

1. アーキテクチャの詳細

2. 画像マッティング

   8.1. データセット生成と準備

   8.2. 学習の詳細

   8.3. 定量的詳細

   8.4. 自然画像におけるさらなる定性的結果

3. 動画マッティング

   9.1. データセット生成

   9.2. 学習の詳細

   9.3. 定量的詳細

   9.4. さらなる定性的結果

8.4. 自然画像におけるさらなる定性的結果

図13は、特に髪の領域を正確にレンダリングする、困難なシナリオにおける我々のモデルの性能を示している。我々のフレームワークは、特に複雑なインスタンス相互作用において、詳細の保持でMGM⋆を一貫して上回っている。InstMattと比較すると、我々のモデルは曖昧な領域において優れたインスタンス分離と詳細精度を示している。

\ 図14と図15は、複数のインスタンスを含む極端なケースにおける我々のモデルと以前の研究の性能を示している。MGM⋆が密集したインスタンスシナリオでノイズと精度に苦戦する一方で、我々のモデルは高い精度を維持している。追加の学習データがないInstMattは、これらの複雑な設定において限界を示している。

\ 我々のマスクガイドアプローチの堅牢性は図16でさらに実証されている。ここでは、マスク入力における欠落部分の予測においてMGM変種とSparseMatが直面する課題を強調しており、我々のモデルはこれに対処している。ただし、我々のモデルは人間インスタンスセグメンテーションネットワークとして設計されていないことに注意することが重要である。図17に示すように、我々のフレームワークは入力ガイダンスに従い、同じマスク内に複数のインスタンスがある場合でも正確なアルファマット予測を保証している。

\ 最後に、図12と図11は我々のモデルの汎化能力を強調している。モデルは人間の被写体と他のオブジェクトの両方を背景から正確に抽出し、様々なシナリオとオブジェクトタイプにわたる汎用性を示している。

\ すべての例はグランドトゥルースのないインターネット画像であり、r101fpn400eからのマスクがガイダンスとして使用されている。

\

\

\

\

\

\

\

\

\

\

\

:::info 著者:

(1) Chuong Huynh, University of Maryland, College Park (chuonghm@cs.umd.edu);

(2) Seoung Wug Oh, Adobe Research (seoh,jolee@adobe.com);

(3) Abhinav Shrivastava, University of Maryland, College Park (abhinav@cs.umd.edu);

(4) Joon-Young Lee, Adobe Research (jolee@adobe.com).

:::

:::info この論文はarxivで利用可能です。CC by 4.0 Deed(表示4.0国際)ライセンスの下で提供されています。

:::

\