Seaformer++:モバイル視覚認識のためのスクイーズ強化軸変換器

SEAFormer++——モバイルビジョン認識のための効率的なTransformerアーキテクチャ 研究背景と問題提起 近年、コンピュータビジョン分野では、畳み込みニューラルネットワーク(CNN)からTransformerベースの手法への大きな変革が起こりました。しかし、Vision Transformerは多くのタスクで優れたグローバルコンテキストモデリング能力を示す一方で、その高い計算コストとメモリ要件により、特に高解像度画像を扱う場合、モバイルデバイスへの展開が困難です。低遅延と高効率を求めるモバイルデバイスに対応するため、研究者たちは局所注意機構、軸方向注意(Axial Attention)、動的グラフメッセージパッシングなどの軽量化手法を提案してきました。しかし、これらの方法でも高...

より小さいがより良い:より小さい大規模言語モデルによるレイアウト生成の統一

統一レイアウト生成研究の新突破:より小さくても強力な大規模言語モデル 研究背景と問題提起 レイアウト生成(Layout Generation)は、コンピュータビジョンおよびヒューマンコンピュータインタラクション分野において重要な研究テーマであり、特定のニーズに適合するグラフィカルインターフェースやページレイアウトをアルゴリズムによって自動生成することを目指しています。例えば、科学論文、アプリケーションインターフェース(App UI)、雑誌ページ、スライドのデザインには、効率的かつ柔軟なレイアウト生成手法が必要です。しかし、従来の手法は通常、単一タスクまたは単一領域に最適化されており、タスク間や領域間での汎用性に欠けています。深層学習技術の発展に伴い、Transformerアーキテクチャに基づ...

空間的特徴重要度の観点から分布外検出をブーストする

空間的特徴の重要性から分布外検出性能を向上させる研究 研究背景と問題提起 ディープラーニングモデルの実際の応用において、未知のクラスの入力に対して信頼性高く予測を拒否することは、システムの安全性と堅牢性を確保するための鍵となります。このニーズは、分布外検出(Out-of-Distribution Detection, OOD Detection)という研究分野を生み出しました。OOD検出は、モデルの訓練データ分布範囲内のサンプル(つまり、分布内サンプル、In-Distribution, ID)とその範囲を超えるサンプル(つまり、分布外サンプル、Out-of-Distribution)を区別することを目指しています。近年、研究者たちはMSP(Maximum Softmax Probabilit...

Moonshot:モーションを意識したマルチモーダル条件による制御可能なビデオ生成と編集

MoonShot——運動認識マルチモーダル条件に基づく制御可能なビデオ生成と編集への一歩 研究背景と問題提起 近年、テキストからビデオへの拡散モデル(Video Diffusion Models, VDMs)は顕著な進展を遂げ、高品質で視覚的に魅力的なビデオの生成が可能になりました。しかし、既存のVDMの多くはテキスト条件に依存しており、視覚コンテンツを正確に記述する能力には限界があります。具体的には、これらの手法は通常、生成されたビデオの外観や幾何学的構造に対する細かい制御が困難であり、結果としてランダム性や偶然性に大きく依存しています。 この問題を解決するために、研究者たちは微調整拡散モデル(例:DreamBooth)を通じてパーソナライズされた生成を試みましたが、この方法では各入力画像...

ディープフェイク検出のためのデュアルレベルアダプター

Deepfake-Adapter——深層偽造検出のための二重レベルアダプタ 研究背景と問題 ディープジェネレーティブモデル(deep generative models)の急速な進化に伴い、超リアルな顔画像や動画を簡単に生成できるようになりました。これらのコンテンツは人間の目を容易に欺くことができ、悪用されると政治、エンターテインメント、社会分野で深刻な誤情報拡散問題を引き起こす可能性があります。この脅威は「ディープフェイク(Deepfake)」と呼ばれています。このセキュリティ問題に対処するために、多くのディープフェイク検出手法が提案され、訓練データとテストデータが同じ操作タイプで品質が良好な場合に優れた性能を発揮します。しかし、未見または低品質の偽造サンプルに対応する際には、これらの手法...

限られたデータでの画像合成:調査と分類法

限られたデータにおける画像合成に関する調査 研究背景と問題提起 近年、ディープ生成モデル(Deep Generative Models)は、特に画像やビデオ生成、音声合成などのインテリジェントな作成タスクにおいて、前例のない進展を遂げてきました。しかし、これらのモデルの成功は大量のトレーニングデータと計算資源に依存しています。トレーニングデータが限られている場合、生成モデルは過学習(Overfitting)や記憶化(Memorization)の問題を引き起こしやすく、生成サンプルの品質と多様性が大幅に低下します。この制約は、医療画像生成、産業における欠陥検出、芸術作品制作など、多くの実用的なアプリケーションにとって課題となっています。 これらの問題に対処するために、研究者たちは限られたデータ...