豊富な帰納バイアスを用いた視覚言語モデルの学習

豊富な帰納的バイアスを用いた視覚と言語モデルの学習 研究背景と問題提起 近年、視覚と言語モデル(Vision-Language Models, VLMs)は、コンピュータビジョンおよび自然言語処理の分野で顕著な進展を遂げています。これらのモデルは大規模な画像-テキストペアに基づいて事前学習され、統一されたマルチモーダル表現空間を構築し、多様な下流タスクで優れたパフォーマンスを発揮します。しかし、少数ショット学習(few-shot learning)のシナリオでは、特定のタスクに適応させつつ良好な汎化能力を維持するためには、これらのモデルを効果的に調整する方法が依然として解決すべき課題となっています。 既存の手法は通常、プロンプトエンジニアリング(prompt engineering)やパラメ...

キーポイントインタラクティブトランスフォーマーを用いた構造支援依存関係の学習による一般哺乳動物のポーズ推定

一般的な哺乳動物の姿勢推定に関する研究の進展 研究背景と問題提起 コンピュータビジョンの分野では、姿勢推定は基礎的かつ重要なタスクであり、その目標は画像内の対象オブジェクトのキーポイント位置を特定することです。近年、人間の姿勢推定において顕著な進展が見られましたが、動物の姿勢推定(Animal Pose Estimation)の研究はまだ初期段階にあります。人間の姿勢推定と比較して、動物の姿勢推定は主に以下の点で大きな課題を抱えています。 種の多様性:異なる種間での外観や姿勢の違いが非常に大きい。例えば、ネコ科動物の中でもヒョウと家猫は形状、サイズ、色において顕著な違いがあります。 データの希少性:既存の動物姿勢データセットの規模は、人間の姿勢データセットよりもはるかに小さい。例えば、最大の...

Seaformer++:モバイル視覚認識のためのスクイーズ強化軸変換器

SEAFormer++——モバイルビジョン認識のための効率的なTransformerアーキテクチャ 研究背景と問題提起 近年、コンピュータビジョン分野では、畳み込みニューラルネットワーク(CNN)からTransformerベースの手法への大きな変革が起こりました。しかし、Vision Transformerは多くのタスクで優れたグローバルコンテキストモデリング能力を示す一方で、その高い計算コストとメモリ要件により、特に高解像度画像を扱う場合、モバイルデバイスへの展開が困難です。低遅延と高効率を求めるモバイルデバイスに対応するため、研究者たちは局所注意機構、軸方向注意(Axial Attention)、動的グラフメッセージパッシングなどの軽量化手法を提案してきました。しかし、これらの方法でも高...

より小さいがより良い:より小さい大規模言語モデルによるレイアウト生成の統一

統一レイアウト生成研究の新突破:より小さくても強力な大規模言語モデル 研究背景と問題提起 レイアウト生成(Layout Generation)は、コンピュータビジョンおよびヒューマンコンピュータインタラクション分野において重要な研究テーマであり、特定のニーズに適合するグラフィカルインターフェースやページレイアウトをアルゴリズムによって自動生成することを目指しています。例えば、科学論文、アプリケーションインターフェース(App UI)、雑誌ページ、スライドのデザインには、効率的かつ柔軟なレイアウト生成手法が必要です。しかし、従来の手法は通常、単一タスクまたは単一領域に最適化されており、タスク間や領域間での汎用性に欠けています。深層学習技術の発展に伴い、Transformerアーキテクチャに基づ...

Moonshot:モーションを意識したマルチモーダル条件による制御可能なビデオ生成と編集

MoonShot——運動認識マルチモーダル条件に基づく制御可能なビデオ生成と編集への一歩 研究背景と問題提起 近年、テキストからビデオへの拡散モデル(Video Diffusion Models, VDMs)は顕著な進展を遂げ、高品質で視覚的に魅力的なビデオの生成が可能になりました。しかし、既存のVDMの多くはテキスト条件に依存しており、視覚コンテンツを正確に記述する能力には限界があります。具体的には、これらの手法は通常、生成されたビデオの外観や幾何学的構造に対する細かい制御が困難であり、結果としてランダム性や偶然性に大きく依存しています。 この問題を解決するために、研究者たちは微調整拡散モデル(例:DreamBooth)を通じてパーソナライズされた生成を試みましたが、この方法では各入力画像...

ディープフェイク検出のためのデュアルレベルアダプター

Deepfake-Adapter——深層偽造検出のための二重レベルアダプタ 研究背景と問題 ディープジェネレーティブモデル(deep generative models)の急速な進化に伴い、超リアルな顔画像や動画を簡単に生成できるようになりました。これらのコンテンツは人間の目を容易に欺くことができ、悪用されると政治、エンターテインメント、社会分野で深刻な誤情報拡散問題を引き起こす可能性があります。この脅威は「ディープフェイク(Deepfake)」と呼ばれています。このセキュリティ問題に対処するために、多くのディープフェイク検出手法が提案され、訓練データとテストデータが同じ操作タイプで品質が良好な場合に優れた性能を発揮します。しかし、未見または低品質の偽造サンプルに対応する際には、これらの手法...