統一レイアウト生成研究の新突破：より小さくても強力な大規模言語モデル 研究背景と問題提起 レイアウト生成（Layout Generation）は、コンピュータビジョンおよびヒューマンコンピュータインタラクション分野において重要な研究テーマであり、特定のニーズに適合するグラフィカルインターフェースやページレイアウトをアルゴリズムによって自動生成することを目指しています。例えば、科学論文、アプリケーションインターフェース（App UI）、雑誌ページ、スライドのデザインには、効率的かつ柔軟なレイアウト生成手法が必要です。しかし、従来の手法は通常、単一タスクまたは単一領域に最適化されており、タスク間や領域間での汎用性に欠けています。深層学習技術の発展に伴い、Transformerアーキテクチャに基づ...

大言語モデルにおける分布外汎化と組み合わせメカニズムの研究 論文の背景 近年、大言語モデル（Large Language Models, LLMs）は、GPT-4 などのように新規タスクを処理する際、驚くべき創造性を示しています。通常、少数の例で問題を解決できます。これらのタスクは、モデルが訓練データとは異なる分布上で汎化することを要求します。これは「分布外汎化」（Out-of-Distribution Generalization, OOD Generalization）と呼ばれます。LLMs は大きな成功を収めていますが、どのように分布外汎化を達成するかは未解明のままでした。本論文では、LLMs が隠れたルールに基づいて生成されるタスクでのパフォーマンスに焦点を当て、特に「帰納ヘッド」（...

混合専門家と3Dアナログインメモリコンピューティングを用いた大規模言語モデルの効率的なスケーリング 学術的背景 近年、大規模言語モデル（Large Language Models, LLMs）は自然言語処理やテキスト生成などの分野で強力な能力を発揮しています。しかし、モデルの規模が拡大するにつれ、訓練や推論のコストも急激に上昇し、特にメモリ使用量、計算遅延、エネルギー消費の面で大きな課題となっています。これがLLMsの広範な応用を妨げる主要なボトルネックの一つとなっています。従来のノイマンアーキテクチャでは、大規模なパラメータを処理する際にデータがメモリと計算ユニットの間で頻繁に移動するため、「ノイマンボトルネック」が生じ、これらの課題がさらに深刻化しています。 この問題を解決するために、研...

PET画像レポートにおける大型言語モデルの応用：検索強化生成モデルを組み合わせた単一施設試験研究 人工知能技術の急速な発展に伴い、大型言語モデル（Large Language Models、以下LLM）のゼロショット学習能力と自然言語処理能力が医学分野で広く注目されています。LLMは一部の医療分野で効率と成果の向上を示しているものの、核医学、特にPET（陽電子放射断層撮影）画像レポートへの応用はまだ初期段階です。本研究は、韓国ソウル大学病院およびソウル大学医科大学のHongyoon Choi博士とそのチームによって実施され、その研究成果は《European Journal of Nuclear Medicine and Molecular Imaging》に掲載されました。 研究背景と問題提...

大規模言語モデルを用いた遺伝子集合機能発見の探求：GPT-4の優れた性能 学術的背景 機能ゲノミクス（functional genomics）の分野では、遺伝子集合の富化解析（gene set enrichment analysis）が遺伝子の機能と関連する生物学的プロセスを理解するための重要な方法となっています。しかし、現在の富化解析はGene Ontology (GO) などといった文献に基づいて整理された遺伝子機能データベースに依存しており、これらのデータベースには不完全性や更新の遅れといった課題があります。このため、多くの遺伝子集合が従来のツールでは効果的に解析できず、これらの未定義の遺伝子集合が新たな生物学的知識の源泉となる可能性があります。 こうした背景のもと、近年、生成型人工知...