テキスト認識型クロスモーダルコントラストデザンタングリングによるマルチグレインビジュアルピボットガイドのマルチモーダルニューラルマシントランスレーション

テキスト認識型クロスモーダルコントラストデザンタングリングによるマルチグレインビジュアルピボットガイドのマルチモーダルニューラルマシントランスレーション

多尺度視覚中枢ガイドの多モーダル神経機械翻訳:テキスト認識のクロスモーダル対比デカップリング 学術背景 多モーダル神経機械翻訳(Multi-Modal Neural Machine Translation, MNMT)は、言語に依存しない視覚情報をテキストに導入して機械翻訳の性能を向上させることを目指しています。しかし、画像とテキストはモーダル間で顕著な差異があるため、両者間では避けられない意味の不一致が発生します。これらの問題を解決するための目標は、分解された多尺度視覚情報をクロスランゲージ中枢として使用することにより、異なる言語間のアライメントを向上させ、MNMTのパフォーマンスを改善することです。 論文情報 この論文は朱俊俊、蘇瑞および葉俊杰などの研究者によって執筆され、著者はそれぞれ...

脳表面の神経活動を可視化する脳波マイクロディスプレイ

脳表面の神経活動を可視化する脳波マイクロディスプレイ

脳表面ニューロン活動を可視化する脳波マイクロディスプレイ 背景紹介 現在の脳外科手術における機能的マッピングは主に神経外科医と電気生理学者の間の言語的なやり取りに依存しています。これらのプロセスは時間がかかり、分解能が限られています。さらに、脳活動を測定するための電極グリッドの分解能は低く、脳表面にしっかりと密着させることは難しいです。手術中にリアルタイムで脳表面のニューロン活動をより効果的に監視および表示するために、本研究では2048個の窒化ガリウム(GaN)発光ダイオード(LED)を搭載した脳内電気生理学マイクロディスプレイ(iEEG microdisplay)を提案および開発しました。 研究概要 本論文はYoungbin Tchoeらによって書かれ、カリフォルニア大学サンディエゴ校の電...

自律型ドローンのための完全ニューロモルフィックビジョンおよび制御

自律型ドローンのための完全ニューロモルフィックビジョンおよび制御

完全なニューロモルフィックビジョンとコントロールを持つ自律飛行体 背景と研究動機 過去10年間で、ディープニューラルネットワーク(ANNs)は人工知能分野で大きな進展を遂げ、とりわけ視覚処理において顕著な成果を上げました。しかし、これらの高度な視覚処理技術は高精度を実現する一方で、多大な計算リソースとエネルギーを消費するため、小型飛行ロボットなどリソースが限られた場合には応用が難しいです。 この問題に対処するために、ニューロモルフィックハードウェアは生物の脳のスパースで非同期的な特性を模倣することで、より効率的な認識と処理能力を実現しました。ロボット分野では、ニューロモルフィックハードウェアに含まれるイベント駆動カメラとスパイキングニューラルネットワーク(SNNs)が低遅延・低エネルギー消費...

深層強化学習による二足歩行ロボットの敏捷なサッカースキルの学習

深層強化学習による二足歩行ロボットの敏捷なサッカースキルの学習

深層強化学習で二足ロボットに敏捷なサッカースキルを付与 背景説明 エージェントが物理世界で敏捷性、柔軟性、理解力を示すことは、人工知能(Artificial Intelligence, AI)研究の長年の目標の一つです。しかし、動物や人間は複雑な身体の動きを流暢にこなすだけでなく、環境を感知し理解し、身体を使って世界で複雑な目標を達成することができます。歴史的に、複雑な運動能力を持つ知的な身体エージェントを作ろうとする試みは長く続いており、それはシミュレーション環境でも現実の環境でも同様です。近年の技術の急速な進歩、特に学習に基づく方法論の進展により、深層強化学習(Deep Reinforcement Learning, Deep RL)が、シミュレーションキャラクターでも物理ロボットでも、...

車輪付き脚ロボットのための堅牢な自律ナビゲーションと移動学習

車輪付き脚ロボットのための堅牢な自律ナビゲーションと移動学習

自律的に移動できる車輪脚ロボット 背景紹介 都市化の進展に伴い、サプライチェーン物流、特にラストワンマイルの配送が大きな課題となっています。交通の混雑が増加し、より迅速な配送サービスが求められる中、特に屋内や街路での複雑なルートは配送にとって解決し難い問題となっています。従来の車輪型ロボットは複雑な障害物を越えるのが難しく、脚部システムだけでは必要な速度と効率を達成することはできません。例えば、ANYmalロボットは一定の移動能力を持っているものの、その最大走行速度は平均的な歩行速度の半分に過ぎず、バッテリーの持続時間も限られています。したがって、平坦な地面で効率的に動き、障害物を乗り越えることができるロボットシステムを開発することが研究の主要な方向となっています。 本稿で主要に研究している...

三次元空間における時空間認識のための立体人工集眼

三次元空間における時空間認識のための立体人工集眼

立体人工复眼用于三维空间的时空感知 本研究文章发表在2024年5月15日的《Science Robotics》期刊上,题为“立体人工复眼用于三维空间的时空感知(Stereoscopic Artificial Compound Eyes for Spatiotemporal Perception in Three-Dimensional Space)”,第一作者为Byungjoon Bae,指导作者为Kyusang Lee。研究团队主要来自University of Virginia的电气与计算机工程系和材料科学与工程系。 研究背景 在自然界中,节肢动物(arthropods)的复眼是非常有效的生物视觉系统,具备广阔的视野(Field of View, FOV)和高运动敏感度,而祷蛾(mant...