インド工科大学ボンベイ校（IITボンベイ）の研究者らは、日常的な言語プロンプトを使用して衛星画像やドローン画像を解釈できるようにする人工知能（AI）モデルを開発した。
災害対応、監視、都市計画、農業への応用が期待されている。

IIT Bombay develops AI model to decode satellite images using natural language

AMVG（Adaptive Modality-guided Visual Grounding、適応モダリティ誘導による視覚的グラウンディング）と呼ばれるこのモデルは、IITボンベイの資源工学研究センター（Centre of Studies in Resources Engineering）のビプラブ・バネルジー（Biplab Banerjee）教授が率いる研究チームによって設計された。
自然言語の指示に基づいて複雑で高解像度の衛星画像を解読することは長い間の課題であった。

論文の筆頭著者でIITボンベイの博士研究員であるシャブナム・チョードリー（Shabnam Choudhury）氏によれば、AMVGはユーザーが「氾濫した川の周辺で被害を受けた建物をすべて見つけて」などのプロンプトを入力するだけで、数百枚の乱雑な画像からでも数分以内に目的の結果を受け取ることができるようにする。
この研究成果は、「International Society for Photogrammetry and Remote Sensing」の会誌「Journal of Photogrammetry and Remote Sensing」に掲載された。
AMVGによって画像分析がより迅速かつ直感的になり、機関や研究者が利用しやすくなると期待されている。

「リモートセンシング画像は詳細な情報が豊富に含まれているが、自動解釈は非常に困難で、既存のモデルは曖昧さや文脈的コマンドへの対応に苦労している」とチョードリー氏は説明する。
AMVGは、Multi-stage Tokenised Encoder（マルチステージトークン化エンコーダー）とAttention Alignment Loss（アテンションアライメントロス、AAL）をはじめとする技術を組み合わせ、モデルが文脈理解に基づいて物体をより正確に識別できるようにする。
特にAALは「仮想コーチ」のような役割を果たし、コマンドを解釈する際に関連する画像領域に焦点を合わせるようシステムに教える。
「人間が『燃料タンクの横にある白いトラック』と読んだら、どこを見るべきか事前に分かる。AALは機械に同じことを教える」とチョードリー氏は語る。

研究チームは幅広い応用を想定しており、特に災害対応においては、洪水や地震の後に被害を受けたインフラを迅速に特定できるようになる。
治安分野では偽装車両の特定、農業分野では作物の健康状態の監視が可能になる。

バネルジー教授はしかし、AMVGが実際の災害シナリオでまだテストされていないと説明している。
「The Hindu」紙のインタビューで、同教授は「若干の予備研究は行ったが、災害管理のための実データセットがないため、本格的な評価を実施できていない。データセットを作成することが、今後の計画の要だ」と述べた。

研究チームによると、AMVGは災害時や有事、さらに農作物のパターン検出では既存アプローチよりも優れているが、より包括的なベンチマーク研究は今後の取り組みになる。
研究者らはAMVGを実用化するための協力も模索しており、インド宇宙機関（ISRO）とも協力している。
AMVGは、衛星、ドローン、航空機搭載センサーからの画像全体で有望な結果を示している。
次の研究段階では、このモデルをさまざまな地理的・環境的シナリオに展開し、その適応性を評価する予定である。

注目すべき一歩として、研究チームはAMVGの実装をGitHubでオープンソース化した。
「リモートセンシングにおいてオープンソース化はまだ一般的ではないが、透明性を高め、進歩を加速させたい」とチョードリー氏は述べている。

AMVGは現在、高品質の注釈付きデータセットに依存しており、リアルタイム展開には最適化が必要となる。
多様な地形への適応性を向上させるため、センサー対応バージョンと構成的グラウンディング技術の開発が進行中である。
「目標は、自然言語を用いてあらゆる画像をグラウンディング、記述、取得、推論できる、統合されたリモートセンシング理解システムを構築することである」とチョードリー氏は述べている。