【開催報告】第5回YILオンライン講座 #9次世代インタラクション開拓ユニット

矢上イノベーションラボラトリー（YIL（イール）所在地：神奈川県横浜市港北区日吉3-14-1/ディレクター：多田宗弘）は、慶應理工の研究ユニットによる研究のご紹介や、新たな科学・技術の解説をオムニバス形式でご紹介することを目的とする、YILオンライン講座を開催しました。
第５回は、流体力学研究創発センター深潟 康二教授、次世代インタラクション開拓ユニット井上正樹准教授をゲストに招き、2026年4月16日（木）16時から、オンラインにて開催しました。

本イベントは、産学連携をお考えの企業のみなさまへ、慶應理工の研究領域の概要に対する理解を深め、研究者と民間企業との双方向コミュニケーションを円滑に進めるための基礎的な情報提供を目的としてYILが主催し、研究者の協力を得て実施しました。当日の発表内容を、後日、資料、動画で紹介する予定です。（公開先は、YIL産学連携アライアンス会員に限ります）

＃９次世代インタラクションユニットを井上正樹准教授が紹介しました。
次世代インタラクションユニットは、３名の研究者で構成される、人と機械のインターフェースに関する研究ユニットです。本ユニットの研究は、大きく２つの方向性に基づいて進められています。１つは、インターフェースそのものの創出です。力や熱といった物理的な接触を伴うものから、音声のように非接触で情報を伝達するものまで、次世代のインターフェース技術の開発に取り組んでいます。もう１つは、インターフェースを利用する人間側の視点です。新たなインターフェースの登場は、人の行動や感情に変化をもたらします。本ユニットでは、こうした変容を理解し、人の行動誘導や意思決定を支援するシステム設計を目指しています。

次に、ユニットメンバーを紹介しました。情報工学科の杉浦裕太先生は、本ユニットの中心的な研究者であり、インターフェース分野を専門としています。日常生活の中に自然に溶け込むインターフェースの技術基盤の開発に取り組んでいます。具体的には、クッションやぬいぐるみといった柔らかい日用品にデバイスを埋め込み、入出力機能（I/O）を持たせることで、人の触覚的な操作や接触を検出できる次世代フィジカルユーザーインターフェースの研究開発を進めています。また、こうしたインターフェースを学生が容易に開発できるようにするための環境整備や、デザインプロセスを支援する仕組みの構築にも取り組んでいます。さらに、開発したインターフェースを活用したアプリケーションの研究も行っています。

続いて、物理情報工学科の大澤友紀子先生を紹介しました。大澤先生は、人とロボットのインタラクションにおける、特に物理的な接触に着目した双方向の計測・制御技術の研究開発に取り組んでいます。具体的には、人とロボットが安全に触れ合うことを可能にするインタラクティブな制御技術の開発や、ポテトチップスのような壊れやすい対象物でも扱える繊細な触覚を実現する可変剛性グリッパーの開発を進めています。また、ロボットの腕に人が触れていることを検知・認識する「ロボットスキン」の研究にも取り組んでいます。このように、触覚デバイスの開発を基盤として、それらを活用した計測・制御技術およびシステム全体の開発を推進しています。なお、共同研究にも積極的に取り組んでおりますので、ご関心のある方はぜひお問い合わせください。

最後に、井上研究室を紹介しました。人と機械のインタラクションが実現される環境において、ユーザー側の視点に立った研究を推進しています。特に、インターフェースが存在する環境における新たな制御理論・制御技術の構築を目指しています。具体的な研究例として、高速道路における渋滞緩和の取り組みが挙げられます。自動運転に頼るのではなく、音声アナウンスなどの言語的刺激、ライトの点滅や移動による視覚的誘導、触覚的なナッジといった人への働きかけを通じてドライバーの行動を変容させ、交通流の安定化を図るものです。また、航空管制の分野では、管制官が担っている着陸経路の誘導業務の負担軽減を目的として、自動システムの導入と、それを支える管制官とのインタラクション制御システムの構築に取り組んでいます。さらに、生成AIを社会システムに広く実装し、インフラとして活用することも重要な研究テーマの一つです。生成AIの活用にあたっては、誤情報生成（いわゆるハルシネーション）といった課題を踏まえ、安全かつ信頼性の高い導入方法の検討にも取り組んでいます。このほか、農業分野への応用として、農業ハウス内の温度環境管理にも取り組んできました。農家へのレコメンドを通じて作業を促すことで、半自動的に環境制御を行う仕組みの構築なども進めています。

講演の後半では、「人の理解と誘導」をテーマに、インターフェースを利用する側の研究事例が紹介されました。人とシステムがどのように連携し、より良い相互作用を実現できるかという観点から、３つの取り組みが取り上げられました。本ユニットでは、自然言語処理（NLP）に基づくインターフェースの開発を進めており、AI技術をどのように物理システムへ応用するかという点でも、先進的な活用事例となっています。
紹介された主なトピックは以下の３点です。まず１つ目は、「Language-aided Control」です。人の発話内容から選考や要望を読み取り、それらをシステムの制御に安全に反映させることを目的とした取り組みです。言語を補助的な情報として活用し、人の意図に寄り添った制御を実現します。２つ目は、「Language-aided State Estimation」です。人の発話をもとに環境や状態を推定するアプローチで、人自身をセンサーのように活用する考え方です。例えば、「暑い」といった発言から周囲の環境状態を推定し、システムに反映させることが可能になります。３つ目は、「Language Nudging」です。言葉によって人の行動が変化する点に着目し、適切な表現や提示方法によって行動変容を促す取り組みです。どのような言葉が人の行動を導くのかを分析し、システム設計に活かしていきます。

「Language-aided Control」について、３つのトピックスを紹介しました。
トピックの1つ目として、「Human as a Supervisor」が紹介されました。これは、人がシステムの“監督者”として関与し、自動制御に対して言語を通じて意図や要望を反映させるという考え方です。例えば自動車運転の場面では、手動運転・自動運転を問わず、「子どもが多いので注意してください」といった声かけを行うことで、ドライバーの速度を抑制するような働きかけが可能となります。また、航空管制の分野では、自動制御が稼働している状況においても、「現在の風の状態を踏まえ、航空機同士の間隔を広げたい」といった管制官の判断を反映し、自動制御システムの挙動を調整することが考えられます。さらに、B2B向けの仮想ネットワークサービスにおいても、CPUのリソース配置に関する利用者の要望を反映させるなど、幅広い応用が期待されています。これらに共通する課題は、人の嗜好や要望をいかに制御システムへ適切に、かつ安全に反映させるかという点にあります。本研究では、言語情報を活用しながら、誤りなく信頼性の高い制御を実現するための方法の検討が進められています。

次に２つ目のトピックスとして、本手法をシステムとして実現するための構造について説明がありました。従来の自動制御では、制御対象に対して制御器が一方向に操作を行う構成が一般的です。一方、本研究では、対象を観測しているユーザーが「こうしてほしい」といった要望を言語で入力すると、その内容をインタプリタが解釈し、制御パラメータへと変換する仕組みを提案しています。ここで扱うパラメータには、例えば自動車の目標軌道や外乱の推定値（風の強さなど）、さらには安全マージン（子どもからは5m、大人からは3m離れるといった条件）などが含まれます。これらの制御仕様をパラメータとして表現し、柔軟に調整できるようにしています。また、基盤モデル（LLMなど）を活用することで、こうしたインターフェースを比較的容易に設計できる点も特徴です。ユーザーの発話はモデルによって高次元のベクトルに変換され、その情報をもとに分類器（例えばSVMなど）を用いて意図を解釈します。これにより、各パラメータの増減や調整の度合いを推定することが可能になります。推定された意図は、ローパスフィルタなどを用いて滑らかに制御パラメータへ反映されます。このようにして、人の言葉を安全かつ連続的に制御へ取り込むことができます。この仕組みにより、従来は固定的であった制御器に対し、人の言語入力を通じてリアルタイムに挙動を調整できる点が大きな特徴です。応用例の一つとして、自動車の協調運転が挙げられます。センサーの故障や学習データに含まれない稀な事象が発生した場合でも、オペレータが異常に気づき言語で介入することで、適切な回避行動へと誘導することが可能になります。さらに、航空管制への応用も紹介されました。到着時間の予測や航空機間の間隔維持、速度・高度制約といった条件のもとで、まず自動制御により最適な飛行ルートを生成します。そのうえで管制官から指示が与えられた場合には、直接対象となる航空機だけでなく、関連する他の航空機の状態も含めて自動的に調整が行われます。これにより、AI技術と制御技術を組み合わせることで安全性と最適性を両立した運用が実現されます。

最後のトピックスとして、仮想ネットワーク配置への応用について紹介がありました。本事例では、データセンターの選択や通信経路の決定といった問題を、離散最適化問題として定式化し、ユーザーの要望に応じた最適なリソース配置を実現します。例えば、「レイテンシーを下げたい」「CPUリソースを増やしたい」といった要求に対して、どのデータセンターを利用し、どの経路で接続するかを自動的に決定します。この仕組みにおいても、外部からの言語による指示を受けて制御内容を柔軟に変更することが可能となっており、AIを活用したインターフェース技術と、人の持つ曖昧な要望や最適性の判断を両立させるアプローチとなっています。
「Language-aided Control」のまとめとしては、自然言語による要求から制御システムを再構成できる点が強調されました。これにより、専門的な知識を持たないユーザーであっても、自らの要望を言葉で伝えることでシステムの挙動を調整することが可能になります。本技術は、ドライバー支援やオペレータ支援、さらには一般ユーザー向けの支援など、幅広い分野への応用が期待されています。また、人と機械がそれぞれの得意分野を担う「相補的（Complementary）」な関係に基づくインタラクションの形態としても位置づけられます。すなわち、精密で定量的な処理は機械が担い、嗜好や状況に応じた曖昧な判断は人が担うことで、両者の強みを活かした協働が実現されます。

続いて、「Language-aided State Estimation」について紹介が行われました。
日常生活における人の発話には、「少し水が足りない」「振動が多い」「風が強い」「道が混んでいる」といったように、環境の物理的な状態に関する情報が多く含まれています。本研究では、こうした言語情報を“センサー”として活用し、物理的なセンサーが十分に設置されていない環境においても状態推定を行うアプローチを提案しています。例えば、SNS上の投稿を活用して人流を推定することで、イベント時の事故予防や平時における効率的な誘導の実現につなげることが期待されています。こうした用途では、リアルタイムでの状態把握が重要となります。具体的な手法としては、あらかじめ対象となる環境の物理モデル（特定のエリアが混雑した場合の影響など）を構築したうえで、自然言語による観測情報（例：「進めない」）を取り込み、パーティクルフィルタと組み合わせて状態を推定します。言語情報は埋め込みベクトルに変換され、そこから抽出された特徴をもとに速度などの指標を推定し、モデルに反映します。数値実験では、複数区画からなる単線モデルを対象に、混雑密度や平均速度の推定を行い、本手法の有効性が検証されました。その結果、人の発話をセンサーとして取り入れることで、密度および速度の双方について推定精度が向上することが確認されています。
「Language-aided State Estimation」は、自然言語による観測情報と物理モデルを組み合わせて現実世界の状態を推定する技術であり、SNSのようにテキスト情報が豊富に存在する環境との高い親和性を持ちます。今後は、工場内での熟練者との連携による暗黙知の抽出や、設備の故障診断などへの応用も期待されています。

最後に、「Language Nudging」について紹介が行われました。
ここまでの内容が人から機械システムへ情報を伝えるアプローチであったのに対し、「Language Nudging」は逆に、機械から人へ情報を提示することで行動変容を促す取り組みです。人の意思決定は、同じ内容であっても表現の仕方によって影響を受けることが知られています。例えば、フォーマルかカジュアルかといったトーンの違いや、利益を強調する表現（メッセージフレーミング）などが行動に影響を与えることが、既存研究でも示されています。本研究では、こうした言語表現の違いをシステム制御の観点から捉え、テキストの表現を「操作量」として扱うことで、人の行動変容を誘導することを目指しています。この考え方を高速道路の交通流制御に応用し、渋滞状況に応じて動的にアナウンス文を生成する仕組みの検討を行いました。具体的には、渋滞に関する情報を基に、ポジティブ・ニュートラル・ネガティブといった表現や、その強弱、また時間的損失や経済的損失の強調の仕方などを変化させた複数の説明文を用意し、クラウドソーシングを通じて行動変容のデータを収集しました。その結果、説明文を提示することで行動変容の割合が増加することが確認され、言語表現が有効に機能することが示されました。一方で、ポジティブ・ネガティブの分類や文章量そのものよりも、強調表現の有無が行動変容に影響を与えることが明らかとなりました。これは、言語の工夫によって、より精緻な制御が可能となることを示唆しています。これらの知見をもとに、状況に応じてアナウンス内容を動的に変化させることで、人の行動を通じて社会システム全体の効率的な運用につなげる可能性が示されました。
「Language Nudging」は、言語表現の違いを活用して交通流の安定化を図る試みであり、ドライバーの無意識的な行動変容を促すナッジ型アプローチの一例です。現在は、視覚情報を活用した「ビジュアルナッジ」への展開も進められており、避難誘導など他分野への応用も期待されています。

本講演を通じて、人と機械が言語を介して柔軟に連携する新たなインタラクションの可能性が示されました。今後も本ユニットでは、AIとインターフェース技術を融合させ、人とシステムが協調しながら社会課題の解決に貢献する研究の推進が期待されます。