ビデオに基づく顔面の微表情分析：データセット、特徴量、アルゴリズムに関する研究

主要な章のタイトル一覧

1. 序論
2. マクロ表情とマイクロ表情の違い
3. マイクロ表情データセット
4. マイクロ表情の特徴
5. 検出アルゴリズム
6. 認識アルゴリズム
7. 応用シナリオ
8. 手法の比較
9. 将来の研究方向
10. 結論

ファイル概要

顔のマイクロ表情は、不随意で瞬間的な顔の動きとして、人間が隠そうとする本物の感情を明らかにすることができ、嘘発見や刑事捜査などの分野で重要な応用価値を持つ。識別しやすいマクロ表情とは異なり、マイクロ表情の持続時間はわずか0.065-0.5秒、強度が弱く、主観的な制御を受けないため、その自動検出と認識には多くの技術的課題があり、従来のマクロ表情分析方法を直接適用することは難しい。

本研究はまず、神経心理学的視点からマクロ表情とマイクロ表情の本質的な違いを明らかにし、これらがそれぞれ大脳皮質経路（随意制御）と皮質下経路（不随意トリガー）によって調節され、持続時間、動作強度、関与する顔領域などにおいて顕著な違いがあることを指摘する。これらの違いに基づき、研究は階層的な分析フレームワークを構築し、神経心理学的基盤、データセット、特徴抽出、検出アルゴリズム、認識アルゴリズム、応用シナリオ、評価体系の7つのコアモジュールを体系的に網羅している。

データセットに関して、研究はMEVIEW、SMIC、CASMEシリーズ、SAMMなど9つの代表的なデータセットの長所と短所を包括的に概観し、既存のデータセットにはサンプル数が少ない、感情カテゴリーが単一である、マクロ表情とマイクロ表情の対応関係が欠如しているなどの限界があることを指摘する。このため、研究は新たなデータセットMMEW（Micro-and-Macro Expression Warehouse）を提案・公開した。このデータセットはより多くの動画サンプル、より豊富な感情ラベルタイプを含み、同時に同一被験者のマクロ表情とマイクロ表情データを提供し、クロスモーダル研究の基盤を提供する。

技術的手法のレベルでは、研究はマイクロ表情分析のキーテクノロジーを体系的に分類・評価する：特徴抽出は時空間領域、周波数領域、テンソル分解、オプティカルフロー特徴の4大カテゴリを網羅し、検出アルゴリズムはオプティカルフロー法と特徴記述子法に分けられ、認識アルゴリズムは従来の分類、深層学習、転移学習の3種類の方法を含む。CAS(ME)²、SAMM、MMEWデータセットでの統一評価を通じて、研究はMDMDアルゴリズムがマイクロ表情検出で最も優れた性能を示し、一方TLCNN深層学習モデルが認識タスクで最高精度（MMEWデータセット69.4%、SAMMデータセット73.5%）を達成することを発見した。

研究はまた、同一被験者のマクロ表情データを用いた事前学習が、マイクロ表情認識性能を著しく向上させられることを検証し、マイクロ表情データセットのサンプル数不足という核心的問題を解決するための効果的な道筋を提供した。さらに、研究はマイクロ表情分析が嘘発見などの分野での応用価値を明確にし、それが従来の生理的検出手法の重要な補完として、欺瞞識別の精度向上に寄与し得ることを指摘する。

本研究は、マイクロ表情分析分野において、初めて包括的・体系的なレビューフレームワーク、統一的な評価ベンチマーク、新規データセットを提供するものであり、この分野の研究成果を統合するだけでなく、プライバシー保護、標準化されたデータセット構築、解釈可能なアルゴリズム開発などの将来の研究方向性を示しており、関連技術の学術研究と実用化を推進する上で重要な参考価値を持つ。