Written by: on Fri Oct 17

Kathakali-Mudra_DINOv3 Vision Transformer

Meta社のDINOv3ビジョントランスフォーマーを用いて、カタカリ舞踊のムドラ(手のジェスチャー)を認識・分類するAIプロジェクト。

プロジェクトへ
カタカリ・プロジェクトのスクリーンショット
~1 MIN

Kathakali Mudra Recognition with DINOv3

Meta社のDINOv3 Vision Transformerを用いて、インドの伝統舞踊 カタカリ(Kathakali) の手の動き「ムドラ(Mudra)」を自動認識・分類するコンピュータビジョンプロジェクトです。
文化保存や学習支援を目的に、少量データでも高精度な分類を実現します。


✨ 特徴

  • 高精度なムドラ認識(片手・両手どちらにも対応)
  • DINOv3による強力な特徴抽出
  • 単一画像・バッチ・リアルタイム推論対応
  • 転移学習とモジュラー設計で拡張性抜群

⚙️ モデル構成

  • バックボーン: DINOv3 ViT-B/14 または ViT-L/14
  • 分類ヘッド: カスタムMLP
  • 入力サイズ: 224×224 または 518×518
  • フレームワーク: PyTorch, OpenCV

🚀 使い方

Subscribe to our newsletter!