Hiromuブログ

最近はこちら(https://zenn.dev/hiromu)が本体

笛とHoloLensでドローンを飛ばす


笛とHoloLensでドローンを飛ばしてみた

GitHubにUnityプロジェクト一式を置きました。 github.com

開発環境

  • Unity 2017.4.16f1
  • HoloToolkit 2017.4.3.0

必要なもの

概要

概要は以下となります。

  1. 笛で音を鳴らす
  2. 鳴らした音の音階をHoloLensで検出する
  3. 音階に応じた命令をTELLOにUDP通信で送る

ポイント

  • HoloLensだけで操作できるようにエアタップで操作するボタンも配置しているので、笛がなくてもドローンとの接続 / 離陸 / 着陸だけはできます。

  • HoloLens内には検出した音の周波数と音階および周波数をビジュアル化したものも表示しています。

  • Unityエディタからもドローンを操作できるようになっています(通信の実装がUnityエディタとHoloLensで異なる)。

  • 音階の検出については以下のサイトなどが参考になると思います。 ibako-study.hateblo.jp
    音階の周波数

  • 必要なもの「笛」としていますが実際のところは音がなれば何でも大丈夫です。ピアノとか口笛とか。誤検出を少なくするために「3フレーム同じ音が続いたら命令と判断する」といった簡単な処理も入れています。 www.yamaha.com

その他

音に関するものとして以前以下のようなブログも書いているので興味のある方はぜひご参照ください。

www.hiromukato.com