GitHubにUnityプロジェクト一式を置きました。 github.com
開発環境
- Unity 2017.4.16f1
- HoloToolkit 2017.4.3.0
必要なもの
- HoloLens
Tello(ドローン)
【国内正規品】 Ryze トイドローン Tello Powered by DJI
- 出版社/メーカー: DJI
- 発売日: 2018/03/30
- メディア: Camera
- この商品を含むブログ (3件) を見る
笛
ヤマハ YAMAHA ABS樹脂製 リコーダー ソプラノ ジャーマン式 YRS-27III
- 出版社/メーカー: ヤマハ(YAMAHA)
- メディア: エレクトロニクス
- この商品を含むブログ (1件) を見る
概要
概要は以下となります。
- 笛で音を鳴らす
- 鳴らした音の音階をHoloLensで検出する
- 音階に応じた命令をTELLOにUDP通信で送る
ポイント
HoloLensだけで操作できるようにエアタップで操作するボタンも配置しているので、笛がなくてもドローンとの接続 / 離陸 / 着陸だけはできます。
HoloLens内には検出した音の周波数と音階および周波数をビジュアル化したものも表示しています。
Unityエディタからもドローンを操作できるようになっています(通信の実装がUnityエディタとHoloLensで異なる)。
音階の検出については以下のサイトなどが参考になると思います。 ibako-study.hateblo.jp
音階の周波数必要なもの「笛」としていますが実際のところは音がなれば何でも大丈夫です。ピアノとか口笛とか。誤検出を少なくするために「3フレーム同じ音が続いたら命令と判断する」といった簡単な処理も入れています。 www.yamaha.com
その他
音に関するものとして以前以下のようなブログも書いているので興味のある方はぜひご参照ください。