たっち&びーぷ Connectの紹介
iPad/iPhoneアプリ『たっち&びーぷ Connect』は、2016年10月にリリースしたアプリ『たっち&びーぷ』の進化版です。
画面の構成・UIを刷新、各機能の位置付けを整理し、新しい機能を加えて2025年12月にリリースしました。
機能を限定したLite版もあります。
『たっち&びーぷ』については以前に以下のような記事を書いています。
当時から「iOS関連のデバイスを支援機器として活用するための研究の成果」としての色合いが濃いプロダクトでしたが、この立ち位置は現在も変わりません。
新しく加わったきょろきょろ操作、BLEコネクトセンターも、実際に支援の現場で活用しながら研究し、ブラッシュアップを重ねてきたものです。
この記事では新しく加わった機能も含めて、『たっち&びーぷ Connect』の概要についてご紹介していきます。
アプリの構成
アプリの構成としては大きく入力、出力、連携の3つのセクションに分かれます。
iPhoneやiPadは様々な機能が詰め込まれた小型コンピュータです。
演算処理能力に加え、様々なセンサーを搭載した高機能端末です。
個性的な操作方法を試したいユーザーのために、端末の様々な機能にアクセスできるようにする、というのがこのアプリの役割です。
また、マイコンのような極小端末とは異なり、大きな画面や音質の良いスピーカーを備えています。
これらはフィードバックの質を向上させ、操作の分かりやすさと支援現場での実用性を支えてくれています。
UIの工夫で操作は分かりやすくなりますし、フィードバック(画像や音声など)の質は操作の楽しさ・活動の魅力に繋がります。
前作の『たっち&びーぷ』はこれらの点が評価されたためか、特別支援教育の現場を中心に好評をいただき、60万本ほどインストールしていただきました。
現場から届いた活用例に以下のようなものがあります。
- タッチ操作による入力と録音音声による出力を組み合わせてVOCAのように活用。
- タッチ操作による入力と音+バックライト+振動による出力を組み合わせて因果関係の学習に活用。
- 音声操作による入力とMaBeeeによる連携および出力を組み合わせて乾電池玩具の操作に活用。
何より、「操作がシンプルで分かりやすい」というお声をたくさんいただいています。
入力:アクセシビリティ
タッチ操作
iPad/iPhoneでは当然の操作方法ですが、細かな調整が可能です。
一般的なアプリに比べてタッチ操作への感度を高めていて、手のひらで画面を叩くような触れ方でも反応します。
画面に手が触れたとき、画面から手が離れたときのいずれに反応するかを設定できます。
また、画面から手を持ちげることが難しい場合の操作方法もあります。
「もぞもぞとした動き」「スワイプ状の動き」という調整方法の選択肢もあります。
おすすめは「もぞもぞとした動き」です。
モーション操作
端末のモーションセンサーを活用した操作です。
端末の姿勢・傾きを検知します。
動作開始時と終了時の状態(傾き・姿勢)を学習させ、動作の中で同じ状態が再現されたときに操作されます。
勢いよく振って操作するわけではありません。
Nintendo Switchのコントローラーをイメージしていただくと分かりやすいかもしれません。
端末全体を動かす必要があるためiPadではなかなか実用性に乏しく、iPhoneでの活用を想定しています。
(開発時はiPod Touchという素晴らしいデバイスがあったのですが…)
以下に開発当初に作成したイメージ動画を掲載しておきます。
(現在はキャリブレーション手順を少し簡素化しています)
もしもし操作
端末のマイクを使用し、音量が一定レベルを超えると反応します。
音量だけを検知しているため、物音にも反応します。
外付けのマイク付きイヤホンを使用してマイクを口元に持ってくると、息を吹きることでも操作できます。
ただその場合、音はイヤホンからしか出ません。
iOSの仕様上、マイクとイヤホンは分離できないのですが、これができるようになったら呼気スイッチ+VOCAのようなことが簡単に実現できそうですね。
きょろきょろ操作
視線での操作ですが、いわゆる「視線入力」ではありません。
目を左右や上下に向けることで操作します。
画面内を見て操作するわけではなく、眼球を大きく動かすことで操作します。
この機能を上手に活用するためには、どのくらい目を動かすかの調整が重要です。
『たっち&びーぷ Connect』には下の画像のような調整用UIがあります。
カメラが眼球の方向を捉えているのですが、「オン」と「オフ」の境界線をそれぞれスライダーで設定する形式になっています。
眼球がオンのラインを超えるまで動いたら入力操作が行われます。
一度オン状態になると、オフのラインを超えるまで次のオンは入力できません。
スライダーの上にはよく見る場所が緑色で示されています。
どのあたりに目を動かしやすいのか第三者が見ても一目瞭然で、調整作業も進めやすくなります。
スイッチ操作
端末に接続したキーボードや福祉用スイッチで操作できます。
特定のキーではなく、英数字やEnter、Spaceなど、幅広いキーに対応しています。
出力:フィードバック
録音音声
録音した音声を再生できます。
効果音
効果音を再生できます。
50種類以上の中から自由に選択できます。
タイマー
入力操作があったタイミングでタイマーを始動します。
タイマーが始まったことが分かりづらいため、「再生前に入力確認音を鳴らす」や「待機時はバックライを暗く、再生時は明るくする」というオプションと組み合わせて使用するのがおすすめです。
バックライト
画面のバックライトを明るくします。
音がなると同時に画面が明るくなるため、入力操作後の端末の反応が分かりやすくなります。
振動(iPhoneのみ)
iPhone限定の機能です。
入力操作があったタイミングでiPhoneが震えます。
バックライト同様、入力操作後の端末の反応が分かりやすくなります。
連携:外部デバイス
前作『たっち&びーぷ』ではMaBeeeのみの対応でしたが、『たっち&びーぷ Connect』では新しくBLEデバイス全般に接続するための機能を開発しました。
BLEとはBluetooth Low Energyのことです。
昨今のBluetoothで使用できるIoT機器は多くがこの通信手段で接続が可能です。
(Bluetoothイヤホンなどは規格が異なります。)
この機能開発により、MaBeee以外に幅広いデバイスとの連携が可能になりました。
連携できるのはMESHやSwitchBot、micro:bitなど。
さらにさらに、2025年12月現在、OGIMOテック開発室さんの『アームワンダ』とのコラボ開発計画が進行中です!
リリース/アップデートをお楽しみに!
MaBeee接続
Bluetooth通信でノバルス社製の乾電池型IoT製品MaBeeeに接続し、出力の一つとして使用できます。
音声が流れている間(あるいはタイマーが動作している間)、MaBeeeが動作し電流が流れます。
MESH接続
Bluetooth通信で、SONY社製のIoTブロックMESHに接続できます。
MaBeeeと違い、こちらは入力方法の選択肢の一つとなります。
開発は水色の「動きブロック」を使用しています。
ブロックが振動や傾きを検知するとアプリに通知され、サウンドを鳴らすことができます。
MaBeeeとも併用可能です。
BLEコネクトセンター
近くにある様々なBLEデバイスを検索し、接続を試みることができます。
接続した機器に対して特定の文字列(コマンド)を送信することで、機器を操作することができます。
コマンドは録音や効果音の音の鳴り始めにAコマンドが送信され、鳴り終わりにBコマンドが送信されます。
タイマーを使っている場合は、タイマーの開始時と終了時にそれぞれのコマンドが送信されます。
Aコマンド、Bコマンドに使う文字列はアプリ内で編集できます。
接続したい機器によって定められたコマンドがあると思いますので、それを入力してください。
ある程度電子工作などの知識がある方向けの機能となります。
別記事でもう少し具体的な解説を試みる予定です。
おまけ〜マニアックな組み合わせ例〜
この記事を執筆するにあたり過去の自身の取り組みをいろいろと振り返っていたら、懐かしい動画が出てきました。
2018年に作成した、我が子に協力してもらった活用イメージ動画。
モーション操作とMaBeeeを組み合わせています。
MaBeeeと組み合わせてiOS端末を支援機器化するという試みは全国でもこれが初だったはず。
「MaBeeeを使うためにiOS端末を使う」という常識から「iOS端末を支援機器化するためにMaBeeeを使う」へのコペルニクス的転回。
iPadの高感度で安定したタッチスクリーンを福祉スイッチとして使いたいという思いに、実用レベルで応えたアイディアでした。
ちなみに、上の動画は更にMaBeeeからDCリレー、ACリレーと繋いで最終的にハンドミキサーを動かしています。
下の動画は、MaBeee、DCリレー、スイッチインタフェース(変わる君)と繋いでiPadを操作しています。