この Lesson では、テキスト検出を使って指定したテキストドラッグするシナリオを作成します。
ミニゲームを自動でクリアするシナリオを通じて、テキスト検出の基本操作を学びます。
以下のことを学ぶことができます。
✅️ テキスト検出ステップの使用方法
✅️ 検出対象間ドラッグの使用方法
1. シナリオの作成
今回の Lesson で使うシナリオを作成します。画面中央あたりにある「最初のシナリオを作成」をタップします。既にシナリオが１つ以上ある場合は、右下の + ボタンをタップしてシナリオを作成します。
シナリオに名前をつけて OK をタップします。シナリオの名前は、「Lesson 6」などわかりやすい名前にしておくと良いでしょう。
シナリオが作成されると、画面下部にシナリオコントローラという操作パネルが表示される状態になります。
2. 練習用アプリを開く
準備でダウンロードした TapEzy 練習用アプリを開きます。
アプリを開くと、各レッスン向け画面へのボタンを含んだホーム画面が表示されます。ホーム画面で「Lesson 6 テキスト検出」ボタンをタップします。
#Aなどの文字が書かれたカードが並んだ画面が表示されます。
この画面は、カードをドラッグで動かすことができます。同じカードを重ねると消えていき、全てのカードが消えるとクリアになるミニゲームになっています。
試しにカードをドラッグして動きを確認してください。
3. TapEzy でテキスト検出ステップを追加する
それではTapEzy で練習用アプリのミニゲームをクリアしてみましょう。
シナリオコントローラの + ボタンをタップして、「テキスト検出」のステップを追加します。
「テキスト検出」を選択すると、検出したいテキストを入力する画面が表示されます。
下記のように、#A、#B、#C を3行で入力します。これで、3つすべてのテキストが候補として設定されて検出できるようになります。#A #B #C はいずれも半角で入力してください。
#A
#B
#C
入力できたら「OK」で確定します。
ステップの追加が完了すると、ステップのリスト画面が開きますので、先ほど追加したステップが表示されていることを確認してください。
検出テキストの中心に赤い丸が確認できます。テキスト検出などの検出系のステップは、ステップ追加時点で検出した要素をタップする設定になっているため、このような表示になっています。
ステップリストは右下の「閉じる」ボタンをタップして閉じます。
4. 検出成功時にドラッグ操作を行う
検出系ステップはステップ追加時点では検出成功時に対象をタップする設定になっています。
これを、検出対象をドラッグして重ねる設定に変えていきます。
シナリオコントローラのリストボタンをタップして、ステップリストを表示します。
先ほど作成したテキスト検出ステップをタップしてステップ編集画面を開きます。
必要ならスクロールをして、検出成功時のアクションを確認します。今は「検出テキストをタップ」となっているので、これをドラッグ操作に変えていきます。まずは現在の検出テキストをタップを削除します。右にある3点リーダーをタップし、表示されるポップアップから「削除」を選択します。
確認ダイアログが表示されるので、再度「削除」をタップして確定します。
これで、検出成功時のアクションがなくなりました。
次に、検出したテキストをドラッグするアクションを追加していきます。検出成功時のアクションにある「アクションの追加」をタップします。
ステップ追加時と同じようなダイアログが表示されます。検出後のアクショングループにある、「検出したテキスト間でドラッグ」をタップします。
「検出したテキスト間でドラッグ」は、同じテキストが検出された時に一方から他方に向けてドラッグ操作を行います。
たとえば、 #A という文字が2つ検出された場合に、その一方からもう一方へ向けてドラッグされます。同じテキストが2つ以上表示されていることが前提です。
ドラッグの基点を選択する画面が表示されます。初期状態は検出された場所の中心が基点となっています。基点を変えることで、一方の検出された場所の左上から他方の左上へのドラッグ、といった調整も可能です。今回は中心で問題ないので、そのまま 「OK」をタップします。
これで、検出成功時のアクションが変更できました。検出成功時のアクションが、「検出したテキスト間でドラッグ」になっていることを確認します。
5. 検出範囲を設定する
このままテキスト検出を動かすこともできますが、検出範囲を設定しないと不要な場所（カード以外のテキストなど）でも検出を行ってしまい、誤検出が発生する可能性があります。
意図しない検出を防ぐために、テキスト検出を行う範囲を適切に設定しましょう。
テキスト検出のステップ編集画面を開き、検出範囲の設定を確認します。今は「全画面」となっているので、右にある✏️ボタンをタップして検出範囲を必要な部分に限定します。
検出範囲を設定する画面になったら、ドラッグで範囲を指定します。範囲をカードが並んでいる範囲に指定できたら、下部の「OK」をタップして確定します。
検出範囲が指定できたら、下部の OK をタップして検出範囲の設定を完了します。
6. シナリオを再生する
これでシナリオの作成は完了です。さっそく再生して、どのように動作するか確認してみましょう。
シナリオの再生はシナリオコントローラの ▶ ボタンを使います。
シナリオの再生を開始しようとすると、下記画像のような、ユーザーに画面の収録の許可を求めるダイアログが表示されます。
ご理解の上、「今すぐ開始」などをタップして先に進んでください。
シナリオ再生が開始すると自動的にカードをドラッグしてミニゲームを自動でクリアしていく様子が確認できます。
再生の停止は ■ ボタンで行います。
まとめ
この Lesson では、以下の内容を学びました：
- 画面に表示されているテキストを検出し、自動でドラッグするシナリオの作成
- テキスト検出ステップの追加方法と設定方法
- 検出対象間ドラッグの使用方法
- 検出範囲を指定して誤動作を防ぐ方法
シナリオを再生することで、特定のテキストをドラッグ操作によって自動で動かせることを確認できました。
より詳しい説明はそれぞれ下記にありますので、ここからさらに設定を変更する場合は参考にしてください。
