TOPマニュアル6.14.特殊アプリ操作
最終更新日 : 2023/01/18

6.14.特殊アプリ操作

特殊アプリ操作とは、ウィンドウズアプリを操作する事に特化したコマンド。アプリ内の様々なUI要素(ボタン、メニュー項目、ラジオボタン等)を、座標や形状関係なく認識し、操作できるのが特徴。UIAutomationという技術を使って実現している。
 特殊アプリ操作のコマンドを含んだシナリオを構築する際には、ミラロボの「UIキャプチャー」機能を利用する。UIキャプチャー機能とは、操作したいアプリのUI要素にマウスカーソルをあてる事で、そのUI要素を簡易的に記憶する機能である。特殊アプリ操作の全てのコマンド設定画面に、UIキャプチャーを開始するボタンが搭載されている。ボタンは、下記の形状をしている。

6.13-1.png

ボタンを押すと、下記のUIキャプチャーウィンドウが立ち上がり、UIキャプチャーモードに移行する。

6.13-2.png

UIキャプチャーモードでは、マウスと「CTRL」キーのみを利用する。マウスカーソルを操作対象のUI要素にあててCTRLキーを押すと、マウスカーソル直下のUI要素に赤い枠が表示される。赤い枠が表示されれば、そのUI要素が記憶された合図である。この状態でUIキャプチャーウィンドウの「OK」ボタンを押すと設定完了となり、特殊アプリ操作コマンドの各設定項目に対して、UI要素の識別データが自動的に書き込まれる。
 例として、マイクロソフトワードの「デザイン」タブ項目にマウスをあて、CTRLを押したものが下記画像である。この状態で上記画像のUIウィンドウにてOKボタンを押すと、「デザイン」のUI要素設定を自動で行い、コマンドにてクリック等をする事が可能になる。

6.13-3.png

特殊アプリ操作コマンドはWin32、WinForms、WPF、Metroなどのフレームワークで開発されたウィンドウズアプリを操作する事を得意とするが、それ以外のアプリも操作可能の場合がある。しかし、本機能と相性が悪いアプリも存在するため、本コマンドが利用できるかの判断については、実際にコマンド設定を行い動作するか試す必要がある。
 UIキャプチャーモードではUI要素5つの詳細情報を自動取得する。「操作対象」、「フレームワークID」、「クラス名」、「AutomationID」、「名称/ラベル」が対象である。
 「操作対象」とは、UI要素の種類である。「ボタン」や「メニュー項目」など例で、現在40種類ある。UIAutomationでは、コントロールタイプと同じものである。
 「フレームワークID」とは、そのUI要素が生成されたフレームワークの名称を指す。
 「クラス名」とは、操作対象のアプリ内においてのそのUI要素の種類である。
 「AutomationID」とは、そのUI要素の識別子である。
 「名称/ラベル」とは、そのUI要素に表示されているラベルの文言などである。

上記項目についてはUIキャプチャ―時に自動設定されるため、シナリオを簡単に組むことができる。これらの設定を手動で設定することもできるが、自動設定することができるため、初期状態では非表示としている。

関連する質問