Python + pywinauto でデスクトップ GUI を自動化する: MS UI Automation と友達になる方法

Pythonライブラリ pywinauto — は、Windows 上のデスクトップ GUI アプリケーションを自動化するためのオープン ソース プロジェクトです。過去 2 年間で、次のような新しい主要機能が追加されました。

• MS UI オートメーション テクノロジのサポート。インターフェースは同じですが、WinForms、WPF、Qt5、Windows ストア (UWP) など、Windows 上のほぼすべてのものがサポートされるようになりました。
• バックエンド/プラグインシステム（現在、内部には2つのシステムがあります：デフォルト "win32" иновый "uia"）。次に、クロスプラットフォームに向けて順調に進んでいます。
• マウスとキーボード用の Win32 フック (pyHook の精神に基づくホット キー)。

また、デスクトップ自動化用のオープン ソースで何が利用できるかについても簡単にレビューします (本格的な比較を主張するものではありません)。

この記事は、ミンスクで開催されたSQA Days 20カンファレンスのレポートの一部です（ビデオ録画 и スライド）、一部ロシア語版 入門ガイド pywinauto 用。

• 主な取り組み
  • 座標法
  • 参照画像の認識
  • アクセシビリティ技術
• 基本的なデスクトップアクセシビリティ技術
  • 古き良きWin32 API
  • Microsoft UI オートメーション
  • AT-SPI (Linux)
  • Apple アクセシビリティ API
• pywinauto の使い方
  • 自動化のエントリーポイント
  • ウィンドウ/要素仕様
  • 属性とキーによるアクセスの魔法
  • 魔法の名前の5つのルール

まず、この分野におけるオープンソースの概要を簡単に説明しましょう。デスクトップ GUI アプリケーションの場合、Selenium を使用する Web の場合よりも状況が少し複雑になります。主なアプローチは次のとおりです。

座標法

クリックポイントをハードコードして、ヒットが成功することを期待します。
[+] クロスプラットフォームで実装が簡単。
[+] テストの「記録再生」記録を簡単に作成できます。
[-] 画面解像度、テーマ、フォント、ウィンドウサイズなどの変更に対して最も不安定です。
[-] 多大なサポート作業が必要であり、テストを最初から再生成するか、手動でテストする方が簡単な場合がよくあります。
[-] アクションのみを自動化します。検証とデータ抽出には他の方法があります。

ツール（クロスプラットフォーム）： 検死, PyAutoGUI, Pyユーザー入力 その他多数。通常、より複雑なツールにはこの機能が含まれています (必ずしもクロスプラットフォームではありません)。

座標法は他のアプローチを補完できるということは言うまでもありません。たとえば、カスタム グラフィックの場合、相対座標 (画面全体ではなく、ウィンドウ/要素の左上隅から) をクリックできます。これは通常、特に要素全体の長さ/幅を考慮すると非常に信頼性が高くなります (画面解像度が異なっても問題はありません)。

別のオプション: テスト用に安定した設定のマシンを 1 台だけ割り当てる (クロスプラットフォームではありませんが、場合によっては適しています)。

参照画像の認識

[+] クロスプラットフォーム
[+-] 比較的信頼性が高い（座標方式よりも優れている）が、それでもトリックが必要です。
[-+] 認識アルゴリズムにCPUリソースが必要なため、比較的低速です。
[-] 原則としてテキスト認識（OCR）の話は出ません => テキストデータを取得することは不可能です。私の知る限り、既存の OCR ソリューションはこの種のタスクにはあまり信頼性が高くなく、広く使用されていません (まだそうでない場合はコメントをお待ちしています)。

ツール： シクリ, ラッキー (Sikuli 互換、純粋な Python)、 PyAutoGUI.

アクセシビリティ技術

[+] システムやフレームワークによってどのようにレンダリングされるかに関係なく、テキストで検索できるため、最も信頼性の高い方法です。
[+] テキスト データを抽出できるため、テスト結果の検証が容易になります。
[+] CPU リソースをほとんど消費しないため、通常は最も高速です。
[-] クロスプラットフォーム ツールを作成するのは困難です。すべてのオープン ソース ライブラリは、1 つまたは 2 つのアクセシビリティ テクノロジをサポートしています。 Windows/Linux/MacOS は、TestComplete、UFT、Squish などの有料のもの以外では完全にサポートされていません。
[-] この技術は原理的に常に利用できるとは限りません。たとえば、VirtualBox 内の起動画面をテストする場合、画像認識なしでは実行できません。しかし、多くの典型的なケースでは、アクセシビリティのアプローチは依然として適用可能です。これについては、今後さらにお話しします。

ツール： テストスタック.ホワイト C#では、 Winium.デスクトップ C#（Selenium互換）の場合、 MS WinAppDriver C#（Appium互換）の場合、 pywinauto, ピヤトム （LDTP互換）、 Windows 向け Python UIAutomation, Rオートメーション ルビーでは、 LDTP (Linuxデスクトップテストプロジェクト)とそのWindowsバージョン コブラ.

LDTP は、おそらくアクセシビリティ技術に基づいた唯一のクロスプラットフォームのオープンソース ツール (またはライブラリ ファミリ) です。しかし、あまり人気がありません。私自身はまだ使用していませんが、レビューによると、そのインターフェースはあまり便利ではないようです。肯定的なレビューがあれば、コメント欄で共有してください。

テストバックドア（別名インドアバイク）

クロスプラットフォーム アプリケーションの場合、開発者自身がテスト可能性を確保するための内部メカニズムを作成することがよくあります。たとえば、アプリケーション内にサービス TCP サーバーを作成し、テストでそのサーバーに接続して、何をクリックするか、どこからデータを取得するかなどのテキスト コマンドを送信します。信頼性は高いですが、汎用的ではありません。

基本的なデスクトップアクセシビリティ技術

古き良きWin32 API

WPF および Windows ストア以前に作成されたほとんどの Windows アプリケーションは、何らかの形で Win32 API 上に構築されていました。つまり、MFC、WTL、C++ Builder、Delphi、VB6 など、これらすべてのツールは Win32 API を使用します。 Windows フォームでも、Win32 API とほぼ互換性があります。

ツール： AutoItの (VBに似ている) および Python ラッパー ピオイト, AutoHotkeyを （独自の言語、IDispatch COMインターフェースがあります）、 pywinauto (パイソン) Rオートメーション （ルビー）、 win32-autogui （ルビー）。

Microsoft UI オートメーション

主な利点: MS UI Automation テクノロジーは、まれな例外を除いて、Windows 上の GUI アプリケーションの大部分をサポートします。問題: Win32 API よりも学習がそれほど簡単ではありません。そうでなければ、誰もそれをラップしないでしょう。

実際、これはカスタムCOMインターフェースのセットです（主に、 UIAutomationCore.dll）があり、.NETシェルも備えています。 namespace System.Windows.Automation。ちなみに、バグが導入されており、一部の UI 要素がスキップされる可能性があります。したがって、UIAutomationCore.dll を直接使用することをお勧めします (C# の UiaComWrapper について聞いたことがある場合は、それがそれです)。

COM インターフェイスの種類:

（１）基本的なことは「諸悪の根源」として知られています。最低レベルで、まったくユーザーフレンドリーではありません。
（２）IDispatch及びその派生商品（例： Excel.Application) は、win32com.client パッケージ (pyWin32 の一部) を使用して Python で使用できます。最も便利で美しいオプション。
（３）サードパーティのPythonパッケージが使用できるカスタムインターフェース コムタイプ.

ツール： テストスタック.ホワイト C#では、 pywinauto 0.6.0 +、 Winium.デスクトップ C#では、 Windows 向け Python UIAutomation (UIAutomationCore.dll 上の C ラッパーのソース コードは公開されていません) Rオートメーション Ruby で。

AT-SPI

ほぼすべての Linux ファミリーの軸は X Window System 上に構築されていますが (Fedora 25 では、「X」は Wayland に変更されました)、「X」ではトップレベルのウィンドウとマウス/キーボードのみを操作できます。ボタンやリスト ボックスなどの詳細な分析には、AT-SPI テクノロジがあります。最も一般的なウィンドウ マネージャーには、アプリケーションに自動化された GUI を提供する、いわゆる AT-SPI レジストリ デーモンがあります (少なくとも Qt と GTK はサポートされています)。

ツール： ぴゃっつぴ2.

私の意見では、pyatspi2 には同じ PyGObject のような依存関係が多すぎます。テクノロジー自体は、通常の動的ライブラリとして利用できます。 libatspi.so。付属 リファレンスマニュアル。 pywinauto ライブラリについては、libatspi.so と ctypes モジュールをロードすることによって、AT-SPI サポートを実装する予定です。 GTK+ と Qt アプリケーションでは若干異なるため、正しいバージョンを使用することには小さな問題しかありません。完全な Linux サポートを備えた pywinauto 0.7.0 のリリースは、2018 年前半に予定されています。

Apple アクセシビリティ API

MacOS には独自の自動化言語である AppleScript があります。 Python で同様のものを実装するには、もちろん ObjectiveC の関数を使用する必要があります。 MacOS 10.6 以降では、pyobjc パッケージがプリインストールされた Python に含まれているようです。これにより、将来の pywinauto サポートのために依存関係リストを維持しやすくなります。

ツール：Apple Script言語に加えて、注目に値するのは アトマック、別名 pyatom。 LDTP とインターフェース互換性がありますが、スタンドアロン ライブラリでもあります。載っている macOS での iTunes 自動化の例私の生徒が書いたものです。既知の問題があります: 柔軟なタイミング (方法) が機能しない waitFor*）。しかし、全体的には悪いことではありません。

pywinauto の使い方

最初にすべきことは、GUI オブジェクト インスペクター (いわゆるスパイ ツール) を装備することです。これは、要素の階層がどのように構造化されているか、どのようなプロパティが利用可能かなど、アプリケーションを内部から研究するのに役立ちます。最も有名な物体検査官:

• スパイ++ — Express または Community Edition を含む Visual Studio に含まれています。 Win32 API を使用します。彼のクローンも知られている AutoIt ウィンドウ情報.
• Inspect.exe — Windows SDK に含まれています。インストールしている場合は、64ビットWindowsでは次のフォルダにあります。 C:Program Files (x86)Windows Kits<winver>binx64。インスペクタ自体ではモードを選択する必要があります UIオートメーション MS AA (Active Accessibility、UI Automation の祖先) の代わりに。

アプリケーションを確認した後、使用するバックエンドを選択します。 Application オブジェクトを作成するときにバックエンド名を指定するだけで十分です。

• バックエンド=»win32″ - 現在デフォルトで使用されており、MFC、WTL、VB6、およびその他のレガシー アプリケーションで適切に動作します。
• バックエンド=»uia» — MS UI オートメーション用の新しいバックエンド: WPF および WinForms と完全に連携します。 Delphi および Windows ストア アプリにも適しています。 Qt5 および一部の Java アプリケーションで動作します。一般に、Inspect.exe が要素とそのプロパティを認識する場合、このバックエンドは適しています。原則として、ほとんどのブラウザは UI オートメーションもサポートしています (Mozilla はデフォルトで、Chrome は起動時にコマンドライン キーを入力する必要があります) --force-renderer-accessibility、Inspect.exe のページ上の要素を確認します。もちろん、この分野で Selenium と競争することはほとんど不可能です。ブラウザを操作するための別の方法です (クロスプロダクトのシナリオに役立つ可能性があります)。

自動化のエントリーポイント

アプリケーションは十分に研究されています。アプリケーション オブジェクトを作成して起動するか、すでに実行中のオブジェクトにアタッチします。これは標準クラスの単なるクローンではありません subprocess.Popenつまり、すべてのアクションをプロセスの境界に制限する入力オブジェクトです。これは、アプリケーションのインスタンスを複数実行していて、他のインスタンスには触れたくない場合に非常に便利です。

from pywinauto.application import Application
app = Application(backend="uia").start('notepad.exe')

# Опишем окно, которое хотим найти в процессе Notepad.exe
dlg_spec = app.UntitledNotepad
# ждем пока окно реально появится
actionable_dlg = dlg_spec.wait('visible')

複数のアプリケーションを一度に管理したい場合は、このクラスが役立ちます。 Desktop。例えば、Win10の電卓では、要素の階層が複数のプロセスにまたがっています（ calc.exe）。つまり、目的語がなければ Desktop 十分ではありません。

from subprocess import Popen
from pywinauto import Desktop

Popen('calc.exe', shell=True)
dlg = Desktop(backend="uia").Calculator
dlg.wait('visible')

ルートオブジェクト（Application または Desktop) は、バックエンドを指定する必要がある唯一の場所です。その他すべては、「仕様 -> ラッパー」という概念に透過的に適合します。これについては後で説明します。

ウィンドウ/要素仕様

これは、pywinauto インターフェースが構築される基本的な概念です。ウィンドウ/要素がまだ存在していないか、すでに閉じられている場合でも、おおよそまたはより詳細に記述できます。ウィンドウ仕様（オブジェクト ウィンドウ仕様) には、実際のウィンドウまたは要素を検索するための基準が格納されます。

詳細なウィンドウ仕様の例:

>>> dlg_spec = app.window(title='Untitled - Notepad')

>>> dlg_spec
<pywinauto.application.WindowSpecification object at 0x0568B790>

>>> dlg_spec.wrapper_object()
<pywinauto.controls.win32_controls.DialogWrapper object at 0x05639B70>

ウィンドウ検索自体はメソッドを呼び出すことによって行われる。 .wrapper_object()。実際のウィンドウ/要素の「ラッパー」を返すか、 ElementNotFoundError （時々 ElementAmbiguousError複数の要素が見つかった場合は、検索条件を絞り込む必要があります。この「ラッパー」は、要素を使用していくつかのアクションを実行する方法や、要素からデータを取得する方法をすでに認識しています。

Pythonは呼び出しを隠すことができる .wrapper_object()なので、最終的なコードは短くなります。デバッグ目的でのみ使用することをお勧めします。次の 2 行はまったく同じことを行います。

dlg_spec.wrapper_object().minimize() # debugging
dlg_spec.minimize() # production

ウィンドウ仕様には多くの検索条件があります。以下にいくつかの例を挙げます。

# могут иметь несколько уровней
app.window(title_re='.* - Notepad$').window(class_name='Edit')

# можно комбинировать критерии (как AND) и не ограничиваться одним процессом приложения
dlg = Desktop(backend="uia").Calculator
dlg.window(auto_id='num8Button', control_type='Button')

可能なすべての基準のリストは関数のドキュメントにあります。 pywinauto.findwindows.find_elements(…).

属性とキーによるアクセスの魔法

Pythonを使用すると、ウィンドウ仕様を簡単に作成でき、オブジェクト属性を動的に認識できます（メソッドは内部的にオーバーライドされます）。 __getattribute__）。もちろん、属性名にも変数名と同じ制限が適用されます (スペース、カンマ、その他の特殊文字を挿入することはできません)。幸いなことに、pywinauto は、タイプミスや小さな変化に対して堅牢な、いわゆる「ベストマッチ」検索アルゴリズムを使用します。

app.UntitledNotepad
# то же самое, что
app.window(best_match='UntitledNotepad')

それでも Unicode 文字列 (たとえば、ロシア語) やスペースなどが必要な場合は、キーでアクセスできます (通常の辞書のように)。

app['Untitled - Notepad']
# то же самое, что
app.window(best_match='Untitled - Notepad')

魔法の名前の5つのルール

標準的な魔法の名前を見つけるにはどうすればいいですか?検索前に要素に割り当てられているもの。参照に十分類似した名前を指定すると、要素が見つかります。

1. タイトル（テキスト、名前）別: app.Properties.OK.click()
2. テキストおよび要素タイプ別: app.Properties.OKButton.click()
3. タイプ別および数別: app.Properties.Button3.click() (名前 Button0 и Button1 最初に見つかった要素にバインドされ、 Button2 — 2番目、そして順番に — それが歴史的に起こったことです）
4. 静的テキスト（左または上）およびタイプ別: app.OpenDialog.FileNameEdit.set_text("") (動的テキストを含む要素に便利です)
5. タイプ別および内部のテキスト別: app.Properties.TabControlSharing.select("General")

通常、2 つまたは 3 つのルールが同時に適用されますが、それ以上適用されることはまれです。各要素にどのような名前があるのか​​を確認するには、次のメソッドを使用します。 print_control_identifiers()。要素のツリーを画面とファイルの両方に印刷できます。各要素ごとに、その参照魔法の名前が印刷されます。そこから子要素のより詳細な仕様をコピーして貼り付けることもできます。スクリプトの結果は次のようになります。

app.Properties.child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13087", control_type="Edit")

要素のツリー自体は、通常、かなり大きな布切れです。

>>> app.Properties.print_control_identifiers()

Control Identifiers:

Dialog - 'Windows NT Properties'    (L688, T518, R1065, B1006)
[u'Windows NT PropertiesDialog', u'Dialog', u'Windows NT Properties']
child_window(data-gt-translate-attributes='["title"]' title="Windows NT Properties", control_type="Window")
   |
   | Image - ''    (L717, T589, R749, B622)
   | [u'', u'0', u'Image1', u'Image0', 'Image', u'1']
   | child_window(auto_id="13057", control_type="Image")
   |
   | Image - ''    (L717, T630, R1035, B632)
   | ['Image2', u'2']
   | child_window(auto_id="13095", control_type="Image")
   |
   | Edit - 'Folder name:'    (L790, T596, R1036, B619)
   | [u'3', 'Edit', u'Edit1', u'Edit0']
   | child_window(data-gt-translate-attributes='["title"]' title="Folder name:", auto_id="13156", control_type="Edit")
   |
   | Static - 'Type:'    (L717, T643, R780, B658)
   | [u'Type:Static', u'Static', u'Static1', u'Static0', u'Type:']
   | child_window(data-gt-translate-attributes='["title"]' title="Type:", auto_id="13080", control_type="Text")
   |
   | Edit - 'Type:'    (L790, T643, R1036, B666)
   | [u'4', 'Edit2', u'Type:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Type:", auto_id="13059", control_type="Edit")
   |
   | Static - 'Location:'    (L717, T669, R780, B684)
   | [u'Location:Static', u'Location:', u'Static2']
   | child_window(data-gt-translate-attributes='["title"]' title="Location:", auto_id="13089", control_type="Text")
   |
   | Edit - 'Location:'    (L790, T669, R1036, B692)
   | ['Edit3', u'Location:Edit', u'5']
   | child_window(data-gt-translate-attributes='["title"]' title="Location:", auto_id="13065", control_type="Edit")
   |
   | Static - 'Size:'    (L717, T695, R780, B710)
   | [u'Size:Static', u'Size:', u'Static3']
   | child_window(data-gt-translate-attributes='["title"]' title="Size:", auto_id="13081", control_type="Text")
   |
   | Edit - 'Size:'    (L790, T695, R1036, B718)
   | ['Edit4', u'6', u'Size:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Size:", auto_id="13064", control_type="Edit")
   |
   | Static - 'Size on disk:'    (L717, T721, R780, B736)
   | [u'Size on disk:', u'Size on disk:Static', u'Static4']
   | child_window(data-gt-translate-attributes='["title"]' title="Size on disk:", auto_id="13107", control_type="Text")
   |
   | Edit - 'Size on disk:'    (L790, T721, R1036, B744)
   | ['Edit5', u'7', u'Size on disk:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Size on disk:", auto_id="13106", control_type="Edit")
   |
   | Static - 'Contains:'    (L717, T747, R780, B762)
   | [u'Contains:1', u'Contains:0', u'Contains:Static', u'Static5', u'Contains:']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13088", control_type="Text")
   |
   | Edit - 'Contains:'    (L790, T747, R1036, B770)
   | [u'8', 'Edit6', u'Contains:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13087", control_type="Edit")
   |
   | Image - 'Contains:'    (L717, T773, R1035, B775)
   | [u'Contains:Image', 'Image3', u'Contains:2']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13096", control_type="Image")
   |
   | Static - 'Created:'    (L717, T786, R780, B801)
   | [u'Created:', u'Created:Static', u'Static6', u'Created:1', u'Created:0']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13092", control_type="Text")
   |
   | Edit - 'Created:'    (L790, T786, R1036, B809)
   | [u'Created:Edit', 'Edit7', u'9']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13072", control_type="Edit")
   |
   | Image - 'Created:'    (L717, T812, R1035, B814)
   | [u'Created:Image', 'Image4', u'Created:2']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13097", control_type="Image")
   |
   | Static - 'Attributes:'    (L717, T825, R780, B840)
   | [u'Attributes:Static', u'Static7', u'Attributes:']
   | child_window(data-gt-translate-attributes='["title"]' title="Attributes:", auto_id="13091", control_type="Text")
   |
   | CheckBox - 'Read-only (Only applies to files in folder)'    (L790, T825, R1035, B841)
   | [u'CheckBox0', u'CheckBox1', 'CheckBox', u'Read-only (Only applies to files in folder)CheckBox', u'Read-only (Only applies to files in folder)']
   | child_window(data-gt-translate-attributes='["title"]' title="Read-only (Only applies to files in folder)", auto_id="13075", control_type="CheckBox")
   |
   | CheckBox - 'Hidden'    (L790, T848, R865, B864)
   | ['CheckBox2', u'HiddenCheckBox', u'Hidden']
   | child_window(data-gt-translate-attributes='["title"]' title="Hidden", auto_id="13076", control_type="CheckBox")
   |
   | Button - 'Advanced...'    (L930, T845, R1035, B868)
   | [u'Advanced...', u'Advanced...Button', 'Button', u'Button1', u'Button0']
   | child_window(data-gt-translate-attributes='["title"]' title="Advanced...", auto_id="13154", control_type="Button")
   |
   | Button - 'OK'    (L814, T968, R889, B991)
   | ['Button2', u'OK', u'OKButton']
   | child_window(data-gt-translate-attributes='["title"]' title="OK", auto_id="1", control_type="Button")
   |
   | Button - 'Cancel'    (L895, T968, R970, B991)
   | ['Button3', u'CancelButton', u'Cancel']
   | child_window(data-gt-translate-attributes='["title"]' title="Cancel", auto_id="2", control_type="Button")
   |
   | Button - 'Apply'    (L976, T968, R1051, B991)
   | ['Button4', u'ApplyButton', u'Apply']
   | child_window(data-gt-translate-attributes='["title"]' title="Apply", auto_id="12321", control_type="Button")
   |
   | TabControl - ''    (L702, T556, R1051, B962)
   | [u'10', u'TabControlSharing', u'TabControlPrevious Versions', u'TabControlSecurity', u'TabControl', u'TabControlCustomize']
   | child_window(auto_id="12320", control_type="Tab")
   |    |
   |    | TabItem - 'General'    (L704, T558, R753, B576)
   |    | [u'GeneralTabItem', 'TabItem', u'General', u'TabItem0', u'TabItem1']
   |    | child_window(data-gt-translate-attributes='["title"]' title="General", control_type="TabItem")
   |    |
   |    | TabItem - 'Sharing'    (L753, T558, R801, B576)
   |    | [u'Sharing', u'SharingTabItem', 'TabItem2']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Sharing", control_type="TabItem")
   |    |
   |    | TabItem - 'Security'    (L801, T558, R851, B576)
   |    | [u'Security', 'TabItem3', u'SecurityTabItem']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Security", control_type="TabItem")
   |    |
   |    | TabItem - 'Previous Versions'    (L851, T558, R947, B576)
   |    | [u'Previous VersionsTabItem', u'Previous Versions', 'TabItem4']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Previous Versions", control_type="TabItem")
   |    |
   |    | TabItem - 'Customize'    (L947, T558, R1007, B576)
   |    | [u'CustomizeTabItem', 'TabItem5', u'Customize']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Customize", control_type="TabItem")
   |
   | TitleBar - 'None'    (L712, T521, R1057, B549)
   | ['TitleBar', u'11']
   |    |
   |    | Menu - 'System'    (L696, T526, R718, B548)
   |    | [u'System0', u'System', u'System1', u'Menu', u'SystemMenu']
   |    | child_window(data-gt-translate-attributes='["title"]' title="System", auto_id="MenuBar", control_type="MenuBar")
   |    |    |
   |    |    | MenuItem - 'System'    (L696, T526, R718, B548)
   |    |    | [u'System2', u'MenuItem', u'SystemMenuItem']
   |    |    | child_window(data-gt-translate-attributes='["title"]' title="System", control_type="MenuItem")
   |    |
   |    | Button - 'Close'    (L1024, T519, R1058, B549)
   |    | [u'CloseButton', u'Close', 'Button5']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Close", control_type="Button")

場合によっては、ツリー全体を印刷すると遅くなることがあります（たとえば、iTunesでは1つのタブに3000もの要素があります！）が、パラメータを使用して depth （深さ）： depth=1 — 要素自体、 depth=2 - 直系の子供のみ、など。作成時に仕様書に指定することもできます child_window.

例

常に補充しています リポジトリ内の例のリスト。最新のものの中では、WireSharkネットワークアナライザーの自動化が注目に値します（これはQt5アプリケーションの良い例です。ただし、このタスクはGUIがなくても解決できます。 scapy.Sniffer Pythonパッケージから スケイピー）。リボン ツールバーを使用した MS ペイントの自動化の例もあります。

私の生徒が書いたもう一つの素晴らしい例: explorer.exe から Google ドライブの Chrome ページにファイルをドラッグする (少し後でメインリポジトリに移行します)。

そしてもちろん、キーボード (ホットキー) とマウス イベントをサブスクライブする例:
フックとリッスン.py.

感謝

プロジェクトの開発に常に協力してくださっている方々に特に感謝します。私にとって、そして バレンタイン これは永遠の趣味です。最近、UNN の私の学生 2 人がこのテーマで学士論文を発表しました。 アレクサンダー MS UI Automation のサポートに大きく貢献し、最近ではテキスト プロパティに基づく「記録再生」原則に基づく自動コード ジェネレーターの作成を開始しました (これが最も複雑な機能です)。これまでのところ、対象は「uia」バックエンドのみです。 イワン AT-SPI（モジュール）をベースにした新しいLinuxバックエンドを開発 mouse и keyboard に基づいて Python-xlib (リリース 0.6.x ではすでに実装されています)。

私はかなり長い間、Python での自動化に関する特別コースを教えてきたので、修士課程の学生の中には、小さな機能や自動化の例を実装する宿題をする人もいます。研究段階の重要な事柄も、かつては学生たちによって発掘されたものでした。ただし、コードの品質を厳密に監視する必要がある場合もあります。この点では、コード カバレッジが約 95% の静的アナライザー (QuantifiedCode、Codacy、Landscape) とクラウド内の自動テスト (AppVeyor サービス) が非常に役立ちます。

また、レビューを残したり、バグを報告したり、プルリクエストを送信したりしてくださった皆様にも感謝いたします。

追加リソース

私たちは問題を監視しています StackOverflowのタグ （最近登場した SOのロシア語版のタグ）そして、 トースターのキーワードで。 あります Gitterでのロシア語チャット.

毎月更新します GUIテスト用オープンソースライブラリの評価。 GitHub のスターの数で言えば、Autohotkey (非常に大きなコミュニティと長い歴史を持つ) と PyAutoGUI (主に著者 Al Sweigart の書籍「Automate the Boring Stuff with Python」などの人気による) のみが、より速く成長しています。

出所： habr.com