Python + pywinauto로 데스크탑 GUI 자동화: MS UI 자동화와 친구가 되는 방법

파이썬 라이브러리 피윈오토 Windows에서 데스크탑 GUI 애플리케이션을 자동화하는 오픈 소스 프로젝트입니다. 지난 2년 동안 새로운 주요 기능이 등장했습니다.

• MS UI 자동화 기술을 지원합니다. 인터페이스는 동일하며 이제 WinForms, WPF, Qt5, Windows Store(UWP) 등 Windows에 있는 거의 모든 항목을 지원합니다.
• 백엔드/플러그인 시스템(현재 내부적으로 두 가지가 있음: 기본값) "win32" 그리고 새로운 "uia"). 그런 다음 크로스 플랫폼으로 원활하게 이동합니다.
• 마우스 및 키보드용 Win32 후크(pyHook 정신의 단축키).

또한 데스크톱 자동화를 위해 오픈 소스에서 사용할 수 있는 기능에 대한 간략한 개요를 제공합니다(심각한 비교를 가장하지 않고).

이 기사는 민스크에서 열린 SQA Days 20 컨퍼런스 보고서의 일부 사본입니다(비디오 녹화 и 슬라이드), 부분적으로 러시아어 버전 시작 설명서 pywinauto용.

• 주요 접근법
  • 좌표 방법
  • 참조 이미지 인식
  • 접근성 기술
• 기본 데스크탑 접근성 기술
  • 좋은 오래된 Win32 API
  • 마이크로소프트 UI 자동화
  • AT-SPI(리눅스)
  • Apple 접근성 API
• pywinauto를 시작하는 방법
  • 자동화를 위한 진입점
  • 창/요소 사양
  • 속성과 키를 통한 접근의 마법
  • 마법의 이름에 대한 다섯 가지 규칙

이 분야의 오픈 소스에 대한 간략한 개요부터 시작하겠습니다. 데스크탑 GUI 애플리케이션의 경우 모든 것이 Selenium이 있는 웹의 경우보다 다소 복잡합니다. 주요 접근 방식은 다음과 같습니다.

좌표 방법

클릭 포인트를 하드코딩하여 성공적인 히트를 기원합니다.
[+] 크로스 플랫폼으로 구현이 쉽습니다.
[+] 테스트 녹음을 "녹음-재생"하는 것은 쉽습니다.
[-] 화면 해상도, 테마, 글꼴, 창 크기 등을 변경하는 데 가장 불안정합니다.
[-] 막대한 지원 노력이 필요합니다. 테스트를 처음부터 다시 생성하거나 수동으로 테스트하는 것이 더 쉬운 경우가 많습니다.
[-] 작업만 자동화합니다. 데이터를 확인하고 검색하는 다른 방법이 있습니다.

도구(크로스 플랫폼): 자동 복사, PyAutoGUI, PyUserInput 그리고 많은 다른 사람들. 일반적으로 더 복잡한 도구에는 이 기능이 포함됩니다(항상 크로스 플랫폼인 것은 아님).

좌표 방법이 다른 접근법을 보완할 수 있다는 점은 말할 가치가 있습니다. 예를 들어, 사용자 정의 그래픽의 경우 상대 좌표(전체 화면이 아닌 창/요소의 왼쪽 상단 모서리에서)를 클릭할 수 있습니다. 이는 특히 그래픽의 길이/폭을 고려하는 경우 매우 안정적입니다. 전체 요소(그러면 다른 화면 해상도가 손상되지 않습니다).

또 다른 옵션: 테스트를 위해 안정적인 설정을 갖춘 머신 하나만 할당합니다(크로스 플랫폼은 아니지만 어떤 경우에는 좋습니다).

참조 이미지 인식

[+] 크로스 플랫폼
[+-] 상대적으로 안정적이지만(좌표 방법보다 좋음) 여전히 몇 가지 트릭이 필요합니다.
[-+] 상대적으로 느립니다. 왜냐하면 인식 알고리즘을 위해서는 CPU 리소스가 필요합니다.
[-] 문자 인식(OCR)은 원칙적으로 불가능합니다. => 문자 데이터를 얻을 수 없습니다. 내가 아는 한, 기존 OCR 솔루션은 이러한 유형의 작업에 그다지 신뢰할 수 없으며 널리 사용되지 않습니다(아직 그렇지 않은 경우 의견을 보내주시기 바랍니다).

도구 : Sikuli, 하인 (Sikuli 호환, 순수 Python), PyAutoGUI.

접근성 기술

[+] 가장 신뢰할 수 있는 방법입니다. 시스템이나 프레임워크에서 텍스트가 렌더링되는 방식에 관계없이 텍스트로 검색할 수 있습니다.
[+] 텍스트 데이터를 추출할 수 있습니다 => 테스트 결과를 더 쉽게 확인할 수 있습니다.
[+] 일반적으로 가장 빠릅니다. CPU 리소스를 거의 소모하지 않습니다.
[-] 크로스 플랫폼 도구를 만드는 것은 어렵습니다. 모든 오픈 소스 라이브러리는 하나 또는 두 개의 접근성 기술을 지원합니다. Windows/Linux/MacOS는 TestComplete, UFT 또는 Squish와 같은 유료 제품을 제외하고는 완벽하게 지원되지 않습니다.
[-] 이러한 기술은 원칙적으로 항상 사용 가능한 것은 아닙니다. 예를 들어 VirtualBox 내부의 로딩 화면을 테스트하는 것은 이미지 인식 없이는 불가능합니다. 그러나 많은 고전적인 경우에는 접근성 접근 방식이 여전히 적용 가능합니다. 이에 대해서는 더 자세히 논의하겠습니다.

도구 : 테스트스택.화이트 C#에서는 위니엄.데스크탑 C#(셀레늄 호환) MS 윈앱 드라이버 C#(Appium 호환), 피윈오토, 피아톰 (LDTP 호환) Python-UI자동화-Windows용, R자동화 루비에서는 LDTP (Linux Desktop Testing Project) 및 해당 Windows 버전 코브라.

LDTP는 아마도 접근성 기술을 기반으로 하는 유일한 크로스 플랫폼 오픈 소스 도구(보다 정확하게는 라이브러리 제품군)일 것입니다. 그러나 그다지 인기가 없습니다. 직접 사용해본 적은 없지만 리뷰에 따르면 인터페이스가 가장 편리하지 않습니다. 긍정적인 피드백이 있으시면 댓글로 공유해주세요.

백도어 테스트(실내 자전거라고도 함)

크로스 플랫폼 애플리케이션의 경우 개발자는 테스트 가능성을 보장하기 위해 내부 메커니즘을 만드는 경우가 많습니다. 예를 들어, 애플리케이션에서 서비스 TCP 서버를 생성하고, 이에 대한 연결을 테스트하고, 클릭할 항목, 데이터를 가져올 위치 등 텍스트 명령을 보냅니다. 신뢰할 수 있지만 보편적이지는 않습니다.

기본 데스크탑 접근성 기술

좋은 오래된 Win32 API

WPF 출시 이전에 작성된 대부분의 Windows 애플리케이션과 Windows 스토어는 어떤 방식으로든 Win32 API를 기반으로 구축되었습니다. 즉, MFC, WTL, C++ Builder, Delphi, VB6 등 이러한 모든 도구는 Win32 API를 사용합니다. Windows Forms도 대부분 Win32 API와 호환됩니다.

도구 : AutoIt을 (VB와 유사) 및 Python 래퍼 피오토잇, AutoHotkey를 (자신의 언어에는 IDispatch COM 인터페이스가 있습니다), 피윈오토 (파이썬) R자동화 (루비) win32-autogui (루비).

마이크로소프트 UI 자동화

주요 이점: MS UI 자동화 기술은 드문 경우를 제외하고 Windows에서 대부분의 GUI 응용 프로그램을 지원합니다. 문제: Win32 API보다 배우기가 그리 쉽지 않습니다. 그렇지 않으면 아무도 그 위에 포장지를 만들지 않을 것입니다.

실제로 이것은 사용자 정의 COM 인터페이스 세트입니다(주로 UIAutomationCore.dll), 다음 형식의 .NET 래퍼도 있습니다. namespace System.Windows.Automation. 그런데 일부 UI 요소가 누락될 수 있는 버그가 도입되었습니다. 따라서 UIAutomationCore.dll을 직접 사용하는 것이 더 좋습니다(C#의 UiaComWrapper에 대해 들어본 적이 있다면 이것이 바로 그것입니다).

COM 인터페이스 유형:

(1) 기본 IUknown – “모든 악의 근원”. 가장 낮은 수준이며 결코 사용자 친화적이지 않습니다.
(2) IDispatch 및 파생물(예: Excel.Application), win32com.client 패키지(pyWin32에 포함됨)를 사용하여 Python에서 사용할 수 있습니다. 가장 편리하고 아름다운 옵션입니다.
(3) 타사 Python 패키지와 함께 작동할 수 있는 사용자 정의 인터페이스 컴타입.

도구 : 테스트스택.화이트 C#에서는 피윈오토 0.6.0 +, 위니엄.데스크탑 C#에서는 Python-UI자동화-Windows용 (UIAutomationCore.dll에 대한 C 래퍼의 소스 코드는 공개되지 않습니다.) R자동화 루비에서.

AT-SPI

Linux 제품군의 거의 모든 축이 X Window 시스템(Fedora 25에서는 "X"가 Wayland로 변경됨)을 기반으로 구축되었음에도 불구하고 "X"를 사용하면 최상위 창과 마우스/ 건반. 버튼, 목록 상자 등에 대한 자세한 분석을 위해 AT-SPI 기술이 있습니다. 가장 널리 사용되는 창 관리자에는 응용 프로그램에 자동화된 GUI를 제공하는 소위 AT-SPI 레지스트리 데몬이 있습니다(적어도 Qt 및 GTK가 지원됨).

도구 : pyatspi2.

제 생각에는 pyatspi2에는 PyGObject와 같은 종속성이 너무 많이 포함되어 있습니다. 기술 자체는 일반 동적 라이브러리로 사용 가능 libatspi.so. 이있다 참조 설명서. pywinauto 라이브러리의 경우 libatspi.so 및 ctypes 모듈을 로드하는 방식으로 AT-SPI 지원을 구현할 계획입니다. GTK+와 Qt 애플리케이션의 경우 약간 다르기 때문에 필요한 버전을 사용하는 데에만 작은 문제가 있습니다. Linux를 완벽하게 지원하는 pywinauto 0.7.0이 2018년 상반기에 출시될 것으로 예상됩니다.

Apple 접근성 API

MacOS에는 자체 자동화 언어인 AppleScript가 있습니다. 물론 Python에서 이와 같은 것을 구현하려면 ObjectiveC의 함수를 사용해야 합니다. MacOS 10.6부터 pyobjc 패키지가 사전 설치된 Python에 포함되어 있는 것 같습니다. 이는 또한 pywinauto의 향후 지원을 위한 종속성을 나열하는 것을 더 쉽게 만듭니다.

도구: Apple 스크립트 언어 외에도 주목할 가치가 있습니다. 아토맥, 일명 pyatom. LDTP와 인터페이스 호환되지만 독립형 라이브러리이기도 합니다. 그것은 가지고있다 macOS의 iTunes 자동화 예, 내 학생이 쓴 것입니다. 알려진 문제가 있습니다: 유연한 타이밍이 작동하지 않습니다(메서드 waitFor*). 하지만 전반적으로 나쁜 것은 아닙니다.

pywinauto를 시작하는 방법

첫 번째 단계는 GUI 개체 검사기(스파이 도구라고 함)로 무장하는 것입니다. 요소의 계층 구조가 어떻게 구성되어 있는지, 어떤 속성을 사용할 수 있는지 등 내부에서 애플리케이션을 연구하는 데 도움이 됩니다. 가장 유명한 현장 조사관:

• 스파이++ - Express 또는 Community Edition을 포함한 Visual Studio에 포함되어 있습니다. Win32 API를 사용합니다. 그의 클론도 알려져 있습니다 AutoIt 창 정보.
• 검사.exe - Windows SDK에 포함되어 있습니다. 설치했다면 64비트 Windows에서는 폴더에서 찾을 수 있습니다. C:Program Files (x86)Windows Kits<winver>binx64. 인스펙터 자체에서 모드를 선택해야 합니다 UI 자동화 MS AA(UI 자동화의 조상인 Active Accessibility) 대신.

애플리케이션을 철저하게 검토한 후 사용할 백엔드를 선택합니다. Application 객체를 생성할 때 백엔드 이름을 지정하는 것으로 충분합니다.

• 백엔드=”win32″ — 기본적으로 사용되지만 MFC, WTL, VB6 및 기타 레거시 응용 프로그램과 잘 작동합니다.
• 백엔드=”uia” — MS UI 자동화를 위한 새로운 백엔드: WPF 및 WinForms와 완벽하게 작동합니다. Delphi 및 Windows Store 애플리케이션에도 적합합니다. Qt5 및 일부 Java 애플리케이션에서 작동합니다. 일반적으로 Inspect.exe가 요소와 해당 속성을 확인하는 경우 이 백엔드가 적합합니다. 원칙적으로 대부분의 브라우저는 UI 자동화도 지원합니다(Mozilla는 기본적으로 Chrome을 시작할 때 명령줄 키를 입력해야 합니다). --force-renderer-accessibilityInspect.exe의 페이지 요소를 보려면). 물론 이 분야에서 셀레늄과의 경쟁은 거의 불가능하다. 브라우저로 작업하는 또 다른 방법입니다(제품 간 시나리오에 유용할 수 있음).

자동화를 위한 진입점

응용 프로그램은 광범위하게 연구되었습니다. 이제 Application 객체를 생성하여 실행하거나 이미 실행 중인 객체에 연결할 차례입니다. 이것은 단지 표준 클래스의 복제가 아닙니다. subprocess.Popen, 즉 모든 작업을 프로세스 경계로 제한하는 입력 개체입니다. 이는 애플리케이션의 여러 인스턴스가 실행 중이지만 나머지 인스턴스는 건드리고 싶지 않은 경우 매우 유용합니다.

from pywinauto.application import Application
app = Application(backend="uia").start('notepad.exe')

# Опишем окно, которое хотим найти в процессе Notepad.exe
dlg_spec = app.UntitledNotepad
# ждем пока окно реально появится
actionable_dlg = dlg_spec.wait('visible')

여러 애플리케이션을 동시에 관리하고 싶다면 이 수업이 도움이 될 것입니다. Desktop. 예를 들어, Win10의 계산기에서 요소의 계층 구조는 여러 프로세스에 분산되어 있습니다(뿐만 아니라 calc.exe). 그래서 별거 없음 Desktop 충분하지 않습니다.

from subprocess import Popen
from pywinauto import Desktop

Popen('calc.exe', shell=True)
dlg = Desktop(backend="uia").Calculator
dlg.wait('visible')

루트 객체(Application 또는 Desktop)은 백엔드를 지정해야 하는 유일한 장소입니다. 다른 모든 것은 나중에 논의될 "사양->래퍼" 개념에 투명하게 속합니다.

창/요소 사양

이것이 pywinauto 인터페이스가 구축된 핵심 개념입니다. 창/요소가 아직 존재하지 않거나 이미 닫혀 있더라도 대략적으로 또는 더 자세히 설명할 수 있습니다. 창 사양(객체 창사양)은 실제 창이나 요소를 검색하는 기준을 저장합니다.

상세한 창 사양의 예:

>>> dlg_spec = app.window(title='Untitled - Notepad')

>>> dlg_spec
<pywinauto.application.WindowSpecification object at 0x0568B790>

>>> dlg_spec.wrapper_object()
<pywinauto.controls.win32_controls.DialogWrapper object at 0x05639B70>

창 검색 자체는 메소드를 호출하여 발생합니다. .wrapper_object(). 실제 창/요소에 대한 특정 "래퍼"를 반환하거나 오류를 발생시킵니다. ElementNotFoundError (때때로 ElementAmbiguousError, 여러 요소가 발견된 경우, 즉 검색 기준을 명확히 해야 합니다. 이 "래퍼"는 요소로 일부 작업을 수행하거나 해당 요소에서 데이터를 수신하는 방법을 이미 알고 있습니다.

Python은 호출을 숨길 수 있습니다 .wrapper_object()이므로 최종 코드가 더 짧아집니다. 디버깅 목적으로만 사용하는 것이 좋습니다. 다음 두 줄은 정확히 동일한 작업을 수행합니다.

dlg_spec.wrapper_object().minimize() # debugging
dlg_spec.minimize() # production

창 사양에 대한 검색 기준은 다양합니다. 다음은 몇 가지 예입니다.

# могут иметь несколько уровней
app.window(title_re='.* - Notepad$').window(class_name='Edit')

# можно комбинировать критерии (как AND) и не ограничиваться одним процессом приложения
dlg = Desktop(backend="uia").Calculator
dlg.window(auto_id='num8Button', control_type='Button')

가능한 모든 기준 목록은 함수 문서에 있습니다. pywinauto.findwindows.find_elements(…).

속성과 키를 통한 접근의 마법

Python을 사용하면 창 사양을 쉽게 만들고 객체 속성을 동적으로 인식할 수 있습니다. (메소드는 내부적으로 재정의됩니다.) __getattribute__). 물론 속성 이름에는 변수 이름과 동일한 제한이 적용됩니다(공백, 쉼표 또는 기타 특수 문자를 삽입할 수 없음). 다행스럽게도 pywinauto는 오타와 작은 변형에 강한 소위 "최적 일치" 검색 알고리즘을 사용합니다.

app.UntitledNotepad
# то же самое, что
app.window(best_match='UntitledNotepad')

여전히 유니코드 문자열(예: 러시아어의 경우), 공백 등이 필요한 경우 일반 사전인 것처럼 키로 액세스할 수 있습니다.

app['Untitled - Notepad']
# то же самое, что
app.window(best_match='Untitled - Notepad')

마법의 이름에 대한 다섯 가지 규칙

표준 마법 이름을 찾는 방법은 무엇입니까? 검색 전 요소에 할당된 것들입니다. 표준과 충분히 유사한 이름을 지정하면 해당 요소가 검색됩니다.

1. 제목(텍스트, 이름)별: app.Properties.OK.click()
2. 텍스트 및 요소 유형별: app.Properties.OKButton.click()
3. 유형 및 개수별: app.Properties.Button3.click() (이름 Button0 и Button1 발견된 첫 번째 요소에 바인딩됩니다. Button2 - 두 번째까지, 그리고 순서대로 - 이것이 역사적으로 일어난 일입니다)
4. 정적 텍스트(왼쪽 또는 위쪽) 및 유형별: app.OpenDialog.FileNameEdit.set_text("") (동적 텍스트가 있는 요소에 유용함)
5. 유형별 및 내부 텍스트별: app.Properties.TabControlSharing.select("General")

일반적으로 두 개 또는 세 개의 규칙이 동시에 적용되며 드물게 더 많이 적용됩니다. 각 요소에 사용 가능한 특정 이름을 확인하려면 다음 메소드를 사용할 수 있습니다. print_control_identifiers(). 화면과 파일 모두에 요소 트리를 인쇄할 수 있습니다. 각 요소에 대해 표준 마법 이름이 인쇄됩니다. 여기에서 하위 요소에 대한 보다 자세한 사양을 복사하여 붙여넣을 수도 있습니다. 스크립트의 결과는 다음과 같습니다.

app.Properties.child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13087", control_type="Edit")

요소 트리 자체는 일반적으로 다소 큰 족보입니다.

>>> app.Properties.print_control_identifiers()

Control Identifiers:

Dialog - 'Windows NT Properties'    (L688, T518, R1065, B1006)
[u'Windows NT PropertiesDialog', u'Dialog', u'Windows NT Properties']
child_window(data-gt-translate-attributes='["title"]' title="Windows NT Properties", control_type="Window")
   |
   | Image - ''    (L717, T589, R749, B622)
   | [u'', u'0', u'Image1', u'Image0', 'Image', u'1']
   | child_window(auto_id="13057", control_type="Image")
   |
   | Image - ''    (L717, T630, R1035, B632)
   | ['Image2', u'2']
   | child_window(auto_id="13095", control_type="Image")
   |
   | Edit - 'Folder name:'    (L790, T596, R1036, B619)
   | [u'3', 'Edit', u'Edit1', u'Edit0']
   | child_window(data-gt-translate-attributes='["title"]' title="Folder name:", auto_id="13156", control_type="Edit")
   |
   | Static - 'Type:'    (L717, T643, R780, B658)
   | [u'Type:Static', u'Static', u'Static1', u'Static0', u'Type:']
   | child_window(data-gt-translate-attributes='["title"]' title="Type:", auto_id="13080", control_type="Text")
   |
   | Edit - 'Type:'    (L790, T643, R1036, B666)
   | [u'4', 'Edit2', u'Type:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Type:", auto_id="13059", control_type="Edit")
   |
   | Static - 'Location:'    (L717, T669, R780, B684)
   | [u'Location:Static', u'Location:', u'Static2']
   | child_window(data-gt-translate-attributes='["title"]' title="Location:", auto_id="13089", control_type="Text")
   |
   | Edit - 'Location:'    (L790, T669, R1036, B692)
   | ['Edit3', u'Location:Edit', u'5']
   | child_window(data-gt-translate-attributes='["title"]' title="Location:", auto_id="13065", control_type="Edit")
   |
   | Static - 'Size:'    (L717, T695, R780, B710)
   | [u'Size:Static', u'Size:', u'Static3']
   | child_window(data-gt-translate-attributes='["title"]' title="Size:", auto_id="13081", control_type="Text")
   |
   | Edit - 'Size:'    (L790, T695, R1036, B718)
   | ['Edit4', u'6', u'Size:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Size:", auto_id="13064", control_type="Edit")
   |
   | Static - 'Size on disk:'    (L717, T721, R780, B736)
   | [u'Size on disk:', u'Size on disk:Static', u'Static4']
   | child_window(data-gt-translate-attributes='["title"]' title="Size on disk:", auto_id="13107", control_type="Text")
   |
   | Edit - 'Size on disk:'    (L790, T721, R1036, B744)
   | ['Edit5', u'7', u'Size on disk:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Size on disk:", auto_id="13106", control_type="Edit")
   |
   | Static - 'Contains:'    (L717, T747, R780, B762)
   | [u'Contains:1', u'Contains:0', u'Contains:Static', u'Static5', u'Contains:']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13088", control_type="Text")
   |
   | Edit - 'Contains:'    (L790, T747, R1036, B770)
   | [u'8', 'Edit6', u'Contains:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13087", control_type="Edit")
   |
   | Image - 'Contains:'    (L717, T773, R1035, B775)
   | [u'Contains:Image', 'Image3', u'Contains:2']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13096", control_type="Image")
   |
   | Static - 'Created:'    (L717, T786, R780, B801)
   | [u'Created:', u'Created:Static', u'Static6', u'Created:1', u'Created:0']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13092", control_type="Text")
   |
   | Edit - 'Created:'    (L790, T786, R1036, B809)
   | [u'Created:Edit', 'Edit7', u'9']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13072", control_type="Edit")
   |
   | Image - 'Created:'    (L717, T812, R1035, B814)
   | [u'Created:Image', 'Image4', u'Created:2']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13097", control_type="Image")
   |
   | Static - 'Attributes:'    (L717, T825, R780, B840)
   | [u'Attributes:Static', u'Static7', u'Attributes:']
   | child_window(data-gt-translate-attributes='["title"]' title="Attributes:", auto_id="13091", control_type="Text")
   |
   | CheckBox - 'Read-only (Only applies to files in folder)'    (L790, T825, R1035, B841)
   | [u'CheckBox0', u'CheckBox1', 'CheckBox', u'Read-only (Only applies to files in folder)CheckBox', u'Read-only (Only applies to files in folder)']
   | child_window(data-gt-translate-attributes='["title"]' title="Read-only (Only applies to files in folder)", auto_id="13075", control_type="CheckBox")
   |
   | CheckBox - 'Hidden'    (L790, T848, R865, B864)
   | ['CheckBox2', u'HiddenCheckBox', u'Hidden']
   | child_window(data-gt-translate-attributes='["title"]' title="Hidden", auto_id="13076", control_type="CheckBox")
   |
   | Button - 'Advanced...'    (L930, T845, R1035, B868)
   | [u'Advanced...', u'Advanced...Button', 'Button', u'Button1', u'Button0']
   | child_window(data-gt-translate-attributes='["title"]' title="Advanced...", auto_id="13154", control_type="Button")
   |
   | Button - 'OK'    (L814, T968, R889, B991)
   | ['Button2', u'OK', u'OKButton']
   | child_window(data-gt-translate-attributes='["title"]' title="OK", auto_id="1", control_type="Button")
   |
   | Button - 'Cancel'    (L895, T968, R970, B991)
   | ['Button3', u'CancelButton', u'Cancel']
   | child_window(data-gt-translate-attributes='["title"]' title="Cancel", auto_id="2", control_type="Button")
   |
   | Button - 'Apply'    (L976, T968, R1051, B991)
   | ['Button4', u'ApplyButton', u'Apply']
   | child_window(data-gt-translate-attributes='["title"]' title="Apply", auto_id="12321", control_type="Button")
   |
   | TabControl - ''    (L702, T556, R1051, B962)
   | [u'10', u'TabControlSharing', u'TabControlPrevious Versions', u'TabControlSecurity', u'TabControl', u'TabControlCustomize']
   | child_window(auto_id="12320", control_type="Tab")
   |    |
   |    | TabItem - 'General'    (L704, T558, R753, B576)
   |    | [u'GeneralTabItem', 'TabItem', u'General', u'TabItem0', u'TabItem1']
   |    | child_window(data-gt-translate-attributes='["title"]' title="General", control_type="TabItem")
   |    |
   |    | TabItem - 'Sharing'    (L753, T558, R801, B576)
   |    | [u'Sharing', u'SharingTabItem', 'TabItem2']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Sharing", control_type="TabItem")
   |    |
   |    | TabItem - 'Security'    (L801, T558, R851, B576)
   |    | [u'Security', 'TabItem3', u'SecurityTabItem']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Security", control_type="TabItem")
   |    |
   |    | TabItem - 'Previous Versions'    (L851, T558, R947, B576)
   |    | [u'Previous VersionsTabItem', u'Previous Versions', 'TabItem4']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Previous Versions", control_type="TabItem")
   |    |
   |    | TabItem - 'Customize'    (L947, T558, R1007, B576)
   |    | [u'CustomizeTabItem', 'TabItem5', u'Customize']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Customize", control_type="TabItem")
   |
   | TitleBar - 'None'    (L712, T521, R1057, B549)
   | ['TitleBar', u'11']
   |    |
   |    | Menu - 'System'    (L696, T526, R718, B548)
   |    | [u'System0', u'System', u'System1', u'Menu', u'SystemMenu']
   |    | child_window(data-gt-translate-attributes='["title"]' title="System", auto_id="MenuBar", control_type="MenuBar")
   |    |    |
   |    |    | MenuItem - 'System'    (L696, T526, R718, B548)
   |    |    | [u'System2', u'MenuItem', u'SystemMenuItem']
   |    |    | child_window(data-gt-translate-attributes='["title"]' title="System", control_type="MenuItem")
   |    |
   |    | Button - 'Close'    (L1024, T519, R1058, B549)
   |    | [u'CloseButton', u'Close', 'Button5']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Close", control_type="Button")

어떤 경우에는 전체 트리를 인쇄하는 것이 느릴 수 있지만(예를 들어 iTunes에서는 하나의 탭에 최대 3천 개의 요소가 있습니다!) 옵션을 사용할 수 있습니다. depth (깊이): depth=1 - 요소 자체, depth=2 - 직계 자녀만 해당됩니다. 생성 시 사양에서 지정할 수도 있습니다. child_window.

예

지속적으로 보충하고 있습니다 저장소의 예제 목록. 최근에는 WireShark 네트워크 분석기의 자동화에 주목할 가치가 있습니다(이것은 Qt5 애플리케이션의 좋은 예입니다. 이 작업은 GUI 없이도 해결할 수 있습니다. scapy.Sniffer Python 패키지에서 스 캐피). 리본 도구 모음을 사용한 MS 그림판 자동화의 예도 있습니다.

제 학생이 작성한 또 다른 훌륭한 예는 다음과 같습니다. Explorer.exe에서 Google 드라이브용 Chrome 페이지로 파일 드래그 (조금 후에 메인 저장소로 이동할 예정입니다.)

그리고 물론 키보드(단축키) 및 마우스 이벤트를 구독하는 예도 있습니다.
Hook_and_listen.py.

감사의 말

프로젝트 개발에 지속적으로 도움을 주시는 분들께 특별히 감사드립니다. 나와 성 발렌타인 이것은 영원한 취미입니다. UNN의 내 학생 중 두 명이 최근 이 주제에 대한 학사 학위를 옹호했습니다. 알렉산더 MS UI 자동화 지원에 큰 기여를 했으며 최근에는 텍스트 속성(가장 복잡한 기능)을 기반으로 한 "기록 재생" 원리를 기반으로 하는 자동 코드 생성기를 만들기 시작했습니다. 지금까지는 "uia" 백엔드에만 해당됩니다. 이반 AT-SPI(모듈) 기반의 새로운 Linux용 백엔드를 개발 중입니다. mouse и keyboard ~에 근거하여 파이썬-xlib - 이미 릴리스 0.6.x에 있음).

제가 Python으로 자동화에 대한 특강을 꽤 오랫동안 강의해 왔기 때문에 일부 석사 학생들은 자동화의 작은 기능이나 예제를 구현하는 숙제를 합니다. 연구 단계의 일부 핵심 사항도 한때 학생들에 의해 발굴되었습니다. 때로는 코드 품질을 엄격하게 모니터링해야 하는 경우도 있습니다. 약 95%의 코드 적용 범위를 갖춘 정적 분석기(QuantifiedCode, Codacy 및 Landscape)와 클라우드(AppVeyor 서비스)의 자동 테스트가 이에 많은 도움이 됩니다.

그리고 리뷰를 남겨주시고, 버그를 제기하시고, Pull Request를 보내주시는 모든 분들께도 감사드립니다!

추가 리소스

우리는 질문에 대한 후속 조치를 취합니다 StackOverflow의 태그 (최근에 등장한 SO 러시아어 버전의 태그) 그리고 토스터의 키워드로. 있다 Gitter의 러시아어 채팅.

매달 업데이트합니다 GUI 테스트를 위한 오픈 소스 라이브러리 등급. GitHub의 별 수와 관련하여 Autohotkey(매우 큰 커뮤니티와 오랜 역사를 가지고 있음)와 PyAutoGUI만이 더 빠르게 성장하고 있습니다. Python' 등).

출처 : habr.com