დესკტოპის GUI-ს ავტომატიზაცია Python + pywinauto-ში: როგორ დავუმეგობრდეთ MS UI Automation-ს

პითონის ბიბლიოთეკა პივინავტო — это open source проект по автоматизации десктопных GUI приложений на Windows. За последние два года в ней появились новые крупные фичи:

• Поддержка технологии MS UI Automation. Интерфейс прежний, и теперь поддерживаются: WinForms, WPF, Qt5, Windows Store (UWP) и так далее — почти все, что есть на Windows.
• backends/plugins-ის სისტემა (ამჟამად არის ორი მათგანი ქუდის ქვეშ: ნაგულისხმევი "win32" და ახალი "uia"). შემდეგ შეუფერხებლად მივდივართ კროს-პლატფორმაზე.
• Win32 კაკვები მაუსისა და კლავიატურისთვის (ცხელი კლავიშები pyHook-ის სულისკვეთებით).

ჩვენ ასევე მივცემთ მოკლე მიმოხილვას, თუ რა არის ხელმისაწვდომი დესკტოპის ავტომატიზაციისთვის ღია წყაროში (სერიოზული შედარების გარეშე).

ეს სტატია არის მოხსენების ნაწილობრივი ჩანაწერი მინსკში SQA Days 20 კონფერენციიდან (ვიდეოჩანაწერი и სლაიდები), ნაწილობრივ რუსული ვერსია ნაცნობობა გზამკვლევი პივინავტოსთვის.

• ძირითადი მიდგომები
  • კოორდინაციის მეთოდი
  • საცნობარო სურათის ამოცნობა
  • ხელმისაწვდომობის ტექნოლოგია
• დესკტოპის ხელმისაწვდომობის ძირითადი ტექნოლოგიები
  • ძველი კარგი Win32 API
  • Microsoft UI ავტომატიზაცია
  • AT-SPI (Linux)
  • Apple Accessibility API
• როგორ დავიწყოთ pywinauto
  • შესვლის პუნქტები ავტომატიზაციისთვის
  • ფანჯრის/ელემენტის სპეციფიკაციები
  • ატრიბუტისა და გასაღებით წვდომის მაგია
  • ჯადოსნური სახელების ხუთი წესი

დავიწყოთ ამ სფეროში ღია წყაროს მოკლე მიმოხილვით. დესკტოპის GUI აპლიკაციებისთვის, ყველაფერი გარკვეულწილად უფრო რთულია, ვიდრე ვებზე, რომელსაც აქვს სელენი. აქ არის ძირითადი მიდგომები:

კოორდინაციის მეთოდი

დაწკაპუნების ქულების მყარი კოდირება, ჩვენ იმედი გვაქვს, რომ წარმატებული იქნება.
[+] ჯვარედინი პლატფორმა, მარტივი განხორციელება.
[+] სატესტო ჩანაწერების „ჩაწერა-გამეორება“ მარტივია.
[-] ყველაზე არასტაბილურია ეკრანის გარჩევადობის, თემის, შრიფტების, ფანჯრების ზომის და ა.შ.
[-] საჭიროა უზარმაზარი მხარდაჭერის ძალისხმევა; ხშირად უფრო ადვილია ტესტების რეგენერაცია ნულიდან ან ხელით ტესტირება.
[-] ახდენს მხოლოდ მოქმედებების ავტომატიზირებას; არსებობს მონაცემების გადამოწმებისა და აღდგენის სხვა მეთოდები.

ინსტრუმენტები (ჯვარედინი პლატფორმა): ავტოპია, PyAutoGUI, PyUserInput და მრავალი სხვა. როგორც წესი, უფრო რთული ხელსაწყოები მოიცავს ამ ფუნქციონირებას (ყოველთვის არ არის ჯვარედინი პლატფორმა).

აღსანიშნავია, რომ კოორდინატთა მეთოდს შეუძლია შეავსოს სხვა მიდგომები. მაგალითად, მორგებული გრაფიკისთვის, შეგიძლიათ დააწკაპუნოთ შედარებით კოორდინატებზე (ფანჯრის/ელემენტის ზედა მარცხენა კუთხიდან და არა მთელ ეკრანზე) - ეს ჩვეულებრივ საკმაოდ საიმედოა, განსაკუთრებით თუ გავითვალისწინებთ სიგრძეს/სიგანეს. მთელი ელემენტი (მაშინ ეკრანის სხვადასხვა გარჩევადობა არ დააზარალებს).

კიდევ ერთი ვარიანტი: გამოყავით მხოლოდ ერთი მანქანა სტაბილური პარამეტრებით ტესტირებისთვის (არა ჯვარედინი პლატფორმა, მაგრამ ზოგიერთ შემთხვევაში ეს კარგია).

საცნობარო სურათის ამოცნობა

[+] ჯვარედინი პლატფორმა
[+-] შედარებით საიმედო (უკეთესი ვიდრე კოორდინატთა მეთოდი), მაგრამ მაინც მოითხოვს გარკვეულ ხრიკებს.
[-+] შედარებით ნელი, იმიტომ მოითხოვს CPU რესურსებს ამოცნობის ალგორითმებისთვის.
[-] ტექსტის ამოცნობა (OCR), როგორც წესი, გამორიცხულია => ტექსტის მონაცემების მიღება შეუძლებელია. რამდენადაც მე ვიცი, არსებული OCR გადაწყვეტილებები არ არის ძალიან სანდო ამ ტიპის ამოცანებისთვის და არ არის ფართოდ გამოყენებული (მოგესალმებით კომენტარებში, თუ ეს უკვე ასე არ არის).

ინსტრუმენტები: სიკული, ლეკი (Sikuli-თავსებადი, სუფთა პითონი), PyAutoGUI.

ხელმისაწვდომობის ტექნოლოგია

[+] ყველაზე საიმედო მეთოდი, რადგან საშუალებას გაძლევთ მოძებნოთ ტექსტის მიხედვით, მიუხედავად იმისა, თუ როგორ არის იგი გადმოცემული სისტემის ან ჩარჩოს მიერ.
[+] გაძლევთ საშუალებას ამოიღოთ ტექსტური მონაცემები => უფრო ადვილია ტესტის შედეგების გადამოწმება.
[+] როგორც წესი, ყველაზე სწრაფი, იმიტომ თითქმის არ მოიხმარს CPU რესურსებს.
[-] Тяжело сделать кросс-платформенный инструмент: абсолютно все open-source библиотеки поддерживают одну-две accessibility технологии. Windows/Linux/MacOS целиком не поддерживает никто, кроме платных типа TestComplete, UFT или Squish.
[-] ასეთი ტექნოლოგია პრინციპში ყოველთვის არ არის ხელმისაწვდომი. მაგალითად, ჩატვირთვის ეკრანის ტესტირება VirtualBox-ში - ეს შეუძლებელია გამოსახულების ამოცნობის გარეშე. მაგრამ ბევრ კლასიკურ შემთხვევაში, ხელმისაწვდომობის მიდგომა კვლავ გამოიყენება. ეს შემდგომში იქნება განხილული.

ინსტრუმენტები: TestStack.White C#-ში, Winium.Desktop C#-ში (სელენი თავსებადი), MS WinApp დრაივერი C#-ში (Appium თავსებადი), პივინავტო, პიატომი (LDTP თავსებადი) Python-UIAutomation-for-Windows, ავტომატიზაცია რუბიში, LDTP (Linux Desktop Testing Project) и его Windows ვერსია Cobra.

LDTP არის ალბათ ერთადერთი პლატფორმა ღია წყაროს ინსტრუმენტი (უფრო ზუსტად, ბიბლიოთეკების ოჯახი), რომელიც დაფუძნებულია ხელმისაწვდომობის ტექნოლოგიებზე. თუმცა, ის არც თუ ისე პოპულარულია. მე თვითონ არ გამომიყენებია, მაგრამ მიმოხილვების მიხედვით, მისი ინტერფეისი არ არის ყველაზე მოსახერხებელი. თუ თქვენ გაქვთ დადებითი გამოხმაურება, გთხოვთ გააზიაროთ იგი კომენტარებში.

სატესტო უკანა კარი (ანუ შიდა ველოსიპედი)

კროს-პლატფორმული აპლიკაციებისთვის, თავად დეველოპერები ხშირად ქმნიან შიდა მექანიზმს ტესტირების უზრუნველსაყოფად. მაგალითად, აპლიკაციაში ქმნიან სერვისის TCP სერვერს, უკავშირდებიან მას ტესტები და უგზავნიან ტექსტურ ბრძანებებს: რაზე დააწკაპუნოთ, სად მიიღოთ მონაცემები და ა.შ. საიმედო, მაგრამ არა უნივერსალური.

დესკტოპის ხელმისაწვდომობის ძირითადი ტექნოლოგიები

ძველი კარგი Win32 API

ყველაზე Windows приложений, написанных до выхода WPF и затем Windows Store, построены так или иначе на Win32 API. А именно, MFC, WTL, C++ Builder, Delphi, VB6 — все эти инструменты используют Win32 API. Даже Windows Forms — в значительной степени Win32 API совместимые.

ინსტრუმენტები: სახურავზე (მსგავსი VB) და Python wrapper pyautoit, AutoHotkey (საკუთარი ენა, არის IDispatch COM ინტერფეისი), პივინავტო (პითონი) ავტომატიზაცია (რუბი) win32-autogui (რუბი).

Microsoft UI ავტომატიზაცია

Главный плюс: технология MS UI Automation поддерживает подавляющее большинство GUI приложений на Windows за редкими исключениями. Проблема: она не сильно легче в изучении, чем Win32 API. Иначе никто бы не делал оберток над ней.

სინამდვილეში, ეს არის პერსონალური COM ინტერფეისების ნაკრები (ძირითადად UIAutomationCore.dll), და ასევე აქვს .NET wrapper ფორმაში namespace System.Windows.Automation. სხვათა შორის, მას აქვს დანერგილი შეცდომა, რის გამოც ზოგიერთი UI ელემენტი შეიძლება გამოტოვოთ. ამიტომ, უმჯობესია გამოიყენოთ UIAutomationCore.dll პირდაპირ (თუ გსმენიათ UiaComWrapper-ის შესახებ C#-ში, მაშინ ეს არის).

COM ინტერფეისის ტიპები:

(1) ძირითადი IUცნობილი - „ყოველი ბოროტების ფესვი“. ყველაზე დაბალი დონე, არასოდეს მოსახერხებელი.
(2) IDispatch და წარმოებულები (მაგ Excel.Application), რომლის გამოყენება შესაძლებელია Python-ში win32com.client პაკეტის გამოყენებით (მოყვება pyWin32). ყველაზე მოსახერხებელი და ლამაზი ვარიანტი.
(3) მორგებული ინტერფეისები, რომლებთანაც შეუძლია მუშაობა მესამე მხარის Python-ის პაკეტს კომტიპები.

ინსტრუმენტები: TestStack.White C#-ში, პივინავტო 0.6.0+, Winium.Desktop C#-ში, Python-UIAutomation-for-Windows (მათი წყაროს კოდი C შეფუთვებისთვის UIAutomationCore.dll-ზე არ არის გამჟღავნებული), ავტომატიზაცია რუბიში.

AT-SPI

Несмотря на то, что почти все оси семейства Linux построены на X Window System (в Fedora 25 «иксы» поменяли на Wayland), «иксы» позволяют оперировать только окнами верхнего уровня и мышью/клавиатурой. Для детального разбора по кнопкам, лист боксам и так далее — существует технология AT-SPI. У самых популярных оконных менеджеров есть так называемый AT-SPI registry демон, который и обеспечивает для приложений автоматизируемый GUI (как минимум поддерживаются Qt и GTK).

ინსტრუმენტები: პიატსპი2.

pyatspi2, ჩემი აზრით, შეიცავს ძალიან ბევრ დამოკიდებულებას, როგორიცაა PyGObject. თავად ტექნოლოგია ხელმისაწვდომია როგორც ჩვეულებრივი დინამიური ბიბლიოთეკა libatspi.so. Იქ არის ცნობარი სახელმძღვანელო. Для библиотеки pywinauto планируем реализовать поддержку AT-SPI имеено так: через загрузку libatspi.so и модуль ctypes. Есть небольшая проблема только в использовании нужной версии, ведь для GTK+ и Qt приложений они немного разные. Вероятный выпуск pywinauto 0.7.0 с полноценной поддержкой Linux можно ожидать в первой половине 2018-го.

Apple Accessibility API

MacOS-ს აქვს საკუთარი ავტომატიზაციის ენა, AppleScript. Python-ში მსგავსი რამის განსახორციელებლად, რა თქმა უნდა, თქვენ უნდა გამოიყენოთ ფუნქციები ObjectiveC-დან. როგორც ჩანს, MacOS 10.6-ით დაწყებული, pyobjc პაკეტი შედის წინასწარ დაინსტალირებულ Python-ში. ეს ასევე გააადვილებს დამოკიდებულებების ჩამოთვლას pywinauto-ში მომავალი მხარდაჭერისთვის.

ინსტრუმენტები: გარდა Apple Script ენისა, ღირს ყურადღების მიქცევა ATOMac, იგივე პიატომი. ეს არის LDTP-თან თავსებადი ინტერფეისი, მაგრამ ასევე არის დამოუკიდებელი ბიბლიოთეკა. Მას აქვს iTunes ავტომატიზაციის მაგალითი macO-ებზეჩემი სტუდენტის მიერ დაწერილი. ცნობილია პრობლემა: მოქნილი ვადები არ მუშაობს (მეთოდები waitFor*). მაგრამ მთლიანობაში ცუდი არ არის.

როგორ დავიწყოთ pywinauto

პირველი ნაბიჯი არის შეიარაღება GUI ობიექტის ინსპექტორით (რასაც ჰქვია Spy tool). ის დაგეხმარებათ შეისწავლოთ აპლიკაცია შიგნიდან: როგორ არის სტრუქტურირებული ელემენტების იერარქია, რა თვისებებია ხელმისაწვდომი. საიტის ყველაზე ცნობილი ინსპექტორები:

• Spy++ - შედის Visual Studio-ში, Express ან Community Edition-ის ჩათვლით. იყენებს Win32 API-ს. ცნობილია მისი კლონიც AutoIt ფანჯრის ინფორმაცია.
• Inspect.exe — входит в Windows SDK. Если он у вас установлен, то на 64-битной Windows можно найти его в папке C:Program Files (x86)Windows Kits<winver>binx64. თავად ინსპექტორში თქვენ უნდა აირჩიოთ რეჟიმი UI ავტომატიზაცია MS AA-ის ნაცვლად (Active Accessibility, UI Automation-ის წინაპარი).

განაცხადის დათვალიერების შემდეგ, ჩვენ ვირჩევთ ბექენდს, რომელსაც გამოვიყენებთ. Application ობიექტის შექმნისას საკმარისია backend-ის სახელის მითითება.

• backend=”win32″ - ნაგულისხმევად გამოყენებისას, კარგად მუშაობს MFC, WTL, VB6 და სხვა ძველი აპლიკაციებით.
• backend=”uia” — новый бэкенд для MS UI Automation: идеально работает с WPF и WinForms; также хорош для Delphi и Windows Store приложений; работает с Qt5 и некоторыми Java приложениями. И вообще, если Inspect.exe видит элементы и их свойства, значит этот бэкенд подходит. В принципе, большинство браузеров тоже поддерживает UI Automation (Mozilla по умолчанию, а Хрому при запуске нужно скормить ключ командной строки --force-renderer-accessibilityელემენტების სანახავად გვერდებზე Inspect.exe). რა თქმა უნდა, სელენთან კონკურენცია ამ სფეროში ძნელად შესაძლებელია. ბრაუზერთან მუშაობის კიდევ ერთი გზა (შეიძლება სასარგებლო იყოს ჯვარედინი პროდუქტის სცენარისთვის).

შესვლის პუნქტები ავტომატიზაციისთვის

აპლიკაცია ფართოდ იქნა გამოკვლეული. დროა შექმნათ Application ობიექტი და გაუშვათ იგი ან მიამაგროთ უკვე გაშვებულს. ეს არ არის მხოლოდ სტანდარტული კლასის კლონი subprocess.Popen, კერძოდ, შეყვანის ობიექტი, რომელიც ზღუდავს თქვენს ყველა მოქმედებას პროცესის საზღვრებით. ეს ძალიან სასარგებლოა, თუ აპლიკაციის რამდენიმე ინსტანცია მუშაობს, მაგრამ არ გსურთ დანარჩენზე შეხება.

from pywinauto.application import Application
app = Application(backend="uia").start('notepad.exe')

# Опишем окно, которое хотим найти в процессе Notepad.exe
dlg_spec = app.UntitledNotepad
# ждем пока окно реально появится
actionable_dlg = dlg_spec.wait('visible')

თუ გსურთ ერთდროულად რამდენიმე აპლიკაციის მართვა, ეს კლასი დაგეხმარებათ Desktop. მაგალითად, Win10-ის კალკულატორში ელემენტების იერარქია განაწილებულია რამდენიმე პროცესზე (არა მხოლოდ calc.exe). ასე რომ არანაირი ობიექტი Desktop არ არის საკმარისი.

from subprocess import Popen
from pywinauto import Desktop

Popen('calc.exe', shell=True)
dlg = Desktop(backend="uia").Calculator
dlg.wait('visible')

ძირეული ობიექტი (Application ან Desktop) ერთადერთი ადგილია, სადაც უნდა მიუთითოთ backend. ყველაფერი დანარჩენი გამჭვირვალედ ხვდება „სპეციფიკაცია->შეფუთვა“ კონცეფციაში, რომელიც მოგვიანებით იქნება განხილული.

ფანჯრის/ელემენტის სპეციფიკაციები

ეს არის ძირითადი კონცეფცია, რომელზედაც აგებულია pywinauto ინტერფეისი. თქვენ შეგიძლიათ აღწეროთ ფანჯარა/ელემენტი უხეშად ან უფრო დეტალურად, მაშინაც კი, თუ ის ჯერ არ არსებობს ან უკვე დახურულია. ფანჯრის სპეციფიკაცია (ობიექტი ფანჯრის სპეციფიკაცია) ინახავს კრიტერიუმებს, რომლითაც უნდა მოძებნოთ რეალური ფანჯარა ან ელემენტი.

ფანჯრის დეტალური სპეციფიკაციის მაგალითი:

>>> dlg_spec = app.window(title='Untitled - Notepad')

>>> dlg_spec
<pywinauto.application.WindowSpecification object at 0x0568B790>

>>> dlg_spec.wrapper_object()
<pywinauto.controls.win32_controls.DialogWrapper object at 0x05639B70>

თავად ფანჯრის ძებნა ხდება მეთოდის გამოძახებით .wrapper_object(). ის აბრუნებს გარკვეულ „შეფუთვას“ რეალური ფანჯრის/ელემენტისთვის ან ისვრის ElementNotFoundError (ზოგჯერ ElementAmbiguousError, თუ რამდენიმე ელემენტია ნაპოვნი, ანუ საჭიროა ძიების კრიტერიუმის გარკვევა). ამ „შეფუთვამ“ უკვე იცის, როგორ გააკეთოს გარკვეული მოქმედებები ელემენტთან ან მიიღოს მისგან მონაცემები.

პითონს შეუძლია ზარის დამალვა .wrapper_object()ასე რომ, საბოლოო კოდი უფრო მოკლე ხდება. ჩვენ გირჩევთ გამოიყენოთ იგი მხოლოდ გამართვის მიზნებისთვის. შემდეგი ორი ხაზი ზუსტად იგივეს აკეთებს:

dlg_spec.wrapper_object().minimize() # debugging
dlg_spec.minimize() # production

ფანჯრის სპეციფიკაციის ძიების მრავალი კრიტერიუმი არსებობს. აქ არის მხოლოდ რამდენიმე მაგალითი:

# могут иметь несколько уровней
app.window(title_re='.* - Notepad$').window(class_name='Edit')

# можно комбинировать критерии (как AND) и не ограничиваться одним процессом приложения
dlg = Desktop(backend="uia").Calculator
dlg.window(auto_id='num8Button', control_type='Button')

ყველა შესაძლო კრიტერიუმის სია მოცემულია ფუნქციის დოკუმენტებში pywinauto.findwindows.find_elements(…).

ატრიბუტისა და გასაღებით წვდომის მაგია

პითონი აადვილებს ფანჯრის სპეციფიკაციების შექმნას და ობიექტის ატრიბუტების დინამიურად ამოცნობას (შინაგანად, მეთოდი უგულებელყოფილია __getattribute__). რა თქმა უნდა, იგივე შეზღუდვებია დაწესებული ატრიბუტის სახელზე, რაც ნებისმიერი ცვლადის სახელზე (ვერ ჩასვით ინტერვალი, მძიმეები ან სხვა სპეციალური სიმბოლოები). საბედნიეროდ, pywinauto იყენებს ეგრეთ წოდებულ „საუკეთესო შესატყვის“ საძიებო ალგორითმს, რომელიც მდგრადია ბეჭდვითი შეცდომებისა და მცირე ვარიაციების მიმართ.

app.UntitledNotepad
# то же самое, что
app.window(best_match='UntitledNotepad')

თუ ჯერ კიდევ გჭირდებათ უნიკოდის სტრიქონები (მაგალითად, რუსული ენისთვის), ინტერვალი და ა.შ., შეგიძლიათ შეხვიდეთ ღილაკზე (თითქოს ეს ჩვეულებრივი ლექსიკონი იყოს):

app['Untitled - Notepad']
# то же самое, что
app.window(best_match='Untitled - Notepad')

ჯადოსნური სახელების ხუთი წესი

როგორ გავარკვიოთ სტანდარტული ჯადოსნური სახელები? ისინი, რომლებიც ენიჭება ელემენტს ძიებამდე. თუ თქვენ მიუთითეთ სახელი, რომელიც საკმარისად ჰგავს სტანდარტს, მაშინ ელემენტი მოიძებნება.

1. სათაურის მიხედვით (ტექსტი, სახელი): app.Properties.OK.click()
2. ტექსტისა და ელემენტის ტიპის მიხედვით: app.Properties.OKButton.click()
3. ტიპისა და ნომრის მიხედვით: app.Properties.Button3.click() (სახელები Button0 и Button1 მიბმული პირველ ნაპოვნი ელემენტთან, Button2 - მეორემდე და შემდეგ რიგით - ასე მოხდა ისტორიულად)
4. სტატიკური ტექსტის მიხედვით (მარცხნივ ან ზედა) და ტიპის მიხედვით: app.OpenDialog.FileNameEdit.set_text("") (გამოსადეგია დინამიური ტექსტის ელემენტებისთვის)
5. ტიპისა და ტექსტის მიხედვით: app.Properties.TabControlSharing.select("General")

როგორც წესი, ორი ან სამი წესი გამოიყენება ერთდროულად, იშვიათად მეტი. იმის შესამოწმებლად, თუ რომელი კონკრეტული სახელებია ხელმისაწვდომი თითოეული ელემენტისთვის, შეგიძლიათ გამოიყენოთ მეთოდი print_control_identifiers(). მას შეუძლია ელემენტების ხის დაბეჭდვა როგორც ეკრანზე, ასევე ფაილზე. თითოეული ელემენტისთვის იბეჭდება მისი სტანდარტული ჯადოსნური სახელები. თქვენ ასევე შეგიძლიათ დააკოპიროთ და ჩასვათ ბავშვის ელემენტების უფრო დეტალური სპეციფიკაციები იქიდან. სკრიპტის შედეგი ასე გამოიყურება:

app.Properties.child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13087", control_type="Edit")

თავად ელემენტების ხე, როგორც წესი, საკმაოდ დიდი ფეხის ქსოვილია.

>>> app.Properties.print_control_identifiers()

Control Identifiers:

Dialog - 'Windows NT Properties'    (L688, T518, R1065, B1006)
[u'Windows NT PropertiesDialog', u'Dialog', u'Windows NT Properties']
child_window(data-gt-translate-attributes='["title"]' title="Windows NT Properties", control_type="Window")
   |
   | Image - ''    (L717, T589, R749, B622)
   | [u'', u'0', u'Image1', u'Image0', 'Image', u'1']
   | child_window(auto_id="13057", control_type="Image")
   |
   | Image - ''    (L717, T630, R1035, B632)
   | ['Image2', u'2']
   | child_window(auto_id="13095", control_type="Image")
   |
   | Edit - 'Folder name:'    (L790, T596, R1036, B619)
   | [u'3', 'Edit', u'Edit1', u'Edit0']
   | child_window(data-gt-translate-attributes='["title"]' title="Folder name:", auto_id="13156", control_type="Edit")
   |
   | Static - 'Type:'    (L717, T643, R780, B658)
   | [u'Type:Static', u'Static', u'Static1', u'Static0', u'Type:']
   | child_window(data-gt-translate-attributes='["title"]' title="Type:", auto_id="13080", control_type="Text")
   |
   | Edit - 'Type:'    (L790, T643, R1036, B666)
   | [u'4', 'Edit2', u'Type:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Type:", auto_id="13059", control_type="Edit")
   |
   | Static - 'Location:'    (L717, T669, R780, B684)
   | [u'Location:Static', u'Location:', u'Static2']
   | child_window(data-gt-translate-attributes='["title"]' title="Location:", auto_id="13089", control_type="Text")
   |
   | Edit - 'Location:'    (L790, T669, R1036, B692)
   | ['Edit3', u'Location:Edit', u'5']
   | child_window(data-gt-translate-attributes='["title"]' title="Location:", auto_id="13065", control_type="Edit")
   |
   | Static - 'Size:'    (L717, T695, R780, B710)
   | [u'Size:Static', u'Size:', u'Static3']
   | child_window(data-gt-translate-attributes='["title"]' title="Size:", auto_id="13081", control_type="Text")
   |
   | Edit - 'Size:'    (L790, T695, R1036, B718)
   | ['Edit4', u'6', u'Size:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Size:", auto_id="13064", control_type="Edit")
   |
   | Static - 'Size on disk:'    (L717, T721, R780, B736)
   | [u'Size on disk:', u'Size on disk:Static', u'Static4']
   | child_window(data-gt-translate-attributes='["title"]' title="Size on disk:", auto_id="13107", control_type="Text")
   |
   | Edit - 'Size on disk:'    (L790, T721, R1036, B744)
   | ['Edit5', u'7', u'Size on disk:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Size on disk:", auto_id="13106", control_type="Edit")
   |
   | Static - 'Contains:'    (L717, T747, R780, B762)
   | [u'Contains:1', u'Contains:0', u'Contains:Static', u'Static5', u'Contains:']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13088", control_type="Text")
   |
   | Edit - 'Contains:'    (L790, T747, R1036, B770)
   | [u'8', 'Edit6', u'Contains:Edit']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13087", control_type="Edit")
   |
   | Image - 'Contains:'    (L717, T773, R1035, B775)
   | [u'Contains:Image', 'Image3', u'Contains:2']
   | child_window(data-gt-translate-attributes='["title"]' title="Contains:", auto_id="13096", control_type="Image")
   |
   | Static - 'Created:'    (L717, T786, R780, B801)
   | [u'Created:', u'Created:Static', u'Static6', u'Created:1', u'Created:0']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13092", control_type="Text")
   |
   | Edit - 'Created:'    (L790, T786, R1036, B809)
   | [u'Created:Edit', 'Edit7', u'9']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13072", control_type="Edit")
   |
   | Image - 'Created:'    (L717, T812, R1035, B814)
   | [u'Created:Image', 'Image4', u'Created:2']
   | child_window(data-gt-translate-attributes='["title"]' title="Created:", auto_id="13097", control_type="Image")
   |
   | Static - 'Attributes:'    (L717, T825, R780, B840)
   | [u'Attributes:Static', u'Static7', u'Attributes:']
   | child_window(data-gt-translate-attributes='["title"]' title="Attributes:", auto_id="13091", control_type="Text")
   |
   | CheckBox - 'Read-only (Only applies to files in folder)'    (L790, T825, R1035, B841)
   | [u'CheckBox0', u'CheckBox1', 'CheckBox', u'Read-only (Only applies to files in folder)CheckBox', u'Read-only (Only applies to files in folder)']
   | child_window(data-gt-translate-attributes='["title"]' title="Read-only (Only applies to files in folder)", auto_id="13075", control_type="CheckBox")
   |
   | CheckBox - 'Hidden'    (L790, T848, R865, B864)
   | ['CheckBox2', u'HiddenCheckBox', u'Hidden']
   | child_window(data-gt-translate-attributes='["title"]' title="Hidden", auto_id="13076", control_type="CheckBox")
   |
   | Button - 'Advanced...'    (L930, T845, R1035, B868)
   | [u'Advanced...', u'Advanced...Button', 'Button', u'Button1', u'Button0']
   | child_window(data-gt-translate-attributes='["title"]' title="Advanced...", auto_id="13154", control_type="Button")
   |
   | Button - 'OK'    (L814, T968, R889, B991)
   | ['Button2', u'OK', u'OKButton']
   | child_window(data-gt-translate-attributes='["title"]' title="OK", auto_id="1", control_type="Button")
   |
   | Button - 'Cancel'    (L895, T968, R970, B991)
   | ['Button3', u'CancelButton', u'Cancel']
   | child_window(data-gt-translate-attributes='["title"]' title="Cancel", auto_id="2", control_type="Button")
   |
   | Button - 'Apply'    (L976, T968, R1051, B991)
   | ['Button4', u'ApplyButton', u'Apply']
   | child_window(data-gt-translate-attributes='["title"]' title="Apply", auto_id="12321", control_type="Button")
   |
   | TabControl - ''    (L702, T556, R1051, B962)
   | [u'10', u'TabControlSharing', u'TabControlPrevious Versions', u'TabControlSecurity', u'TabControl', u'TabControlCustomize']
   | child_window(auto_id="12320", control_type="Tab")
   |    |
   |    | TabItem - 'General'    (L704, T558, R753, B576)
   |    | [u'GeneralTabItem', 'TabItem', u'General', u'TabItem0', u'TabItem1']
   |    | child_window(data-gt-translate-attributes='["title"]' title="General", control_type="TabItem")
   |    |
   |    | TabItem - 'Sharing'    (L753, T558, R801, B576)
   |    | [u'Sharing', u'SharingTabItem', 'TabItem2']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Sharing", control_type="TabItem")
   |    |
   |    | TabItem - 'Security'    (L801, T558, R851, B576)
   |    | [u'Security', 'TabItem3', u'SecurityTabItem']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Security", control_type="TabItem")
   |    |
   |    | TabItem - 'Previous Versions'    (L851, T558, R947, B576)
   |    | [u'Previous VersionsTabItem', u'Previous Versions', 'TabItem4']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Previous Versions", control_type="TabItem")
   |    |
   |    | TabItem - 'Customize'    (L947, T558, R1007, B576)
   |    | [u'CustomizeTabItem', 'TabItem5', u'Customize']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Customize", control_type="TabItem")
   |
   | TitleBar - 'None'    (L712, T521, R1057, B549)
   | ['TitleBar', u'11']
   |    |
   |    | Menu - 'System'    (L696, T526, R718, B548)
   |    | [u'System0', u'System', u'System1', u'Menu', u'SystemMenu']
   |    | child_window(data-gt-translate-attributes='["title"]' title="System", auto_id="MenuBar", control_type="MenuBar")
   |    |    |
   |    |    | MenuItem - 'System'    (L696, T526, R718, B548)
   |    |    | [u'System2', u'MenuItem', u'SystemMenuItem']
   |    |    | child_window(data-gt-translate-attributes='["title"]' title="System", control_type="MenuItem")
   |    |
   |    | Button - 'Close'    (L1024, T519, R1058, B549)
   |    | [u'CloseButton', u'Close', 'Button5']
   |    | child_window(data-gt-translate-attributes='["title"]' title="Close", control_type="Button")

ზოგიერთ შემთხვევაში, მთელი ხის დაბეჭდვა შეიძლება ნელი იყოს (მაგალითად, iTunes-ში არის სამი ათასი ელემენტი ერთ ჩანართზე!), მაგრამ შეგიძლიათ გამოიყენოთ ეს ვარიანტი. depth (სიღრმე): depth=1 - თავად ელემენტი, depth=2 - მხოლოდ უახლოესი ბავშვები და ა.შ. ის ასევე შეიძლება დაზუსტდეს მახასიათებლებში შექმნისას child_window.

მაგალითები

ჩვენ მუდმივად ვავსებთ მაგალითების სია საცავში. უახლესებს შორის, აღსანიშნავია WireShark ქსელის ანალიზატორის ავტომატიზაცია (ეს არის Qt5 აპლიკაციის კარგი მაგალითი; თუმცა ამ ამოცანის გადაჭრა შესაძლებელია GUI-ს გარეშე, რადგან არსებობს scapy.Sniffer პითონის პაკეტიდან ქერცლიანი). ასევე არსებობს MS Paint ავტომატიზაციის მაგალითი მისი Ribbon ინსტრუმენტთა პანელით.

კიდევ ერთი შესანიშნავი მაგალითი დაწერილი ჩემი სტუდენტის მიერ: ფაილის გადატანა explorer.exe-დან Chrome-ის გვერდზე Google Drive-ისთვის (ის გადავა მთავარ საცავში ცოტა მოგვიანებით).

და, რა თქმა უნდა, კლავიატურის (ცხელი კლავიშების) და მაუსის ღონისძიებებზე გამოწერის მაგალითი:
hook_and_listen.py.

მადლობა

განსაკუთრებული მადლობა მათ, ვინც მუდმივად ეხმარება პროექტის განვითარებას. ჩემთვის და ვალენტინი ეს მუდმივი ჰობია. ჩემმა ორმა სტუდენტმა UNN-დან ახლახან დაიცვა ბაკალავრის ხარისხი ამ თემაზე. ალექსანდრე დიდი წვლილი შეიტანა MS UI Automation-ის მხარდაჭერაში და ახლახან დაიწყო ავტომატური კოდის გენერატორის შექმნა, რომელიც დაფუძნებულია "ჩანაწერის დაკვრის" პრინციპზე დაფუძნებული ტექსტის თვისებებზე (ეს არის ყველაზე რთული ფუნქცია), ჯერჯერობით მხოლოდ "uia" backend-ისთვის. ივან разрабатывает новый бэкенд под Linux на основе AT-SPI (модули mouse и keyboard დაფუძნებული python-xlib - უკვე გამოშვებებში 0.6.x).

მას შემდეგ, რაც მე საკმაოდ დიდი ხანია ვასწავლი პითონში ავტომატიზაციის სპეციალურ კურსს, ზოგიერთი მაგისტრის სტუდენტი აკეთებს საშინაო დავალებას, ახორციელებს მცირე ფუნქციებს ან ავტომატიზაციის მაგალითებს. ზოგიერთი ძირითადი რამ კვლევის ეტაპზე ასევე ერთხელ აღმოაჩინეს სტუდენტების მიერ. მიუხედავად იმისა, რომ ზოგჯერ მკაცრად უნდა აკონტროლოთ კოდის ხარისხი. სტატიკური ანალიზატორები (QuantifiedCode, Codacy და Landscape) და ავტომატური ტესტები ღრუბელში (AppVeyor სერვისი) კოდის დაახლოებით 95% დაფარვით ბევრს ეხმარება ამაში.

ასევე მადლობა ყველას, ვინც ტოვებს მიმოხილვებს, აჩენს შეცდომებს და აგზავნის მოთხოვნებს!

Დამატებითი რესურსები

ჩვენ მივყვებით კითხვებს ტეგი StackOverflow-ზე (ცოტა ხნის წინ გამოჩნდა ტეგი SO-ს რუსულ ვერსიაში) და საკვანძო სიტყვით ტოსტერზე. არსებობს რუსულენოვანი ჩატი Gitter-ზე.

ვაახლებთ ყოველთვიურად ღია კოდის ბიბლიოთეკების რეიტინგი GUI ტესტირებისთვის. GitHub-ზე ვარსკვლავების რაოდენობის თვალსაზრისით, მხოლოდ Autohotkey (მათ აქვთ ძალიან დიდი საზოგადოება და დიდი ისტორია) და PyAutoGUI უფრო სწრაფად იზრდება (ძირითადად მისი ავტორის ალ სვეიგარტის წიგნების პოპულარობის გამო: ”Automate the Boring Stuff with პითონი“ და სხვა).

წყარო: www.habr.com