[RPA] UiPath - UI Automation with Studio(modern)

JUNG정·2024년 12월 10일

UIPath rpa

RPA

목록 보기

4/5

modern, 타겟과 앵커, 데이터스크래핑

최신 디자인 환경에서 사용되는 입력 메서드

modernd의 입력메서드

Hardware Events

하드웨어 이벤트에서 ChromiumAPI를 사용할 때의 이점

신뢰성

하드웨어 이벤트 입력 메서드를 사용하면 운영 체제의 마우스/키보드 입력 스트림과 통신합니다.

이벤트가 타겟 애플리케이션인 브라우저로 전송되며, 브라우저는 해당 이벤트를 구문 분석하고 웹 페이지로 전송합니다. ChromiumAPI를 사용하면 이벤트가 브라우저로 직접 전송됩니다.
백그라운드에서 작동

하드웨어 이벤트 입력 메서드의 경우 포커스가 있는 엘리먼트가 포그라운드에 화면에 있어야 합니다. ChromiumAPI는 브라우저가 최소화되어 있거나 다른 탭에 포커스가 있는 동안 작동하므로 이러한 엘리먼트가 필요하지 않습니다.

SendWindowMessages

Simulate

ChromiumAPI

ChromiumAPI는 Devtools 프로토콜을 기준으로 하는 브라우저 자동화 입력 메서드

기본적으로 Chromium 브라우저 내에서 실행되는 모든 웹 사이트 또는 애플리케이션에서 작동합니다.

Use Application/Browser
Click
Type Into
Hover
Keyboard Shortcuts

입력 메서드	호환성	백그라운드 실행	속도	단축키 지원	자동 빈 필드
Hardware Events	100% -모든 유형의 애플리케이션	아니요	50%	예	아니요
SendWindowMessages	80%	예	50%	예	아니요
Simulate	99% - 웹 앱60% - 데스크톱 앱	예	100%	아니요	예
ChromiumAPI	100% - Chrome 및 Edge 브라우저	예	50%	예	예

modernd의 출력메서드

Full Text
Native Text
OCR

출력 메서드	FULL TEXT	NATIVE	OCR
기본 메서드 및 호환성	기본 메서드이며 대부분의 경우 충분합니다.	GDI(그래픽 디자인 인터페이스)를 사용하는 애플리케이션과 호환되는 Microsoft API는 그래픽 개체를 나타내는 데 사용됩니다.	OCR(또는 광학 문자 인식)은 가상 환경 및 이미지에서 '읽는' 텍스트와 작동하는 유일한 출력 메서드입니다.해당 기술은 각 문자와 그 위치를 인식해야 합니다.
자동화 속도	지금까지 중에서 가장 빠릅니다.	FullText보다 약간 느립니다.	지금까지 중에서 가장 느립니다.
정확도	100% 정확도.	GDI를 지원하는 애플리케이션에서 100% 정확도를 나타냅니다.	정확도는 텍스트마다 다릅니다. 설정을 변경하여결과를 개선할 수 있습니다.
백그라운드에서 실행	백그라운드에서 작동합니다.	백그라운드에서 작업할 수 없습니다.	백그라운드에서 작업할 수 없습니다.
숨겨진 텍스트	숨겨진 텍스트(예: 드롭다운 목록의 옵션)를 추출할 수 있습니다.	숨겨진 텍스트를 추출할 수 없습니다 .	숨겨진 텍스트를 추출할 수 없습니다.
가상 환경	가상 환경을 지원하지 않습니다.	가상 환경을 지원하지 않습니다.	가상 환경 및 이미지에서 '읽는' 테스트와 작동합니다.
텍스트 위치 및 서식	텍스트 위치 및 서식은 캡처하지 않습니다.	텍스트 위치 및 서식(텍스트 색 포함)을 추출할 수 있습니다.	Native 메서드와 마찬가지로 텍스트 위치도 캡처합니다.
기타	이 메서드는 숨겨진 메시지를 무시하고 표시되는 텍스트만 캡처하는 옵션을 제공합니다.	기본적으로 알려진 모든 문자를 구분 기호(쉼표, 공백 등)로 처리할 수 있지만 특정 구분 기호만 지정된 경우 다른 모든 문자는 무시할 수 있습니다.	OCR 메서드에는Google Tesseract 및 Microsoft MODI와 같이 대신 사용할 수 있는 두 가지 기본 엔진이 있습니다. 무료로 설치할 수 있는 OCR 엔진(예: Omnipage 및 Abbyy Embedded) 또는 유료 OCR 엔진(Abbyy에서 제공하는 IntelligentOCR)과 같은 추가 OCR 엔진이 있습니다.

출력 엑티비티

Get Text 액티비티

UI 엘리먼트에서 텍스트를 추출하고 복사합니다. Use Application/Browser 액티비티 내에 추가해야 합니다.

Get Text 액티비티는 추출 미리보기 마법사를 제공합니다.

Default : 모든 출력 메서드를 시도하고 텍스트를 반환하는 첫 번째 메서드가 사용됩니다.
Text attribute : UI 엘리먼트의 '텍스트' 속성을 사용합니다.
Fulltext : 숨겨진 텍스트 무시 옵션을 제공하며, 해당 확인란을 선택하여 활성화할 수 있습니다.
Native : 이 메서드를 사용하면 이러한 각 기능에 대한 확인란을 선택하여 서식을 허용하고 단어의 화면 좌표를 검색할 수 있습니다.

CV Get Text

앵커를 기준으로 지정된 UI 엘리먼트 위치에서 텍스트를 추출

CV Screen Scope 액티비티 내에 추가해야 합니다.

OCR: 부모 CV Screen Scope 액티비티에 지정된 OCR 엔진을 사용하여 텍스트를 검색합니다.
Select - all : 클립보드를 사용하여 전체 텍스트를 추출합니다.
Select - row : 클립보드를 사용하여 전체 행의 텍스트를 추출합니다.

Get OCR Text

OCR 화면 스크래핑 메서드를 사용하여 표시된 UI 엘리먼트 또는 이미지에서 문자열 및 해당 정보를 추출합니다.

화면 스크래핑을 수행할 때 자동으로 생성됩니다.

기본적으로 Google OCR 엔진이 사용됩니다.

UI Synchronization 액티비티

프레임워크 간 전환 외에도 UI 자동화 프로젝트의 안정성을 개선할 수 있는 몇 가지 옵션이 있습니다.

UI Synchronization 액티비티는 자동화 안정성을 높이는 데 중요한 역할을 합니다.

UI 동작을 기준으로 트리거를 생성하여 머신에서 특정 이벤트가 발생할 때 로봇이 특정 액션을 실행할 수 있도록 할 수 있습니다.

modernd 환경에서 사용할 수 있는 액티비티

Check App State 액티비티

Check App State 액션은 자동화하려는 애플리케이션이 존재하는지 여부를 확인하고자 하는 경우 유용합니다.

Check App State를 사용였을 때 Target으로 지정한 내용이 “appears” or “does not appear” 두가지 경우로 나뉜다.

Target이 확인 되었다면 바로 Type Into를 실행하고,

Target이 확인되지 않는다면 클릭을 통해서 Target이 보이게 지정해주고, Type Into를 해준다.