Paper : https://arxiv.org/pdf/2304.07061
간단하게 정리함 (선행 논문으로 판단되면, 추후 더 자세히 리뷰할 예정)
Contribution
-
GUI info를 natural language description으로 바꿈
-
LLM이 task input을 판단해서 앱 내에서 올바른 action을 취할 수 있도록 만듬
-
33개의 task에 대한 자체 dataset을 구축함
Model Architecture
Conclusion
AutoDroid에 비해 단점이 많음
-
HTML style이 아닌 natural language prompt를 사용함
- LLM에 들어가는 query양이 방대해짐
-
NLP를 사용하기 때문에, unnamed GUI element를 사용할 수 없음
-
task 수행 성공률이 낮음
- early termination
- redundant operation
- GPT’s response not meeting the requirements
연구에 DroidBot-GPT가 도움이 될 만한 부분
- 후속 논문인 AutoDroid가 더 뛰어난 method를 제공하고 있기 때문에 이 논문에서 얻어갈 부분이 크게 없을 것 같음
