聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

背景介紹

近年來，大語言模型（LLM）的快速發(fā)展正推動人工智能技術(shù)不斷向前。像DeepSeek-R1這樣的模型憑借其強大的理解和生成能力，在對話生成、代碼編寫、知識問答等多個領域展現(xiàn)出了卓越的性能。如今，LLM的應用場景正在不斷拓展，催生了一類新型智能體——基于LLM的GUI智能體（GUI Agents）。這類智能體能夠像人類一樣，通過鼠標、鍵盤與計算機或手機進行交互操作。

2. AppAgent的解決方案

這類智能體不再依賴傳統(tǒng)的機器人流程自動化（RPA）方式，即基于預定義規(guī)則和腳本執(zhí)行任務。相反，它們能夠通過自然語言理解用戶指令，并自主完成操作。例如，它們可以打開應用、編輯文檔、瀏覽網(wǎng)頁，甚至完成跨軟件的復雜任務，無需開發(fā)者編寫繁瑣的自動化腳本。與RPA相比，這類智能體的優(yōu)勢在于其靈活性和泛化能力，能夠適應各種不同的任務場景。

3. 這一趨勢推動AI助手的想象成為現(xiàn)實?？苹秒娪爸械馁Z維斯（Jarvis）能夠理解自然語言并自主操作計算機，而今天的LLM智能體正在逐步向這一方向發(fā)展。在企業(yè)領域，數(shù)字員工（Digital Workers）的應用正逐漸普及，它們可以自動完成數(shù)據(jù)錄入、報表生成、郵件回復等重復性任務，從而提高生產(chǎn)力。此外，智能體還在推動自動化軟件測試、遠程控制、智能辦公助手等領域的應用，使人們能夠更自然地用語言指令控制計算機甚至整個企業(yè)IT系統(tǒng)。

4. 然而，目前的LLM智能體在實際應用中仍面臨效率問題。現(xiàn)有方法依賴逐步推理，即每執(zhí)行一個操作前，模型都要“思考”下一步該做什么。例如，在執(zhí)行簡單的搜索任務時，智能體需要分別推理“點擊搜索框”→“輸入關(guān)鍵詞”→“點擊搜索按鈕”，即使是簡單的步驟，也需要耗費額外的計算資源。這種模式雖然提高了通用性，但在應對大量重復性任務時，效率卻遠不及傳統(tǒng)的RPA解決方案。

5. 因此，一個關(guān)鍵問題是：是否可以讓智能體既保留推理能力，靈活應對新任務，同時又能像RPA一樣高效執(zhí)行常見任務？

6. 為了解決這一問題，西湖大學AGI實驗室提出了一種進化型GUI智能體框架——AppAgent X。這是AppAgent的最新版本，它讓LLM驅(qū)動的智能體能夠從自身的操作經(jīng)驗中學習，不斷進化更高效的行為模式。簡單來說，AppAgent X通過識別重復性操作模式，將一系列低層級的操作自動歸納為更高級的“一鍵”操作。例如，智能體可以學習到“搜索”這一任務模式，并將其抽象為一個高層級操作，無需每次都推理具體步驟。這意味著，智能體在使用過程中會變得越來越高效，越用越聰明。

7. 論文的第一作者是來自西湖大學的研究人員蔣文嘉，指導老師為西湖大學AGI實驗室的負責人張馳助理教授。實驗室的研究方向聚焦于生成式人工智能和多模態(tài)機器學習。

8. AppAgent X的功能示意圖

在大語言模型與屏幕進行交互的過程中，核心任務包括AppAgent等智能體設計了一系列模仿人類的典型操作，如點擊、滑動、輸入等。這些操作共同構(gòu)建了一個獨立于應用程序的基本操作空間，用于模擬人類與智能手機界面的交互行為。

在持續(xù)的屏幕感知與動作執(zhí)行的循環(huán)中，任務最終得以完成。

挑戰(zhàn)：智能與效率的權(quán)衡

在基于大模型的GUI智能體中，一個關(guān)鍵難題是如何在智能決策與執(zhí)行效率之間實現(xiàn)良好的平衡?，F(xiàn)有方法雖然借助大模型的強大推理能力，能夠理解界面并逐步規(guī)劃點擊、輸入、滑動等操作，但這種分步推理的方式往往導致計算開銷大和執(zhí)行延遲。例如，在執(zhí)行一個簡單的搜索任務時，智能體可能需要依次推理“點擊搜索框、輸入關(guān)鍵詞、點擊搜索按鈕”等步驟，雖然確保了決策的準確性，卻犧牲了執(zhí)行速度。

相比之下，傳統(tǒng)基于固定腳本的機器人流程自動化（RPA）工具在執(zhí)行速度上具有顯著優(yōu)勢，能夠高效完成預定義任務。然而，RPA的靈活性不足限制了其適應復雜或未知界面的能力。在權(quán)衡智能性和效率性時，如何實現(xiàn)二者的最佳結(jié)合，成為推動該技術(shù)落地的重要課題。

4. 進化機制下的AppAgentX

AppAgentX提出了一種具有進化能力的GUI智能體框架，使其不僅能像人類一樣自主探索和理解界面，還能通過學習自身的歷史交互模式，逐步優(yōu)化執(zhí)行流程，實現(xiàn)智能性與效率性的最佳結(jié)合。

通過引入鏈式存儲機制和動態(tài)匹配執(zhí)行機制，使得智能體能夠高效記憶、歸納并優(yōu)化自身的操作軌跡，從而在后續(xù)任務中復用高效的執(zhí)行策略，顯著減少重復推理，提高任務完成速度。

4.1 基于鏈式的存儲機制

研究者設計了一種鏈式知識存儲機制，用于記錄每次任務執(zhí)行時的完整交互流程。具體而言，智能體每次操作都會被存儲為一個“鏈”，其中包括：

基于歷史操作路徑，研究團隊利用大模型挖掘出任務邏輯，并能自動總結(jié)出頁面和交互元素的功能描述。舉例而言，智能體可以識別出"搜索框 + 確認按鈕"這一典型模式，并將其作為高層次的語義單元記錄下來。因此，在遇到類似界面時，智能體無需從零開始推理，而是可以直接調(diào)用已掌握的高效解決方案。

4.2 動態(tài)匹配的執(zhí)行機制

基于存儲的交互鏈，AppAgentX 通過進化機制自動提煉出高效的執(zhí)行方式。當智能體識別到某些操作模式具有固定的執(zhí)行順序時（例如，點擊搜索框 → 輸入內(nèi)容 → 提交搜索），它會動態(tài)創(chuàng)建一個捷徑節(jié)點（shortcut node），將多個底層操作整合為一個更高級的動作，從而減少不必要的推理和執(zhí)行時間。

3. 在后續(xù)任務中，智能體優(yōu)先匹配當前界面與已有的鏈式存儲記錄，并判斷是否可以直接調(diào)用高級操作節(jié)點。如果匹配成功，智能體無需逐步推理所有低層操作，而是直接執(zhí)行優(yōu)化后的快捷路徑，從而提高任務執(zhí)行效率。對于未匹配到的任務，智能體仍可基于基礎動作空間進行動態(tài)推理，確保其智能性和靈活性不受影響。

4. 該機制的優(yōu)勢在于，它使智能體的推理能力和執(zhí)行效率能夠動態(tài)調(diào)節(jié)：

5. 結(jié)論與展望

隨著大語言模型（LLM）的快速發(fā)展，智能體正在逐步從簡單的文本交互進化為能夠直接操作操作系統(tǒng)和 GUI 界面的自主智能體。然而，現(xiàn)有方法在效率和執(zhí)行智能化之間存在權(quán)衡，導致 LLM 智能體在處理重復性任務時表現(xiàn)不夠高效。AppAgent X 提出了一種可進化的 GUI 智能體框架，使智能體能夠通過自身的任務執(zhí)行經(jīng)驗學習，逐步形成更高效的操作策略。通過這一方法，AppAgent X 在保持 LLM 智能體的靈活性的同時，實現(xiàn)了與 RPA 智能體的執(zhí)行效率相媲美，從而達到了高效、智能且無需后端訪問的 GUI 操作。

6. 在實驗中，AppAgent X 在多個 GUI 交互任務上展現(xiàn)了顯著的效率提升，并優(yōu)于現(xiàn)有 SOTA 方法。其進化能力使其能夠不斷優(yōu)化自身的操作流程，為未來的智能化人機交互奠定了新的基礎。

7. 展望未來，GUI 智能體的進化將是 LLM 智能體發(fā)展的重要方向之一。我們有理由相信，隨著 LLM 在推理能力上的持續(xù)進步，智能體將能夠拓展至更復雜的應用場景，進一步推動智能化人機交互的發(fā)展。