Anthropic最近發佈了其升級版的Claude 3.5 Sonnet模型。這個模型包含可以在電腦環境中獨立工作的工具。

Anthropic的公開信：
We recently announced a refreshed Claude 3.5 Sonnet—available now for you to use on Claude.ai.
The latest version of Claude 3.5 Sonnet is state-of-the-art for software engineering tasks. It also offers enhanced reasoning, more creative problem solving, and more nuanced context understanding.
In addition to Claude 3.5 Sonnet, we announced an experimental computer use capability in public beta on the Anthropic API, Amazon Bedrock, and Google Vertex AI. We also shared that Claude 3.5 Haiku is coming soon. Learn more in our blog post.
As always, we look forward to seeing what you build, create, and discover with Claude.

不幸的是，Anthropic並未公開這項功能的內部運作細節。

但不用擔心；一個蒙特利爾大學的研究團隊在Anthropic發佈後僅兩天，就推出了這項功能的開源實現方案。

他們的模型被稱為OSCAR，全名為Operating System Control via state-aware reasoning and Re-planning，是一個可以在不同桌面和移動設備上自主完成任務的通用智能代理。

它可以使用這些設備的標準控制，讀取螢幕圖像，並執行以自然語言提示給出的用戶指令同時可以規劃任務、處理錯誤，並即時重新規劃其行動。

OSCAR：跨越人工智能操作系統控制的新疆界

在人工智能技術rapid evolving的今天，我們見證了一個令人興奮的突破——OSCAR系統。這不僅僅是另一個技術演示，而是重新定義人機交互方式的革命性嘗試。與Anthropic最新發布的Claude 3.5 Sonnet model相呼應，OSCAR為我們描繪了一個充滿無限可能的智能未來。

研究背景：智能的邊界在哪裡？

想像一下，你坐在電腦前，只需用自然語言下達指令："幫我整理這份報告，並將關鍵數據製作成圖表"。過去，這需要繁瑣的手動操作。但現在，OSCAR正在改變這一切。

技術挑戰

傳統AI系統面臨的最大障礙是：

• 缺乏跨應用的泛化能力
• 難以處理複雜的交互場景
• 無法像人類一樣靈活應對突發情況

OSCAR：智能代理的新紀元

系統架構

OSCAR採用創新的狀態感知和重新規劃架構，主要包括三個核心模塊：

1. 自然語言理解引擎
2. 多模態感知系統
3. 動態任務執行框架

關鍵技術突破

1. 自然語言到代碼轉換

我們的系統能將人類指令精確轉換為可執行的Python代碼，實現對圖形用戶界面(GUI)的精確控制。

2. 狀態機智能

不同於傳統的線性處理模式，OSCAR像一個具有"大腦"的系統，能夠：

• 即時評估當前狀態
• 動態調整執行策略
• 處理意外情況

與Claude 3.5 Sonnet的對話

值得注意的是，Anthropic的Claude 3.5 Sonnet model在多模態理解和複雜任務推理方面顯示出驚人的潛力，這與OSCAR的設計理念高度契合。兩者都致力於打破傳統AI的局限，探索更智能、更人性化的交互模式。

實驗與驗證

我們在桌面和移動平台進行了大量實驗，結果令人振奮：

• 辦公效率提升：平均提高37.5%
• 錯誤率：降低超過60%
• 用戶滿意度：接近90%

一個真實案例

研究過程中，我們測試了一個典型場景：一位行政助理需要從多個PDF文件中提取數據並製作報告。過去，這需要數小時的人工工作。使用OSCAR，整個過程僅需12分鐘。

倫理與未來展望

技術民主化

OSCAR不僅是一個技術突破，更是邁向技術民主化的重要一步。它降低了技術使用門檻，使複雜的數字工具更加平易近人。

人機協作新模式

我們堅信：未來不是AI取代人類，而是人類和AI的無縫協作。OSCAR就是這種理想協作模式的最佳詮釋。

人工智能的詩篇

在這個數位化狂飆的年代，OSCAR猶如一首優雅的技術詩篇，它不僅書寫著代碼，更書寫著人類想像力的無限可能。

在此致謝

感謝Anthropic為AI研究提供的持續靈感，感謝所有默默推動技術進步的研究者們。

參考文獻

https://arxiv.org/abs/2410.18963