10 月 26 日,開發者 cccat6 在 V2EX 的「分享創造」版發表了一個作品:用 ESP32(一張幾百元臺幣等級的微型控制板)加上一個在 Safari 裡執行的 Harness 網頁,讓 AI 模型讀取 iPhone 螢幕畫面,再透過藍牙模擬鍵盤滑鼠,全自動操作手機完成點外賣。手機不用接線、不用裝額外 App,ESP32 自己供電、連上同一個 Wi-Fi 就能動,還支援剪貼板同步。目前已開源在 GitHub 上,需要 iOS 或 iPadOS 27 以上版本。

先說結論:這個專案本身是個有趣的自動化嘗試,你不需要急著跟風,但有幾件事在動手之前值得想清楚。

這個作品實際上在做什麼

拆開來看,它有三層:網頁端的模型負責「看懂」螢幕並決定下一步;ESP32 負責「動手」,把自己假裝成藍牙鍵盤和滑鼠去點手機;技能系統讓你把常用流程寫成腳本重複使用。開發者特別強調不裝 App、不接線,這也是它和一般手機自動化工具最大的差別。

留言區的討論也值得一看:有人問硬體要怎麼買,有人指出其實任何能模擬 HID(Human Interface Device,就是鍵盤滑鼠這類輸入裝置的通稱)的藍牙裝置都可能行得通,甚至分享了一個讓 Windows 電腦直接當操作端的替代方案。也有人問了兩個很實際的問題:手機是不是要解鎖才能操作,以及一定要 iOS 27 嗎、18 行不行。這兩點原始貼文沒有完整回答,先保留為未知。

想自己玩一輪之前,你可以照這份清單想過一遍

自動化聽起來省事,但它也悄悄改變了你和手機、和喫飯這件事的關係。以下幾項不要求你全部做到,挑目前用得到的就好。

一、先確認解鎖與鎖定條件。留言裡那個「是不是得手機解鎖才能操作」的問題,問的其實是安全邊界:如果手機解鎖放在桌上就能被遠端操作,等於任何拿到你操作端權限的人也能下單、打開任何 App。動手前先想好閒置時要不要自動鎖屏、操作權限放在誰手上。

二、別讓「自動點外賣」變成「自動喫得更隨便」。模型照你寫的技能跑,它不知道你今天已經連喫三天鹹酥雞。如果你打算常駐使用,可以反過來把技能寫得講究一點,例如固定幾家營養均衡的店、固定在幾點前下單,讓自動化替你守住下限,而不是放開上限。

三、注意授權範圍與撤回方式。這套工具能讀螢幕、能同步剪貼板,你的剪貼板裡可能有密碼、驗證碼、私人訊息。這和我們先前整理過的語音助理授權前的權限檢查清單是同一套思路:資料讀到哪裡、能操作哪些 App、出事時怎麼斷開,先問清楚再開。剪貼板同步功能建議平時關閉,需要時再開。

四、升級系統前停一下。專案需要 iOS 27 以上,留言裡也有人想留在 18。這種為了一個好玩專案而升級系統的衝動,和追新機爆料的心情很像;如果你也常為了新功能熬夜折騰,可以參考我們聊過的等換機時的用眼與資訊識讀照顧,先把「現在真的需要嗎」想一遍。

五、別把排解無聊的樂趣外包掉。玩這類專案的過程本身,寫技能、看模型怎麼一步步點開 App,其實是很動腦的休閒。怕的是設定完就再也不碰,喫什麼、幾點喫全部交給腳本,人和飲食的連結越來越薄。留一點手動的餘裕,對作息和心情都有幫助。

幾個誠實的限制

這個專案目前是個人開源作品加上一部展示影片,還沒有經過大規模使用驗證,穩定性、耗電、誤觸下單的風險都屬於未知數。它也不等於「AI 幫你過生活」的成熟方案,比較像一位開發者把現有零件組合出的創意原型。你要把它當實驗看,而不是當家電買。

如果看到相關影片覺得「我也該讓生活全自動化」,先從一個小技能開始試,例如固定早餐下單,跑一兩週看看它省下的時間去了哪裡。時間沒有變多,只是換了去處,這件事永遠比工具本身值得留意。