先交代事件:在 V2EX 的「分享創造」板,網友 jelkll 分享了一個自製工具 llama_starter。他說自己平常都是寫兩個 bat 腳本、開兩個黑色命令列視窗來跑 llama-server(llama.cpp 生態中用來在本機啟動大型語言模型服務的程式),覺得繁瑣,於是用 WinUI3 做了一個貼合 Windows 11 風格的圖形介面殼子,可以最小化到系統匣,讓工作列乾淨一些。專案放在 GitHub 上開源,貼文發布後約 16 小時有六百多次瀏覽,當時還沒有人留言。

這是個小巧的工具分享,卻也描出了一種很熟悉的生活狀態:你想在自己電腦上跑跑看模型,於是開了終端機、下了參數、等模型載入,跑起來之後視窗還得一直開著。之後你想同時跑兩個模型比比看,畫面就變成兩個黑框加一排分頁。llama_starter 想解決的,就是這種「為了用一個東西,先忍受一堆雜訊」的日常摩擦。

這與我們先前聊過的在終端機裡長時間使用 AI 工具的你有點像:工具越用越深,黑視窗越開越多,人也在螢幕前待得越久。

折騰模型的過程,身體常常是最後被想到的

本地跑模型有個特別之處:等待感很強。模型載入要時間、推理要時間、參數調不好要重來。這種「按下去、等一下、看看結果、再調一下」的循環,很容易讓人黏在座位上,想說反正只再等一分鐘,結果一輪接一輪。

如果你最近也在玩這類工具,有幾件小事值得留意。

一是眼睛。反覆盯著捲動的文字輸出,眨眼頻率會下降,眼睛容易乾澀。可以試著在等待模型回應的空檔,把視線移到窗外或遠處幾公尺的物件,看個二三十秒再回來。這不需要額外時間,就是拿「本來在發呆等輸出」的片段換的。

二是姿勢。跑模型的電腦通常負載高、風扇大聲,人常不自覺往前傾湊近螢幕。等到肩頸開始痠,往往已經坐了一兩個小時。定時站起來倒杯水,比任何姿勢矯正提醒都實際。

三是時間感。「再跑一個測試就好」是這類折騰最常見的時間黑洞。尤其是晚上,模型跑得慢、你也不趕時間,一晃就過了原本的睡覺時間。這也是我們在趕交付時盯著 A/B 測試跑的你那篇聊過的狀況,等待型的工作最容易喫掉作息。

幾個判斷:什麼時候該休息,什麼時候該就醫

大多數時候,這些痠痛疲勞休息就會緩解。但如果眼睛乾痛到影響看東西、視力突然模糊,或肩頸手臂出現持續麻木、無力,這些就不是「再揉一揉」的等級了,建議掛眼科或復健科、神經內科讓醫師看看。半夜調模型調到睡不著連續超過兩週,也可以找家醫科或身心科聊聊,不用等到撐不住。

回到工具本身

老實說,一個 GUI 殼子不會改變模型跑得快不快,它改變的是你與這件事的相處方式。視窗收進系統匣、工作列乾淨了,某種程度上也把「一直在跑」的視覺壓力收起來了。至於你要不要用,建議照我們在安裝外掛前的資訊安全常識裡提過的原則:開源專案先看一下程式碼與說明,確認來源與權限合理再下載。

工具會越來越順手,身體是陪你用工具的那一個。下次模型在載入、畫面還在轉圈的時候,站起來動一動,就當是送給自己的那一分鐘。