今天想要跟分享一個非常強大的開源軟體專案,叫做 exo。
如果你跟我一樣,手邊有不只一台 Mac 設備(例如一台新的 Mac Mini M4,加上一台舊的 MacBook Air M1),你可能會覺得舊電腦食之無味棄之可惜。今天這招教你把家裡所有支援 Apple Silicon 的 Mac 電腦「合體」,共享同一個網路並串接記憶體,直接變身成一個高性能的 AI 運算集群!
為什麼你需要 exo?
痛點:本地跑 AI 模型,記憶體永遠不夠用
想在本地跑像是 Llama 3 70B 或是 DeepSeek 這種大型語言模型 (LLM),最吃的就是 VRAM(視訊記憶體) 或 統一記憶體。
舉例來說,我的 MacBook Air M1 只有 8GB 記憶體,根本跑不動大模型;而我的主力機 Mac Mini M4 雖然強,但記憶體也是有限的。
解法:團結力量大
exo 的核心概念就是「分佈式運算」。它能將我 Mac Mini 的記憶體與 MacBook Air 的 8GB 記憶體串接起來,讓我瞬間擁有了大約 24GB 的可用記憶體!這樣一來,原本跑不動的模型,現在都能順暢運行了。
準備工作與環境設定
在開始之前,請確保你要串聯的 每一台 Mac 電腦 都完成以下準備:
-
安裝 Homebrew (如果還沒裝過): 打開終端機 (Terminal),輸入以下指令安裝:
/bin/bash -c "$(curl -fsSL [https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh](https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh))" -
檢查 Rust 環境 (重要): 如果你之前因為其他專案安裝過
rust,建議先卸載以避免衝突(這是我安裝時踩到的坑):brew uninstall rust -
確保 Python 環境: exo 依賴 Python 運行,建議透過 Homebrew 安裝:
brew install python
Step 1:下載與安裝 exo
接著我們要在 每一台 想要串聯的電腦上執行以下步驟:
-
下載專案程式碼: 打開終端機,進入你想存放的資料夾(例如 Downloads),執行:
git clone [https://github.com/exo-explore/exo.git](https://github.com/exo-explore/exo.git) cd exo -
執行安裝指令: 進入 exo 資料夾後,依照官方文件(或影片中的示範),通常是執行安裝腳本。在終端機輸入並執行安裝依賴。
(註:目前官方已推出適用於 macOS 15.2+ 的 App 版本,但為了穩定性與相容性,本篇教學以 Command Line 操作為主。)
Step 2:啟動集群與 Web UI
安裝完成後,激動人心的時刻來了!
-
啟動 exo: 在每一台電腦的終端機中,輸入
exo指令並執行。 -
自動連線: 只要你的電腦都在同一個區域網路(Wi-Fi)下,exo 會自動偵測並將它們串聯起來。
-
進入控制台: 在瀏覽器網址列輸入:
http://localhost:52415
這時候你會看到 exo 的 Web 介面,它會顯示目前已連接的設備,並自動偵測你們「合體」後的總算力可以跑哪些模型。
Step 3:進階密技 - 解鎖隱藏模型
exo 預設隱藏了一些還在測試或較大的模型(例如影片中示範的 Open GPTOSS / DeepSeek 系列)。如果你想嘗鮮,可以手動開啟它們:
- 用 VS Code 或文字編輯器打開
exo專案資料夾。 - 找到路徑:
src/exo/share/model_card.py(路徑可能隨版本微調,請找 model 相關設定檔)。 - 在程式碼下方會看到許多被註解掉(前面有
#號)的模型列表。 - 取消註解:把你想跑的模型前面的
#刪掉(或選取後按Cmd + /)。 - 儲存並重啟:儲存檔案後,重新執行 exo,回到網頁介面重新整理,你就會發現那些強大的隱藏模型出現啦!
總結
雖然目前 Windows 版本的支援度還在開發中(大家可以期待一下利用閒置顯卡的功能),但對於 Mac 用戶來說,exo 絕對是目前低成本體驗高性能本地 AI 的最佳方案。
不用花十幾萬買滿規的 MacBook Pro,只要把家裡的舊 Mac 拿出來廢物利用,就能組建自己的 AI 運算中心,是不是超級酷?
如果今天的教學對你有幫助,歡迎在底下留言告訴我你成功串聯了幾台電腦!
喜歡我的影片別忘了按讚、訂閱、分享,並開啟小鈴鐺,這樣才不會錯過最新的軟體教學喔!我是 AFA,我們下次見!👋