今天想要跟分享一個非常強大的開源軟體專案,叫做 exo

如果你跟我一樣,手邊有不只一台 Mac 設備(例如一台新的 Mac Mini M4,加上一台舊的 MacBook Air M1),你可能會覺得舊電腦食之無味棄之可惜。今天這招教你把家裡所有支援 Apple Silicon 的 Mac 電腦「合體」,共享同一個網路並串接記憶體,直接變身成一個高性能的 AI 運算集群!


為什麼你需要 exo?

痛點:本地跑 AI 模型,記憶體永遠不夠用

想在本地跑像是 Llama 3 70B 或是 DeepSeek 這種大型語言模型 (LLM),最吃的就是 VRAM(視訊記憶體)統一記憶體

舉例來說,我的 MacBook Air M1 只有 8GB 記憶體,根本跑不動大模型;而我的主力機 Mac Mini M4 雖然強,但記憶體也是有限的。

解法:團結力量大

exo 的核心概念就是「分佈式運算」。它能將我 Mac Mini 的記憶體與 MacBook Air 的 8GB 記憶體串接起來,讓我瞬間擁有了大約 24GB 的可用記憶體!這樣一來,原本跑不動的模型,現在都能順暢運行了。


準備工作與環境設定

在開始之前,請確保你要串聯的 每一台 Mac 電腦 都完成以下準備:

  1. 安裝 Homebrew (如果還沒裝過): 打開終端機 (Terminal),輸入以下指令安裝:

    /bin/bash -c "$(curl -fsSL [https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh](https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh))"
    
  2. 檢查 Rust 環境 (重要): 如果你之前因為其他專案安裝過 rust,建議先卸載以避免衝突(這是我安裝時踩到的坑):

    brew uninstall rust
    
  3. 確保 Python 環境: exo 依賴 Python 運行,建議透過 Homebrew 安裝:

    brew install python
    

Step 1:下載與安裝 exo

接著我們要在 每一台 想要串聯的電腦上執行以下步驟:

  1. 下載專案程式碼: 打開終端機,進入你想存放的資料夾(例如 Downloads),執行:

    git clone [https://github.com/exo-explore/exo.git](https://github.com/exo-explore/exo.git)
    cd exo
    
  2. 執行安裝指令: 進入 exo 資料夾後,依照官方文件(或影片中的示範),通常是執行安裝腳本。在終端機輸入並執行安裝依賴。

    (註:目前官方已推出適用於 macOS 15.2+ 的 App 版本,但為了穩定性與相容性,本篇教學以 Command Line 操作為主。)


Step 2:啟動集群與 Web UI

安裝完成後,激動人心的時刻來了!

  1. 啟動 exo: 在每一台電腦的終端機中,輸入 exo 指令並執行。

  2. 自動連線: 只要你的電腦都在同一個區域網路(Wi-Fi)下,exo 會自動偵測並將它們串聯起來。

  3. 進入控制台: 在瀏覽器網址列輸入: http://localhost:52415

這時候你會看到 exo 的 Web 介面,它會顯示目前已連接的設備,並自動偵測你們「合體」後的總算力可以跑哪些模型。


Step 3:進階密技 - 解鎖隱藏模型

exo 預設隱藏了一些還在測試或較大的模型(例如影片中示範的 Open GPTOSS / DeepSeek 系列)。如果你想嘗鮮,可以手動開啟它們:

  1. 用 VS Code 或文字編輯器打開 exo 專案資料夾。
  2. 找到路徑:src/exo/share/model_card.py (路徑可能隨版本微調,請找 model 相關設定檔)。
  3. 在程式碼下方會看到許多被註解掉(前面有 # 號)的模型列表。
  4. 取消註解:把你想跑的模型前面的 # 刪掉(或選取後按 Cmd + /)。
  5. 儲存並重啟:儲存檔案後,重新執行 exo,回到網頁介面重新整理,你就會發現那些強大的隱藏模型出現啦!

總結

雖然目前 Windows 版本的支援度還在開發中(大家可以期待一下利用閒置顯卡的功能),但對於 Mac 用戶來說,exo 絕對是目前低成本體驗高性能本地 AI 的最佳方案。

不用花十幾萬買滿規的 MacBook Pro,只要把家裡的舊 Mac 拿出來廢物利用,就能組建自己的 AI 運算中心,是不是超級酷?

如果今天的教學對你有幫助,歡迎在底下留言告訴我你成功串聯了幾台電腦!

喜歡我的影片別忘了按讚、訂閱、分享,並開啟小鈴鐺,這樣才不會錯過最新的軟體教學喔!我是 AFA,我們下次見!👋