LLM

今天想要跟分享一個非常強大的開源軟體專案，叫做 exo。 如果你跟我一樣，手邊有不只一台 Mac 設備（例如一台新的 Mac Mini M4，加上一台舊的 MacBook Air M1），你可能會覺得舊電腦食之無味棄之可惜。今天這招教你把家裡所有支援 Apple Silicon 的 Mac 電腦「合體」，共享同一個網路並串接記憶體，直接變身成一個高性能的 AI 運算集群！ 為什麼你需要 exo？ 痛點：本地跑 AI 模型，記憶體永遠不夠用 想在本地跑像是 Llama 3 70B 或是 DeepSeek 這種大型語言模型 (LLM)，最吃的就是 VRAM（視訊記憶體） 或 統一記憶體。 舉例來說，我的 MacBook Air M1 只有 8GB 記憶體，根本跑不動大模型；而我的主力機 Mac Mini M4 雖然強，但記憶體也是有限的。 解法：團結力量大 exo 的核心概念就是「分佈式運算」。它能將我 Mac Mini 的記憶體與 MacBook Air 的 8GB 記憶體串接起來，讓我瞬間擁有了大約 24GB 的可用記憶體！這樣一來，原本跑不動的模型，現在都能順暢運行了。 準備工作與環境設定 在開始之前，請確保你要串聯的 每一台 Mac 電腦 都完成以下準備： 安裝 Homebrew (如果還沒裝過)： 打開終端機 (Terminal)，輸入以下指令安裝： /bin/bash -c "$(curl -fsSL [https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh](https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh))" 檢查 Rust 環境 (重要)： 如果你之前因為其他專案安裝過 rust，建議先卸載以避免衝突（這是我安裝時踩到的坑）： ...