本機大模型部署設定
你可以讓 Mystilink 連接在本機執行的相容模型服務。本機模型需要自行安裝、下載與執行;Mystilink 中儲存連線設定,不會自動替你安裝模型或準備 GPU 環境。
先區分本機、區域網路與雲端
localhost 或 127.0.0.1 指執行 Mystilink 的這台電腦。區域網路位址指另一台機器,不屬於同一裝置內處理。部分本機模型工具也提供雲端模型;使用這樣的工具名稱,不代表實際推理發生在本機。
想讓推理留在本機,需要同時確認所選模型在本機執行、位址指向本機服務,並關閉或移除雲端回退。帳號、授權等線上功能仍有各自的連網要求。
Ollama
依 Ollama 官方說明 安裝並啟動服務,先下載一個適合本機、支援所需工具能力的模型。以服務實際顯示的模型 ID 為準,不要直接照抄他人的模型標籤。
在 Mystilink 中建立自訂 Provider,介面中的「API 協定族」使用 openai-compatible,本機預設位址範例為 http://localhost:11434/v1。若服務位址或連接埠被改過,填寫自己的實際值。Ollama 本機相容介面的範例使用佔位 Key ollama;這不是 Mystilink 帳號密碼,也不是安全存取控制。
測試連線並新增準確的模型 ID,儲存後設為主模型。連線成功後還需驗證一段對話與需要工具的實際流程。
LM Studio
在 LM Studio 中載入適合裝置的模型並啟動本機伺服器,依 官方相容介面文件 取得位址與模型標識。
如果服務連接埠為 1234,相容前綴範例為 http://localhost:1234/v1;連接埠不是固定要求。依目前伺服器的驗證設定填寫 Key,不要將所有本機服務都視為無須驗證。
在 Mystilink 中依自訂 Provider 流程新增,填寫實際模型 ID,再測試對話。只下載了模型、沒有啟動伺服器,桌面端仍無法連線。
儲存前核對
| 檢查項目 | 原因 |
|---|---|
| 服務正在執行、位址可存取 | 模型工具介面開啟,不等於 API 服務已啟動 |
| 模型已載入且 ID 正確 | 檔案名稱、顯示名稱與 API ID 可能不同 |
| 具備所需工具呼叫能力 | 一般聊天成功不代表 Agent 工具流程可完成 |
| 上下文能容納目前任務 | 歷史對話、盤面與工具輸出會佔用上下文 |
| 主模型與回退設定正確 | 避免本機失敗後自動轉向雲端服務 |
效能與故障
本機表現取決於模型大小、量化、上下文與可用硬體,沒有適用於所有模型的固定記憶體數字。先依部署工具說明選擇可執行的模型;長對話變慢時,可縮小任務範圍或新建獨立對話。
- 連線被拒絕:檢查伺服器是否啟動、連接埠是否正確,
localhost是否指向預期機器。 - 找不到模型:從服務目前清單複製模型 ID,並確認已下載或載入。
- 能聊天但工具報錯:核對模型與介面的工具呼叫支援,而非反覆更換 Key。
- 換電腦後失敗:舊機模型與伺服器不會隨 Mystilink 工作區自動搬移。
不要為了排查把無驗證服務直接暴露到公網。需要區域網路部署時,由你管理的服務設定驗證與存取範圍,並確認傳輸路徑。