跳至主要內容

本機大模型部署設定

你可以讓 Mystilink 連接在本機執行的相容模型服務。本機模型需要自行安裝、下載與執行;Mystilink 中儲存連線設定,不會自動替你安裝模型或準備 GPU 環境。

先區分本機、區域網路與雲端​

localhost 或 127.0.0.1 指執行 Mystilink 的這台電腦。區域網路位址指另一台機器,不屬於同一裝置內處理。部分本機模型工具也提供雲端模型;使用這樣的工具名稱,不代表實際推理發生在本機。

想讓推理留在本機,需要同時確認所選模型在本機執行、位址指向本機服務,並關閉或移除雲端回退。帳號、授權等線上功能仍有各自的連網要求。

Ollama​

依 Ollama 官方說明 安裝並啟動服務,先下載一個適合本機、支援所需工具能力的模型。以服務實際顯示的模型 ID 為準,不要直接照抄他人的模型標籤。

在 Mystilink 中建立自訂 Provider,介面中的「API 協定族」使用 openai-compatible,本機預設位址範例為 http://localhost:11434/v1。若服務位址或連接埠被改過,填寫自己的實際值。Ollama 本機相容介面的範例使用佔位 Key ollama;這不是 Mystilink 帳號密碼,也不是安全存取控制。

測試連線並新增準確的模型 ID,儲存後設為主模型。連線成功後還需驗證一段對話與需要工具的實際流程。

LM Studio​

在 LM Studio 中載入適合裝置的模型並啟動本機伺服器,依 官方相容介面文件 取得位址與模型標識。

如果服務連接埠為 1234,相容前綴範例為 http://localhost:1234/v1;連接埠不是固定要求。依目前伺服器的驗證設定填寫 Key,不要將所有本機服務都視為無須驗證。

在 Mystilink 中依自訂 Provider 流程新增,填寫實際模型 ID,再測試對話。只下載了模型、沒有啟動伺服器,桌面端仍無法連線。

儲存前核對​

檢查項目原因
服務正在執行、位址可存取模型工具介面開啟,不等於 API 服務已啟動
模型已載入且 ID 正確檔案名稱、顯示名稱與 API ID 可能不同
具備所需工具呼叫能力一般聊天成功不代表 Agent 工具流程可完成
上下文能容納目前任務歷史對話、盤面與工具輸出會佔用上下文
主模型與回退設定正確避免本機失敗後自動轉向雲端服務

效能與故障​

本機表現取決於模型大小、量化、上下文與可用硬體,沒有適用於所有模型的固定記憶體數字。先依部署工具說明選擇可執行的模型;長對話變慢時,可縮小任務範圍或新建獨立對話。

  • 連線被拒絕:檢查伺服器是否啟動、連接埠是否正確,localhost 是否指向預期機器。
  • 找不到模型:從服務目前清單複製模型 ID,並確認已下載或載入。
  • 能聊天但工具報錯:核對模型與介面的工具呼叫支援,而非反覆更換 Key。
  • 換電腦後失敗:舊機模型與伺服器不會隨 Mystilink 工作區自動搬移。

不要為了排查把無驗證服務直接暴露到公網。需要區域網路部署時,由你管理的服務設定驗證與存取範圍,並確認傳輸路徑。

相關指南:大模型與廠商、相容供應商、連線問題、隱私說明。