ข้ามไปเนื้อหาหลัก

เชื่อมต่อโมเดลที่ติดตั้งในเครื่อง

Mystilink เชื่อมต่อบริการโมเดลที่รองรับในเครื่องได้ คุณต้องติดตั้ง ดาวน์โหลด และเปิดโมเดลเอง การบันทึกการเชื่อมต่อไม่ได้ติดตั้งโมเดลหรือเตรียม GPU ให้โดยอัตโนมัติ

เครื่องนี้ เครือข่ายภายใน และคลาวด์​

localhost หรือ 127.0.0.1 หมายถึงเครื่องที่รัน Mystilink ที่อยู่ LAN หมายถึงอีกเครื่อง และบางเครื่องมือสำหรับโมเดลในเครื่องก็มีโมเดลคลาวด์ด้วย ชื่อเครื่องมือเพียงอย่างเดียวบอกตำแหน่งประมวลผลไม่ได้

หากต้องการให้อยู่ในเครื่อง ต้องตรวจทั้งโมเดลที่รันจริง ที่อยู่ และไม่มีการสลับสำรองไปคลาวด์ บัญชีและสิทธิ์ยังมีข้อกำหนดออนไลน์แยกกัน

Ollama​

ติดตั้งและเปิดบริการตาม เอกสารทางการ ดาวน์โหลดโมเดลที่เหมาะกับเครื่องและรองรับเครื่องมือที่ต้องใช้ ใช้ Model ID ที่บริการแสดงจริง ไม่คัดลอกแท็กของผู้อื่นโดยไม่ตรวจ

สร้าง Provider กำหนดเองใน Mystilink เลือก openai-compatible ตัวอย่างที่อยู่เริ่มต้นคือ http://localhost:11434/v1 หากเปลี่ยนพอร์ตให้ใช้ค่าจริง ตัวอย่าง API ในเครื่องของ Ollama ใช้ Key แทนค่าเป็น ollama ซึ่งไม่ใช่รหัสบัญชี Mystilink และไม่ใช่ระบบป้องกันการเข้าถึง

ทดสอบ เพิ่ม Model ID บันทึกและตั้งเป็นหลัก จากนั้นตรวจทั้งการสนทนาและงานที่เรียกเครื่องมือ

LM Studio​

โหลดโมเดลและเปิดเซิร์ฟเวอร์ใน LM Studio ใช้ที่อยู่และ ID จาก เอกสารอินเทอร์เฟซ หากพอร์ตคือ 1234 ตัวอย่างคำนำหน้าคือ http://localhost:1234/v1 พอร์ตนี้ไม่ใช่ข้อบังคับ

กรอก Key ตามการรับรองตัวตนของเซิร์ฟเวอร์ปัจจุบัน ไม่ควรถือว่าทุกบริการในเครื่องไม่ต้องรับรองตัวตน เพิ่มแบบ Provider กำหนดเองแล้วทดสอบ แค่ดาวน์โหลดโมเดลแต่ไม่เปิดเซิร์ฟเวอร์ยังเชื่อมต่อไม่ได้

ตรวจสอบก่อนบันทึก​

รายการเหตุผล
เซิร์ฟเวอร์ทำงานและเข้าถึงได้เปิดหน้าต่างเครื่องมือไม่เท่ากับเปิด API
โหลดโมเดลและ ID ถูกต้องชื่อไฟล์ ชื่อแสดงผล และ ID อาจต่างกัน
รองรับการเรียกเครื่องมือแชตได้ไม่รับประกันงาน Agent
บริบทพอกับงานประวัติ ผัง และผลเครื่องมือใช้พื้นที่บริบท
โมเดลหลักและสำรองถูกต้องไม่ให้ล้มเหลวแล้วส่งต่อคลาวด์โดยไม่ตั้งใจ

ประสิทธิภาพและปัญหา​

ความต้องการขึ้นกับขนาดโมเดล การบีบอัด บริบท และฮาร์ดแวร์ ไม่มีตัวเลขหน่วยความจำเดียวที่ใช้ได้ทุกแบบ เลือกตามเอกสารเครื่องมือ หากบทสนทนายาวช้าลง อาจลดขอบเขตงานหรือเปิดบทสนทนาแยก

  • เชื่อมต่อถูกปฏิเสธ: ตรวจเซิร์ฟเวอร์ พอร์ต และว่า localhost หมายถึงเครื่องที่ต้องการ
  • ไม่พบโมเดล: คัดลอก ID จากรายการจริงและตรวจว่าโหลดแล้ว
  • คุยได้แต่เครื่องมือล้มเหลว: ตรวจความสามารถโมเดลและ API ไม่ใช่เปลี่ยน Key ซ้ำ
  • ย้ายเครื่องแล้วใช้ไม่ได้: โมเดลกับเซิร์ฟเวอร์เก่าไม่ย้ายตามพื้นที่ทำงาน Mystilink

อย่าเปิดบริการที่ไม่มีการรับรองตัวตนสู่สาธารณะเพื่อแก้ปัญหา หากใช้ LAN ให้จัดการสิทธิ์เข้าถึงและเส้นทางส่งข้อมูลของเซิร์ฟเวอร์ที่คุณดูแล

อ่านต่อ: โมเดล, Provider กำหนดเอง, การเชื่อมต่อ, ความเป็นส่วนตัว