AI-Chain
開源

開源

共 59 篇文章

從單機 Python 到 AI 叢集:Ray 如何把擴展成本藏進程式模型

從單機 Python 到 AI 叢集:Ray 如何把擴展成本藏進程式模型

當機器學習工作負載從單機走向分散式,真正棘手的往往不是把 CPU 數量加大,而是重新設計任務、狀態、資料與服務邊界。Ray 以 tasks、actors 與 objects 建立一套 Python 原生的分散式執行模型,再往上提供 Data、Train、Tune、RLlib 與 Serve 等 AI libraries。本文用一個可驗證的上手範例,拆解它適合解決什麼問題,以及哪些情境不該急著導入。
閱讀更多
不只是在本機跑模型:LocalAI 如何用一個 API 統一 LLM、語音與影像服務

不只是在本機跑模型:LocalAI 如何用一個 API 統一 LLM、語音與影像服務

LocalAI 把多種推論後端、模型格式與硬體加速收進一個可自架的服務層,並以 OpenAI 相容 API、按需載入的 backend、內建 Agent 與分散式能力,降低把本地模型接進真實產品的門檻。本文從架構、部署、模型管理到治理邊界,拆解它適合解決什麼問題,以及哪些地方仍需要工程團隊自己把關。
閱讀更多
別再把 Agent 當成一段 Prompt:Microsoft Agent Framework 如何把多代理工作流推進生產環境

別再把 Agent 當成一段 Prompt:Microsoft Agent Framework 如何把多代理工作流推進生產環境

我認為 Microsoft Agent Framework 真正值得關注的地方,不是再包一層聊天 API,而是把 Agent、工作流、狀態、人工介入、可觀測性與部署邊界放進同一套工程模型。本文從官方文件與可執行的 Python 快速入門出發,拆解它適合什麼團隊、如何開始,以及為什麼不要一開始就急著堆多代理。
閱讀更多
讓 AI 記住但不把資料送上雲端:MemPalace 的 local-first 記憶系統拆解

讓 AI 記住但不把資料送上雲端:MemPalace 的 local-first 記憶系統拆解

AI Agent 的上下文視窗會重置,但團隊決策、程式碼脈絡與對話不該跟著消失。本文從 MemPalace 的 verbatim 儲存、分層檢索、可插拔後端與 MCP 整合出發,實際拆解如何在本機建立可搜尋、可恢復的 AI 記憶層,也整理安裝版本、非互動初始化、模型下載與資料權限等容易踩坑的細節。
閱讀更多
MCP 不只是一組工具:用 mcp-use 把 Server、React View 與 Inspector 串成可執行的 AI 應用

MCP 不只是一組工具:用 mcp-use 把 Server、React View 與 Inspector 串成可執行的 AI 應用

MCP 的價值不只在於讓模型呼叫工具,而在於能否把工具、結構化結果、互動介面與除錯流程組成一個可維護的應用。本文以 mcp-use 為例,從快速建立 MCP Server 開始,拆解它如何把 TypeScript 型別、React View、Inspector 與代理導向的開發流程放在同一個框架裡,並整理適用情境與導入時必須面對的限制。
閱讀更多
讓 LLM 讀懂整個程式庫:用 Repomix 建立可控、可壓縮的程式碼上下文

讓 LLM 讀懂整個程式庫:用 Repomix 建立可控、可壓縮的程式碼上下文

當 AI 助手只看到零散檔案,重構與除錯很容易失去上下文。Repomix 將程式庫整理成 XML、Markdown、JSON 或純文字輸出,並把檔案篩選、token 統計、Tree-sitter 壓縮、MCP 與安全檢查放進同一條工作流。本文從實際指令出發,說明如何把它變成可靠的 AI 程式碼閱讀入口。
閱讀更多