LLM

DeepEval 是一套開源 LLM 評估框架，將測試案例、品質 metrics 與 threshold 接進熟悉的 pytest／CI 工作流。本文從官方 README 與原始碼脈絡拆解黑箱評估、RAG faithfulness、Agent trajectory、工具正確性與導入治理。

很多團隊已經會呼叫 LLM，卻仍卡在文件解析、資料切分、檢索、引用與 Agent 工作流程。LlamaIndex 把資料連接器、索引、Retriever、Query Engine 與 Workflow 放進同一個 Python 生態，讓私有資料真正成為可被 Agent 使用的上下文。本文從官方文件出發，拆解它的定位、上手方式、適用情境與不能忽略的限制。

Microsoft bitnet.cpp 將 BitNet b1.58 等低位元模型帶入 CPU 與 GPU 推論，透過最佳化 kernel、模型格式與 benchmark 工具，探索本地 LLM、RAG embedding 與 edge AI 的效能及部署取捨。

Haystack 3.0 以 component 與 Pipeline 為核心，將 RAG、Agent、檢索、工具呼叫與生成拆成可組合、可測試的資料流。本文從官方 source code 出發，帶你理解它的設計、最小 RAG 實作與適合的落地場景。

LangExtract 不只讓 LLM 輸出結構化資料，還把每筆 extraction 對齊回來源文字的 character span，並透過 JSONL 與互動式 HTML 支援人工核對。本文拆解它的資料模型、長文件管線、provider 架構與實際上手方式。

AnythingLLM 是一套以 local-first 為核心的開源 AI 工作台，將文件問答、RAG、AI Agent、多使用者權限與多種模型／向量資料庫整合在同一個可自架應用中。本文從架構、資料流程、部署選擇與隱私邊界，拆解它適合什麼團隊，以及導入時最容易忽略的工程細節。

RTK 是一個以 Rust 撰寫的 CLI proxy，會在 shell 輸出進入 AI coding agent 前，依命令類型進行過濾、分組、截斷與去重。本文拆解它真正節省的範圍、安裝與 agent 整合方式，以及如何在不犧牲錯誤可見性的前提下導入。

LlamaFactory 將 100+ 個 LLM 與 VLM 的微調流程整合成 CLI、Web UI 與 OpenAI 相容 API。本文從 LoRA／QLoRA 快速開始，拆解資料準備、訓練、推理、合併與部署的實作路徑。

Cherry Studio 用一個統一的桌面應用解決 AI 工具碎片化的痛點——它同時支援 OpenAI、Anthropic、Gemini、Ollama 等 300+ AI 提供商，內建 MCP server 架構，並且完全開源。

Andrej Karpathy 發了一個只有三個 Python 檔案的專案，卻引爆了整個 AI 社群。autoresearch 讓 AI agent 自主改代碼、訓練、評估、迭代——你睡一覺醒來，模型已經變強了。

TradingAgents 將 LLM 驅動的多代理架構引入金融交易領域，模擬真實交易室的協作流程，從基本面分析、情緒判斷到風險管理，每一個角色由不同的 AI 代理負責，共同做出交易決策。

LiteLLM 把多家 LLM 服務包成同一個 OpenAI 介面，還補上成本追蹤、guardrails、load balancing 與 logging。我會把它視為團隊把模型接入層抽象化時，最容易先試的一個 AI Gateway。