LLM Council Plus：Karpathy 原始專案的完整升級版
I Forked Karpathy's LLM Council project... The Result is INSANE! 🚀
Jacob 展示了 LLM Council Plus，一個基於 Andrej Karpathy 的 LLM Council 原始專案所擴充的 fork。他發現原始工具雖然概念出色，但缺乏友善的使用者體驗——需要手動設定環境變數與 config 檔，且僅支援 OpenRouter 單一 API 提供者。Jacob 花費數個週末進行改良，加入了完整的設定頁面、Ollama 本機模型支援、多種 API 提供者（OpenAI、Anthropic、Google、Groq、DeepSeek 等）的直接整合、可自訂的系統提示詞與溫度參數、多種搜尋引擎（DuckDuckGo、Tavily、Brave、Jina AI），以及「I'm Feeling Lucky」隨機模型探索功能。影片中他實際展示了完整的 Council 審議流程——多模型同時回答、同儕互評、視覺化排行榜，最後由主席模型給出最終裁決。專案程式碼已開源在 GitHub。
原始問題：Karpathy 的 LLM Council 雖有潛力但難以使用
0:00Andrej Karpathy 幾個月前發布了 LLM Council 工具，概念是讓多個 LLM 同時回答問題、彼此評分，最後由一位主席模型決定最佳答案。但 Jacob 發現原始工具的操作體驗非常粗糙——需要手動設定環境變數（.env 檔）、編輯 config 檔來指定 LLM，且僅支援 OpenRouter 單一 API 提供者。
這不是為一般使用者設計的工具，更像是一個概念驗證。Jacob 決定 fork 原始專案並進行全面升級。
Vibe CodingLLM Council Plus：完整升級的三大核心功能
2:05Jacob 的升級版稱為 LLM Council Plus，主要新增三大功能：
1. 專業 UI 與設定頁面 — 不再需要手動編輯 config 檔，所有設定都在圖形化介面中完成，API 金鑰安全儲存在本地端。
2. Ollama 本機模型支援 — 由於測試時 OpenRouter 帳單不斷攀升，Jacob 加入了 Ollama 整合，讓使用者可以同時執行本機模型（如 Phi-4）與遠端 API 模型，進行 side-by-side 比較。
3. 多 API 提供者直接支援 — 除了 OpenRouter，還可個別加入 OpenAI、Anthropic、Google、Groq、Mistral、DeepSeek 等 API 金鑰，甚至支援自訂 API Base URL（如 Together AI 或其他相容提供者）。
Ollama / API 整合可自訂的系統提示詞與溫度控制
5:33LLM Council Plus 讓使用者可以完全控制每個階段的系統提示詞——回答階段、同儕互評階段、主席裁決階段各有獨立的提示詞設定。
例如，將提示詞設為「你是個搞笑的助手」，所有模型就會以搞笑風格回應。提示詞支援變數（`{{query}}`、`{{stage}}`），方便動態插入內容。
此外還有溫度（Temperature）參數，可控制回答的創意程度——調低時回答保守，調高時可能出現天馬行空的回應。如果修改後想復原，一鍵即可重置為預設值。
系統提示詞 / Temperature網頁搜尋整合：突破知識截止日期限制
6:50Jacob 發現原始 LLM Council 的回答受限於模型的訓練資料截止日期（部分模型停在 2024 年底），無法回答需要最新資訊的問題。他的第一個升級就是加入網頁搜尋功能。
支援的搜尋引擎包括：DuckDuckGo（免費但有使用限制）、Tavily（專為 LLM 設計的搜尋 API）、Brave Search，以及 Jina AI（用於擷取網頁文章內容的服務）。
搜尋查詢處理支援兩種模式：Direct（直接搜尋原始問題）與Keyword（自動提取關鍵詞後搜尋）。搜尋結果會以 AI 友善的格式餵入模型，讓模型能基於即時資訊進行回答。
Web Search / DuckDuckGo / Jina AI「I'm Feeling Lucky」與靈活的模型選擇
8:08Council 成員設定頁面是「有趣的部分」——使用者可以：
- 選擇特定提供者（如僅用 OpenRouter 模型）
- 搜尋模型名稱
- 只顯示免費模型（省錢模式）
- 加入最多 8 位 Council 成員
- 使用 「I'm Feeling Lucky」 按鈕隨機探索並選用模型
Jacob 也加入了實用警告：若使用同一提供者的多個免費模型，可能觸發 rate limit 導致錯誤；系統有軟性容錯（soft failover）機制處理此情況。主席模型也可獨立選擇（遠端或本機），並分別設定溫度參數。
模型選擇 / Rate Limit實際演示：完整 Council 審議流程
10:35Jacob 以「20 世紀加拿大最偉大的發明是什麼？」為題進行實際示範。他選用了 DuckDuckGo 搜尋引擎，並設定了 Gemini、ChatGPT-5.2 和一個本機模型作為 Council 成員。
流程分為三個階段：
第一階段：各模型基於搜尋結果直接回答問題。
第二階段（Peer Ranking）：模型們互相評分對方的回答，產生視覺化排行榜。
第三階段（主席裁決）：主席模型（Claude Haiku 4.5）綜觀所有回答與評分，給出最終裁決——答案是胰島素（Insulin）。
Jacob 也提到未來想加入類似 Chatbot Arena 的個人排行榜功能，讓使用者根據自己的查詢歷史累積模型排名，但時間有限未能實現。
Live Demo / Peer Ranking匯出／匯入與開源
12:02LLM Council Plus 支援匯出與匯入功能，使用者可以將精心設定的 Council 配置（包含選定的模型、提示詞、溫度設定等）打包分享或重複使用。
也有「危險區域（Danger Zone）」功能可將所有設定恢復為預設值（但不會刪除 API 金鑰）。
專案程式碼已開源在 GitHub：github.com/jacob-bd/llm-council-plus，原始 Karpathy 專案連結也在影片描述中。
Open Source / GitHub在 Vibe Coding 時代，我們人類的角色不再是寫程式，而是成為產品經理——告訴 AI 我們要什麼、長什麼樣子、怎麼運作，然後 AI 幫我們把程式碼生出來。
重點時間戳索引
- 0:00Karpathy 的原始 LLM Council 工具操作門檻高，需要手動設定環境變數與 config 檔
- 2:05LLM Council Plus 是完整升級版，加入圖形化介面、網頁搜尋、多 API 提供者支援
- 3:20新增 Ollama 本機模型支援，可同時比較本機與遠端模型的表現
- 5:33可自訂每階段的系統提示詞與溫度參數，支援多種使用場景
- 6:50整合 DuckDuckGo、Tavily、Brave、Jina AI 等多種搜尋引擎，突破模型訓練資料的時間限制
- 8:08「I'm Feeling Lucky」按鈕可隨機探索並選用不同模型作為 Council 成員
- 10:35實際示範：以「20 世紀加拿大最偉大的發明」為題，展示搜尋→多模型回答→同儕互評→主席裁決的完整流程
- 12:02專案程式碼已開源在 GitHub，連結在影片描述中
📎 原始內容（查證 / AI 追查用，非閱讀主文，點擊展開）
Did Andrej Karpathy's excellent "LLM Council" feel too raw and limited? I fixed it. In this video, I reveal "LLM Council Plus" - a fully upgraded fork that adds a professional UI, web search capabilities, and full support for ANY LLMs via APIs as local models through Ollama. ABOUT THIS VIDEO: The original LLM Council was a brilliant concept, but it lacked usability and choice. I spent a couple of weekends improving it and adding tons of options. I cover how to connect OpenRouter, run local Ollama models like Phi-4, and use a real-time web search tool. KEY TAKEAWAYS: ✅ Run Local LLM Councils using Ollama (Privacy-focused) and remote AI providers ✅ Compare 8+ Models simultaneously with a Visual Leaderboard ✅ Enable Web Search for real-time fact-checking CHAPTERS: 00:00 - The Problem with Raw Python Scripts 02:05 - Introducing LLM Council Plus (The Upgrade) 03:20 - Adding Local Models (Ollama Support) 05:33 - Customizing System Prompts & Temperature 06:50 - Enabling Web Search (DuckDuckGo & Jina) 08:08 - The "I'm Feeling Lucky" Model Selector 10:35 - Live Demo: Full Council Deliberation 11:45 - The Final Verdict & Rankings 12:02 - How to Get the Code RESOURCES & LINKS: 🔗 Get the Code (GitHub): https://github.com/jacob-bd/llm-council-plus 🔗 Original Repo (Karpathy): https://github.com/karpathy/llm-council 🔔 Subscribe for more cool AI projects and Vibe Coding tips.
Hello world. Uh Jacob here. Thank you for joining me today. I wanted to show you another project that I recently worked on was one of my more product focused on user experience. Uh that was my learning objective and I was trying Google anti-gravity at that time. So so essentially it's based on uh Andre Kapathy's and he kind of came up with the term vibe coding. So one of the tools that he released a couple of months ago was it's called LLM council. It allows you to ask a question multiple LLMs and they're gonna provide their answer and then they're going to receive and rate the answers of the other LLM and in the end of the liberation there is a chairman who looks at all the responses and ratings and decide which answer was the most accurate...