0:00 很多人第一次把 AI 裝在自己的電腦上，
0:02 接上 OpenClaw 這種 AI 助理，叫它做一件很小的事，
0:05 結果它一直失敗，講到一半就忘記前面交代過什麼。
0:08 大部分人的結論是：本地模型太笨了。
0:11 可是很多時候，問題不在模型。
0:14 Ollama 是最多人用來跑本地模型的軟體，
0:16 它的官方文件寫：顯示記憶體小於 24 GB 的機器，
0:19 預設的 context 只有 4,000 個 token。
0:22 可是 OpenClaw 的官方文件建議，接本地模型的話，
0:24 context 至少要 64,000 個 token。
0:27 兩邊差了 16 倍。
0:29 先講這兩個詞。
0:30 token 是 AI 切文字的小單位，
0:32 你可以先把它想成一個字或半個字。
0:35 context 是 AI 一次看得到的內容，你交代的事情、
0:38 它讀過的檔案、前面的對話，全部都要塞在裡面。
0:40 塞不下的，就從最前面開始被擠掉。
0:43 而 agent 工具在你打字之前，
0:45 就會先放一大段自己的說明書進去。
0:47 社群上有人量過，在 agent 工具裡只打一聲「嗨」，
0:49 就已經用掉大約 5,000 個 token。
0:52 4,000 的空間，一開始就爆了。
0:54 所以，你的本地 AI 不一定是笨，很可能是設定錯了。
0:58 這一集就從這裡開始：你手上這台電腦，
1:00 到底能跑哪一顆模型、要用什麼軟體、適合拿來做什麼，
1:03 還有新手最常踩的坑。
1:06 這一集分成六段。
1:06 第一段先給你一條規則，
1:08 看一眼就知道一顆模型放不放得進你的電腦。
1:11 第二段照記憶體大小，從 16 GB 一路講到 128 GB，
1:14 每一級能跑哪一顆、多快、適合做什麼。
1:17 接著講為什麼有些比較大的模型反而跑得比較快、
1:20 要用哪一個軟體、哪些用法真的有人做成功，
1:23 最後是新手最常踩的五個坑。
1:25 第一段。
1:26 要知道一顆模型能不能在你的電腦上跑，只要一條規則，
1:29 再加一個 Mac 才有的小陷阱。
1:31 先看模型的名字。
1:32 你在網路上會看到 Qwen3.8 27B 這種名字，
1:35 後面那個 27B，意思是這顆模型有 270 億個參數。
1:39 參數就是模型學到的東西，存成一大串數字，參數越多，
1:43 通常越聰明，檔案也越大。
1:45 原始的模型檔非常大，所以大家會先把它壓縮，
1:48 這個叫做量化。
1:49 你可以把它想成壓縮照片：把每一個數字存得粗一點，
1:52 檔案變小很多，看起來還是差不多。
1:54 現在最常用的是壓成四位元。
1:56 所以規則是這樣：一顆四位元的模型，
1:58 大約需要參數量乘以 0.6 GB 的記憶體。
2:01 我們拿 Hugging Face 上實際的檔案對一次：
2:04 9B 的模型大約 5.7 GB，27B 大約 17.6 GB，
2:08 35B 大約 22.4 GB，跟這條規則都對得上。
2:11 但這只是模型本身。
2:12 剛剛講的 context 也要佔記憶體，對話越長、
2:15 讀的檔案越多，就吃得越多。
2:16 所以模型檔放得進去還不夠，要多留一塊空間給它工作。
2:20 再來是 Mac 的小陷阱。
2:21 Mac 的記憶體是 CPU 跟顯示晶片共用的，
2:24 這是它跑 AI 的優勢。
2:25 可是社群上很多人實測，
2:27 macOS 預設只讓顯示晶片用大約四分之三的記憶體，
2:30 剩下的留給系統。
2:32 所以一台 16 GB 的 Mac，
2:33 真正能拿來放模型的大約只有 12 GB；
2:35 32 GB 大約是 24 GB。
2:37 Apple 的 MLX 官方文件有一個指令可以把上限調高，
2:41 但每次重開機就會恢復，新手先照四分之三來算就好。
2:45 第二段，也是這一集最重要的一段。
2:46 我們照記憶體大小，一級一級往上走。
2:49 每一級都講三件事：能跑哪一顆、多快、適合做什麼。
2:52 速度的數字都是社群上大家分享的實測，我們自己沒有量。
2:56 同一台機器換個軟體就會差很多，看大概就好。
2:59 先給你一把尺。
3:00 速度的單位是每秒幾個 token。
3:02 社群上常見的體感是這樣：每秒不到五個，幾乎沒辦法用；
3:05 10 個左右，大概跟你讀字的速度差不多；20 到 30，
3:09 用起來很順；60 以上，就跟用雲端的感覺差不多了。
3:13 第一級，8–16 GB，大部分的筆電跟入門的 Mac 都在這裡。
3:16 能跑的是小模型：Google 的 Gemma 4 E4B 大約 5 GB，
3:20 Qwen3.5 9B 大約 5.7 GB。
3:23 OpenAI 開源的 gpt-oss-20b，
3:25 官方說 16 GB 的記憶體就跑得動，檔案大約 12 GB。
3:28 可是記得剛剛的陷阱：
3:29 16 GB 的 Mac 能給模型的只有大約 12 GB，
3:32 放 gpt-oss-20b 已經很緊，幾乎沒有空間留給對話。
3:36 在 16 GB 的 Mac 上，比較舒服的是 5 GB 左右的那兩顆。
3:39 這一級的速度通常不是問題，小模型都跑得很快。
3:42 問題在聰明程度。
3:43 它很適合改寫一段文字、翻譯、摘要一篇文章、
3:46 把雜亂的資料整理成表格。
3:48 可是要它當 agent，自己規劃好幾個步驟、呼叫工具，
3:51 就很容易出錯。
3:53 第二級，24–32 GB，這是社群公認的甜蜜點。
3:56 到了這一級，才開始跑得動真的好用的模型。
4:00 最有名的是 Qwen3.8 27B，
4:02 在 Hugging Face 上最近一個月就被下載超過 700 萬次；
4:04 另外兩顆是 Google 的 Gemma 4 26B，跟 Qwen3.6 35B。
4:09 速度的話，社群上有人用 32 GB 的 M6 Mac mini 實測：
4:13 跑 Qwen 27B 每秒大約八到九個 token，
4:17 差不多是你讀字的速度；換成 Gemma 4 26B，
4:20 同一台機器每秒大約 33 個，快了好幾倍。
4:23 為什麼會差這麼多，第三段會講。
4:25 這裡要注意，24 GB 跟 32 GB 差很多。
4:28 24 GB 的 Mac 能給模型的不到 20 GB，
4:31 要放 27B 只能用壓得更小的版本，
4:33 剩下給對話的空間很少。
4:35 想要用得舒服，32 GB 才是比較穩的起點。
4:39 這一級能做的事就多了：拿自己的私人文件來問答、
4:41 把一整批資料丟給它分類整理，甚至接上 coding agent，
4:45 在本地做一些範圍清楚的小事。
4:47 後面第五段會講幾個真的有人做成功的例子。
4:51 第三級，64 GB。
4:52 很多人以為記憶體加倍，就能跑更厲害的模型。
4:55 可是社群上有人把每一級能跑的最強模型排出來，
4:58 發現 64 GB 能跑的最強模型，跟 32 GB 是同一顆，
5:02 還是 Qwen 27B。
5:04 下一顆更強的模型，壓到最小的版本也要將近 70 GB，
5:07 64 GB 的 Mac 放不下。
5:09 那多出來的空間拿去做什麼？
5:11 兩件事。
5:12 第一，換成壓得比較少的 八位元的版本，大約 29 GB，
5:15 品質更接近原版。
5:17 第二，開很長的 context。
5:19 Ollama 的官方文件也寫，顯示記憶體 48 GB 以上的機器，
5:22 預設 context 直接開到 256,000 個 token。
5:26 所以 64 GB 買到的，是讓同一顆模型可以讀更長的文件、
5:29 跑更久的 agent 任務，不會做到一半就忘記。
5:32 第四級，128 GB。
5:34 到這裡，模型才真的換了一個等級。
5:36 OpenAI 的 gpt-oss-120b，檔案大約 63 GB；
5:40 Qwen3.8 Flash Next，有 1,250 億個參數，
5:44 官方說它是下一代 Qwen 4 架構的預覽版。
5:47 而且它們不慢。
5:47 社群上有人用 128 GB 的 M5 Max 實測，
5:50 gpt-oss-120b 每秒大約 60 到 70 個 token，
5:54 Flash Next 大約 70 個，比 32 GB 那台跑 27B 快很多。
5:59 一樣要注意，128 GB 不是全部都能用。
6:01 社群實測，macOS 預設給 AI 的大約是 96–107 GB，
6:06 看系統版本。
6:07 社群普遍的說法是，這一級能跑的模型，
6:09 大概是一年前頂級雲端模型的水準。
6:12 再往上，256 GB、512 GB，
6:14 這是 Mac Studio 最高階的那一級。
6:16 能跑的模型更大，可是社群拿公開的跑分來比，
6:20 每往上一階，聰明程度只多一點點，
6:22 離最強的雲端模型還是有一段距離。
6:25 對大部分人來說，到這一級，多花的錢買到的只有一點點。
6:29 除非你的資料完全不能出門，或是你要讓很多人一起用，
6:32 不然很難划算。
6:33 我們把五級整理一次。
6:35 8–16 GB 跑 5 GB 左右的小模型，適合改寫、翻譯、摘要；
6:39 24–32 GB 是甜蜜點，能跑 27B 等級的好用模型。
6:44 64 GB 跑的還是同一顆，但能開長 context；
6:47 128 GB 才換到 100B 以上的大模型；再往上，
6:51 多花的錢只買到一點點。
6:52 第三段。
6:53 剛剛有個奇怪的地方：32 GB 那台，
6:55 26B 的 Gemma 反而比 27B 的 Qwen 快好幾倍；
6:59 128 GB 那台，1,250 億參數的模型，跑得比 27B 還快。
7:03 原因是一種叫 MoE 的設計。
7:06 先講為什麼模型會慢。
7:07 AI 每寫一個 token，
7:09 都要把模型的參數從記憶體裡讀一遍。
7:11 記憶體一秒鐘能搬多少資料，叫做頻寬。
7:13 所以模型越大，每寫一個字要搬的東西越多，就越慢。
7:17 一般的模型叫稠密模型，寫每一個字，
7:20 全部的參數都要動到。
7:21 MoE 的意思是「專家混合」，模型裡面分成很多小組專家，
7:25 每寫一個字，只叫其中幾個專家出來。
7:28 像 Qwen3.6 35B，名字後面的 A3B，
7:31 意思就是每次只動用大約 30 億個參數。
7:34 要搬的東西少，速度就快很多。
7:36 社群上有一個實測，同一台 M4 Pro 的電腦，
7:39 稠密的 27B 每秒 14.7 個 token，
7:42 MoE 的 35B 每秒 78.8 個，大了一點的模型，
7:45 反而快了五倍。
7:46 但這裡有一個常見的誤解，網路上也有人講錯：
7:49 MoE 只是速度快，記憶體不會比較省。
7:52 所有的專家都要放在記憶體裡待命，所以 35B 的 MoE，
7:55 還是要 22 GB 左右的空間。
7:57 記住這句話：放不放得下看全部，
7:59 速度看每次叫出來的那幾個。
8:02 MoE 也不是完全沒有缺點。
8:04 社群上有不少人回報，同樣大小的情況下，
8:06 稠密模型做長的 agent 任務比較穩，MoE 有時候會失手。
8:10 快跟穩，看你的工作需要哪一個。
8:13 第四段，軟體。
8:15 模型是一個檔案，你還需要一個軟體把它跑起來。
8:18 新手最常碰到的有三個。
8:19 第一個是 LM Studio，有完整的介面，
8:22 像一個模型的 App Store，搜尋、下載、聊天都在裡面，
8:25 而且會告訴你哪一顆放得下。
8:27 Mac 上要選 MLX 格式，這是 Apple 自己做的格式，
8:31 在 Mac 上通常比較快。
8:33 第二個是 Ollama，它主要是在背景跑，
8:35 讓其他的 App 來接，像 OpenClaw、
8:37 Claude Code 這類 agent 工具，接 Ollama 最方便。
8:40 第三個是 llama.cpp，
8:42 它是很多軟體底下真正在跑模型的引擎，
8:44 Ollama 跟 LM Studio 都用過它。
8:47 功能最多，但要自己打指令，適合想動手調整的人。
8:51 為什麼軟體很重要？
8:52 社群上有人用同一台 32 GB 的 M6 Mac mini、
8:56 同一顆 Qwen 27B，只換跑模型的軟體跟檔案格式，
8:59 速度就從每秒大約八個，變成 21 個左右，差了快三倍。
9:03 他說他沒有換任何硬體，只換了軟體。
9:05 所以覺得慢的時候，先不要急著換電腦。
9:08 先換一個軟體試試看、把軟體更新到最新版，
9:10 在 Mac 上確認用的是 MLX 格式，很多時候速度就差很多。
9:15 第五段。
9:15 模型裝好了，到底能拿來做什麼？
9:18 這一段只講社群上有人實際做成功、有交代過程的例子。
9:22 第一個，私人文件問答。
9:24 合約、病歷、財務資料、客戶的檔案，
9:26 這些東西很多人不敢丟到雲端。
9:28 放在本地，你可以把整疊文件丟給模型問問題，
9:31 網路關掉也能用。
9:32 這也是本地 AI 最常被提到的理由。
9:35 第二個，一整批的重複工作，丟著讓它跑一個晚上。
9:39 社群上有一個人拿 40 張範例發票，
9:41 讓本地模型一張一張讀出來、整理成試算表，
9:44 40 張全部正確。
9:45 這種事不需要最聰明的模型，
9:47 需要的是有人願意不嫌煩地做完。
9:49 第三個，整理自己的帳。
9:51 有人用 32 GB 的 M6 Mac mini，加上 Gemma 4 26B，
9:55 叫本地的 coding agent 寫一個小程式，
9:58 把銀行交易紀錄自動分類、算出每一類花多少錢，
10:00 最後還做了一個圖表儀表板。
10:02 銀行資料完全沒有離開那台電腦。
10:04 第四個，整理影片庫。
10:06 有人用一台 M4 Mac mini 跑一顆大約 6 GB 的看圖模型，
10:10 讓它整夜幫幾千支影片片段寫說明，跑了 16 個小時以上，
10:14 他的素材庫從此可以用文字搜尋。
10:16 整個過程，那台 Mac mini 的風扇幾乎沒有聲音。
10:19 第五個，也是最實用的觀念：雲端的大模型負責規劃，
10:22 本地的小模型負責做事。
10:24 雲端模型比較聰明，讓它想清楚要做什麼、分成哪幾步；
10:28 本地模型負責大量讀資料、做重複的小工作。
10:31 大公司也在往這個方向走。
10:32 Microsoft 10 月宣布，
10:34 GitHub Copilot 會依照任務的難度，
10:37 把工作分給雲端或電腦裡的本地模型；
10:38 Perplexity 九月在 Mac 上推出的功能，
10:41 則是讓雲端負責規劃跟搜尋，
10:43 私密的檔案交給 Mac 上的本地模型處理。
10:45 所以重點是兩邊一起用：難的交給雲端，私密的、量大的、
10:49 重複的，留在自己的電腦。
10:51 講完能做的，也要講做不好的。
10:53 先知道哪裡會失望，就不會花一個週末之後覺得被騙。
10:57 第一，在大專案裡當 coding agent。
10:59 社群上有人用 M5 Pro 的筆電跑 Qwen 27B，
11:02 叫它看一整個專案、找出 bug，跑了 3 分鐘以上，
11:05 風扇全速、context 幾乎塞滿，一段程式碼都沒有寫出來。
11:09 原因是一個很多人沒注意到的數字：讀 prompt 的速度。
11:13 模型開始寫之前，要先把你給它的東西全部讀完。
11:15 一整個專案動不動就是幾萬個 token，
11:18 Mac 讀長 prompt 特別慢，於是你看到的就是它一直在想，
11:21 什麼都沒寫。
11:23 第二，拿 9B 這種小模型當 agent。
11:25 有人用 9B 的模型叫 agent
11:27 幫他做一個家用伺服器的儀表板，
11:29 做出來的畫面，把明明正常的服務都標成離線，
11:31 網頁上的按鈕也沒有作用。
11:33 換成雲端的模型，一次就做好了。
11:36 第三，壓到四位元以下。
11:37 為了塞進比較小的電腦，有些版本壓到三位元、二位元。
11:41 社群裡很多人的經驗是，壓得太小，
11:43 最先壞掉的是工具呼叫，
11:44 也就是 agent 叫其他程式做事的那個格式。
11:48 只是聊天可能還好，要做 agent 就盡量留在四位元以上。
11:52 第六段，新手最常踩的五個坑。
11:54 大部分人覺得本地 AI 很笨、很慢，都是踩到這幾個。
11:58 第一個坑，就是開場講的 context 太短。
12:00 Ollama 在顯示記憶體小於 24 GB 的機器上，
12:03 預設只有 4,000 個 token。
12:05 要接 agent，記得到設定裡把 context 的滑桿拉高，
12:07 OpenClaw 建議至少 64,000。
12:10 拉高會吃更多記憶體，所以這也是為什麼要多留空間。
12:13 第二個坑，chat template 掉了。
12:15 每一顆模型都有自己習慣的對話格式，
12:17 叫做 chat template，就像它聽得懂的說話方式。
12:21 有些網路上重新打包的版本沒有把這份格式帶進來，
12:24 軟體就會默默換成通用的格式，模型會明顯變笨。
12:27 解法是下載官方，或是很多人用、評價好的打包版本，
12:31 有問題先換一個版本試試。
12:33 第三個坑，KV cache 被壓縮。
12:35 KV cache 是模型用來記住前面對話的筆記，
12:39 context 開越長，這份筆記越大，
12:41 所以很多教學會教你把它壓小來省空間。
12:44 可是有一個硬體評測團隊挑了六個比較難的工具呼叫，
12:48 把這份筆記壓成八位元，六個裡面有五個格式壞掉。
12:52 他們也說，這六個是特別挑過的難題，
12:55 不代表平常每六次就會壞 5 次。
12:57 只是聊天，壓一點影響不大；要做 agent，
13:00 這個設定先不要動。
13:02 第四個坑，只看「放得下」，沒看能不能用。
13:06 模型放得進去，不代表跑得順。
13:08 有人用 16 GB 的顯示卡硬塞一個壓得比較少的 27B，
13:12 記憶體用到 96%，整台電腦當機，重開了兩次。
13:16 放得下之後，還要留空間給 context，
13:18 也要看讀 prompt 跟寫字的速度你等不等得下去。
13:22 第五個坑，以為本地就一定安全。
13:25 資料不出門確實比較私密，
13:26 可是資安公司 SentinelOne 跟 Censys 今年發現，
13:30 網路上有 175,108 台 Ollama 伺服器直接對外開放、
13:34 沒有密碼，任何人都可以拿來用，
13:36 將近一半還開了工具呼叫的功能。
13:39 Ollama 預設只聽你自己這台電腦，
13:41 這些伺服器多半是被改成對所有網路開放。
13:44 另外，模型檔本身不會執行程式，
13:46 可是你給了 agent 工具權限，它就能動你的檔案。
13:50 所以重點不是模型在哪裡跑，而是它碰得到什麼。
13:54 這裡給你一張一個下午就能做完的清單。
13:57 第一，Ollama 保持只聽本機，
13:59 不要為了方便改成對所有網路開放，要從外面連回家，
14:02 用 Tailscale 這類私人網路。
14:05 第二，把 Ollama、LM Studio 更新到最新版，
14:08 Ollama 這類軟體都修過好幾次安全漏洞。
14:11 第三，要給工具權限的模型，只用官方或知名來源的檔案。
14:16 第四，agent 工作的資料夾裡，不要放密碼、
14:19 金鑰這些東西。
14:20 第五，LM Studio 開本地伺服器的話，
14:23 打開需要驗證的選項。
14:25 最後，什麼時候才該升級？
14:27 如果你在 16 GB，每天都想跑 agent、
14:30 想用 27B 等級的模型，那 32 GB 是有感的升級。
14:33 如果你在 32 GB，常常要讀很長的文件、
14:36 讓 agent 跑很久，64 GB 才有意義。
14:39 想跑 100B 以上的大模型，就要到 128 GB。
14:43 除了這幾種情況，先把軟體換對、設定調好，
14:45 你手上這台多半還有很多沒用到的力氣。
14:48 至於要不要買新電腦、算起來划不划算，現在記憶體漲價，
14:52 大記憶體的機器特別貴，我們另一集算給你看。
14:56 我們把這一集整理成七句可以直接照做的話。
14:59 第一，要接 agent，先把 context 拉到 64,000 以上。
15:04 第二，一顆四位元的模型，大約需要參數量乘以 0.6 GB，
15:07 再多留空間給 context。
15:10 第三，用 Mac 的話，先照記憶體的四分之三來算。
15:13 第四，16 GB 跑小模型；32 GB 跑 27B 等級的好用模型；
15:18 64 GB 是開長 context；128 GB 才換到大模型。
15:23 第五，想要快，先試 MoE 的模型，再試著換一個軟體。
15:27 第六，難的交給雲端，私密的、重複的留在本地。
15:32 第七，Ollama 保持只聽本機，
15:33 agent 的資料夾裡不要放密碼。
15:36 這一集提到的官方文件跟參考資料，
15:38 連結我放在這一集的資訊欄。
15:41 如果這一集對你有幫助，請幫我按讚、訂閱，打開小鈴鐺。
15:44 你對節目有任何回饋或指教，或是想聽我們聊什麼主題，
15:48 都歡迎在下面留言告訴我。
15:50 我們也有 Instagram、Facebook、Threads，
15:52 還有 Apple Podcasts 跟 Spotify，都可以找到我們。
15:55 如果你覺得我的內容不錯，歡迎請我喝杯咖啡，
15:57 連結我放在資訊欄。
15:59 我們下次見！