AI 神器: TypingMind + OpenRouter

探索TypingMind和OpenRouter如何讓你以最低成本使用多種頂尖AI模型。這兩款工具結合，簡化了LLM使用流程，助你輕鬆跟上AI發展腳步。

Browny

9月 26, 2024

OpenRouter 的統一 API 與 TypingMind 的多功能界面相結合，讓我輕鬆訪問多種尖端語言模型。無需多重訂閱和複雜設定，省錢又彈性。

🦥

嘿，我是 Browny。上週末參加了一場高中同學的婚禮 (上一場已經是很久以前 XD)，見到許久不見的同學們，感覺很好。其中有位同學發起了明年初一起跑馬拉松的邀約，我就在緬懷高中熱血情懷的氛圍下答應參加惹。

事後想想，對於完全沒跑過馬拉松的我來說 (連 10k 都沒跑過)，真的是一個艱鉅的任務 (在 threads 上的發文被瘋狂勸退 😅)。不過也因為這樣，我決定養成每天跑步的習慣，先以不要受傷不要被回收車回收為目標 🏃‍♂️。

🦥

❏ 引言

這期來分享兩個我每天都會用 (純分享非業配 😅)，但社群聲量較小的 AI 神器：

TypingMind
OpenRouter

這兩個工具搭配起來，讓我只需要訂閱一次就可以同時使用市面上最新的各種 AI 模型。通過單一訂閱，用戶即可同時使用市面上各種最新的LLM，無需為每個模型單獨付費。無論是比較不同廠商 (如OpenAI、Anthropic、Google等) 的模型表現，還是為特定任務選擇最適合的模型，都變得更簡單省錢。

📍 大綱

❏ 釐清 “聊天應用” 和 “API” 是不同計費機制
❏ OpenRouter: 大語言模型 (LLM) 的通用接口
❏ TypingMind: 訂製化的個人 AI 工作區

《非正式寫作》著墨琢磨 技術趨勢、溝通領導、概念理解 與 生活實踐。
每週一四派送，免費訂閱起來👇

🔍 工人智慧猜你也喜歡

❏ 釐清 “聊天應用” 和 “API” 是不同計費機制

目前市面上主流的 LLM 商用服務 (OpenAI、Anthropic、Google 等…)，通常都會提供兩種服務：一種是面向一般用戶的聊天應用；一種是面向開發者的 API。

OpenAI 提供的聊天應用是 ChatGPT; 面向開發者的 API 則是 Platform OpenAI。
Anthropic 提供的聊天應用是 Claude; API 則是 Anthropic Console。
Google 提供的聊天應用是 Gemini; API 則是 Google AI Studio。

🚨 需要注意的是，”聊天應用” 和 “API” 是分別獨立收費的！

聊天應用採取的是訂閱制 (根據不同的方案等級收取不同的費用)，比如 ChatGPT 就兩個等級 Free 跟 Plus (20USD/month)。

API 採取的則是用量制 (預付)，有點像悠遊卡，你先存一些錢進去，隨著你的使用餘額會慢慢變少，快用完的時候它會提醒你加值 (也可以選自動加值)。

我剛開始接觸 AI 服務的時候，因為想要嘗試一些基於這些商用模型的延伸服務，比如翻譯服務 (沉浸式翻譯)、文章摘要 (Summarize with Claude)，等等…。這些服務會要求你填入對應的 API key (讓它可以去調用模型)，這個 API key 就需要你預付一定的金額進去後才可以創建。所以當時，我付了兩份錢：一份是聊天應用訂閱費、一份是使用 API 的用量費。

後來仔細想想，這個聊天應用不也是基於 API 開發出來的嗎？那我為啥吃一碗粉得付兩碗的錢，難道就是買他的聊天 UI 而已嗎？後來我學聰明了，只花 API 的用量費，然後去找市面上做 Chat UI 的服務 (也就是待會會提到的 TypingMind)。

❏ OpenRouter: 大語言模型 (LLM) 的通用接口

理解模型廠商提供「聊天應用」和「API」兩種服務後，我們接下來主要關注 API 的部分。

現在的大語言模型仍處於高速發展的階段，每隔兩三個月就會有能力更強、速度更快或是更便宜的模型問世 (例如: Gemini 重大升級)。如果各種推陳出新都想嘗試玩看看，可想而知會是一筆不小的費用。

OpenRouter 就是來解決這個問題的，可以把他想像成中盤商，我們這些小盤 (個體戶) 不直接跟大盤 (模型廠商: OpenAI, Google, etc…) 買用量，而是透過中盤 (OpenRouter) 購買使用各種模型的權力。

✔ 核心功能

模型支持: OpenRouter 提供了多種頂尖大型 AI 模型的 API 接口，包括 OpenAI (GPT-3.5/4)、Anthropic (Claude)、LLama3、Google Gemini 等。
統一 API: 提供標準化的 API 接口，用戶無需修改代碼即可在不同模型間切換，大大簡化了整合開發過程。
價格和性能優化: 用戶可以根據需求選擇最佳價格或性能的模型。平台會收集各模型的延遲和吞吐量數據，幫助用戶做出明智的選擇。
靈活的付費方式: 支持對每個生成的 API 金鑰費用進行控制。

✔ 我的使用場景

創建 API key (命名 typingmind 代表這把 key 會給 typingmind 服務使用)

我的使用場景就是拿它來創建一把能夠使用各種模型的 API key。因為他可以針對每一把 API key 設置 budget (上圖沒有特別設置，預設 Unlimited)，所以也很好管理使用的服務不能超出設置的費用。

接下來，就是把這把 API key 放到 TypingMind 當中，就可以在同一個 Chat UI 當中，調用不同的模型。

❏ TypingMind: 訂製化的個人 AI 工作區

TypingMind 針對不同的模型提供一致的聊天 UI 體驗 (你需要把這些模型的 API key 帶給他)。當然，**有 OpenRouter 的話，我們只需要給他一組 OpenRouter API key**。

前面有提到，付兩份錢是很浪費的，所以選擇了只付 API 用量的錢。但是，總不能都用 API 來跟模型互動吧！畢竟這是面向開發者的，一般使用情境我們還是需要一個對話介面。

所以這邊就輪到 TypingMind 上場啦，你可以把他想像成一個加強版的對話介面。它背後可以串接很多不同模型的 API key。

有一點很棒的是，這個服務是買斷制的，不用每個月扣款 (誰還在傻傻的買 ChatGPT Plus，趕快把這篇文章分享給他 🫵)。

填入 OpenAI, Anthropic, Gemini 的 API key 之後，就能從選單切換使用不同模型

除了串接整合不同模型的 API key 以外，它還有許多好用的功能，我經常使用的有：提示詞管理、聊天紀錄管理、聊天歷程分享，還有最近學會的 Prompt Chaining (把一輪對話的輸出丟給下一輪對話當輸入)。之後會在開一期專門解說 ~

✔ 核心功能

多模型支持: 除了支持 OpenAI 的 GPT 模型外，還支持 Anthropic 的 Claude 模型以及 Google 的 Gemini 模型 (🚨 最重要的是，支持 OpenRouter 的 API key)。
聊天記錄搜索: 可以輕鬆搜索和查找過往的對話內容。
文件夾組織: 可以將聊天分組到文件夾中，更好地管理對話 (這很好用)。
提示詞庫: 內建提示詞庫，可以提供預定義的對話開始，幫助引導對話並提高效率。
插件集成: 可以與其他工具和平台集成，增強工作流程 (這也蠻好用的)。