AI 神器: TypingMind + OpenRouter
探索TypingMind和OpenRouter如何讓你以最低成本使用多種頂尖AI模型。這兩款工具結合,簡化了LLM使用流程,助你輕鬆跟上AI發展腳步。
OpenRouter 的統一 API 與 TypingMind 的多功能界面相結合,讓我輕鬆訪問多種尖端語言模型。無需多重訂閱和複雜設定,省錢又彈性。
🦥
嘿,我是 Browny。上週末參加了一場高中同學的婚禮 (上一場已經是很久以前 XD),見到許久不見的同學們,感覺很好。其中有位同學發起了明年初一起跑馬拉松的邀約,我就在緬懷高中熱血情懷的氛圍下答應參加惹。
事後想想,對於完全沒跑過馬拉松的我來說 (連 10k 都沒跑過),真的是一個艱鉅的任務 (在 threads 上的發文被瘋狂勸退 😅)。不過也因為這樣,我決定養成每天跑步的習慣,先以不要受傷不要被回收車回收為目標 🏃♂️。
🦥
❏ 引言
這期來分享兩個我每天都會用 (純分享非業配 😅),但社群聲量較小的 AI 神器:
這兩個工具搭配起來,讓我只需要訂閱一次就可以同時使用市面上最新的各種 AI 模型。通過單一訂閱,用戶即可同時使用市面上各種最新的LLM,無需為每個模型單獨付費。無論是比較不同廠商 (如OpenAI、Anthropic、Google等) 的模型表現,還是為特定任務選擇最適合的模型,都變得更簡單省錢。
.
📍 大綱
❏ 釐清 “聊天應用” 和 “API” 是不同計費機制
❏ OpenRouter: 大語言模型 (LLM) 的通用接口
❏ TypingMind: 訂製化的個人 AI 工作區
《非正式寫作》著墨琢磨 技術趨勢、溝通領導、概念理解 與 生活實踐。
每週一四派送,免費訂閱起來👇
🔍 工人智慧猜你也喜歡
❏ 釐清 “聊天應用” 和 “API” 是不同計費機制
目前市面上主流的 LLM 商用服務 (OpenAI、Anthropic、Google 等…),通常都會提供兩種服務:一種是面向一般用戶的聊天應用;一種是面向開發者的 API。
OpenAI 提供的聊天應用是 ChatGPT; 面向開發者的 API 則是 Platform OpenAI。
Anthropic 提供的聊天應用是 Claude; API 則是 Anthropic Console。
Google 提供的聊天應用是 Gemini; API 則是 Google AI Studio。
🚨 需要注意的是,”聊天應用” 和 “API” 是分別獨立收費的!
聊天應用採取的是訂閱制 (根據不同的方案等級收取不同的費用),比如 ChatGPT 就兩個等級 Free 跟 Plus (20USD/month)。
API 採取的則是用量制 (預付),有點像悠遊卡,你先存一些錢進去,隨著你的使用餘額會慢慢變少,快用完的時候它會提醒你加值 (也可以選自動加值)。
我剛開始接觸 AI 服務的時候,因為想要嘗試一些基於這些商用模型的延伸服務,比如翻譯服務 (沉浸式翻譯)、文章摘要 (Summarize with Claude),等等…。這些服務會要求你填入對應的 API key (讓它可以去調用模型),這個 API key 就需要你預付一定的金額進去後才可以創建。所以當時,我付了兩份錢:一份是聊天應用訂閱費、一份是使用 API 的用量費。
後來仔細想想,這個聊天應用不也是基於 API 開發出來的嗎?那我為啥吃一碗粉得付兩碗的錢,難道就是買他的聊天 UI 而已嗎?後來我學聰明了,只花 API 的用量費,然後去找市面上做 Chat UI 的服務 (也就是待會會提到的 TypingMind)。
.
❏ OpenRouter: 大語言模型 (LLM) 的通用接口
理解模型廠商提供「聊天應用」和「API」兩種服務後,我們接下來主要關注 API 的部分。
現在的大語言模型仍處於高速發展的階段,每隔兩三個月就會有能力更強、速度更快或是更便宜的模型問世 (例如: Gemini 重大升級)。如果各種推陳出新都想嘗試玩看看,可想而知會是一筆不小的費用。
OpenRouter 就是來解決這個問題的,可以把他想像成中盤商,我們這些小盤 (個體戶) 不直接跟大盤 (模型廠商: OpenAI, Google, etc…) 買用量,而是透過中盤 (OpenRouter) 購買使用各種模型的權力。
.
✔ 核心功能
模型支持: OpenRouter 提供了多種頂尖大型 AI 模型的 API 接口,包括 OpenAI (GPT-3.5/4)、Anthropic (Claude)、LLama3、Google Gemini 等。
統一 API: 提供標準化的 API 接口,用戶無需修改代碼即可在不同模型間切換,大大簡化了整合開發過程。
價格和性能優化: 用戶可以根據需求選擇最佳價格或性能的模型。平台會收集各模型的延遲和吞吐量數據,幫助用戶做出明智的選擇。
靈活的付費方式: 支持對每個生成的 API 金鑰費用進行控制。
.
✔ 我的使用場景
我的使用場景就是拿它來創建一把能夠使用各種模型的 API key。因為他可以針對每一把 API key 設置 budget (上圖沒有特別設置,預設 Unlimited),所以也很好管理使用的服務不能超出設置的費用。
接下來,就是把這把 API key 放到 TypingMind 當中,就可以在同一個 Chat UI 當中,調用不同的模型。
.
❏ TypingMind: 訂製化的個人 AI 工作區
前面有提到,付兩份錢是很浪費的,所以選擇了只付 API 用量的錢。但是,總不能都用 API 來跟模型互動吧!畢竟這是面向開發者的,一般使用情境我們還是需要一個對話介面。
所以這邊就輪到 TypingMind 上場啦,你可以把他想像成一個加強版的對話介面。它背後可以串接很多不同模型的 API key。
有一點很棒的是,這個服務是買斷制的,不用每個月扣款 (誰還在傻傻的買 ChatGPT Plus,趕快把這篇文章分享給他 🫵)。
除了串接整合不同模型的 API key 以外,它還有許多好用的功能,我經常使用的有:提示詞管理、聊天紀錄管理、聊天歷程分享,還有最近學會的 Prompt Chaining (把一輪對話的輸出丟給下一輪對話當輸入)。之後會在開一期專門解說 ~
.
✔ 核心功能
多模型支持: 除了支持 OpenAI 的 GPT 模型外,還支持 Anthropic 的 Claude 模型以及 Google 的 Gemini 模型 (🚨 最重要的是,支持 OpenRouter 的 API key)。
聊天記錄搜索: 可以輕鬆搜索和查找過往的對話內容。
文件夾組織: 可以將聊天分組到文件夾中,更好地管理對話 (這很好用)。
提示詞庫: 內建提示詞庫,可以提供預定義的對話開始,幫助引導對話並提高效率。
插件集成: 可以與其他工具和平台集成,增強工作流程 (這也蠻好用的)。
.
✔ 我的使用場景
接下來,就把 OpenRouter 創建出來的 API key 填入 TypingMind 中就大功告成了,詳細步驟可以看 這裡!
完成以後,可以在 Chat 頁面選到你匯入的模型 (如下圖),像是前陣子出來的 OpenAI: o1-preive
模型。雖然我沒有訂閱 ChatGPT 或是 OpenAI API,還是可以透過 TypingMind + OpenRouter
第一時間體驗到。
❏ 結語
在人工智慧和大語言模型快速發展的環境下,時刻跟上技術前沿又要拿捏好成本不是一件容易的事。這期我們介紹了兩個工具:OpenRouter 和 TypingMind,它們為 AI 愛好者和專業人士提供了一個精巧的解決方案。
OpenRouter 的統一 API 與 TypingMind 的多功能界面相結合,讓我輕鬆訪問多種尖端語言模型。無需多重訂閱和複雜設定,省錢又彈性。
你是怎麼跟上最新最快的 AI 模型浪潮呢?你有哪些比 OpenRouter, TypingMind 更厲害的壓箱寶工具呢?歡迎與我討論和分享,我迫切想要知道更棒、更省錢的方式 ^^
~
♦️ One more thing
TypingMind 的 CEO Tony Dinh 也有 Substack,裡面有紀錄他建立 TypingMind 歷程紀錄,蠻有趣的 ~