ChatGPT剛出來的時候，2023年我們想調用API來做網站客服機器人，程序都調通了，但花費太大，不敢多用。後來經過幾次降價，2024年初GPT-3.5的價格勉強可以接受了，我們用于批量生成一些多語言的内容，但GPT-4的價格依然讓人不太敢用。
老版本的DeepSeek在2024年5月領頭大幅降低API價格，引得國内大模型廠商掀起價格戰，部分較小模型甚至免費，國外也有一些廠商用限額試用等方式促銷。而Llama-3系列開源的LLM模型讓推理服務商的成本降低，我們從火山引擎、Groq、Hugging Face都拿到一些免費API資源，從而讓AI應用可以落地。
Emoji角色聊天算是一個比較快看到有用戶喜歡的産品，每天有幾千次的模型調用、數千萬token的消耗，火山引擎的Llama-3-70b質量差了一點，Groq的Llama-3.1-70b基本可以但每天50K tokens免費額度太少，Hugging Face的Llama-3.1-70b額度達到每天2萬次調用，但卻速度卡、不穩定。後來經過比較，采用DeepInfra的Llama-3.1-70b，API成本為輸入$0.35/M tokens，輸出$0.4/M tokens，每天4000次調用、每次1k輸入/0.1k輸出 tokens、20M tokens的費用大約是7美元，将每次調用API粗略算為一次頁面刷新的話，費用就是$1.75/千次頁面展示，與AdSense廣告的收入在同一個數量級上了。
進一步在2024年12月3日，輸入token價格下降，為以前的2/3，而2024年12月24日推出的8bit量化Llama-3.3-Instruct-Turbo版本，輸入token價格再下降到此前的1/2，這樣一個月之内我們的成本變為以前的1/3，每天20M tokens的費用大約2美元，折合大約$0.5/千次頁面展示，已經低于我們這個Emoji網站的$0.8/千次頁面展示的AdSense廣告單價了。
當然，這隻是一個粗略統計和比較，1000次API調用的對話界面滾動與1000次頁面展示相比，前者的廣告展示和刷新效果還是差一些。所以目前綜合來看，算力API調用的成本依然高于能産生的AdSense廣告收入。但算力成本在2025年和以後會不斷下降，所以遲早API調用的成本會低于能産生的廣告價值，甚至比較初級的模型的算力成本會逐步趨近于零。
鑒于這樣，我有幾點想法：
- AI應用的初期不用過于考慮成本，總是需要花費一些學費來打磨技術、積累用戶的；
- 要做就做能批量使用算力的應用，要麼是大量API來生成公開的固定内容，要麼是大量API來生成個人需要的獨特内容，用戶量少了就沒有太大意義；
- 選擇廣告價值高的領域來做AI應用可能更早地獲得足夠的收入；
- 考慮沒有AI的時候做不了的工作，隻有AI出現後才能做的應用項目。
這個春節前DeepSeek這條大鲶魚放出V3、R1推理模型并開源，OpenAI和Google也都紛紛推出新産品來應戰，他們之間越是競争，價格也會越低，對我們這些AI應用開發者來說都是很好的機會。
评论