[HN] Swiss AI Initiative (2023)
去年我還在研究怎麼把翻譯 Agent 的 API 成本壓下來
去年我還在研究怎麼把翻譯 Agent 的 API 成本壓下來 那時候每跑完一本電子書,帳單上的美金數字都看得心驚肉跳 直到今年春天看到 ETH 他們把 Apertus 權重完整放上 Hugging Face 我才覺得這一年多在研究離線模型這條路,終於看到一點實質的支撐點
但我試過之後發現,這件事並不是想像中那麼輕鬆 最讓人挫折的是,雖然模型是開源的,但文件寫得非常「瑞士」 很多參數設定跟算力申請的邏輯,都隱含了對學術網路環境的假設 對我們這種在台灣跑自動化產線的人來說,上下文斷層很嚴重 你要自己去補齊那些在地化的環境變數,還要處理繁體中文標點符號的格式問題
不過,這也是一種必要的取捨 我現在把翻譯環節從 GPT-4o 換成 Apertus 跑在本地 雖然維護成本變高了,要自己搞定 CUDA 版本跟硬體配置 但單本電子書的邊際成本幾乎降到了零 這種「用硬體成本換取長期毛利」的邏輯,是我目前在做自動化時最核心的判斷
我現在白天還是用 API 接急件,晚上才讓本地模型跑整批書 這種混合模式雖然有點累,但至少能應對突發的流量需求
不知道大家在做本地化部署時,有沒有遇過這種文件與實際環境脫節的問題?想聽聽你們的經驗