LLM evaluation: 從提示手工藝到提示工程

探討AI專案中評估的重要性，從提示手工藝到提示工程的轉變。介紹自動化評估系統、feedback機制和大語言模型評估方法，助您優化AI應用。

Image by Ben Kerckx from Pixabay

❏ 引言

來看一段 AI 專案驗收會議上的真實對話：

客戶👸: 這個案子你們只用 prompt engineering (提示工程) 做？有用到其他 ML 方法嗎？

我們🤓: 是的，包括"非結構化的文字處理"、"風險分類"、"修改建議"，在這次的 POC 專案中主要都是利用 prompt engineering 做到的。

客戶👸: 如果未來我們有更多種檔案格式需要支援或是需要增加新分類，prompt 是不是又要修改？prompt 越寫越長，token 越用越多，不會很貴嗎？
...
客戶👸: 雖然你們的結果有做到高於驗收標準，但是我們的 user 使用起來體驗還不是不太好，如果要請你們進一步優化，你們會怎麼做？也是只改改 prom…