北京
當(dāng)你調(diào)了幾句提示詞就讓模型上線，用戶開始抱怨答非所問時(shí)，你能馬上分清是提示詞的問題、模型自身的問題，還是檢索管線出了問題？
很多團(tuán)隊(duì)部署大模型系統(tǒng)時(shí)根本沒有做正經(jīng)評估。跑幾輪手動(dòng)測試，看輸出“還不錯(cuò)”就收工。六年前我剛開始做大模型項(xiàng)目也這樣，改一句提示詞，掃兩眼回復(fù)，覺得差不多就推上線。感覺上很高效，可一旦線上真出了狀況，我發(fā)現(xiàn)手里連一條可對照的基線都沒有——新提示詞真的起了作用嗎？這個(gè)模型在那些刁鉆的邊界情形下是不是一直都這么差？完全答不上來。
評估并不只是為了抓bug，它是你優(yōu)化系統(tǒng)的指南針。不做系統(tǒng)化的評估，就等于在一個(gè)直覺常常失靈的空間里憑感覺開盲車。而跳過評估，意味著你換提示詞時(shí)沒有參照系、沒法客觀比選模型、漏掉了那些在暗處損害用戶體驗(yàn)的回歸問題，最后還把自己的工作建立在一個(gè)你其實(shí)信不過的基座上。
怎么解決才好？好消息是：評估不必做到完美才有價(jià)值，哪怕是很粗的指標(biāo)也遠(yuǎn)勝過零指標(biāo)。我給大模型評估畫過一個(gè)三層金字塔，每一層都在“精確度”和“可規(guī)?；敝g做著置換。
最底層、也是精確度最高但最難擴(kuò)展的，是人工評估。讓真人按照有用性、準(zhǔn)確度、語氣這些維度去評判每次輸出。什么時(shí)候用人工評估？當(dāng)你需要驗(yàn)證自動(dòng)化指標(biāo)跟真實(shí)質(zhì)量到底相不相關(guān)、要評估“聽起來自然嗎”這種主觀標(biāo)準(zhǔn)、處理那種出錯(cuò)代價(jià)很高的高風(fēng)險(xiǎn)場景，或者想給自己那個(gè)理想的數(shù)據(jù)集打上第一批標(biāo)注標(biāo)簽的時(shí)候。具體怎么做好？首先得把評判標(biāo)準(zhǔn)寫清楚?！敖o質(zhì)量打分”這種模糊指令只會(huì)拿到前后不一致的結(jié)果，你得精確到這種程度：“給幫助性打1到5分，1分代表回復(fù)根本沒有涉及問題，5分代表給出了完整且能落地執(zhí)行的答案?！蓖瑫r(shí)，至少要用三名標(biāo)注者，讓每個(gè)人獨(dú)立評分，再取共識。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
