近日，微軟旗下虛擬細(xì)胞項目組Project Ex Vivo在期刊《Nature Methods》上發(fā)表了一篇題為：“Evaluating the role of pretraining dataset size and diversity on single-cell foundation model performance”的論文。

論文在對400個單細(xì)胞基礎(chǔ)模型開展了6400組實驗評測后得出了一個顛覆行業(yè)認(rèn)知的結(jié)論：

虛擬細(xì)胞似乎并不適用傳統(tǒng)大語言模型“擴(kuò)充數(shù)據(jù)-提升性能”的數(shù)據(jù)縮放規(guī)律，也就是說行業(yè)從100萬卷到上億的數(shù)據(jù)集規(guī)模大戰(zhàn)，可能都走了彎路！

實驗使用了一個包含2220萬個細(xì)胞的大型數(shù)據(jù)集，結(jié)果顯示僅使用當(dāng)前海量訓(xùn)練數(shù)據(jù)中的一小部分（僅1%~10%），模型性能就會進(jìn)入增長瓶頸。

單純擴(kuò)增數(shù)據(jù)規(guī)模、粗放增加數(shù)據(jù)多樣性，都無法提升模型效果，部分復(fù)雜模型效果甚至不如傳統(tǒng)簡易算法，僅少量模型在數(shù)據(jù)小幅擴(kuò)容時存在微弱提升。

也就是說，在AI虛擬細(xì)胞的研發(fā)中，一味擴(kuò)大模型、數(shù)據(jù)與算力或許都是無用功，而細(xì)胞行為與狀態(tài)的多樣性才是模型訓(xùn)練核心！

虛擬細(xì)胞的下一程該怎么走？

該研究負(fù)責(zé)人之一Lorin Crawford博士指出：“研究者應(yīng)當(dāng)在一個平衡的‘計算-數(shù)據(jù)-參數(shù)量’前沿上尋找最優(yōu)配置，而非不計成本地擴(kuò)大數(shù)據(jù)規(guī)模?！?/p>

不同數(shù)據(jù)集中的學(xué)習(xí)飽和點

論文在最后寫到，虛擬細(xì)胞或許需要精細(xì)化的研發(fā)思路：在平衡數(shù)據(jù)集規(guī)模與多樣性的同時，兼顧模型架構(gòu)、訓(xùn)練策略與評測體系的優(yōu)化。

另外兩位作者Peter S. Winter和Ava P. Amini分別補充到：“業(yè)內(nèi)普遍認(rèn)為只要不斷擴(kuò)大數(shù)據(jù)規(guī)模就能解決所有問題，但事實上，數(shù)據(jù)所涵蓋的細(xì)胞狀態(tài)多樣性才是核心關(guān)鍵?！?/p>

“簡單的嵌入方法（如PCA）往往被嚴(yán)重低估。在許多實際任務(wù)中，它們足以媲美甚至超越耗資巨大的Transformer模型。”

MIT+哈佛 用虛擬細(xì)胞攻克癌癥難題

本研究隸屬于微軟旗下的虛擬細(xì)胞項目組Project Ex Vivo，由該公司與麻省理工和哈佛共建的博德研究所（Broad Institute）聯(lián)合開展，并得到全美最大癌癥研究中心丹娜-法伯癌癥研究所（DFCI）的支持。

項目建立于2022年，旨在將細(xì)胞狀態(tài)納入癌癥分型與治療體系，實現(xiàn)藥物與患者的精準(zhǔn)匹配，改善癌癥患者預(yù)后。

團(tuán)隊利用計算模型開展虛擬細(xì)胞實驗，先通過運算驗證科研假設(shè)，再進(jìn)行實體實驗，還通過AI預(yù)測藥物引發(fā)的細(xì)胞狀態(tài)變化，以及不同癌種中細(xì)胞狀態(tài)的演變規(guī)律。

團(tuán)隊認(rèn)為，實驗室培育的癌細(xì)胞以及類器官這樣的微型腫瘤模型，無法完全復(fù)刻人體內(nèi)腫瘤的真實狀態(tài)，這是導(dǎo)致許多在培養(yǎng)皿中表現(xiàn)亮眼的候選藥物，最終在臨床試驗中折戟的關(guān)鍵因素。

他們把研究重心放在細(xì)胞狀態(tài)上，這直接決定腫瘤的藥物敏感度、耐藥性產(chǎn)生速度以及惡性侵襲能力，一方面有利于現(xiàn)有療法的患者匹配方案，另一方面也能為藥物研發(fā)開辟新方向。

研究人員不再局限于靶向基因突變，還可研發(fā)針對細(xì)胞狀態(tài)的療法，甚至通過調(diào)控細(xì)胞狀態(tài)，讓惡性腫瘤轉(zhuǎn)變?yōu)楦字委煹念愋汀?/strong>

—The End—