混合專家（Mixture-of-Experts, MoE）架構為探查大型語言模型的內部組織提供了難得的機會，但這一特性在生物學基礎模型構建中尚未得到系統性利用。
我們提出了 OmniGene-4，這是一種統一的生物語言基礎模型，基於 Gemma-4-26B-A4B（30 層、每層 128 個專家、top-8 路由）構建，通過注入 28,028 個生物學詞元（DNA 和蛋白質 BPE、Foldseek 3Di、DSSP 二級結構），在 32.5 GB 的 DNA、蛋白質、自然語言和結構語料混合數據上繼續預訓練（continuing pretraining, CPT），並在涵蓋八類任務家族的 199,576 個指令格式樣本上進行監督微調（supervised fine-tuning, SFT）。
在一組標準基準測試中，最終模型（v3）在 BioPAWS 標準蛋白同源性任務（6,000 對）上達到 99.95% 的準確率，在遙距同源性任務（protein_pair_remote 中的 2,000 對）上達到 59.50%，並在 BixBench 知識問答上達到 93.66%。
相較於未經微調、僅擴展詞表的 Gemma-4-Instruct 基線（85% / 60% / 87%），v3 在 Standard 上提升了 +14.5，在 Remote 上表現相當（-0.5，處於該 2,000 對樣本統計噪聲範圍內），並在 BixBench 上提升了 +6.7。我們並不聲稱該模型已與專門的遙距同源性工具達到同等水平；在採用不同構造劃分的已發表結果中，ESM-2、CATHe 和 PLMSearch 可達到 65--75%，而如何縮小這一差距被視為一個開放問題。
通過在每個路由器上安裝前向鈎子，我們直接測量了 CPT 和 SFT 各自如何重塑專家路由。在從 8 種模態中抽取的 400 個提示上，對 30 層取平均後，任務路由分佈兩兩之間的 Jensen--Shannon 散度均值從 0.138（詞表擴展後的基線）上升至 CPT 後的 0.230，並在完整 CPT+SFT 流水線後進一步升至 0.232。
在這一按層平均的指標下，大部分增幅（Delta JS +0.092）發生於 CPT 階段，而 SFT 階段僅帶來較小的進一步上升（Delta JS +0.002）。按層觀察的圖景則更為細緻：CPT 重塑了 Transformer 中間層（L_11--L_22，L_12 處峰值為 +0.16）的路由，而 SFT 主要重塑最後兩層（L_28、L_29，L_29 處峰值為 +0.048），因此儘管在聚合指標下 SFT 的影響較小，但在最接近 lm_head 的層上其作用並非微不足道。
我們將此概括為生物基礎模型訓練中一種暫定的“表徵/輸出對齊”分解。在詞元層面，第 12 層路由揭示出若干具有強烈偏斜詞元偏好的專家，包括一個自然語言純度達 80% 的英語功能詞專家、兩個 DNA 二核苷酸專家、一個氨基酸專家以及一個細胞生物學專家；其他專家的絕對純度則較為有限（15--46%），並且我們不假定“相同的專家 ID”在不同層中指代同一對象。這些發現具有探索性——基於單一架構、單次訓練運行以及小樣本量的路由採樣——我們在全文中也明確如此界定。
📄 原文連結：https://www.biorxiv.org/content/10.64898/2026.05.12.724542v1?rss=1
🏷️ 生物語言模型 混合專家模型 基礎模型 蛋白質同源性 多模態生物序列