2024-03-28
導(dǎo)讀
REINVENT通過強(qiáng)化學(xué)習(xí)解決了逆向設(shè)計(jì)問題癞谒，使用rnn和transformer作為深度學(xué)習(xí)架構(gòu)憔披，基于SMILES字符串作為分子表示挠说。
包括結(jié)合增強(qiáng)學(xué)習(xí)和課程學(xué)習(xí)（RL/CL）的分階段學(xué)習(xí)方法琅束、用于分子優(yōu)化的新變換器模型诈嘿、在所有算法框架內(nèi)完全集成所有生成器（包括遷移學(xué)習(xí)TL、RL糠雨、CL）：
課程學(xué)習(xí)：從簡單到復(fù)雜才睹，從少到多
支持全新設(shè)計(jì)、R-基團(tuán)替換甘邀、庫設(shè)計(jì)琅攘、Linker （連接子）設(shè)計(jì)、骨架躍遷以及分子優(yōu)化等多種應(yīng)用場景
該軟件以命令行工具的形式發(fā)布松邪，支持 TOML 或 JSON 格式的用戶配置坞琴。REINVENT 4 可以從以下網(wǎng)址免費(fèi)下載：https://github.com/MolecularAI/REINVENT4，并在Apache 2.0 許可下提供
方法：
一逗抑、基于序列的神經(jīng)網(wǎng)絡(luò)模型置济，稱為「代理」，擅長生成表示為 SMILES 字符串的分子 // 無條件代理專注于在沒有外部輸入的情況下生成序列锋八，而有條件代理則由輸入序列影響其生成序列：
- 基于token生成
- 負(fù)對數(shù)似然優(yōu)化
兩種解碼策略：
- 多項(xiàng)式采樣
- 波束搜索
Mol2Mol 作為有條件的先驗(yàn)代理浙于，代表了分子生成的另一次飛躍，該代理接受大量數(shù)據(jù)集的訓(xùn)練挟纱，系統(tǒng)地探索化學(xué)空間
【Mol2Mol】是一種用于化學(xué)分子設(shè)計(jì)的工具羞酗，它的目標(biāo)是幫助科學(xué)家和研究人員創(chuàng)建新的化學(xué)分子。
簡而言之紊服，它的作用是：給定一個已知的化學(xué)分子檀轨，Mol2Mol能夠生成與這個分子相似的新分子。這對于藥物研發(fā)特別有用欺嗤，因?yàn)樗梢詭椭芯咳藛T發(fā)現(xiàn)具有類似特性但可能效果更好或副作用更小的新藥物分子参萄。
二、遷移學(xué)習(xí)和強(qiáng)化學(xué)習(xí)
遷移學(xué)習(xí)通常用于用少量數(shù)據(jù)重新訓(xùn)練一個大型模型煎饼，以高效地獲得一個新的改進(jìn)模型讹挎，尤其適用于新任務(wù)可用數(shù)據(jù)較少的情況。因此吆玖，遷移學(xué)習(xí)可以被視為對現(xiàn)有模型的微調(diào)
遷移學(xué)習(xí)：
- 重訓(xùn)練先前模型
- 專注于任務(wù)的數(shù)據(jù)集使用
強(qiáng)化學(xué)習(xí)的創(chuàng)新：
- 增強(qiáng)似然概率： 將獎勵信號與序列的可能性結(jié)合起來筒溃，保持期望屬性和合理分子生成之間的平衡
- DAP 策略： 采用一種損失函數(shù)，指導(dǎo)代理生成高評分的分子沾乘，展現(xiàn)了系統(tǒng)在動態(tài)場景中的適應(yīng)性
// reinvent4提供了各種分子生成器和強(qiáng)大的評分子系統(tǒng)怜奖。該軟件使用 Python 3 開發(fā)，利用 Pytorch 進(jìn)行機(jī)器學(xué)習(xí)翅阵，以及 RDKit 進(jìn)行化學(xué)信息處理歪玲。
- 多樣化分子生成器: 促進(jìn)不同策略迁央，如從頭設(shè)計(jì)、R-基團(tuán)替換和分子優(yōu)化滥崩。
- 全面的評分子系統(tǒng)： 使用廣泛的評分功能岖圈，提供在評估分子屬性時的靈活性
案例及圖標(biāo)顯示：
展示reinvent4顯現(xiàn)出來的創(chuàng)新部分：
- REINVENT 4 的新版本不僅延續(xù)了之前版本的特點(diǎn)，還在功能上進(jìn)行了重大更新夭委。它引入了分階段學(xué)習(xí)、Transform 模型和一致的優(yōu)化算法框架募强，以及重新設(shè)計(jì)的評分子系統(tǒng)株灸，為應(yīng)對未來挑戰(zhàn)做好準(zhǔn)備。這些增強(qiáng)功能顯著提高了化合物發(fā)現(xiàn)的成功率和多樣性擎值。例如慌烧，在經(jīng)過 10 個周期的遷移學(xué)習(xí)后，新代理的生產(chǎn)率幾乎是基線強(qiáng)化學(xué)習(xí)代理的兩倍
// 一個 TOML 或 JSON 格式的輸入配置文件控制軟件的所有方面鸠儿。配置文件可能包含 Lib/Linkinvent 和 Mol2Mol 生成器的「種子」SMILES 字符串屹蚊。對于分階段學(xué)習(xí)、遷移學(xué)習(xí)（TL）和評分进每，需要輸入 SMILES 字符串汹粤。NLL 為負(fù)對數(shù)似然
// Reinvent 從頭開始 創(chuàng)造新分子，Libinvent 修飾一個骨架田晚，Linkinvent 識別兩個片段之間的連接器嘱兼，而 Mol2Mol 則在用戶定義的相似度范圍內(nèi)優(yōu)化分子
// 使用reinvent4 進(jìn)行基于結(jié)構(gòu)的藥物設(shè)計(jì)
命中定義：
- 命中被定義為那些對接分?jǐn)?shù)小于或等于-8千卡/摩爾且定量評估藥效（QED）值大于或等于0.7的分子。對接分?jǐn)?shù)是一個量化分子與蛋白質(zhì)結(jié)合親和力的指標(biāo)贤徒，分?jǐn)?shù)越低表示結(jié)合越緊密芹壕；QED是一個評估分子藥物樣性（drug-likeness）的量化指標(biāo)，值越高表示分子越有可能是有效的藥物
// REINVENT 4 的 Mol2Mol 模塊設(shè)計(jì)了六種不同的先驗(yàn)接奈，這些先驗(yàn)基于各類相似度進(jìn)行了訓(xùn)練
