同步操作将从 Gitee 极速下载/OpenBioMed 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
中文 | English
[08/14] 🔥 发布 BioMedGPT-LM-7B (🤗HuggingFace模型) 、 BioMedGPT-10B (📃论文, 🤖模型, 📎引用) 和 DrugFM (🤖模型).
BioMedGPT-10B是由水木分子联合清华大学智能产业研究院联合发布的首个可商用的多模态生物医药大模型。该模型将以分子结构和蛋白质序列为代表的生命语言与人类的自然语言相结合,在生物医药专业问答能力比肩人类专家水平,在分子和蛋白质跨模态问答中表现出强大的性能。BioMedGPT-LM-7B是首个可商用、生物医药专用的Llama2大模型。
DrugFM是由"清华AIR-智源联合研究中心"联合研发的多模态小分子基础模型。 该模型针对小分子药物的组织规律和表示学习进行了更细粒度的设计,形成了小分子药物预训练模型UniMap,并与多模态小分子基础模型MolFM有机结合。该模型在跨模态抽取任务中取得SOTA。
[06/12] 发布 MolFM (📃论文, 🤖模型, 📎引用) 和 CellLM (📃论文, 🤖模型, 📎引用).
MolFM是一个支持统一表示分子结构、生物医学文本和知识图谱的多模态小分子基础模型。在零样本和微调场景下,MolFM的跨模态检索能力分别比现有模型提升了12.03%和5.04%。在分子描述生成、基于文本的分子生成和分子性质预测中,MolFM也取得了显著的结果。
CellLM是首个使用分支对比学习策略在正常细胞和癌症细胞数据上同时训练的大规模细胞表示学习模型。CellLM在细胞类型注释(71.8 vs 68.8)、少样本场景下的单细胞药物敏感性预测(88.9 vs 80.6)和单组学细胞系药物敏感性预测上均优于ScBERT(93.4 vs 87.2)。
[04/23] 发布 BioMedGPT-1.6B (🤖模型) 和 OpenBioMed.
OpenBioMed是一个生物医学的Python深度学习工具包。OpenBioMed提供了多模态生物医学数据的处理接口,包括小分子、蛋白质和单细胞的分子结构、转录组学、知识图谱和生物医学文本数据。OpenBioMed支持广泛的下游应用,包括AI药物发现任务和更具挑战性的多模态理解生成任务。
OpenBioMed为研究者提供了易用的接口,以支持:
OpenBioMed的核心特色如下:
下表显示了OpenBioMed中支持的下游任务与对应的数据集和模型,它们在未来会被进一步扩展。
下游任务 | 数据集 | 模型 |
---|---|---|
跨模态抽取 | PCdes | KV-PLM, SciBERT, MoMu, GraphMVP, MolFM |
分子描述生成 | ChEBI-20 | MolT5, MoMu, GraphMVP, MolFM, BioMedGPT |
基于文本的分子生成 | ChEBI-20 | MolT5, SciBERT, MoMu, MolFM |
分子问答 | ChEMBL-QA | MolT5, MolFM, BioMedGPT |
蛋白质问答 | UniProtQA | BioMedGPT |
细胞类型注释 | Zheng68k, Baron | scBERT, CellLM |
单细胞药物敏感性预测 | GDSC | DeepCDR, TGSA, CellLM |
分子性质预测 | MoleculeNet | MolCLR, GraphMVP, MolFM, DeepEIK, BioMedGPT |
药物-靶点亲和力预测 | Yamanishi08, BMKG-DTI, DAVIS, KIBA | DeepDTA, MGraphDTA, DeepEIK |
蛋白质关系预测 | SHS27k, SHS148k, STRING | PIPR, GNN-PPI, OntoProtein |
conda create -n OpenBioMed python=3.9
conda activate OpenBioMed
pip install -r requirements.txt
pip install pyg_lib torch_scatter torch_sparse torch_cluster torch_spline_conv -f https://data.pyg.org/whl/torch-(your_torch_version)+(your_cuda_version).html
pip install torch-geometric
# 如果您在安装上述包时遇到问题,请参阅https://pytorch.org/get-started/locally/和https://github.com/pyg-team/pytorch_geometric。您也可以考虑从https://data.pyg.org/whl/来下载PyTorch Geometric及其依赖。
备注: 您可能需要下载额外的python包以运行某些下游任务。
文件 | 描述 |
---|---|
使用BioMedGPT-10B进行生成 | 使用BioMedGPT-10B针对小分子和蛋白质结构进行问答的案例。 |
使用MolFM进行跨模态抽取 | 使用MolFM抽取与某个小分子相关性最强的文本的案例。 |
使用MolT5进行基于文本的分子生成 | 使用MolT5,基于文本描述生成小分子的SMILES序列的案例。 |
使用CellLM进行细胞类型注释 | 使用微调后的CellLM预测细胞类型的案例。 |
分子性质预测 | 分子性质预测的训练和测试方式 |
单细胞药物敏感性预测 | 单细胞-药物敏感性预测的训练和测试方式 |
药物-靶点亲和力预测 | 药物-靶点亲和力预测的训练和测试方式 |
分子描述生成 | 分子描述生成的训练和测试方式 |
水木分子团队中有来自各个领域的志同道合的小伙伴,或许你和我们一样,也对大模型技术及其在垂直领域的应用很感兴趣。所以,让感兴趣的小伙伴了解工程师是如何从run一个模型开始,体验大模型,使用大模型,到开发自己的大模型是一个有意义的工作。考虑到大家可能有着不同的背景,因此我们决定写一系列连贯的文章,非常详细的把每一步呈现出来。具体示例代码请移步教程。
文章列表:
01. 如何在自己的笔记本上run起大模型?(Windows/Mac) | 示例代码
本项目包含BioMedGPT-LM-7B和BioMedGPT-10B,这些模型应当被负责任地使用。BioMedGPT不应用于向公众提供服务。我们严禁使用BioMedGPT生成任何违反适用法律法规的内容,如煽动颠覆国家政权、危害国家安全和利益、传播恐怖主义、极端主义、种族仇恨和歧视、暴力、色情或虚假有害信息等。BioMedGPT不对用户提供或发布的任何内容、数据或信息产生的任何后果负责。
本项目代码依照MIT协议开源。使用BioMedGPT-LM-7B和BioMedGPT-10B模型,需要遵循使用协议。
我们期待您的反馈以帮助我们改进这一框架。若您在使用过程中有任何技术问题或建议,请随时在GitHub issue中提出。若您有商业合作的意向,请联系opensource@pharmolix.com。
如果您认为我们的开源代码和模型对您的研究有帮助,请考虑给我们的项目点一颗星🌟并引用📎以下文章。感谢您的支持!
@misc{OpenBioMed_code,
author={Luo, Yizhen and Yang, Kai and Hong, Massimo and Liu, Xing Yi and Zhao, Suyuan and Zhang, Jiahuan and Wu, Yushuai and Nie, Zaiqing},
title={Code of OpenBioMed},
year={2023},
howpublished={\url{https://github.com/BioFM/OpenBioMed.git}}
}
@misc{luo2023biomedgpt,
title={BioMedGPT: Open Multimodal Generative Pre-trained Transformer for BioMedicine},
author={Yizhen Luo and Jiahuan Zhang and Siqi Fan and Kai Yang and Yushuai Wu and Mu Qiao and Zaiqing Nie},
year={2023},
eprint={2308.09442},
archivePrefix={arXiv},
primaryClass={cs.CE}
}
@misc{luo2023empowering,
title={Empowering AI drug discovery with explicit and implicit knowledge},
author={Yizhen Luo and Kui Huang and Massimo Hong and Kai Yang and Jiahuan Zhang and Yushuai Wu and Zaiqing Nie},
year={2023},
eprint={2305.01523},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
@misc{luo2023molfm,
title={MolFM: A Multimodal Molecular Foundation Model},
author={Yizhen Luo and Kai Yang and Massimo Hong and Xing Yi Liu and Zaiqing Nie},
year={2023},
eprint={2307.09484},
archivePrefix={arXiv},
primaryClass={q-bio.BM}
}
@misc{zhao2023largescale,
title={Large-Scale Cell Representation Learning via Divide-and-Conquer Contrastive Learning},
author={Suyuan Zhao and Jiahuan Zhang and Zaiqing Nie},
year={2023},
eprint={2306.04371},
archivePrefix={arXiv},
primaryClass={cs.CE}
}
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。