2025년도 연합학습 기반

신약개발 가속화 프로젝트 사업

신규지원 대상과제 통합공고 과제제안요구서(RFP)

목  차

I. (RFP1) 연합학습 플랫폼 활용 활성화	1

II. 참고문헌	6

II-1 참고문헌	6

1. ADMET/PK 분야 이해	6

2. In-silico ADMET 이해	7

3. MELLODDY 프로젝트 이해	8

4. 연합학습 기술 이해	8

II-2 기존 수행 과제 연구 내용	10

‧

RFP 1	연합학습 플랫폼 활용 활성화

제안요구서 (세부 사업명)

Federated ADMET 예측 모델(FAM) 개발

(연합학습 플랫폼 활용 활성화)

공모 유형

품목 지정형

기술료 납부 대상

O

사업유형

해당여부

해당 사항 없음

기획 시

참조 사항

- ADMET와 in-silico ADMET의 이해 (참고문헌 1-26번)

- 유럽 멜로디 프로젝트 (참고문헌 27-29번)

- 연합학습의 이해 (참고문헌 30-35번)

- 연합학습 적용 사례 (참고문헌 36-44번)

- 연합학습 프레임워크 (참고문헌 45번)

- 연합학습 기술 연구 동향(참고문헌 46-51번)

▶ 지원 목적

AI 신약개발 가속화를 위한 연합학습 기반 신약개발 플랫폼(FDD: Federated Drug Discovery)에서 운영될 ADMET 및 PK 파라미터 예측 AI 솔루션인 FAM (Federated ADMET Model) 개발을 지원

▶ 지원 대상

주관연구개발기관은 산·학·연·병 가능

일반적인 사항은 공모안내서의 ‘신청 요건’ 부분 참고

▶ 지원 규모

지원분야	지원기간	연간 연구개발비 (1차년도)	선정 예정 과제수
연합학습 플랫폼 활용 활성화	3년(3) 이내	300백만원 이내 (150백만원)	5

1차년도 연구 기간 및 연구비는 6개월 이내, 예산확보 상황에 따라 연간 지원 예산 변동 가능

클라우드 비용은 정부 지원 연구개발비 중 일부(1차년도 10%)를 공용비용으로 배정해야 함

실제 사용량에 따라 연차별로 공용비용을 조정함

모델 개발에 필요한 장비는 위 공용 클라우드 비용이 아닌 자체 연구비에서 사용하거나 기확보한 장비를 사용해야 함

▶ 연구 내용(안)

타 세부과제와의 연계 협력(플랫폼 구축 및 개발, 신약개발 데이터 활용 및 품질관리)

태스크 정의 및 데이터 전처리 방안 협의에 참여

운영협의체, 실무위원회 및 연합학습 워크숍에 적극 참여

태스크 정의 및 데이터 준비

FAM의 동작 범위를 정하는 태스크 정의 (연차별 고도화)

모델 개발에 활용할 공개 및 비공개 데이터 현황 파악 (in-vitro, in-vivo, in-human, PK 데이터)

2세부에서 제공하는 기본 데이터 파악(사업개요서의 데이터 및 태스크 범위와 정의를 고려하여 데이터 추가 확보 필요시 진행)

데이터 전처리 도구 개발

모델 개발에 필요한 데이터 전처리 도구 개발(전처리 도구는 모델과 함께 각 클라이언트에 보내져 클라이언트에서 수행되어야 하며, 전처리된 데이터를 AI 모델이 활용)

파운데이션 모델 등을 수행하는 과정도 전처리 도구 범주에 포함됨

FAM 모델 개발 (TRL 5~8)

FAM 기능 구현

in-vitro, in-vivo, in-human, PK 데이터를 모두 활용하여 특정 태스크 또는 복수의 태스크 예측 모델 개발 (사업개요서 참고)

신약개발에 특화된 모델 구축 방법론을 구체적으로 제시하여야 함

단, LLM API 사용 시 상용 API는 사용에서 제외하며, 로컬 PC에 탑재하여 사용할 수 있는 오픈소스 LLM API만 사용 가능(데이터 유출 가능성 방지 차원에서 제한함)

AI 신약개발 분야의 최근 연구 및 업계 동향을 파악하고, SOTA(State of the Art) 목표 대비 성능을 제시

기전이 필요한 모델 개발 시, 기전 데이터의 추가 확보를 통해 모델을 보완하는 것이 필요

FAM의 기본 기능 이외에 향후 기능 추가 등 확산 전략 제시

<연합학습 모델 구축 절차>

데이터 용어 정의

2세부 과제 수행기관이 제공하는 데이터 (데이터 소유자) :

2세부가 제공하는 데이터는 in-vitro, in-vivo, in-human, PK 데이터이며, 각 태스크*의 파라미터와 관련 파라미터를 설명할 수 있는 실험값이어야 함 (사업개요서 표 참고)

학습 데이터(Training Data): 연합학습에 활용할 데이터로 자체 실험, 위탁 실험 등을 통해 생산된 기관 고유 실험 데이터

학습 데이터 자체는 외부로 공유되지 않으며 연합학습에만 사용됨

신약개발 파이프라인 진행 중에 실패한 데이터도 필요하며, 신약 후보에서 탈락한 시점 정보도 필요함

샘플 데이터(Sample Data): 학습 데이터 중 일부 데이터를 AI 초기모델 개발을 위해서 사업에 참여하는 1, 2, 3세부 과제 수행기관에게 공개하는 데이터

샘플 데이터는 사업 참여자에게만 공개되며 외부로 유출할 수 없음

표준 데이터 포맷(마스터 테이블)에 맞게 변환하여 제공해야 함

테스트 데이터(Test Data): 위 학습 및 샘플 데이터에 포함되지 않은 데이터로 AI 모델의 성능을 테스트하는 데 사용할 데이터 (데이터 부족 및 부적절 시 추가데이터를 확보)

3세부 과제 수행기관이 제공하는 데이터 (AI 모델 개발자) :

공개 데이터(Open Data): 공개 DB, 논문 데이터 등 누구나 접근가능한 데이터로서 AI 모델 개발에 사용할 데이터

비공개 데이터(Closed Data): 3세부에서 자체 실험, 문헌 분석, 외부 기관 협력 등을 통해 별도로 확보한 비공개 데이터

3세부는 공개 데이터와 비공개 데이터 그리고 2세부에서 제공하는 샘플 데이터를 이용하여 AI 초기모델을 구현하게 됨

3세부는 모델 개발에 사용할 공개 및 비공개 데이터 내역을 제안서에 명시하고 변경 시 사업단에 보고해야 하며 외부 기관 데이터를 활용하거나 구매한 경우 향후 데이터 및 모델 사용에 문제가 없도록 해야 함

검증 데이터(Validation Data) : 공개 및 비공개 데이터에 포함되지 않은 데이터로서 3세부에서 AI 모델 성능의 자체 검증에 사용할 데이터

모델 용어 정의

초기 모델(Baseline Model): 연합학습 시작 이전에 샘플 데이터, 공개 데이터, 비공개 데이터를 활용해 설계한 최초의 AI 모델

로컬 모델(Local Model): 각 클라이언트(세부 과제2 수행기관)에서 자신의 학습 데이터를 활용하여 초기 모델을 개별적으로 학습한 모델

글로벌 모델(Global Model): 여러 클라이언트에서 학습된 로컬 모델의 파라미터(가중치)를 집계하여 생성된 통합 모델

개인화 모델(Personalized Model): 글로벌 모델을 클라이언트의 데이터로 추가 학습(Fine-tuning)하여 최적화한 모델

데이터 활용 방안

제안 기관은 사업개요서의 데이터 정의와 태스크 범위를 참고하여 본 과제에서 사용할 공개 및 비공개 데이터의 활용 방안을 제안해야 함

제안 기관이 생성형 모델 기반 데이터 생성을 통해 데이터를 추가 확보 또는 활용하려는 경우에는 데이터의 양적/질적 적정성에 대해 제3자를 통한 검증이 필요함

연합학습 기반 기술개발(추가 제안 사항)

연합학습 환경에 최적화된 모델 개발 기술 제안

Explainable AI(XAI), 데이터·자원 불균형 문제 해결, Federated Transfer Learning(FTL, Horizontal·Vertical) 등 모델 성능 향상, 개발 비용 최소화, 데이터보안 강화 등을 위한 새로운 기술 및 방법 제안

FAM 운영 및 성능 개선

FAM 운영 모니터링 및 성능 개선 방안 연구

FAM 모델 기술 검증

국제 학술지·컨퍼런스 발표

기술 성능 검증

SW 인증·평가, AI 신약개발 적용 범위 검증(사용자 만족도 조사, 실증 기관 연계 등)

FAM 상용화를 위한 계획 수립 (3차년도 이후)

▶ 성과목표·지표(안)

지원분야	성과목표	지원내용(예시)
연합학습 플랫폼 활용 활성화	FAM 모델 개발 *지표별 1건씩 (개발, SW 등록, 특허, 인증)	in-vitro, in-vivo, in-human, PK-paramter의 태스크 범위를 반영한 모델 개발 ADMET 및 PK (in-vitro, in-vivo, 임상시험) 실험 데이터를 학습하여 개발 초기 단계부터 임상시험 결과를 예측할 수 있는 모델 개발 모델 개발 (1건 이상), SW 등록 (1건 이상), SW 인증 (1건 이상), 특허 출원 및 등록(1건 이상)
	ADMET 태스크 예측 성능 *향상 정도, 평가 지표 제시	기존의 ADMET 예측 도구 성능 파악 및 개선 방안 특정 태스크 영역에 대한 차별화된 강점 제안 FAM 솔루션 논문 (SCI/SCIE급) (2건 이상)
	처리한 공개 데이터 공급 전략 *1건	FDA, 임상시험 결과 등 추가 공개 데이터 처리 방안 추가 공개 데이터 공급 보고서 (1건 이상)
	모델 사용자 매뉴얼 개발 *1건	FAM 솔루션 사용자 매뉴얼(또는 표준절차서(SOP)) 개발 (1건 이상)
	FDD 플랫폼 및 FAM 활용 방안	FDD 플랫폼‧ FAM 솔루션의 활용 및 고도화 활용 사례 (1건 이상)

▶ 특기사항

연구개발계획서 작성 시 주요 사항

연구 목표 달성을 위한 세부과제 및 참여연구진 간의 구체적인 역할 배분 및 협력 방안 제시

최종 산출물의 기술성숙도(TRL) 기반 성과 목표 달성을 위한 전략 제시

총 연구기간 동안의 연차별 마일스톤(정량 지표)을 제시

마일스톤은 연구개발 단계별로 달성해야만 하는 주요한 기술적인 실적으로 평가를 통해 실적 달성 여부를 판단 시 주요 기준으로 활용

어떤 데이터를 활용해 기본 모델을 개발할 것인지 제안(1차년도)

최종적으로 어떤 모델을 개발할 것인지를 제안(2, 3차년도)

과제 수행 특기사항

수행 기관이 개발한 모델이 타 기관 모델과 앙상블되거나, 태스크별 성능을 경쟁할 수 있음

솔루션 개발은 기본적으로 각 기관의 장비를 이용하여 개발하며, 연합학습 테스트는 안전한 데이터 보호를 위해 클라우드 또는 온프레미스(자체 보유 장비)에서 진행

동 사업은 기술이 빠르게 발전하는 분야로서 연차보고서 제출시 연구개발 범위를 사업단과 협의하여 조정할 수 있음

향후 플랫폼의 지속 운영을 위해 소스 코드를 사업단에 제공해야 함(기본적으로 국가연구개발 성과의 소유권을 따름, 종료 후 기술이전 등 수익 모델에 대한 계약은 향후 협의하여 결정함)

연구 수행 기간 중 개발한 모델은 사업단 및 참여기관이 각자 무상으로 활용하여 서비스를 제공할 수 있음

연구 수행 종료 이후의 지식재산권 등 수익 모델에 대한 계약을 연구 수행 종료 전 사업화 계획 수립 시 협의하여 결정함

일반적인 사항은 「보건의료기술 연구개발사업 가이드라인」 참고

▶ 선정평가 기준

적용가점	해당사항 없음

구분	평가항목(배점)
	대항목	소항목
발표 평가	1. 연구계획의 적절성 (50)	사업목적에 대한 이해도(10) 제안요청서(RFP)의 목표와 지원 내용과의 부합성 사업목적 및 연구 방향성에 대한 이해도 연구 목표 구체성 및 실현 가능성(10) 제시된 연구 목표의 타당성, 연구 결과의 현장 적용 가능성 연구 내용 우수성(30) 연구개발 수행 계획의 구체성(10) 추가 제안된 연구 내용의 창의성과 독창성(10) 기존 수행중인 5개 3세부과제와의 차별성(10)
	2. 연구개발 역량 (30)	연구책임자 역량(15) 수행에 필요한 전문성·경력 보유 여부 연구개발기관 역량(15) 수행기관의 인프라 및 자원 등 연구 수행 능력
	3. 연구개발 성과 (20)	성공 가능성(10) 연구개발을 통한 기술·경제적·사회적 가치 창출 가능성 연구개발 성과 활용·확산 계획 파급효과(10) 신약개발 가속화 기여도

선정평가 계획 수립 시 일부 평가항목(배점) 및 내용이 달라질 수 있음

▶ 참고자료

기술성숙도(Technology Readiness Level, TRL)

II-1	참고문헌

□ ADMET/PK 분야 이해

ADME 정의

Hodgson, J. (2001). ADMET—turning chemicals into drugs. Nature biotechnology, 19(8), 722-726.

[Chem Help ASAP]. (2020.08.24.). ADME & pharmacokinetics - playlist[Video]. Youtube.https://www.youtube.com/watch?v=K0jdqcui9G4&list=PLIzSRqjN72jdKApPyqqgWG7Q5gqvM2QI8

신현길. [LAIDD]. (2024.03.01.). ADMET 데이터 101[Video]. 한국제약바이오협회 AI신약융합연구원. https://www.laidd.org/local/ubonline/view.php?id=302

PK 파라미터의 이해

임동석,한승훈,한성필. (2021.09.23). 약동학 기초 이론(Ver1.0.3). PIPET(Pharmacometrics Institute for Practical Education and Training). https://pipetcpt.github.io/pharmapk/pharmapk.pdf

Ruiz-Garcia, A., Bermejo, M., Moss, A., & Casabo, V. G. (2008). Pharmacokinetics in drug discovery. Journal of pharmaceutical sciences, 97(2), 654-690.

Currie, G. M. (2018). Pharmacology, part 2: introduction to pharmacokinetics. Journal of nuclear medicine technology, 46(3), 221-230. https://tech.snmjournals.org/content/46/3/221#sec-5

Shin, H. K., Kang, Y. M., & No, K. T. (2017). Predicting ADME properties of chemicals. Handbook of computational chemistry, 59, 2265-2301. https://doi.org/10.1007/978-94-007-6169-8_59-1

In-vitro에서 제공하는 ADMET assay

[NCATS NIH]. (2021.03.30.). In Vitro Assessment of ADME Properties of Lead Compounds[Video]. Youtube. https://www.youtube.com/watch?v=qUEkVJqeg0I

한의약혁신기술개발사업단장. (2021.08). 산업계를 위한 가이던스 시험관 내(In vitro)에서의 약물상호작용 평가- Cytochrome P450 효소와 수송체 매개 약물상호작용. 한국한의약진흥원 한의약혁신기술개발사업단. https://nikom.or.kr/board/boardFile/download/24/10434/14157.do

In-vivo에서 제공하는 ADMET assay

Blass, B. E. (2015). Basic principles of drug discovery and development. Elsevier. 245-306. https://doi.org/10.1016/B978-0-12-411508-8.00006-2

Chung, T. D., Terry, D. B., & Smith, L. H. (2015). In vitro and in vivo assessment of ADME and PK properties during lead selection and lead optimization–guidelines, benchmarks and rules of thumb.https://www.ncbi.nlm.nih.gov/books/NBK326710/

In-human에서 제공하는 ADMET assay

Lucas, A. J., Sproston, J. L., Barton, P., & Riley, R. J. (2019). Estimating human ADME properties, pharmacokinetic parameters and likely clinical dose in drug discovery. Expert opinion on drug discovery, 14(12), 1313-1327. https://doi.org/10.1080/17460441.2019.1660642

Kuerzel, U., Krone, V., Zimmer, M., Shackleton, G. (2011). The Human ADME Study. In: Vogel, H.G., Maas, J., Gebauer, A. (eds) Drug Discovery and Evaluation: Methods in Clinical Pharmacology. Springer, Berlin, Heidelberg. Chapter B.10. https://doi.org/10.1007/978-3-540-89891-7_11

□ insilico ADMET 이해

ADMET 예측 연구

[QSARtuna] Mervin, L., Voronov, A., Kabeshov, M., & Engkvist, O. (2024). QSARtuna: an automated qsar modeling platform for molecular property prediction in drug design. Journal of Chemical Information and Modeling, 64(14), 5365-5374., 2024.07.01., https://pubs.acs.org/doi/10.1021/acs.jcim.4c00457

[ADMET-AI] Swanson, K., Walther, P., Leitz, J., Mukherjee, S., Wu, J. C., Shivnaraine, R. V., & Zou, J. (2024). ADMET-AI: a machine learning ADMET platform for evaluation of large-scale chemical libraries. Bioinformatics, 40(7), btae416, 2024.06.24., https://doi.org/10.1093/bioinformatics/btae416

[admetSAR3.0] Gu, Y., Yu, Z., Wang, Y., Chen, L., Lou, C., Yang, C., ... & Tang, Y. (2024). admetSAR3. 0: a comprehensive platform for exploration, prediction and optimization of chemical ADMET properties. Nucleic Acids Research, gkae298, 2024.4.22., https://doi.org/10.1093/nar/gkae298

[Deep-PK] Myung, Y., de Sá, A. G., & Ascher, D. B. (2024). Deep-PK: deep learning for small molecule pharmacokinetic and toxicity prediction. Nucleic Acids Research, gkae254., 2024.04.18., https://doi.org/10.1093/nar/gkae254

[ADMETlab 3.0] Li Fu, Shaohua Shi, Jiacai Yi, Ningning Wang, Yuanhang He, Zhenxing Wu, Jinfu Peng, Youchao Deng, Wenxuan Wang, Chengkun Wu, Aiping Lyu, Xiangxiang Zeng, Wentao Zhao, Tingjun Hou, Dongsheng Cao. (2024). ADMETlab 3.0: an updated comprehensive online ADMET prediction platform enhanced with broader coverage, improved performance, API functionality and decision support. Nucleic Acids Research, Volume 52, Issue W1. W422–W431, 2024.04.04., https://doi.org/10.1093/nar/gkae236

[ChemMORT] Yi, J. C., Yang, Z. Y., Zhao, W. T., Yang, Z. J., Zhang, X. C., Wu, C. K., ... & Cao, D. S. (2024). ChemMORT: an automatic ADMET optimization platform using deep learning and multi-objective particle swarm optimization. Briefings in Bioinformatics, 25(2), bbae008., 2024.02.20., https://doi.org/10.1093/bib/bbae008

[Uni-Mol] Zhou, G., Gao, Z., Ding, Q., Zheng, H., Xu, H., Wei, Z., ... & Ke, G. (2023). Uni-mol: A universal 3d molecular representation learning framework., 2023.03.07., https://doi.org/10.26434/chemrxiv-2022-jjm0j-v4

Anthony King. (2025). Four ways to power-up AI for drug discovery, 2025.02.27, https://doi.org/10.1038/d41586-025-00602-5

ADMET 벤치마크

[TDC2] Velez-Arce, Huang, Li, Lin, et al., TDC-2: Multimodal Foundation for Therapeutic Science, bioRxiv, NeurIPS 2024, https://openreview.net/pdf?id=kL8dlYp6IM

[TDC] Huang, Fu, Gao, et al., Therapeutics Data Commons: Machine Learning Datasets and Tasks for Drug Discovery and Development, NeurIPS 2021, https://openreview.net/pdf?id=8nvgnORnoWr, https://tdcommons.ai/

[PharmaBench] Niu, Z., Xiao, X., Wu, W. et al. (2024). PharmaBench: Enhancing ADMET benchmarks with large language models. Sci Data 11, 985. https://doi.org/10.1038/s41597-024-03793-0

[DeepDelta] Fralish, Z., Chen, A., Skaluba, P., & Reker, D. (2023). DeepDelta: predicting ADMET improvements of molecular derivatives with deep learning. Journal of Cheminformatics, 15(1), 101., https://doi.org/10.1186/s13321-023-00769-x

[Chemprop] Heid, E., Greenman, K. P., Chung, Y., Li, S. C., Graff, D. E., Vermeire, F. H., ... & McGill, C. J. (2023). Chemprop: a machine learning package for chemical property prediction. Journal of Chemical Information and Modeling, 64(1), 9-17., https://doi.org/10.26434/chemrxiv-2023-3zcfl

ADMET 데이터 포맷

국가바이오스테이션, 국가생명연구자원정보센터, [자료] 화합물데이터 가이드북 안내, KBDS_화합물데이터가이드북_v2.0_2024.pdf, 2024.10.17., https://kbds.re.kr/portal/board/ed607150170611ee8157141877507e8b/view/635

□ MELLODDY 프로젝트의 이해

Oldenhof, M., Ács, G., Pejó, B., Schuffenhauer, A., Holway, N., Sturm, N., ... & Galtier, M. (2023, June). Industry-scale orchestrated federated learning for drug discovery. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 13, pp. 15576-15584), https://doi.org/10.1609/aaai.v37i13.26847

EU research results. (2022.05.31.). Horizon 2020. MachinE Learning Ledger Orchestration for Drug DiscoverY Fact Sheet, Reporting, Results. CORDIS, https://cordis.europa.eu/project/id/831472/reporting

MELLODDY, MELLODDY github. https://github.com/melloddy

□ 연합학습 기술 이해

연합학습의 이해

Ludwig, H., & Baracaldo, N. (Eds.). (2022). Federated learning: A comprehensive overview of methods and applications (pp. 13-19). Cham: Springer

Martin Keen. [IBM Technology]. (2023.07.07.). Training AI Models with Federated Learning[Video]. Youtube. https://www.youtube.com/watch?v=zqv1eELa7fs

Luzón, M. V., Rodríguez-Barroso, N., Argente-Garrido, A., Jiménez-López, D., Moyano, J. M., Del Ser, J., ... & Herrera, F. (2024). A tutorial on federated learning from theory to practice: Foundations, software frameworks, exemplary use cases, and selected trends. IEEE/CAA Journal of Automatica Sinica, 11(4), 824-850, https://doi.org/10.1109/JAS.2024.124215

Zheng XU. [SF Big Analytics]. (2024.04.26.). Federated Learning: from simulation to production, cross-device and cross-silo[Video]. Youtube. https://www.youtube.com/watch?v=3ELbZYwy3bI

Liu, Y., Kang, Y., Zou, T., Pu, Y., He, Y., Ye, X., ... & Yang, Q. (2024). Vertical federated learning: Concepts, advances, and challenges. IEEE Transactions on Knowledge and Data Engineering.https://doi.org/10.1109/TKDE.2024.3352628, https://doi.org/10.1109/TKDE.2024.3352628

Qi, P., Chiaro, D., Guzzo, A., Ianni, M., Fortino, G., & Piccialli, F. (2024). Model aggregation techniques in federated learning: A comprehensive survey. Future Generation Computer Systems, 150, 272-293, https://doi.org/10.1016/j.future.2023.09.008, https://doi.org/10.1016/j.future.2023.09.008

ADMET 또는 신약개발 연합학습 적용 사례

Bassani, D., Brigo, A., & Andrews-Morger, A. (2023). Federated Learning in Computational Toxicology: An Industrial Perspective on the Effiris Hackathon. Chemical Research in Toxicology, 36(9), 1503-1517. https://doi.org/10.1021/acs.chemrestox.3c00137

fujitsu Ltd. Tokyo fujitsu solutions sciquick. https://www.fujitsu.com/jp/solutions/business-technology/tc/sol/sciquick/

생명과학 분야 연합학습 적용 사례

Irvine, S. (2024, January 31). Integrate.Ai Selected as Federated Learning Technology Partner to Power One of World’s Largest Precision Health Consortia. https://lrl.kr/inh6

Mahon, P., Chatzitheofilou, I., Dekker, A., Fernández, X., Hall, G., Helland, A., ... & Tonon, G. (2024). A federated learning system for precision oncology in Europe: DigiONE. Nature Medicine, 30(2), 334-337, https://doi.org/10.1038/s41591-023-02715-8

Nguyen, T. P. V., Yang, W., Tang, Z., Xia, X., Mullens, A. B., Dean, J. A., & Li, Y. (2024). Lightweight federated learning for STIs/HIV prediction. Scientific Reports, 14(1), 6560, https://doi.org/10.1038/s41598-024-56115-0

Darzi, E., Sijtsema, N. M., & van Ooijen, P. M. A. (2024). A comparative study of federated learning methods for COVID-19 detection. Scientific Reports, 14(1), 3944, https://doi.org/10.1038/s41598-024-54323-2

Ogier du Terrail, J., Leopold, A., Joly, C., Béguier, C., Andreux, M., Maussion, C., ... & Heudel, P. E. (2023). Federated learning for predicting histological response to neoadjuvant chemotherapy in triple-negative breast cancer. Nature medicine, 29(1), 135-146, https://doi.org/10.1038/s41591-022-02155-w

김경백, 염성웅. (2022.06.). 산업분야에서 연합학습 동향 및 시사점. AI Network Lab Insight. Vol.6

Pati, S., Baid, U., Edwards, B., Sheller, M., Wang, S. H., Reina, G. A., ... & Poisson, L. (2022). Federated learning enables big data for rare cancer boundary detection. Nature communications, 13(1), 7346. https://doi.org/10.1038/s41467-022-33407-5

연합학습 프레임워크

[NVIDIA Flare] Roth, H. R., Cheng, Y., Wen, Y., Yang, I., Xu, Z., Hsieh, Y. T., ... & Feng, A. (2022). Nvidia flare: Federated learning from simulation to real-world. arXiv preprint arXiv:2210.13291.

연합학습 기술 연구 동향

Francesco Piccialli, Diletta Chiaro, Pian Qi, Valerio Bellandi, Ernesto Damiani. (2025). Federated and edge learning for large language models. Information Fusion, Volume 117. https://doi.org/10.1016/j.inffus.2024.102840

Yang, Z., Zhang, Y., Zheng, Y., Tian, X., Peng, H., Liu, T., & Han, B. (2024). FedFed: Feature distillation against data heterogeneity in federated learning. Advances in Neural Information Processing Systems, 36.

Lee, R., Kim, M., Li, D., Qiu, X., Hospedales, T., Huszár, F., & Lane, N. (2024). Fedl2p: Federated learning to personalize. Advances in Neural Information Processing Systems, 36.

Qiu, P., Zhang, X., Ji, S., Fu, C., Yang, X., & Wang, T. (2024). Hashvfl: Defending against data reconstruction attacks in vertical federated learning. IEEE Transactions on Information Forensics and Security, https://doi.org/10.1109/TIFS.2024.3356164

Sharma, A., & Marchang, N. (2024). A review on client-server attacks and defenses in federated learning. Computers & Security, 103801, https://doi.org/10.1016/j.cose.2024.103801

Peng, L., Luo, G., Zhou, S., Chen, J., Xu, Z., Sun, J., & Zhang, R. (2024). An in-depth evaluation of federated learning on biomedical natural language processing for information extraction. NPJ Digital Medicine, 7(1), 127, https://doi.org/10.1038/s41746-024-01126-4

RS-2024-00460010 (세부3) FAM(Federated AMDET Model) 개발
메가스케일 ADMET-파운데이션 모델 기반 초경량 FAM 통합 솔루션 개발
주관: 광주과학기술원 공동: 주식회사 히츠
요약문	본 연구는 광범위한 ADMET 태스크에 적용가능한 파운데이션 모델 기반 초경량 FAM 모델 개발을 목표로 함 이를 위해 화합물의 구조 정보 및 ADMET 프로파일 정보를 학습한 대규모 파운데이션 모델과 최소한의 파라미터로 구성된 초경량 FAM 학습 기술을 개발함 또한, ADMET 임베딩 조합 모듈과 설명 가능성 모듈을 도입해 설명 가능성과 멀티태스크 효과를 강화함으로써 FAM 모델을 고도화함
특징 및 차별성	데이터 전처리기 배포를 통한 데이터 보안 구현 데이터 구조 정보 노출 위험 없음 메가스케일 ADMET-파운데이션 모델 기반 예측의 정확도 향상 >10M 화합물 구조 정보, >50 태스크, ~60K 화합물, ~200K 활성 정보 임의의 ADMET 태스크에 사용 가능한 범용적 파운데이션 모델 ADMET embedding을 기반한 multi-task learning 효과 구현 초경량 FAM 기반 학습 효율성 제고 ~10K개의 학습 파라미터를 요구하는 초경량 모델 대규모 태스크에 적용 가능 (태스크 당 A100 기준 1분 이내, RTX 4090 기준 2분 이내)
핵심 연구내용	연구 개요도 [그림1] 제안하는 연구개발 내용의 개요도 1차년도 ADMET 데이터베이스 구축 본 연구에서는 다양한 ADMET 태스크에 적용가능한 파운데이션 모델 개발을 위해 신약 개발의 각 단계(in-vitro, in-vivo, clinical) 별 ADMET 태스크를 포함한 데이터베이스와 프로파일을 구축함 이를 위해 ChEMBL 등의 대규모 공개 DB와 분산된 실험 논문 데이터를 수집 및 정제하여 다양한 태스크를 포함한 통합 ADMET 데이터베이스를 구축함 ADMET 프로파일 구축 선행 ADMET 특성 예측 플랫폼 및 구축한 ADMET 데이터베이스를 기반으로 개발한 기계학습 예측 모델을 바탕으로 최적의 결측치 예측 모델을 선정하여 밀집된 형태의 데이터 프로파일을 구축함 최종적으로 50개 이상의 ADMET 태스크를 포함한 프로파일을 구축하고 이를 ADMET 파운데이션 모델 개발의 핵심 데이터로 활용함 ADMET 파운데이션 모델 설계 본 연구에서는 ADMET 프로파일 정보를 활용하여 구조 기반 특징 벡터의 한계를 극복하고, 다양한 ADMET 태스크에 일반화할 수 있는 ADMET 파운데이션 모델을 제안함 해당 모델은 화합물 부분 구조 기반 인코더와 ADMET 번역 임베딩 생성자로 구성됨 1차년도에는 대량의 화합물 데이터베이스에서 부분 구조를 추출하고, 각 모듈의 최적 모델 구조 및 학습 방식을 선정함 데이터 전처리기 기획 ADMET 데이터의 일관된 처리를 위한 전처리기 설계를 목표로, 데이터 기밀성을 유지하면서도 표준화 및 통합 가능 방안을 협의함 시험별 차이를 반영한 유연한 전처리 옵션을 제공하고, 정족수 기준 설정 및 중심구조 기반 데이터 분리를 통해 신뢰도 높은 학습 데이터 세트를 구축함 또한, HTS 기반 보조 데이터를 활용하여 FAM 모델의 성능을 향상시키며, 최종적으로 전처리기 기획 문서 및 프로토타입을 개발함
핵심 연구내용	2차년도 ADMET 파운데이션 모델 개발 2차년도에는 1차년도의 설계를 바탕으로 ADMET 파운데이션 모델 개발을 진행함. 화합물 부분 구조 기반 인코더는 화합물의 구조 정보를 다차원 특징 벡터로 인코딩하는 역할로, 부분 구조 추출 알고리즘을 활용하여 대량의 화합물 구조 데이터에서 부분 구조 집합을 추출함. 그 후, 임의의 입력 화합물들을 부분 구조들로 분해하고 딥러닝 기반 인코더를 통해 구조 기반 임베딩을 생성함. 학습 과정에서는 그래프 신경망과 부분 구조 마스킹을 통한 자기 지도 및 비지도 학습 방식을 활용함 ADMET 번역 임베딩 생성자는 부분 구조 기반 임베딩에 ADMET 프로파일 정보를 추가 반영하여, 구조가 유사해도 서로 다른 ADMET 특성을 갖는 화합물들을 구분할 수 있도록 함. 대조 학습 방식을 활용하여 ADMET 공간에 화합물을 투영하여 구조 정보와 ADMET 정보를 모두 포함한 최종 임베딩을 생성하여, 다양한 다운스트림 태스크에 대한 호환성과 일반화 성능을 제공함. 이 두 모듈은 연합학습 시 직접 학습되지 않고 특징 벡터 생성에만 활용되어 모델의 경량성을 높일 수 있음 FAM 모델 개발 FAM 모델은 연합학습 환경에 최적화된 경량화 모델로, ADMET 파운데이션 모델과 PK 미세조정 모듈로 구성됨. 연합학습 과정에서 중앙 서버가 사전 학습된 ADMET 파운데이션 모델과 초기화된 PK 미세조정 모듈을 클라이언트에 배포하고, 각 클라이언트는 로컬 환경에서 PK 미세조정 모듈만 학습한 후 중앙 서버로 업데이트함. PK 미세조정 모듈은 최소한의 파라미터를 가진 DNN으로 구성되어 적은 컴퓨팅 자원만으로도 안정적인 성능을 확보하며, 개발 단계에서는 이러한 경량성과 성능을 극대화할 수 있는 효율적인 PK 미세조정 모듈을 개발하는 것이 목적임 전처리기 모델 개발 전처리기 모델 개발은 공개 데이터와 기관별 기밀 데이터를 일관되게 처리하고, FAM 모델에 적합한 데이터 표현을 제공하는 것을 목표로 함. 이를 위해, 전처리기 내부 자동화 모듈과 사용자 개입을 바탕으로 태스크 유형, 이상치 및 중복 데이터 검사 및 제거, 데이터 표준화 등이 가능한 전처리기를 개발하고 이에 대한 테스트를 진행함
핵심 연구내용	□ 3차년도 ADMET 파운데이션 모델 및 FAM 모델의 고도화 FAM 고도화 단계에서는 앞서 개발한 PK 미세조정 모듈을 두 가지 방안을 기반으로 고도화함. 첫째, ADMET 임베딩 조합 모듈을 통해 ADMET 파운데이션 모델에서 생성된 A, D, M, E, T 임베딩을 조합한 특징 벡터를 생성함. 이는 다양한 특성을 포함하는 멀티 태스크 효과를 통한 성능 향상을 기대할 수 있음. 둘째, 예측에 중요한 하부 구조 패턴을 추출하는 분자 구조 기반 설명가능성 모듈을 도입하여 모델의 해석성과 화합물 구조 정보의 표현력을 강화하여 예측 성능을 향상함. 두 고도화 방안 모두 최소한의 파라미터로 구성하여 FAM 모델의 초 경량성을 유지할 계획임 전처리기 최종화 전처리기 최종화 단계에서는 최종적인 구축과 성능 평가를 중점으로 진행함. 최종 구축 단계에서는 사업 과정에서 받은 데이터를 바탕으로 전처리기-FAM 워크플로우의 작동을 검증하고 최적화하여 플랫폼 탑재를 준비함. 전처리기 성능 평가는 ADMET 데이터의 레이블 균형, 표본추출, 결측치 처리, 데이터 증강의 측면에서 연합학습의 효과를 측정하는 방식으로 평가함. 또한, Docusaurus와 같은 문서화 도구를 활용하여 전처리기의 상용화를 위한 최신 웹 문서 형태의 사용자 매뉴얼을 개발함

II-2	2024년 선정 과제 연구내용(‘24~’26)

RS-2024-00459964 (세부3) FAM(Federated AMDET Model) 개발
연합학습 기반 ADMET 예측을 위한 언어-그래프 앙상블 모델 개발
주관: 목암생명과학연구소 공동: 서울대학교
요약문	다각화되는 ADMET 예측 태스크에서 유연하게 활용할 수 있는 파운데이션 앙상블 모델 개발을 위해 공개 화합물 데이터베이스를 수집하고 전처리하여 거대 언어 모델 및 그래프 모델의 학습을 위한 기반을 마련하고 ADMET 예측을 위한 미세조정을 거쳐 연합학습 플랫폼에 탑재할 수 있는 확장된 FAM(Federated ADMET Model)모델 개발을 목표로 함
특징 및 차별성	사전 학습 모델은 특정 태스크나 도메인에 맞추어 학습하는 과정인 미세조정을 통해 모델을 최적화하는 방법을 시도할 수 있음. 미세조정은 사전 학습된 모델을 활용하기 때문에 특정 태스크에 대한 소량의 데이터만으로도 모델을 효과적으로 학습하는 특징을 지니고 있음 거대 언어 모델에 SMILES 데이터를 입력하면 구조 정보를 기반으로 화합물의 특성을 학습할 수 있으며, 이를 활용하여 신약개발 관련 다양한 태스크에 맞게 모델을 미세 조정할 수 있음 분자의 물성은 원자 간의 상호작용에 의존하며, 원자 간 상호작용은 그래프의 구조에 직접적으로 연관되어 있음. 따라서, 원자 간 상호작용을 효과적으로 이해하기 위해서는 분자 그래프에 담긴 구조 정보를 활용하는 것이 매우 중요함 대규모 공공 화합물 데이터를 기반으로 사전 학습(pre-trained)된 파운데이션 모델을 활용한다면, 다양한 ADMET 예측 태스크에 대해 미세조정을 수행할 수 있으므로, 각 태스크에 대해 비교적 적은 데이터로 높은 성능을 도출할 수 있음 연합학습을 적용하여 여러 기관에서 생성한 ADMET 데이터를 보안 유지 상태로 활용할 수 있으므로 모델의 일반화 능력을 향상할 수 있으며, 새로운 데이터가 생성될 때마다 모델을 실시간으로 업데이트할 수 있음. 이를 통해 ADMET 예측 모델의 성능 향상을 극대화할 수 있음
핵심 연구내용	데이터 수집 알려진 대규모 공개 화합물 데이터베이스를 통해 구조적 다양성을 가진 화합물 데이터 수집 학습 최적화를 위해 SMILES 길이와 약물 디자인에 사용되는 원소를 기준으로 데이터 필터링 선별된 데이터는 토크나이저 학습에 사용되었으며, 추후 거대 언어 모델의 사전 학습(Pre-training)용으로도 활용 예정 대규모 공개 화합물 데이터베이스 중 충분히 많은 양을 확보한 데이터베이스에서 무작위로 추출하여 설명 데이터 생성 생성된 설명 데이터는 추후 그래프 파운데이션 모델 학습에 활용할 예정 데이터 전처리 운영협의체, 실무위원회 및 연합학습 워크숍 참여를 통해 활용가능한 ADMET 데이터 파악 및 데이터 제공 형식(표준 데이터 포맷)을 기준으로 원본 데이터에서 필요한 데이터를 추출하고 가공하는 3단계 전처리 도구 설계 모델 개발 SMILES 기반의 GNN Encoder와 Description 기반의 Text Encoder를 활용한 대조 학습(Contrastive Learning) 기반 멀티모달 학습 방법을 연구. 그래프와 텍스트 임베딩 간의 의미적 정합성을 높이는 방향으로 모델 설계 및 실험 진행 멀티모달 학습을 통해 높은 표현력을 가지는 그래프 파운데이션 모델을 개발. 그래프와 텍스트 간의 상호 보완적 정보를 활용하여 다양한 화합물 표현 학습 가능성을 탐색. 이후 ADMET 등 다양한 하위 태스크에 대한 파인 튜닝 방법을 연구. 멀티태스킹 학습을 통해 그래프 모델의 일반화 성능 향상을 목표로 최적의 학습 전략을 설계함 BART를 바탕으로 언어 모델을 설계함. BART는 시퀀스-시퀀스 모델로 구축된 노이즈 제거 자동 인코더(de-noising auto-encoder)로, 임의의 노이즈 함수를 사용하여 텍스트를 손상시키고, 모델이 원래의 텍스트를 재구성하는 방식으로 학습을 수행함 연합학습 테스트 운영협의체, 실무협의회, 연합학습 워크숍을 통해 협의된 ADMET 태스크별로 연합학습 클라이언트(client)를 정의하고, ADMET 태스크별로 클라이언트를 그룹화함 FDD 플랫폼을 서버(server)로 정의하여 각 클라이언트의 모델 업데이트를 수집하고 글로벌 모델을 업데이트하는 역할을 부여함 FDD 플랫폼에 탑재된 모델은 FAM(Federated ADMET Model)으로 작동하며, 연합학습의 글로벌 모델 역할을 수행함. 연합학습 최초 동작 과정에서 ADMET 태스크별로 각 참여기관의 보안 클라우드에 전송됨 LLM-GFM 앙상블 기반 FAM은 규모가 큰 모델임. 따라서, PEFT(Parameter Efficient Fine-Tuning)를 통해 모델의 전체 파라미터 중 일부만을 선택적으로 조정함으로써, 모델의 핵심 구조를 유지함과 동시에 특정 ADMET 태스크에 맞게 모델을 조정할 수 있음

RS-2024-00462471 (세부3) FAM(Federated AMDET Model) 개발
대규모 약물 표현 학습과 LLM 기반 문헌 마이닝을 활용한 연합학습 기반 ADMET 예측 모델 개발
주관: (주)아이젠사이언스
요약문	본 연구는 연합학습(Federated Learning) 기반의 ADMET 예측 모델을 개발하여 신약개발의 실패 원인 중 하나인 부적합한 ADMET 특성을 사전에 정밀하게 예측함으로써 임상시험 성공률을 높이고, 신약 개발 비용과 기간을 단축하는 것을 목표로 함 이를 위해 대규모 화합물 데이터를 활용하고, 최신 Foundation 모델(오픈소스 모델 및 자체 개발 모델)과 신약개발 특화 언어모델을 융합하여 약물 표현을 극대화하며, 문헌 마이닝을 통한 ADMET 정보 추출 및 해석 가능성을 확보함
특징 및 차별성	멀티모달 약물 표현 모델 분자 구조를 SMILES, 2D/3D 그래프 등 다양한 모달리티로 표현하고, 코어 스캐폴드와 R-group 정보를 동시에 반영하는 계층적 임베딩 기법을 개발하여, 기존 단편적 표현 한계를 극복함 신약개발 특화 LLM 기반 문헌 마이닝 자체 개발한 신약개발 특화 LLM(Meerkat)을 활용해 특허, 학술 논문, 임상 보고서 등 다양한 비정형 문헌에서 ADMET 정보를 자동으로 추출하고, 정확한 데이터 구조화를 통해 모델 학습 데이터 세트의 신뢰도를 크게 향상시킴 연합학습 환경 최적화 모델 다기관의 이질적 데이터를 효과적으로 반영할 수 있도록, 각 기관의 로컬 모델 업데이트 정보를 정교하게 집계하고 노이즈 보정 및 기여도 기반 가중치 조정 기법을 적용하여, 연합학습 환경에서 최고 수준의 예측 성능과 해석력을 가진 ADMET 예측 모델을 구현함
핵심 연구내용	약물 표현 Foundation 모델 구축 및 데이터 통합 문제 제기 (분자 표현의 한계) 기존 모델은 SMILES, 2D 그래프 등 단편적 정보에 의존하여, 분자의 코어 구조(Scaffold)와 R-group 등 세부 특성을 충분히 반영하지 못함. 분자 동역학, 3D 구조 및 복합적 상호작용 정보를 효과적으로 융합하지 못해 신약 후보 물질의 특성 분석에 한계 존재 (데이터 사일로 및 불일치 문제) PubChem, ChEMBL, ZINC15 등 공개 데이터베이스 간 중복 및 포맷 불일치로 통합 분석에 어려움. 제약·바이오 기업 및 학계에서 축적한 내부 ADMET 데이터와 화합물 데이터가 별도로 관리되어 데이터 활용도가 낮음 연구 내용 [그림1] 의미있는 Fragmentation 기반 및 멀티모달 기반 분자 표현 모델 모델 융합 및 멀티모달 임베딩 기법 개발 오픈소스 모델(ChemBERTa, Chemprop)과 자체 개발한 MolPLA를 결합하여, 분자의 코어와 R-group을 동시에 반영하는 임베딩 기법 개발 2D, 3D 구조, 그래프 및 시퀀스 정보를 통합하는 멀티모달 학습 체계 도입 계층적 사전학습 및 메타 러닝 기법을 적용하여, 새로운 화합물 클래스에도 높은 일반화 성능 확보 대규모 데이터셋 구축 및 통합 전처리 플랫폼 개발 PubChem, ZINC15, ChEMBL 등 공개 데이터베이스에서 1억 개 이상의 화합물 데이터 수집 RDKit 등의 도구를 활용하여 SMILES 정규화, Tanimoto 유사도 기준 중복 제거 및 기본 분자 특성(분자량, LogP, TPSA 등) 계산 내부 파이프라인에서 자체 생산한 ADMET 및 효능 데이터와 외부 데이터를 통합하는 자동화 전처리 시스템 구축 데이터 스키마 표준화, 온톨로지 기반 보정 및 배치 효과(Batch Effect) 교정 기법을 적용하여 데이터 품질 및 일관성 강화
핵심 연구내용	LLM 기반 문헌 마이닝 및 정보 추출 시스템 개발 문제 제기 (비정형 문헌 데이터의 산재 및 활용 한계) ADMET 관련 정보가 학술 논문, 특허, 임상 보고서 등 다양한 비정형 문헌에 분산되어 있어 수작업 기반의 정보 추출은 비효율적. 기존 LLM은 의생명 분야 특화 데이터가 부족해, ADMET 관련 전문 용어와 문맥을 정확히 파악하지 못함 (추출 데이터의 품질 및 구조화 문제) 문헌으로부터 추출한 데이터의 신뢰도와 구조화가 미흡하여, 후속 학습 데이터 세트에 바로 활용하기 어려움. 추출된 ADMET 정보의 정량적 신뢰도가 낮아 모델 학습에 영향을 미칠 수 있음 연구 내용 [신약개발 특화 LLM 개발 및 최적화] 자체 개발한 의생명 특화 특화 언어모델을 최적화하여, 의학·생명과학 분야의 전문 용어와 문헌 구조에 최적화된 정보 추출 시스템 구축 USMLE와 같은 평가에서 기존 대형 모델(GPT-4)보다 우수한 성능을 보인 기술력을 바탕으로, ADMET 관련 문헌 데이터에 적용 자동 문헌 마이닝 및 데이터 구조화 시스템 구축 특허, 학술 논문, 임상 보고서 등에서 ADMET 관련 데이터를 자동으로 추출하고 구조화하는 알고리즘 개발 Few-shot learning, 프롬프트 최적화 및 자동 검증(크로스체크, 신뢰도 점수 산출) 시스템 도입 추출된 데이터를 내부 ADMET 데이터 세트와 통합하여, 데이터 부족 현상을 극복하고 모델 학습의 신뢰도 향상 데이터 증강 및 합성 전략 분자동역학 시뮬레이션 및 자유에너지 계산을 통해, 문헌에서 추출하기 어려운 ADMET 데이터를 합성하여 보완 LLM 기반 문헌 추출과 시뮬레이션 데이터의 결합으로, 다양한 ADMET 속성을 다각적으로 분석하는 데이터세트 구축 [그림2] 대형 언어 모델(LLM)활용 비정형 문헌 데이터 구조화
핵심 연구내용	신약 개발 태스크 특화 추론 기법 및 추론 과정 설명 제시 문제 제기 (단일 기관 데이터 한계 극복 필요) 기존 ADMET 예측 모델은 제한된 기관 데이터에 기반해 학습되어 일반화 성능이 낮음. 다기관 데이터 활용 시, 데이터 불균형 및 이질성 문제로 모델 성능이 저하됨 (연합학습 환경 특성에 최적화된 모델 부재) 연합학습에서는 각 기관의 로컬 모델 업데이트 후 집계하는 방식으로, 통합 과정에서 정보 손실이나 노이즈 발생 가능성이 있음. 블랙박스 모델 구조로 인해 예측 결과 해석이 어려워, 각 기관의 데이터 특성을 반영한 모델 최적화가 미흡함 (모델 해석력 및 불확실성 정량화 부족) 연합학습 환경에서 각 기관의 특성을 통합한 모델은 불확실성 평가와 해석 가능성이 중요한데, 기존 접근 방식은 이에 대한 대응이 부족함 연구 내용 [연합학습 환경 최적화 모델 아키텍처 개발] 각 기관의 데이터 특성을 효과적으로 반영할 수 있는 모듈형 아키텍처 설계 로컬 모델의 업데이트 정보를 정교하게 집계하고, 노이즈 보정을 위한 가중치 조정 및 분산 최적화 기법 적용 태스크 간 관계를 모델링하여 ADMET 속성별 예측 성능을 동시에 최적화하는 멀티태스크 학습 기법 도입 불확실성 정량화 및 해석 가능한 AI 기법 적용 해석가능한 AI(XAI) 기법을 도입하여, 각 기관 데이터의 기여도와 예측 결과 신뢰성을 명확히 평가 모델 예측의 불확실성을 정량화하여, 위험 요소를 사전에 식별하고, 보정 알고리즘을 통한 안정성 향상 도모 연합학습 환경에 특화된 성능 개선 전략 수립 각 기관의 데이터 이질성을 반영한 차등 프라이버시 및 기여도 기반 가중치 업데이트 전략 개발 로컬 모델 업데이트 시 발생하는 통신 효율 문제를 고려한 압축 및 스파스 업데이트 기술 적용 [그림 3] 연합학습 환경 최적화 ADMET 예측 알고리즘 개발

RS-2024-00460694                     (세부3) FAM(Federated AMDET Model) 개발

연합학습 기반 ADMET-PK/PD 모델 개발

주관: 전북대학교

공동: 충남대학교

요약문

사업 참여기관 제공 데이터, 공개된 in-vitro / in-vivo feature를 활용하여 연합학습 기반으로 약물 특이적 약동력학적 성질 예측

특징 및

차별성

Physiologically based pharmacokinetics (PBPK), systems pharmacology 등과 기전적인(mechanistic) 방법론을 AI 모델과 융합하여 연합학습 기반 예측 모델을 고도화함

핵심 연구내용

in-vitro features				모델 개발 (예시)		PBPK 모델
기관제공 (연합학습)				MW LogP LogS Peff fup BP ratio Density CLliver...		Knowledge-informed exposure prediction
Drugbank 활용			→
					→
DIDBⓇ 활용
- SMILES 기반 예측값
						↓
Compound 파라미터						Neural Network (예시)
MW						Adjusted by Surrogate / Attention algorithm
Pka			→
unbound fraction 등
						↓
Physiology 파라미터						결과 예측
- Partition coefficient						- AUC
- Organ blood flow			→			- Cmax
- 체류 시간 등						- CL, V, F

화합물 구조로부터 약동력학적 성질을 예측하는 선행 연구 조사 및 기존 연구의 개선점 탐색

Drugbank, Drug Interaction Database (DIDBⓇ) 등의 DB에서 약물 연구실 측 자료의 수집

SMILES로부터 in-vitro feature를 예측하는 모델 개발ㆍ탐색

화합물 구조, Compound parameter, Physiology parameter를 입력값으로 하여 PBPK 모델 시뮬레이션을 수행할 수 있는 흐름 개발

실측과 유사한 수준의 시뮬레이션을 해낼 수 있는 PBPK 모델을 개발하기 위해 AI 기반 입력값을 추정 및 조정함

확보한 시간-혈중농도 프로파일로 AUC, Cmax 등의 약동학파라미터 예측

RS-2024-00460870 (세부3) FAM(Federated AMDET Model) 개발
연합학습 기반 설명가능한 임상 결과 예측 분자-단백질-언어 삼중모달리티 파운데이션 모델
주관: 한국과학기술원
요약문	본 연구는 연합학습 기반 설명가능한 임상 결과 예측 분자-단백질-언어 삼중모달리티 파운데이션 모델을 연구 및 개발하여 1) 데이터 보안을 유지하며 방대한 약학 지식을 학습한 파운데이션 모델을 개발하고, 2) 데이터 증강기법을 통한 데이터 희소성 및 불균형 문제를 해결하며, 3) 이를 기반으로 설명가능한 임상 결과 예측 기법을 개발하여 신약 개발을 가속하는 것을 목표로 함
특징 및 차별성	특징 연합학습 적용: 데이터 보안을 유지하면서 다양한 기관의 데이터를 통합하여 학습하는 방법 연구 삼중 모달리티 학습: 분자, 단백질, 언어 정보를 함께 학습하는 파운데이션 모델 개발 설명가능한 AI: AI의 추론 과정과 근거를 제공하여 연구자가 신뢰할 수 있는 신약 개발 모델을 구축 차별성 기존 자연어 및 이미지 중심 거대모델과 달리 신약 개발을 위한 약학 특화 거대모델을 개발 단순한 약물-단백질 상호작용 예측이 아닌 임상 결과까지 예측가능한 모델을 구축 데이터 보안 이슈를 해결하기 위해 연합학습을 도입, 기관 간 협력을 촉진하며 활용성을 극대화 설명가능성(XAI)을 제공하여 AI 예측 결과의 신뢰성을 높이고 연구자의 의사결정 지원
핵심 연구내용	[1단계] 연합학습 기반 분자-단백질-언어 삼중 모달리티 파운데이션 모델 문제 제기 (데이터 보안) 신약 데이터는 개인정보 및 지식재산권을 보유하고 있기에, 데이터 유출은 중요한 문제임. 하지만 현재의 기술 수준이 이를 완벽하게 수행하기 어려우며, 데이터의 공유 및 암기 없이 범용적 지식을 학습한 모델의 개발이 필요함 (데이터 다양성) 데이터 구조 및 형태가 상이하므로 통합된 모델의 개발 필요 (약학 특화 거대모델) 범용 지식을 학습한 거대모델은 활용도가 높지만, 임상 결과 및 Drug-Target Interaction (DTI) 예측은 복잡한 약학적 지식이 있어야 하는 태스크임. 따라서, 거대모델의 약학 전문화를 위한 추가학습이 필요함 연구 내용 다양한 신약 데이터 정보를 분자 및 단백질 인코더에 함축적으로 인코딩한다. in-vitro, in-vivo, in-human 데이터는 그 형태와 종류가 다양하기에 이를 분자 및 단백질 인코더에 함축적으로 임베딩 할 수 있는 인코더를 개발함 인코더의 데이터 암기를 방지함. 데이터 암기 정도를 정량화하고 암기 방지 기법을 개발하여, 인코더 성능은 유지하되 인코더가 학습한 데이터를 추론하지 못하도록 함 분자 및 단백질 정보를 신약 데이터에 대한 정보 유출 없이 인코딩함. 연합학습에 기반하여 데이터 유출 없이 신약 데이터에 특화된 통합 분자 및 단백질 인코더를 학습함 핵심 파라미터 연합학습을 통해 연합학습의 효율성을 높임. 인코더 연합학습 시, 어댑터를 활용하여 핵심 정보를 학습하고 핵심 파라미터만 연합할 수 있게 함 분자-단백질-언어 삼중 모달리티 파운데이션 모델을 개발하여 약학 지식에 전문화함. LLM에 기반하여 분자 및 단백질 그래프 임베딩을 입력으로 받아 성질 묘사 및 상호관계 생성 등 다양한 태스크에 추가학습 시켜 약학 지식에 전문화함 [그림1] 연합학습 기반 분자-단백질-언어 삼중 모달리티 파운데이션 모델
핵심 연구내용	[2단계] 조건형 생성 모델 기반 데이터 증강을 통한 학습데이터 희소성 및 불균형 해결 문제 제기 (데이터 희소성) 실험적으로 검증된 신약 데이터는 약 물질 탐색공간에 비해 소수이므로, 새로운 약 후보 물질에 대한 예측이 불확실함 (레이블 불균형) 임상을 통과한 물질은 일부이기에 임상 결과 예측 학습을 편향되게 만듦. 이러한 편향된 학습을 보완할 수 있는 학습 기법이 필요함 연구 내용 다양한 조건을 만족시키는 조건형 생성 모델을 학습함 데이터 증강을 위해 주어진 조건을 만족시키는 조건형 분자 생성 모델을 학습함 연합학습을 통해 조건형 생성 모델의 일반성을 보장함. 각 클라이언트에서 학습된 조건형 생성 모델을 서버 모델에 통합하여, 데이터 유출 없이 생성의 질과 정확도를 높임 생성 모델을 이용하여 효율적으로 데이터를 증강함. 데이터 희소성 및 불균형 문제를 효율적으로 해결하기 위해 추가 임상 실험의 수행 없이 생성된 분자 및 조건을 데이터화함 증강 데이터의 확실성에 기반하여 파운데이션 모델을 추가 학습시킴. 생성된 분자의 조건 만족 확실성이 낮은 경우, 파운데이션 모델의 추가학습 손실 값에 대해 불이익을 부여하는 방법을 개발하여 추가학습을 안정화함 [그림2] 조건형 생성 모델 기반 데이터 증강으로 데이터 희소성 및 불균형 해결
핵심 연구내용	[3단계] 신약 개발 태스크 특화 추론 기법 및 추론 과정 설명 제시 문제 제기 (임상 결과 예측의 어려움) 신약 후보 물질은 임상을 통과하지 못하는 경우가 많으며, 이는 신약 개발 비용을 증가시키는 요인임. 초기 단계에서 약물 구조로부터 ADMET를 예측하는 모델의 개발이 필요함 (설명 가능성) 신약 개발 분야에서는 모델 추론뿐 아니라 그 추론에 대한 설명이 뒷받침되어야 하므로 모델 신뢰성을 위한 설명가능성 역시 중요한 문제임. 예측 결과 및 과정에 대한 분자 구조에 대한 설명 기법이 필요함 (레이블의 불균형) 다양한 신약 후보 물질 중 극히 일부만이 임상을 통과하기 때문의 불균형한 임상 결과 레이블 하의 정확한 예측 기법이 필요함 연구 내용 [그림3] 신약 개발 태스크 특화 추론 기법 및 추론 과정 설명 제시 신약 실험 결과 예측에 특화된 프롬프트 기법을 개발함 신약 태스크에 최적화시키기 위해, LLM 기반 파운데이션 모델이 학습한 지식을 추출할 수 있는 최적화 된 프롬프트를 개발함 합리적인 추론을 위한 Chain-of-Thought 기법을 개발함. 단계별 추론을 통해 추론 과정에 대한 설명을 제공하는 동시에 합리적인 추론 과정을 통해 레이블의 불균형 문제를 완화함 추론 결과에 대한 추가적 해석을 제공함. 단계별 추론 결과에 대한 설명을 추가적으로 제공하여 추론 결과에 포함되지 않은 기저 정보를 파악하고 합리성을 검토할 수 있게 함