PUBLICATIONS
2025
3.
박준영; 유선용
Abstract | Links | BibTeX | Dimensions | Tags: Bioinformatics, Drugs, Transformer
@article{박준영;유선용2025,
title = {화합물의 골격구조를 활용한 Transformer 기반 새로운 분자 설계},
author = {박준영 and 유선용},
url = {http://journal.dcs.or.kr/_common/do.php?a=full&b=12&bidx=3950&aidx=43776},
doi = {10.9728/dcs.2025.26.1.217},
issn = {1598-2009},
year = {2025},
date = {2025-01-01},
urldate = {2025-01-01},
journal = {디지털콘텐츠학회논문지},
volume = {26},
number = {1},
pages = {217-223},
abstract = {전통적인 신약 개발은 새로운 약물을 시장에 출시하기까지 많은 시간과 막대한 비용이 소요되며, 높은 실패율로 인해 효율성이 낮다는 문제가 있다. 이러한 문제를 해결하기 위해 생성 모델을 활용한 혁신적인 접근법이 주목받고 있다. 본 연구에서는 트랜스포머 디코더 구조를 기반으로 화합물의 구조 정보를 문자열로 학습하여 새로운 화합물 구조를 생성하는 모델을 제안한다. 특히, 화합물에서 추출한 골격 구조(scaffold)를 임베딩하여 모델 입력에 포함함으로써, 결합 및 원자 정보와 골격 구조를 동시에 처리하였다. 벤치마크 데이터셋을 사용한 평가 결과, 골격 구조 임베딩을 적용한 모델이 데이터셋 별로 유효성 지표에서 0.964, 0.986의 우수한 성능을 보였다. 본 연구는 분자 생성 모델에 골격 구조 임베딩을 도입함으로써, 화학적 규칙을 준수하는 분자를 효과적으로 생성할 수 있는 방법을 제시하였으며, 신약 개발 분야에서 AI 기반 분자 설계의 효율성을 높이는 데 기여할 것으로 기대된다.},
keywords = {Bioinformatics, Drugs, Transformer},
pubstate = {published},
tppubtype = {article}
}
전통적인 신약 개발은 새로운 약물을 시장에 출시하기까지 많은 시간과 막대한 비용이 소요되며, 높은 실패율로 인해 효율성이 낮다는 문제가 있다. 이러한 문제를 해결하기 위해 생성 모델을 활용한 혁신적인 접근법이 주목받고 있다. 본 연구에서는 트랜스포머 디코더 구조를 기반으로 화합물의 구조 정보를 문자열로 학습하여 새로운 화합물 구조를 생성하는 모델을 제안한다. 특히, 화합물에서 추출한 골격 구조(scaffold)를 임베딩하여 모델 입력에 포함함으로써, 결합 및 원자 정보와 골격 구조를 동시에 처리하였다. 벤치마크 데이터셋을 사용한 평가 결과, 골격 구조 임베딩을 적용한 모델이 데이터셋 별로 유효성 지표에서 0.964, 0.986의 우수한 성능을 보였다. 본 연구는 분자 생성 모델에 골격 구조 임베딩을 도입함으로써, 화학적 규칙을 준수하는 분자를 효과적으로 생성할 수 있는 방법을 제시하였으며, 신약 개발 분야에서 AI 기반 분자 설계의 효율성을 높이는 데 기여할 것으로 기대된다.
2024
2.
Sunyong Yoo; Myeonghyeon Jeong; Subhin Seomun; Kiseong Kim; Youngmahn Han
Abstract | Links | BibTeX | Dimensions | Tags: Amino acids, Attention mechanism, Bioinformatics, Coronaviruses, Deep learning, Immune system, Lymphocytes, Predictive models, Proteins, Transformer
@article{yoo2024interpretable,
title = {Interpretable Prediction of SARS-CoV-2 Epitope-specific TCR Recognition Using a Pre-Trained Protein Language Model},
author = {Sunyong Yoo and Myeonghyeon Jeong and Subhin Seomun and Kiseong Kim and Youngmahn Han},
url = {https://ieeexplore.ieee.org/abstract/document/10443062},
doi = {10.1109/TCBB.2024.3368046},
year = {2024},
date = {2024-02-21},
urldate = {2024-02-21},
journal = {IEEE/ACM Transactions on Computational Biology and Bioinformatics},
volume = {21},
issue = {3},
pages = {428-438},
publisher = {IEEE},
abstract = {The emergence of the novel coronavirus, designated as severe acute respiratory syndrome coronavirus-2 (SARS-CoV-2), has posed a significant threat to public health worldwide. There has been progress in reducing hospitalizations and deaths due to SARS-CoV-2. However, challenges stem from the emergence of SARS-CoV-2 variants, which exhibit high transmission rates, increased disease severity, and the ability to evade humoral immunity. Epitope-specific T-cell receptor (TCR) recognition is key in determining the T-cell immunogenicity for SARS-CoV-2 epitopes. Although several data-driven methods for predicting epitope-specific TCR recognition have been proposed, they remain challenging due to the enormous diversity of TCRs and the lack of available training data. Self-supervised transfer learning has recently been proven useful for extracting information from unlabeled protein sequences, increasing the predictive performance of fine-tuned models, and using a relatively small amount of training data. This study presents a deep-learning model generated by fine-tuning pre-trained protein embeddings from a large corpus of protein sequences. The fine-tuned model showed markedly high predictive performance and outperformed the recent Gaussian process-based prediction model. The output attentions captured by the deep-learning model suggested critical amino acid positions in the SARS-CoV-2 epitope-specific TCRβ sequences that are highly associated with the viral escape of T-cell immune response.},
note = {Correspondence to Sunyong Yoo},
keywords = {Amino acids, Attention mechanism, Bioinformatics, Coronaviruses, Deep learning, Immune system, Lymphocytes, Predictive models, Proteins, Transformer},
pubstate = {published},
tppubtype = {article}
}
The emergence of the novel coronavirus, designated as severe acute respiratory syndrome coronavirus-2 (SARS-CoV-2), has posed a significant threat to public health worldwide. There has been progress in reducing hospitalizations and deaths due to SARS-CoV-2. However, challenges stem from the emergence of SARS-CoV-2 variants, which exhibit high transmission rates, increased disease severity, and the ability to evade humoral immunity. Epitope-specific T-cell receptor (TCR) recognition is key in determining the T-cell immunogenicity for SARS-CoV-2 epitopes. Although several data-driven methods for predicting epitope-specific TCR recognition have been proposed, they remain challenging due to the enormous diversity of TCRs and the lack of available training data. Self-supervised transfer learning has recently been proven useful for extracting information from unlabeled protein sequences, increasing the predictive performance of fine-tuned models, and using a relatively small amount of training data. This study presents a deep-learning model generated by fine-tuning pre-trained protein embeddings from a large corpus of protein sequences. The fine-tuned model showed markedly high predictive performance and outperformed the recent Gaussian process-based prediction model. The output attentions captured by the deep-learning model suggested critical amino acid positions in the SARS-CoV-2 epitope-specific TCRβ sequences that are highly associated with the viral escape of T-cell immune response.
2021
1.
윤현서; 유선용
Abstract | Links | BibTeX | Dimensions | Tags: Transformer
@article{윤현서2021transformer,
title = {Transformer 기반 비윤리적 문장 탐지},
author = {윤현서 and 유선용},
url = {https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE10595980&googleIPSandBox=false&mark=0&minRead=5&ipRange=false&b2cLoginYN=false&icstClss=010000&isPDFSizeAllowed=true&accessgl=Y&language=ko_KR&hasTopBanner=true},
doi = {10.9728/dcs.2021},
year = {2021},
date = {2021-01-01},
urldate = {2021-01-01},
journal = {디지털콘텐츠학회논문지},
volume = {22},
number = {8},
pages = {1289–1293},
abstract = {정보통신 기술의 발달은 사회관계망서비스(SNS)의 확산을 가져왔지만 심각한 사회적 문제인 악성 댓글을 야기하였다. 사이버 명예훼손ᆞ모욕 발생/검거 건수는 2014년 8,880건에서 2019년 16,633건으로 급격히 증가하였고 해당 문제를 해결하기 위한 대책이 요구된다. 그러나 IP 블랙리스트, 비속어 필터와 같은 기존의 규제만으로는 다양한 패턴을 가지는 악성 댓글을 탐지하는데 한계가 있다. 따라서 비윤리적 문장 탐지에 최적화된 인공지능 모델이 필요하다. 본 논문은 자연어 처리에서 높은 성능을 보여준 Transformer 기반 비윤리적 문장 탐지 모델을 제안한다. 해당 모델은 95.03%의 정확도를 보여주었고 비윤리적 문장 탐지 모델로 활용될 것이다. 또한, SNS의 댓글뿐만 아니라 스트리밍 서비스 등 다양한 분야에},
keywords = {Transformer},
pubstate = {published},
tppubtype = {article}
}
정보통신 기술의 발달은 사회관계망서비스(SNS)의 확산을 가져왔지만 심각한 사회적 문제인 악성 댓글을 야기하였다. 사이버 명예훼손ᆞ모욕 발생/검거 건수는 2014년 8,880건에서 2019년 16,633건으로 급격히 증가하였고 해당 문제를 해결하기 위한 대책이 요구된다. 그러나 IP 블랙리스트, 비속어 필터와 같은 기존의 규제만으로는 다양한 패턴을 가지는 악성 댓글을 탐지하는데 한계가 있다. 따라서 비윤리적 문장 탐지에 최적화된 인공지능 모델이 필요하다. 본 논문은 자연어 처리에서 높은 성능을 보여준 Transformer 기반 비윤리적 문장 탐지 모델을 제안한다. 해당 모델은 95.03%의 정확도를 보여주었고 비윤리적 문장 탐지 모델로 활용될 것이다. 또한, SNS의 댓글뿐만 아니라 스트리밍 서비스 등 다양한 분야에