47ag925/kormed-mcqa-klue-roberta

KorMedMCQA — klue/roberta-base 파인튜닝

한국 의사 국가고시(KorMedMCQA) doctor 데이터셋으로 파인튜닝한 5지선다 분류 모델입니다.

모델 정보

항목	내용
베이스 모델	klue/roberta-base
태스크	한국어 의료 5지선다 QA
데이터셋	sean0042/KorMedMCQA (doctor config)
훈련 데이터	train 1,890 / dev 164 / test 435
에포크	3
배치 크기	16
학습률	2e-5

사용법

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

REPO_ID = '47ag925/kormed-mcqa-klue-roberta'
tokenizer = AutoTokenizer.from_pretrained(REPO_ID)
model     = AutoModelForSequenceClassification.from_pretrained(REPO_ID)
model.eval()

CHOICES = ['A', 'B', 'C', 'D', 'E']

def predict(question, options):
    text = question
    for c, opt in zip(CHOICES, options):
        text += f' {c}: {opt}'
    inputs = tokenizer(text, return_tensors='pt', truncation=True, max_length=256)
    with torch.no_grad():
        logits = model(**inputs).logits
    return CHOICES[logits.argmax(-1).item()]

한계

• 소규모 데이터(1,890건)로 학습 → 전문 의료 지식 완전 습득 한계
• 한국 의사 국가고시 도메인 외 일반 의학 QA에는 성능 저하 가능