한국 작업치료사면허 시험 문항에 ChatGPT 적용 및 성능 검증 성공리에 마쳐
- 국제학술지 Digital Health 2월호 게재

[시사캐치] 순천향대(총장 김승우) 작업치료학과 박진혁 교수는 최근 일반대학원 ICT융합학과 석사과정 이시안 학생과 경복대 작업치료학과 허서윤 교수와 함께 한국 작업치료사면허 시험 문항에 ChatGPT3.5를 적용해 새로운 학습교구 개발에 박차를 가했다고 13일 밝혔다.

 

거대언어모델(Large Language Model)은 인간 언어를 이해하고 생성하도록 훈련된 인공지능을 통칭하며, 대표적인 모델로 ChatGPT가 널리 사용되고 있다. 특히, ChatGPT는 딥러닝 알고리즘과 통계 모델을 통해 자연어 처리에 특화되어 다양한 분야에 적용되고 있다.

 

최근에는 ChatGPT를 다양한 면허 시험에 적용하고 있어 눈길을 끈다. 특히, ChatGPT가 생의학 및 임상 과학에 대한 폭 넓은 이해를 요구하는 엄격한 시험인 미국 의사면허 시험(United States Medical Licensing Examination)에서 90% 이상의 높은 점수를 기록해, AI를 활용한 학습교구가 의학 개념을 이해하고 적용하는 데 있어 큰 역할을 수행할 수 있는 점을 확인했다.

 

이처럼 ChatGPT를 필두로 한 거대언어모델을 의료분야 내에서 활용할 수 있는 방안에 대해 활발한 연구가 진행되고 있지만, 국내 의료분야의 면허 시험에 ChatGPT를 활용한 사례는 극히 제한적이었다.

 

이를 해결하기 위해 박진혁 교수 연구팀은 한국보건의료인국가시험원(국시원)에서 공개한 최근 5개년도의 한국 작업치료사면허 시험 문항(2018~2022년)에 ChatGPT3.5를 적용하여 그 성능을 확인했다. ChatGPT3.5에 5개년도의 시험 문항을 한글 그대로 입력하였고 국시원에서 공개한 정답과 비교하여 ChatGPT의 성능을 확인한 것이다.

 

그 결과, 면허 시험 합격 기준인 정확도 60%는 달성하지 못하였지만, 문화권에 영향을 받는 의료법규 관련 문항을 제외한 전공 지식 관련 문항에 대해서는 합격권을 넘는 정확도를 보여주었다. 또한, 세 명의 평가자가 기록한 ChatGPT의 정답의 일치도가 높아 신뢰도가 높음을 확인했다.

 

교신저자인 박진혁 교수는 "아직 ChatGPT를 비롯한 거대언어모델의 학습 데이터가 대부분 영어 중심의 문화권에 기초하고 있어 한국 작업치료사면허 시험 문항에 적용하는 것은 제약이 있지만 문화권에 영향을 받지 않는 전공 지식의 경우 충분히 높은 정확도와 함께 신뢰도를 보여줘 작업치료를 전공하는 학생들이 ChatGPT를 학습의 도구로써 활용할 수 있는 점을 확인했다.”라고 말했다.

 

한편, 이번 연구 결과는 최근 ‘한국 작업치료사면허 시험에서의 ChatGPT의 성능(Performance of ChatGPT on the National Korean Occupational Therapy Licensing Examination)’이라는 제목으로 국제학술지 Digital Health (IF: 3.9, Health Policy & Service 분야 Q1, 2022 JCR 기준) 2월호에 게재됐다.