한국어 NLP 기초 — 토큰화에서 분류까지

과정 소개

한국어 데이터의 노이즈 유형을 직접 태깅해 보며 전처리 우선순위를 정합니다. 트랜스포머 파인튜닝은 소규모로만 시도합니다.

다루는 내용

• 토크나이저 비교 실험
• 라벨 노이즈 점검 시트
• 소형 분류 모델 vs 파인튜닝 비교
• 설명 가능한 오류 분석 표
• 개인정보 마스킹 패턴

기대할 수 있는 결과물

• 분류 베이스라인 노트
• 오류 분석 리포트
• 데이터 카드(텍스트)

질문과 답변

최신 LLM API 과정인가요?−

아니요. 분류·표현 학습 중심이며 LLM은 보조적으로만 다룹니다.

말뭉치는 제공되나요?+

비포함 항목은?+

코호트 메모

• 토크나이저 비교표가 한눈에 들어와서 발표 자료로 썼습니다. 파인튜닝 파트는 속도가 빨랐습니다.

  태영 · 부산

• 교육 기관 담당자 — 라벨 노이즈 시트를 팀에 공유했더니 검수 프로세스가 정리됐습니다.

  Anonymous