Astra 재검증 결과

기존 검증 표본 600개를 Astra로 다시 분류했습니다. 기존 답변을 보여주지 않고 같은 코드북으로 판정한 뒤, Nemotron·Luna의 결과와 비교했습니다.

재검증 댓글600전체 표본 처리 완료

코딩용 하위표본200전체 600개에 포함

기존 비교 모델2Nemotron · Luna

누락·실패024개 배치 모두 성공

어느 정도 같은 판정을 했을까요?

비교할 표본과 기존 모델을 선택하세요. 아래 값은 Astra와 해당 모델의 일치율입니다.

비교 표본기존 모델

세부 담론은 여러 레이블을 고를 수 있습니다. ‘완전 일치’는 선택한 레이블 집합 전체가 같다는 뜻입니다. 모델 간 일치율은 정답률이나 인간 코딩 신뢰도가 아닙니다.

전체 6개 항목과 보조 지표 보기

판정 항목	완전 일치	다른 댓글	Cohen κ	레이블 F1	Jaccard

κ는 우연 일치를 보정한 단일 판정 지표입니다. F1·Jaccard는 복수 레이블이 얼마나 겹치는지 나타냅니다. 해당하지 않는 지표는 ‘—’로 표시합니다.

전체 600개 기준 · 유형별 150개

선택한 기존 모델과 Astra의 일치율을 영상 유형별로 비교합니다.

영상 유형	댓글 수	세부 담론	정당성	원인 프레임

전체 600개 기준

기존 모델에서 Astra로 판정이 바뀐 조합 중 빈도가 높은 순서입니다. 어느 쪽이 정답인지를 뜻하지 않습니다.

판정 항목

기존 판정	Astra 판정	댓글 수

일치율과 판정 변화 집계를 연구 자료에 활용할 수 있습니다.

네 가지 영상 유형에서 150개씩 뽑은 기존 600개 표본을 고정했습니다. 코딩용 200개 표본은 이 안에 포함됩니다.
Astra는 기존 판정 없이 댓글의 정제된 본문과 영상 유형을 보고 독립적으로 분류했습니다. 이번 단계는 인간의 판정 입력을 수행하는 대신 진행한 모델 간 재검증입니다.
기존 Nemotron과 같은 코드북·판정 규칙·본문 600자 제한을 적용했습니다. 출력 형식·예시 등은 조정되었고, 18개 댓글은 본문이 잘렸습니다. Luna는 최대 3,000자를 사용했으므로 입력 길이 차이도 비교에 포함됩니다.
영상 대본과 부모 댓글 본문은 이번 입력에 추가하지 않았습니다. 맥락에 따라 해석이 달라질 수 있습니다.
이번 일치율은 표본에서의 비가중 비교입니다. Astra의 정확도나 전체 22,635개 댓글의 정확도로 일반화할 수 없습니다. 모델들이 같은 편향을 공유할 가능성도 있습니다.
정당성·원인 프레임은 댓글의 담론을 분류한 결과입니다. 작성자의 건강 상태나 의학적 사실을 판정한 값이 아닙니다.