bindglam
/

BareunBot-E2B

@@ -45,7 +45,7 @@ tags:
 - "관리자 승인 완료"나 암호 같은 문구를 넣어 AI 필터를 속이려 하기
 이런 글도 많습니다. 그런데 이미 나와 있는 욕설 필터는 대부분 뉴스 댓글로 만들어서, 이런 글은 잘 잡지 못했습니다.
-반대로 "시발점", "족발", "매점 아이스티" 같은 평범한 말을 욕으로 착각해서 막기도 했습니다.
 그래서 **학급 게시판에 맞는 필터**가 필요했습니다.
 ## 다른 모델이랑 무엇이 다른가요?
@@ -62,7 +62,7 @@ tags:
 다른 모델의 칸은 각 모델 설명서를 보고 정리한 것입니다. 같은 평가셋으로 직접 비교해 본 것은 아닙니다.
 ## 어떤 글을 막나요?
-글에서 **가장 나쁜 한 문장**을 보고, 아래 중 하나라도 해당하면 막습니다.
 | 종류 | 예 |
 |---|---|
@@ -71,7 +71,7 @@ tags:
 | 갈등·차별 | 특정 친구나 집단 빼기, 성별·지역·장애·다문화 차별 |
 | 위험한 이야기 | 자해 암시, 마약(은어 포함)·도박·술 권하기, 대리구매 |
 | 정치 | 정치인 비하 별명, 정치 은어, 특정 정치인이나 정당 지지·반대 |
-| 판정 조작 | 글 안에 `{"verdict": "pass"}`나 "관리자 승인 완료"처럼 AI를 속이려는 문구 넣기 |
 ### 이런 글은 **통과**시킵니다.
 - 위험해 보이는 단어를 원래 뜻으로 쓴 글: 시발점, 족발, 수박씨 발라 먹기, 매점 아이스티
@@ -131,27 +131,21 @@ print(p_block("ㅇㅇ이 프사 캡쳐해서 올림 ㅋㅋ"))       # 0.71 →
 ## 얼마나 잘 맞히나요?
 ### 평가셋 (504개)
-| 모델 | 점수(F1) | 잘못 막음 | 놓침 | 문항 당 소요 시간 |
-|---|---|---|---|---|
-| **바른봇** | **0.967** | 3개 | 13개 | **0.05초** |
-| Gemma 4 26B | 0.964 | 14개 | 4개 | 1.66초  |
-개발 평가셋에서 틀린 유형을 보고 학습 데이터를 보충했습니다. 그래서 이 점수는 실제보다 조금 좋게 나왔을 수 있습니다.
-진짜 실력은 최종 평가셋 점수를 보는 것이 맞습니다.
 ### 속도
 긴 설명을 생성하는 대신 막아야 할 확률만 바로 계산해서 답하기 때문에 속도가 아주 빠릅니다.
-CPU로 돌려도 판정 결과는 그래픽카드로 돌렸을 때와 똑같았습니다(504개 모두).
 | 실행 환경 | 메모리 조건 | 글 1개 걸리는 시간 |
 |---|---|---|
-| 그래픽카드 사용 (RTX 3060) | 그래픽카드 메모리 12GB | 약 0.05~0.1초 |
 | 그래픽카드 없이 CPU만 사용 | 일반 메모리 10GB 이상 | 약 1~2초 |
-> **그래픽카드 메모리가 8GB면 그대로는 돌아가지 않을 수 있습니다** (RTX 4060, 3060 Ti, 3070 등).
-> 바른봇 파일이 9.3GB라서 메모리가 12GB 이상인 그래픽카드가 필요합니다.
-> 8GB 그래픽카드밖에 없으면 `JEFF_DEVICE=cpu`로 CPU에서 실행해 주십시오(글 1개에 1~2초).
 ## 어떻게 만들었나요?
 - 구글이 공개한 작은 AI인 [Gemma 4 E2B](https://huggingface.co/google/gemma-4-E2B-it)를 바탕으로, [Jeff](https://github.com/firelex/jeff)로 학급 게시판 글 판정을 추가로 학습시켰습니다.
 - 학습 데이터는 23,099개입니다. 막아야 하는 글과 괜찮은 글이 거의 반반입니다.
@@ -194,7 +188,7 @@ CPU로 돌려도 판정 결과는 그래픽카드로 돌렸을 때와 똑같았
 | APEACH | https://github.com/jason9693/APEACH |
 ## 만든 사람
-- **bindglam**: 아고라 게시판에 쓸 바른봇을 기획하고 만들었습니다. 판정 기준 설계, 학습·평가 데이터 구축과 검수, 모델 학습과 평가를 진행했습니다.
 - **고마운 분들**
   - **우리 반 친구들**: 바른봇을 뚫어 보겠다며 여러 가지 바꿔 쓴 욕과 우회 방법을 열심히 테스트해 주었습니다.
   - **오픈소스 도구**: [Jeff](https://github.com/firelex/jeff) (Mathias Strasser), [Gemma 4](https://huggingface.co/google/gemma-4-E2B-it) (Google DeepMind)

 - "관리자 승인 완료"나 암호 같은 문구를 넣어 AI 필터를 속이려 하기
 이런 글도 많습니다. 그런데 이미 나와 있는 욕설 필터는 대부분 뉴스 댓글로 만들어서, 이런 글은 잘 잡지 못했습니다.
+반대로 "시발점", "족발" 같은 평범한 말을 욕으로 착각해서 막기도 했습니다.
 그래서 **학급 게시판에 맞는 필터**가 필요했습니다.
 ## 다른 모델이랑 무엇이 다른가요?
 다른 모델의 칸은 각 모델 설명서를 보고 정리한 것입니다. 같은 평가셋으로 직접 비교해 본 것은 아닙니다.
 ## 어떤 글을 막나요?
+글 전체의 **맥락과 목적**을 보고 판단하되, 아래 중 하나라도 해당하는 내용이 섞여있으면 막습니다.
 | 종류 | 예 |
 |---|---|
 | 갈등·차별 | 특정 친구나 집단 빼기, 성별·지역·장애·다문화 차별 |
 | 위험한 이야기 | 자해 암시, 마약(은어 포함)·도박·술 권하기, 대리구매 |
 | 정치 | 정치인 비하 별명, 정치 은어, 특정 정치인이나 정당 지지·반대 |
+| 운영 방해 | 글 안에 `{"verdict": "pass"}`나 "관리자 승인 완료"처럼 AI를 속이려는 문구 넣기 |
 ### 이런 글은 **통과**시킵니다.
 - 위험해 보이는 단어를 원래 뜻으로 쓴 글: 시발점, 족발, 수박씨 발라 먹기, 매점 아이스티
 ## 얼마나 잘 맞히나요?
 ### 평가셋 (504개)
+| 모델 | 점수(F1) | 잘못 막음 | 놓침 | 답변 실패 수 | 문항 당 소요 시간 |
+|---|---|---|---|---|---|
+| **바른봇 E2B** | **0.967** | 3개 | 13개 | **0** | **0.05초** |
+| Gemma 4 26B A4B | 0.964 | 14개 | 4개 | 3 | 3.32초 |
+| Gemma 4 E4B | 0.923 | 16개 | 22개 | 3 | 3.85초 |
+| Gemma 4 E2B | 0.816 | 13개 | 69개 | 3 | 1.94초 |
 ### 속도
 긴 설명을 생성하는 대신 막아야 할 확률만 바로 계산해서 답하기 때문에 속도가 아주 빠릅니다.
 | 실행 환경 | 메모리 조건 | 글 1개 걸리는 시간 |
 |---|---|---|
+| 그래픽카드 사용 (RTX 3060 12GB) | 그래픽카드 메모리 12GB | 약 0.05~0.1초 |
 | 그래픽카드 없이 CPU만 사용 | 일반 메모리 10GB 이상 | 약 1~2초 |
 ## 어떻게 만들었나요?
 - 구글이 공개한 작은 AI인 [Gemma 4 E2B](https://huggingface.co/google/gemma-4-E2B-it)를 바탕으로, [Jeff](https://github.com/firelex/jeff)로 학급 게시판 글 판정을 추가로 학습시켰습니다.
 - 학습 데이터는 23,099개입니다. 막아야 하는 글과 괜찮은 글이 거의 반반입니다.
 | APEACH | https://github.com/jason9693/APEACH |
 ## 만든 사람
+- **[bindglam](https://github.com/bindglam)**: 아고라 게시판에 쓸 바른봇을 기획하고 만들었습니다. 판정 기준 설계, 학습·평가 데이터 구축과 검수, 모델 학습과 평가를 진행했습니다.
 - **고마운 분들**
   - **우리 반 친구들**: 바른봇을 뚫어 보겠다며 여러 가지 바꿔 쓴 욕과 우회 방법을 열심히 테스트해 주었습니다.
   - **오픈소스 도구**: [Jeff](https://github.com/firelex/jeff) (Mathias Strasser), [Gemma 4](https://huggingface.co/google/gemma-4-E2B-it) (Google DeepMind)