# mel - Mellum2.1-12B-A2.5B Thinking

[← 모델 목록](README.md)

## 기본 정보

| 항목 | 내용 |
|---|---|
| 풀네임 | Mellum2.1-12B-A2.5B-Thinking |
| 만든 곳 | JetBrains |
| 공개일 | 원본 2026-09-20 · GGUF 저장소 2026-10-07 |
| 라이선스 | Apache-2.0 |

## 원본 · GGUF 출처

- GGUF: https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF

## 구조

MoE. 전체 12B 중 활성 2.5B (64 전문가 중 8개). 코딩 에이전트용 생각 모델. 모델은 문맥 131K 를 지원한다.

## 양자화 · 파일

| 항목 | 내용 |
|---|---|
| 양자화 | Q8_0 |
| 파일 | `Mellum2.1-12B-A2.5B-Thinking-Q8_0.gguf` · 12.9GB (12,925,417,760 B) |
| sha256(앞 16자) | `69e0ac02a16586c2` |

## 서버 설정 (router preset)

공통값: `n-gpu-layers = 999`(전부 GPU) · `flash-attn = on` · `jinja = true` · `c = 65536`(문맥 64K) · `load-mode = none`(통째로 메모리에 올림). 모델 섹션이 같은 키를 쓰면 공통값을 덮어쓴다.

- 생각 모드: 항상 켜짐(Thinking 판이라 끌 수 없다)
- 샘플링: `temp = 0.6`, `top-p = 0.95`, `top-k = 20` (모델 카드 권장값)
- 투기적 디코딩: 없음
- 문맥: 서버는 64K(공통값, 모델은 131K 지원)
- mmproj: 없음
- **엔진**: router 기본은 b11701 이지만, 테트리스 대회에서는 `mel` 만 **llama.cpp b11539** 로 돌린다(아래 참고).

## 표준 시험 실측

2026-10-17, llama.cpp b11701, Strix Halo 서버(GPU, 한 번에 한 모델). 방법은 [README](README.md#읽는-법) 참고.

| 항목 | 내용 |
|---|---|
| 첫 응답(모델 교체 포함) | 87.9초 (b11701) |
| 생성 속도 | **17.9 t/s (b11701)** / 84.7 t/s (b11539) |
| 긴 프롬프트 읽기(약 1만 토큰) | **524 t/s (b11701)** / 2008 t/s (b11539) |
| GTT | 13.4G (b11701) / 13.3G (b11539) |
| 초안 수락률 | - (없음) |
| 자동 채점 통과 횟수 | 3/3회 (생각 약 4.0천 자) |

두 엔진 값이 크게 다르다. 같은 파일이고 GTT 도 같다. b11701 에서 두 번 재현됐다(17.9, 17.4 t/s). 대회에서 쓰는 엔진 b11539 기준은 오른쪽(슬래시 뒤) 값이다.

## 알려진 특성 · 주의점

### b11701 에서 4.7배 느린 이유 (대회에서 b11539 를 쓰는 이유)

- 원인: llama.cpp PR #30584(2026-10-16 병합, Mellum 정밀도 처리). Mellum 의 `ffn_moe_down` 입력이 약 2.9e5 까지 올라가 F16 한계(65504)를 넘고 Metal 에서 NaN 이 나는 문제를, 이 PR 이 해당 연산에 `GGML_PREC_F32` 를 지정해 고쳤다. 그런데 Vulkan 등은 `GGML_PREC_F32` 인 `MUL_MAT_ID` 를 지원하지 않아 **모든 층의 `ffn_moe_down` 이 CPU 에서 돈다.**
- 우리 시험(Radeon 8060S, Vulkan, 같은 Q8_0 파일, 퍼플렉서티 8청크):

| 엔진 | 퍼플렉서티 | 한 pass 당 시간 | 직접 생성 |
|---|---|---|---|
| b11539 | 6.0967 | 0.94초 | 81.7 t/s |
| b11701 | 6.1049 | 3.39초 | 17.5 t/s |

- 해석: 이 서버의 Vulkan GPU 에서는 b11539 에서도 NaN 이 없고 퍼플렉서티가 같다(6.097 대 6.105). 새 빌드는 정확도 이득 없이 속도만 4.7배(81.7 -> 17.5 t/s) 잃는다. 그래서 **테트리스 대회에서는 `mel` 만 b11539 로 돌리고 그렇게 표기한다.**
- 엔진은 router 단위라 b11539 로 띄우면 `bolt`·`mcv` 는 쓸 수 없다.

### 그 밖의

- 생각이 항상 켜져 있어 답이 길어진다.
- b11539 에서는 소형 기준선을 빼면 읽기가 가장 빠르고(2008 t/s) 메모리를 가장 적게 쓴다.

## 참가한 테스트

- [01 테트리스 게임 테스트](../01_tetris_game_test/README.md#9-결과--v1) — v1: 9위 / 총점 498 — 게임 루프가 시작되지 않아 빈 화면, 충돌 검사 구조 오류 · [v2](../01_tetris_game_test/README.md#9-2-결과--v2): 12위 / 총점 175 — 붙여넣다 남은 줄로 문법 오류, 키보드까지 죽은 이번 회차 유일한 회귀 · [v3](../01_tetris_game_test/README.md#9-3-결과--v3): 12위 / 총점 40 — v2 부터의 문법 오류를 그대로 두고 gameLoop 정의까지 지워 실행 불가
- 테트리스 종합: v1 498 → v2 175 → v3 40, 평균 237.7 (종합 12위) — [종합 보기](../01_tetris_game_test/README.md#10-테트리스-종합--v1--v2--v3-완결)
- [02 드래곤플라이트 게임 테스트](../02_dragonflight_game_test/README.md#9-결과--v1) — v1: 11위 / 총점 434 — 시작해도 게임 루프가 돌지 않아 실행 불가 · [v2](../02_dragonflight_game_test/README.md#9-2-결과--v2): 12위 / 총점 405 — v1 부터 실행 불가, 터치 방향이 항상 왼쪽, R3 로 실측 0 · [v3](../02_dragonflight_game_test/README.md#9-3-결과--v3): 12위 / 총점 316 — v1 부터 루프가 돌지 않아 실행 불가, 스테이지·보스 코드 없음
- 드래곤플라이트 종합: v1 434 → v2 405 → v3 316, 평균 385 (종합 12위) — [종합 보기](../02_dragonflight_game_test/README.md#10-드래곤플라이트-종합--v1--v2--v3-완결)
- [03 디펜스 게임 테스트](../03_defense_game_test/README.md#9-결과--v1) — v1: 8위 / 총점 534 — 슈터형 방어(방향키 이동·클릭 발사) — 적이 바닥에 닿을 때 크래시 위험, 게임 오버·재시작 없음 · [v2](../03_defense_game_test/README.md#9-2-결과--v2): 7위 / 총점 552 — 탭 사격은 되나 스와이프 이동 방향이 반전되고 터치 UI 없음 · [v3](../03_defense_game_test/README.md#9-3-결과--v3): 11위 / 총점 166 — 구문 오류(회귀)로 스크립트 미실행
- 디펜스 종합: v1 534 → v2 552 → v3 166, 평균 417.3 (종합 8위) — [종합 보기](../03_defense_game_test/README.md#10-03-디펜스-종합--v1--v2--v3-완결)
- 대회 종합: 3개 시험 평균 346.7 (11위) — 테트리스 237.7 · 드래곤플라이트 385 · 디펜스 417.3 — [대회 종합 보기](../README.md#대회-종합--3개-시험-평균)