01 / REPRESENTATION
58비트 고정 구조
토큰을 불투명한 ID 하나가 아니라 조립 정보를 보존하는 구조적 이진 패턴으로 표현한다.
GLIM
한글에서 시작한 이진 언어 구조.
GLIM은 단순한 토크나이저가 아니다. 주 계산이 시작되기 전에 재사용 가능한 내부 구조를 노출하려는 표현 계층의 실험이다.
ㅣ는 1, ㅇ은 0.
한글의 최소 기하인 선과 원을 이진 표현의 직관적 원형으로 삼는다. GLIM은 문자를 불투명한 번호로만 취급하지 않고, 조립 가능한 구조를 계산의 출발점으로 사용하려 한다.
02 / SEQUENCE
효율적 순환 상태
RWKV와 선형시간 시퀀스 모델을 통해 작은 메모리, 명료한 상태전이, 엣지 배치를 탐구한다.
03 / EVIDENCE
구조는 대조군을 이겨야 한다
셔플 표현, 동일 파라미터 기준선, 구조전이 과제로 구조의 실제 기여를 검증한다.
“모델은 기호를 외우는 데서 끝나서는 안 된다. 그 기호를 재사용 가능하게 만드는 구조를 물려받아야 한다.”
연구 원칙
작은 모델. 강한 증거.
효율적 모델, 명시적 대조군, 실패 기록, 반증 가능한 아키텍처 주장을 우선한다.
A
장식보다 아키텍처
인과적 기여를 분리할 수 있을 때만 복잡성을 추가한다. 이름 붙인 레이어가 의도한 기능을 수행한다는 보장은 없다.
B
친숙함보다 전이
진짜 구조 학습은 단어, 기호, 순서, 도메인이 바뀌어도 살아남아야 한다.
C
실패는 자산
실패한 실험은 다음 설계의 제약조건으로 남긴다. 원인을 설명하지 못하는 좋은 수치보다 명확한 실패가 낫다.
소개
JOHNKOOM
언어 구조, 이진 표현, 효율적 AI 아키텍처, 시스템 설계.
정체성
구조화 언어 표현, 소형 시퀀스 모델, 관계 전이를 연구하는 독립 AI 연구자이자 개발자.
현재 연구
GLIM을 구조 입력 인코딩, 효율적 순환 언어모델, 이진연산, 벡터기호 확장으로 이어지는 계층적 연구 프로그램으로 개발하고 있다. 핵심 질문은 하나다. 표현 수준의 구조가 품질과 효율의 경계를 개선할 수 있는가?