본문으로 건너뛰기
J
피드

ISON – JSON보다 토큰을 30-70% 절약하는 LLM용 데이터 포맷

ai-ml 약 3분
tags
#llm#data-format#token-optimization#json#serialization
vote
0
댓글
북마크

LLM 워크플로우에서 JSON의 토큰 비효율을 해결하기 위해 만든 새 데이터 포맷 ISON이 Show HN에 공개됨. GPT-4o 기준 벤치마크에서 JSON 대비 72% 토큰 절감, 같은 컨텍스트 윈도우에 3.6배 데이터를 넣을 수 있다고 주장.

  • 1

    JSON 대비 72% 토큰 절감, 1K 토큰당 정확도 272% 효율적

  • 2

    5개 언어 11개 패키지, 303개 이상 테스트 통과

  • 3

    테이블 구조, 타입 어노테이션, 레퍼런스, ISONL 스트리밍 포맷 지원

  • JSON이 LLM 워크플로우에서 토큰을 너무 많이 먹는다는 문제의식에서 출발한 새 데이터 포맷 ISON이 Show HN에 올라옴. "Interchange Simple Object Notation"이라는 이름 그대로, 테이블/관계형 패턴 기반으로 LLM이 학습 데이터에서 수억 번 봤을 구조를 활용해서 토큰 효율을 극대화하겠다는 컨셉임

  • GPT-4o 토크나이저(o200k_base) 기준 300문항 벤치마크 결과가 인상적임:

    • ISON: 3,550 토큰 (JSON 대비 -72%), 정확도 88.3%
    • JSON: 12,668 토큰 (기준선), 정확도 84.7%
    • 1K 토큰당 정확도로 환산하면 ISON이 JSON보다 272% 효율적
    • 같은 컨텍스트 윈도우에 3.6배 더 많은 데이터를 넣을 수 있다는 얘기

  • 포맷 자체는 테이블 구조(타입이 지정된 컬럼), 오브젝트 블록(키-밸류), 레퍼런스(:id, :type:id), 타입 어노테이션(field:int, field:string 등), 스트리밍용 라인 기반 포맷(ISONL)을 지원함

  • 에코시스템은 이미 5개 언어에 11개 패키지가 나와 있음: JavaScript/TypeScript, Python, Rust, C++(헤더 온리), Go. 총 303개 이상 테스트 통과. 각 언어별로 파서와 밸리데이션(isonantic) 라이브러리가 분리되어 있어서 스키마 검증도 가능함

  • 타겟 유즈케이스로 멀티 에이전트 시스템, RAG 파이프라인, 그래프 DB, LLM 함수 호출 등을 내세우고 있음. 토큰 제약이 빡빡한 에이전틱 AI 워크플로우에서 JSON 대신 쓰면 비용 절감 효과가 클 수 있다는 주장

ℹ️참고

> 아직 커뮤니티 채택 초기 단계이고, 기존 JSON 생태계와의 호환성(JSON Export, Roundtrip 지원)을 강조하고 있긴 하지만, 실제 프로덕션에서 LLM이 ISON을 얼마나 안정적으로 생성하는지는 별도 검증이 필요함

토큰 비용이 곧 돈인 LLM 시대에 데이터 직렬화 포맷도 토큰 효율을 기준으로 재설계되기 시작했다는 점이 흥미로움. 다만 LLM이 ISON을 안정적으로 생성할 수 있는지가 실제 채택의 핵심 변수.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.