PCB 설계도 이제 LLM 벤치마크로 때린다, PCB-Bench 공개

• PCB-Bench는 대규모 언어 모델(LLM)이 PCB 배치와 라우팅을 얼마나 이해하는지 재는 첫 종합 벤치마크임

  • 그냥 전자공학 퀴즈가 아니라, 텍스트·이미지·실제 PCB 설계 산출물을 한 평가 프레임워크에 넣었음
  • 타깃은 부품 배치, 라우팅 전략, 설계 규칙 준수 같은 실제 PCB 엔지니어링 추론임

• 데이터셋 구성이 꽤 빡세다 — 총 3개 태스크로 나뉨

  • 텍스트 기반 QA/CQ는 전문가가 작성한 자유응답 약 1,800개와 객관식 버전을 합쳐 총 약 3,700문항
  • 이미지+텍스트 멀티모달 문제는 약 500개로, PCB 레이아웃 이미지와 기술 프롬프트를 같이 해석해야 함
  • 실제 보드 이해 태스크는 OSHWHub에서 수집한 174개 공개 PCB 프로젝트를 기반으로 함

• 다루는 범위도 단순 암기형이 아님

  • 매크로 레벨에서는 전체 배치 원칙, 전원 계획, EMI/EMC, 제조용 설계(DFM)를 봄
  • 마이크로 레벨에서는 신호 무결성, 차동쌍, 비아 존재 여부, 트레이스 연속성 같은 구현 디테일까지 건드림
  • 멀티모달 문제에서는 부품 식별, 기능 블록 인식, 라우팅 추론까지 요구함

• 평가 방식은 전부 제로샷으로 맞췄음

  • 각 문제는 데모나 파인튜닝 없이 독립적으로 풀게 함
  • 객관식은 Top-1 정확도, 자유응답은 BERTScore와 Sentence-BERT 유사도로 채점
  • 전체 PCB 스크린샷 설명 태스크는 Precision, Recall, F1까지 추가로 봄

• 모델 범위도 프런티어 모델과 오픈소스 모델을 같이 비교하는 쪽임

  • 논문은 다양한 최신 LLM/MLLM을 같은 프로토콜로 벤치마크했다고 밝힘
  • 추가로 Qwen2.5-7B-Instruct 기반 PCB 특화 변형 모델도 평가해서 도메인 특화의 효과를 보려 함

• 데이터 출처와 라이선스도 신경 쓴 흔적이 있음

  • 실제 PCB 프로젝트는 OSHWHub에서 공개·합법 접근 가능한 자료만 수집
  • 각 설계에는 URL 링크를 연결해 투명성과 지식재산권 보호를 챙겼다고 설명함
  • 평가 스크립트와 설정 파일도 함께 공개해서 재현과 확장이 가능하게 만들었음

---

기술 맥락

• 이 벤치마크가 흥미로운 이유는 LLM 평가가 “말 잘하는 모델”에서 “도메인 산출물을 읽고 판단하는 모델”로 이동하고 있기 때문이에요. PCB 설계는 텍스트 지식만으로 안 되고, 이미지·부품 관계·설계 규칙을 동시에 봐야 하거든요.

• 특히 PCB 배치와 라우팅은 순수 소프트웨어 문제보다 물리 제약이 강해요. 신호 무결성, EMI/EMC, 전원 계획, 차동쌍 같은 요소는 말로 설명은 쉬워 보여도 실제 레이아웃에서는 서로 충돌하기 때문에, 모델이 표면적 패턴만 외웠는지 드러나기 좋아요.

• 제로샷 평가를 택한 것도 의미가 있어요. 파인튜닝된 특정 모델의 성능 자랑보다, 범용 LLM/MLLM이 실제 엔지니어링 워크플로에 바로 들어왔을 때 어디까지 버티는지를 보려는 설정에 가깝거든요.

• 한국 개발자 입장에서는 당장 PCB를 설계하지 않더라도, 멀티모달 AI가 CAD, EDA, 시뮬레이션 같은 전문 도구 화면을 이해하는 방향으로 가고 있다는 신호로 볼 만해요. 앞으로 사내 도메인 툴에 AI를 붙일 때도 이런 식의 벤치마크 설계가 중요해질 가능성이 큼.