Pi-Autoresearch: AI 에이전트용 자율 최적화 루프 확장

pi(터미널 AI 코딩 에이전트)용 확장으로, 자율 최적화 루프를 돌려주는 도구임. karpathy/autoresearch에서 영감을 받았고, 아이디어 시도 -> 벤치마크 -> 개선이면 유지, 퇴보면 리버트 -> 반복 사이클을 자동으로 수행함.

테스트 속도, 번들 사이즈, LLM 학습, 빌드 시간, Lighthouse 점수 등 어떤 최적화 대상이든 적용 가능함. 도메인 지식은 skill에, 인프라는 extension에 분리되어 있어서 하나의 확장으로 무한한 도메인을 커버하는 구조임.

핵심 도구는 세 가지: init_experiment(세션 설정), run_experiment(커맨드 실행 및 측정), log_experiment(결과 기록 및 자동 커밋). /autoresearch 명령으로 세션을 시작하면 에이전트가 편집 -> 커밋 -> 실험 실행 -> 로그 -> 유지 또는 리버트를 자율적으로 반복함.

신뢰도 평가가 꽤 괜찮음. 3회 이상 실험 후 MAD(Median Absolute Deviation)로 노이즈를 추정하고, |최고 개선폭| / MAD로 confidence를 계산함. 2.0x 이상이면 실제 개선일 가능성 높음, 1.0~2.0x는 애매, 1.0x 미만은 노이즈 범위 내임.

세션 상태는 autoresearch.md(목표, 시도 내역 등 세션 문서)와 autoresearch.jsonl(실행별 로그)에 기록되어, 컨텍스트가 리셋되거나 재시작해도 새 에이전트가 그대로 이어받을 수 있음. 선택적으로 autoresearch.checks.sh를 만들면 벤치마크 통과 후 테스트/타입체크/린트를 돌려서 최적화가 기존 코드를 깨뜨리지 않는지 확인함.

autoresearch-finalize도 유용함. 실험 브랜치의 지저분한 커밋들을 논리적 변경 단위로 분리해서 독립적인 클린 브랜치로 만들어 줌. 파일이 겹치지 않게 그룹핑하므로 각 브랜치를 독립적으로 리뷰하고 머지할 수 있음.

설정은 autoresearch.config.json으로 workingDir이나 maxIterations(토큰 비용 관리용) 지정 가능. MIT 라이선스임.