로블록스, 아동 위험 조기 탐지 AI ‘센티넬’을 오픈소스로 공개

왜 센티넬을 만들었나

• 로블록스가 아동 위험 신호를 조기에 잡아내는 AI 시스템 센티넬(Sentinel)을 오픈소스로 공개함

  • 목적은 그루밍(grooming) 같은 위험한 상호작용을 노골적인 피해 신고가 나오기 전에 포착하는 것
  • 2024년 말부터 로블록스 내부에서 운영 중이었고, 이번에 오픈소스 안전 툴킷의 일부로 공개됨

• 규모가 그냥 “채팅 필터 하나 더 붙임” 수준이 아님

  • 로블록스는 매일 1억 1,100만 명 이상의 사용자가 방문한다고 밝힘
  • 커뮤니티는 평균 61억 건의 채팅 메시지를 주고받고, 수십 개 언어로 110만 시간의 음성 대화를 나눔
  • 센티넬은 하루 60억 건 이상의 채팅 메시지를 대상으로 거의 실시간 분석 파이프라인을 돌려야 함

• 로블록스가 풀려는 문제는 키워드 필터로는 잘 안 잡히는 영역임
  • 그루밍은 처음부터 노골적으로 시작되지 않고, 친근한 대화나 지지 메시지처럼 보이는 흐름으로 시작될 수 있음
  • “어디서 왔어?” 같은 한 문장만 보면 애매하지만, 긴 대화 흐름에서는 위험 신호가 될 수 있음
  • 악의적 사용자는 미묘하고 간접적인 표현을 쓰기 때문에 인간 검토자도 패턴을 놓칠 수 있음

센티넬이 보는 방식

• 센티넬은 정적 규칙이나 라벨링된 예시만 바라보는 시스템이 아님

  • 자체 감독 학습과 대조 측정(contrastive measurement)을 이용해 대화 패턴을 일반화함
  • 새로운 위협 패턴이 기존 예시와 완전히 일치하지 않아도 위험 방향으로 기울어지는지 보려는 설계임

• 핵심은 긍정 인덱스와 부정 인덱스를 나눠 비교하는 구조임

  • 긍정 인덱스는 안전 관련 규정 위반 이력이 없고 장기적으로 긍정적 활동을 보인 사용자들의 채팅 기록으로 구성됨
  • 부정 인덱스는 인간 운영진이 검토해 아동 위험 정책 위반 증거가 확인된 대화 조각으로 구성됨
  • 부정 인덱스에는 단 13,000개 예시만 포함되어 있는데도, 희귀한 위험 패턴을 잡기 위해 설계됐다는 점이 포인트임

sequenceDiagram
    participant 사용자대화 as 사용자 대화
    participant 임베딩 as 임베딩 변환기
    participant 인덱스 as 긍정·부정 인덱스
    participant 센티넬 as 센티넬 위험 평가
    participant 분석가 as 인간 분석가

    사용자대화->>임베딩: 1분 단위 메시지 수집
    임베딩->>인덱스: 대화 조각을 벡터로 비교
    인덱스->>센티넬: 코사인 유사도와 위험 지표 계산
    센티넬->>센티넬: 시간 경과에 따른 왜도 분석
    센티넬->>분석가: 고위험 패턴 경고 전달
    분석가->>센티넬: 검토 결과로 예시와 훈련 데이터 개선

• 각 메시지는 임베딩 벡터로 변환된 뒤 두 인덱스와 비교됨

  • 비교에는 코사인 유사도(cosine similarity)가 쓰임
  • 안전한 패턴에도, 위험한 패턴에도 의미 있게 닿지 않는 메시지는 걸러내서 오탐을 줄임
  • 위험한 패턴에 더 가까운 상호작용에는 더 높은 위험 지표가 붙음

• 단순 평균이 아니라 왜도(skewness)를 보는 점도 흥미로움

  • 악의적 사용자는 대부분 무해한 대화 속에 드문 위험 신호를 섞을 수 있음
  • 평균만 보면 위험 메시지가 잡음에 묻히기 쉬움
  • 센티넬은 시간에 따른 점수 분포의 비대칭성을 봐서 드물지만 강한 위험 신호가 튀는지 확인함

운영에서 중요한 부분

• 센티넬은 AI만으로 끝나는 시스템이 아니라 인간 검토 루프가 붙어 있음

  • 전직 CIA나 FBI 요원 등 전문 분석가들이 센티넬이 표시한 사건을 검토함
  • 분석가의 결정은 다시 예시, 인덱스, 훈련 데이터 개선으로 이어짐
  • 악의적 사용자가 회피 방식을 바꾸면 시스템도 계속 업데이트돼야 하기 때문임

• 로블록스는 이걸 더 넓은 온라인 안전 도구 생태계로 밀고 있음

  • ROOST, 테크 코얼리션의 랜턴(Lantern) 프로젝트 같은 조직에도 참여하고 있음
  • 센티넬을 오픈소스로 공개해 다른 플랫폼도 비슷한 선제적 탐지 접근을 참고할 수 있게 하려는 의도가 있음

• 장기적으로는 텍스트 채팅을 넘어 멀티모달 안전 탐지로 확장하려고 함

  • 로블록스는 텍스트, 이미지, 동영상 등을 함께 이해하는 방향을 탐색 중이라고 밝힘
  • 단일 모달 시스템이 놓치는 위험 신호를 사용자 행동 전체 맥락에서 보려는 흐름임

기술 맥락

• 센티넬의 기술적 선택은 “나쁜 단어 목록”을 늘리는 쪽이 아니에요. 그루밍 같은 문제는 단어 하나보다 대화의 진행 방향이 중요해서, 메시지를 임베딩으로 바꾸고 안전한 흐름과 위험한 흐름 중 어디에 가까운지 비교하는 방식을 택한 거예요.

• 부정 예시가 13,000개뿐이라는 점도 중요해요. 실제 아동 위험 사례는 드물고 라벨링도 민감하니까, 거대한 정답 데이터셋을 만들기 어렵거든요. 그래서 센티넬은 적은 부정 예시에서도 패턴을 일반화할 수 있는 대조 학습식 접근을 씁니다.

• 왜도를 보는 설계는 대규모 플랫폼 운영에서 꽤 현실적인 선택이에요. 평균 위험 점수만 보면 무해한 대화가 많은 사용자의 위험 신호가 희석될 수 있거든요. 드물지만 강한 신호가 분포를 한쪽으로 기울이는지를 보는 게 더 맞는 문제인 셈이에요.

• 마지막으로 인간 분석가 루프가 빠지지 않는 이유는 안전 도메인에서 자동화만 믿기 어렵기 때문이에요. 센티넬은 경고를 만들고, 전문가는 맥락을 판단하고, 그 결과가 다시 인덱스와 훈련 데이터로 들어가는 구조라서 운영 경험이 곧 모델 개선 재료가 돼요.