채팅이 많이 올라오는 순간을 클립으로 만들면 하이라이트가 될 것 같았습니다. 그러나 평소부터 채팅이 많은 채널과 한 사람이 메시지를 반복하는 상황을 같은 방식으로 세면, “많이 입력됐다”와 “많은 사람이 장면에 반응했다”가 섞입니다. 자동 카드를 계속 만들 수 있다는 사실이 유용한 장면을 찾았다는 증거는 아닙니다.

PokeClip 팀은 채팅 반응으로 하이라이트 후보를 찾는 방법을 연구했습니다. 저는 그 결과를 실제 편집으로 넘기려면 어떤 시간 좌표가 필요한지, 후보를 믿기 어려울 때 사용자는 어떻게 장면을 남길지 정리했습니다. 자동 탐지가 불확실해도 장면 표시와 편집을 계속할 수 있게 하는 것이 제 설계의 기준이었습니다. 채널별 임계값·시간 창·고유 채터 비교는 아직 미결인 연구 단계입니다.

메시지 수 하나로는 다른 원인이 섞인다

영상의 사건에 반응하는 채팅과 시청자끼리 대화하는 채팅은 메시지 수라는 관측에서는 비슷하게 보일 수 있습니다. 한 사람이 여러 번 입력하면 메시지 수는 늘어도 반응한 사람의 수는 그대로입니다. 따라서 메시지 수 외에 서로 다른 참여자 수의 급증도 신호 후보로 두었습니다.

채널 간 비교에도 같은 문제가 있습니다. 평소 채팅량이 다른 채널을 하나의 절대값으로 자르면 큰 채널의 일상적인 대화가 작은 채널의 강한 반응보다 높게 나올 수 있습니다. 그래서 팀 연구를 정리하며 채널 내부의 평소 흐름과 비교할 기준선, 메시지를 보낸 서로 다른 참여자 수를 실험 후보로 남겼습니다. 각 신호가 실제 장면을 더 잘 찾는지는 아래의 반례로 대조해야 합니다.

신호 후보 구분하려는 상황 추가로 확인할 것
채팅 수의 변화 평소보다 반응이 급증했는가 채널별 기준선과 임계값
고유 참여자 수 소수의 반복 입력인가, 참여가 넓어졌는가 실제 반응 장면과의 대조
여러 시간 창의 합의 짧은 급등과 지속적인 반응을 구분할 수 있는가 창 길이에 따른 오탐·누락
수동 순간 표시 자동 신호가 약해도 사람이 장면을 남길 수 있는가 방송·편집 흐름과의 연결

실시간에는 미래의 평균을 사용할 수 없다

방송이 끝난 뒤 전체 채팅을 분석할 때와 라이브 중 카드를 발행할 때는 쓸 수 있는 정보가 다릅니다. 사후 전체 평균을 기준으로 삼는 방식이 좋아 보여도, 라이브 시점에는 아직 오지 않은 데이터가 포함돼 있습니다. 실시간에 가능한 누적·롤링 기준선을 구분해 검토한 이유입니다.

방송 초반에는 비교할 이력이 부족합니다. 이때 무조건 점수를 만들기보다 준비 구간 동안 카드 발행을 보류하는 방향을 남겼습니다. 또 방송 도중 시청자 규모가 변하면 오래된 기준선이 현재 상태를 설명하지 못할 수 있어, 최근 구간을 기준으로 변화를 따라가는 방향을 연구 후보로 두었습니다.

이 제약은 모델 파라미터보다 먼저 제품 동작을 바꿉니다. 방송 초반에도 무조건 카드를 내보내겠다고 정하면, 기준선이 아직 없는데도 탐지기가 답을 만들어야 합니다. 저는 발행을 보류할 수 있도록 요구를 열어 두고, 준비 시간과 창 길이는 채널별 데이터를 비교한 뒤 정할 항목으로 남겼습니다.

채팅 시각을 영상 시각으로 그대로 쓰지 않는다

채팅이 서버에 도착한 순간이 영상 사건의 발생 순간과 같지는 않습니다. 시청자는 플랫폼의 재생 지연을 거친 화면을 보고 반응합니다. 따라서 채팅 시각을 곧바로 미디어 위치로 넘기면 카드가 장면보다 뒤를 가리킬 수 있습니다.

그래서 저는 수집의 시작·종료를 방송 생명주기에 연결하고, 탐지 시각을 편집에 넘기기 전에 미디어 타임라인과 대조하도록 요구를 정리했습니다. 수집기에는 언제 수집할지를, 탐지 모델에는 어떤 후보를 낼지를, 카드에는 어느 미디어 구간으로 연결할지를 맡깁니다. 이 경계를 두면 탐지 신호를 바꾸더라도 편집기가 모델의 내부 표현을 직접 해석하지 않아도 됩니다. 플랫폼별 지연 보정값은 추가 검증이 필요합니다.

자동 탐지가 실패해도 편집은 가능해야 했다

채팅이 적거나 자동 후보를 믿기 어려운 채널에 억지로 카드를 제공하면, 사용자가 잘못된 제안을 확인하는 부담을 떠안습니다. 그래서 충분한 신뢰를 얻지 못한 경우 핫키·수동 표시 경로를 안내하도록 제품 대안을 정리했습니다. 수동으로 남긴 구간도 같은 편집·BGM 제거·자막 경로를 사용할 수 있게 하는 방향입니다.

이 설계가 지키려는 것은 자동 카드의 발행량이 아니라 사용자가 원하는 장면을 편집할 수 있는 경로입니다. 채팅이 적은 방송에서도 사람이 순간을 표시했다면 이후의 BGM 제거·편집·자막 기능은 사용할 수 있어야 합니다. 탐지기가 확신하지 못하는 상황을 제품 전체의 실패로 만들지 않기로 한 것입니다.

남은 검증은 구체적입니다. 채널별 기준선과 시간 창을 바꿨을 때 어떤 장면을 놓치거나 잘못 고르는지, 고유 참여자 신호가 소수의 반복 입력을 실제로 구별하는지, 선택된 카드가 영상의 올바른 시점을 가리키는지 확인해야 합니다. 아직 정확도나 생산성 개선 수치는 확보하지 못했습니다. 당시 연구·요구 기록에 남긴 제 기여도 팀 연구를 미디어 계약과 실패 시의 제품 흐름으로 연결한 범위입니다.

자동 탐지를 더 잘 만들기 위한 실험과, 자동 탐지가 답을 못 내도 쓸 수 있는 편집 경로를 함께 설계해야 했습니다. 신호를 하나 더 넣는 것보다 먼저 정할 제품의 조건이었습니다.

이 글은 PokeClip·MediaMTX 기술 기록 모음의 일부입니다. 포트폴리오 전체본 54쪽에서 연결된 사례도 함께 볼 수 있습니다.