무인 매장 영상 분석
카메라가 사람 대신 매장을 지켜봅니다. 누가 들어와서, 무엇을 열고, 무엇을 집고, 계산 없이 나갔는지를 영상에서 읽어냅니다.
약 3분 · 13장 · 합성 CCTV 6편 · 자막 소개 영상 보기무인 매장에는 점원이 없습니다. 손님이 냉동고를 열고 아이스크림을 꺼낸 뒤 계산하지 않고 나가도, 나중에 녹화를 돌려 보기 전까지는 아무도 모릅니다. 이 기술은 CCTV 영상 속 사람에게 일어나는 사건을 그 자리에서 자동으로 적어 두는 것이 목표입니다. 입장, 냉동고 열기와 닫기, 상품 집기, 계산대 앞, 나감, 그리고 냉동고를 밀거나 올라가는 것까지 여덟 가지를 잡아냅니다. 영상은 매장 밖으로 나가지 않습니다.
한눈에 보기
- 사건 여덟 가지를 자동으로 적습니다입장, 냉동고 열기·닫기, 상품 집기, 계산대 앞, 나감, 냉동고 밀기·올라감. 사람이 녹화를 돌려 보며 하던 일을 그 자리에서 합니다.
- 열어만 봤는지, 꺼냈는지 가릅니다냉동고 밖으로 나온 손 주변을 AI가 보고 "상품을 든 손"인지 판단합니다. 빈손으로 나간 손님에게는 집기가 적히지 않습니다.
- 손이 아니라 뚜껑을 봅니다손이 냉동고 위에 있다고 다 "열기"가 아닙니다. 뚜껑 자리가 실제로 움직였을 때만 인정해, 뚜껑을 짚거나 미는 손을 걸러냅니다.
- 사건을 모으면 정상과 이상이 갈립니다입장·집기·계산·나감이 다 있으면 정상, 계산이 빠지면 이상. 지금은 사건을 정확히 적는 단계이고, 묶어서 판단하는 일이 다음입니다.
- 규칙이 눈에 보입니다사건마다 "발이 이 구역에 1초", "뚜껑 자리가 5% 넘게 움직임" 같은 간단한 규칙입니다. 왜 그렇게 판단했는지 설명할 수 있습니다.
- 영상은 매장 밖으로 나가지 않습니다분석은 매장 안의 컴퓨터에서 끝납니다. 클라우드에 올리지 않아 개인정보 걱정이 적고, 인터넷이 끊겨도 동작합니다.
장면으로 보기
사건이 화면에 적히는 순간을 분석 결과 화면 그대로 잘라 왔습니다. 노란 상자는 사람, 분홍 점은 손목, 파란 구역은 냉동고 윗면, 빨간 구역은 문 앞, 초록 구역은 계산대 앞입니다.
-
입장 문으로 들어와 매장 안에 머뭅니다 문 앞 구역(빨간 상자)에서 처음 보인 사람이 매장 안으로 들어오면 "입장"입니다. 노란 상자가 사람, 분홍 점이 손목입니다. -
냉동고 열기 손목이 냉동고 윗면에, 뚜껑이 움직였을 때 손목이 냉동고 윗면(파란 구역)에 머물고, 그 직전에 뚜껑 자리가 실제로 움직였을 때만 "열기"로 봅니다. -
집기 두 사람이 각각 상품을 꺼냈습니다 두 사람을 따로 따라가며 각자의 열기·집기·닫기를 적습니다. 냉동고 밖으로 나온 손 주변을 AI가 보고 "상품을 든 손"인지 판단합니다. -
냉동고 닫기 열고 나서 새 움직임이 생기면 연 뒤 시간이 지나고 뚜껑 자리에 새 움직임이 생기면 "닫기"입니다. 열고 닫는 사이가 집기를 살펴볼 구간이 됩니다. -
빈손 열어만 보고 아무것도 꺼내지 않았습니다 열기와 닫기는 적히지만 집기는 적히지 않습니다. 이 구분이 가장 중요합니다. -
나감 문 앞에 머물거나 사라지면 매장 안에 있던 사람이 문 앞 구역에 머물거나 문 쪽으로 사라지면 "나감"입니다. -
이상 · 집기 꺼낸 뒤 계산하지 않고 나가는 영상 집기가 적히는 순간입니다. 이 손님은 이어서 계산 없이 문으로 나갑니다. -
계산대 앞 발이 계산대 앞 구역에 머물면 초록 상자에 발이 1초 이상 머물면 "계산대 앞"입니다. 서 있었다는 사실일 뿐, 실제로 결제했는지는 영상만으로 알 수 없어 키오스크 기록과 맞춰 봅니다. -
이상 · 올라감 발목이 냉동고 안에, 엉덩이까지 올라가면 "올라감"입니다. 올라가려고 뚜껑을 짚은 손은 열기로 잡히지 않도록 걸러냅니다. -
이상 · 밀기 냉동고 앞면이 처음 자리에서 옮겨지면 "밀기"입니다. 사람이 아니라 냉동고 자체의 움직임을 봅니다.
잡아내는 여덟 가지
각 사건은 사람의 위치와 손, 냉동고의 움직임을 묶은 간단한 규칙으로 정합니다. 규칙이 눈에 보이기 때문에 왜 그렇게 판단했는지 설명할 수 있고, 매장에 맞춰 기준을 고칠 수 있습니다.
| 사건 | 이렇게 판단합니다 |
|---|---|
| 입장 | 문 앞에서 처음 보인 사람이 매장 안으로 들어와 잠시 머문다 |
| 냉동고 열기 | 손목이 냉동고 윗면에 머물고, 그 직전에 뚜껑 자리가 움직였다 |
| 상품 집기 | 냉동고를 연 뒤 밖으로 나온 손이 여러 번 연속 "상품을 든 손"으로 판정된다 |
| 냉동고 닫기 | 연 냉동고의 뚜껑 자리에서 시간이 지난 뒤 새 움직임이 시작된다 |
| 계산대 앞 | 발이 계산대 앞 구역에 1초 이상 머문다 |
| 나감 | 매장 안에 있던 사람이 문 앞에 머물거나 문 쪽으로 사라진다 |
| 냉동고 밀기 | 냉동고 앞면의 점들이 처음 자리에서 크게 옮겨진다 |
| 냉동고 올라감 | 발목이 냉동고 몸통 안에 있고, 엉덩이와 상자 아래쪽이 함께 올라간다 |
어떻게 알아내나요
사람이 녹화를 보며 하는 일을 작은 단계로 쪼개서, 각 단계를 컴퓨터가 하도록 만든 것입니다. 사람을 찾는 모델(YOLO 자세 추정)과 사진을 문장과 견주는 모델(CLIP)을 그대로 쓰고, 이 매장 영상으로 따로 학습시키지 않았습니다.
- 사람과 관절 찾기매 프레임에서 사람을 상자로 찾고, 손목·엉덩이·발목의 위치까지 함께 구합니다. 사람마다 번호를 붙여 프레임이 바뀌어도 같은 사람으로 이어 봅니다.
- 매장 구역 미리 정하기냉동고 윗면, 문 앞 바닥, 계산대 앞 바닥을 영상마다 한 번 표시해 둡니다. 사람의 발과 손이 어느 구역에 있는지로 사건을 읽습니다.
- 뚜껑이 정말 움직였나사람 주변을 빼고 뚜껑 자리의 화면 변화를 재서, 실제로 뚜껑이 움직였을 때만 "열기"를 인정합니다.
- 손에 상품이 있나냉동고 밖으로 나온 손 주변을 잘라, "아이스크림을 든 손", "빈손", "뚜껑을 든 손" 같은 문장 중 어디에 가까운지 AI(CLIP)에게 묻습니다. 여러 번 연속으로 같은 답이 나와야 확정합니다.
- 냉동고 자체의 움직임냉동고 앞면의 점들을 따라가 처음 자리에서 얼마나 옮겨졌는지 봅니다. 밀기는 사람이 아니라 냉동고가 움직인 사실로 잡습니다.
- 여러 번 봐야 확정한 순간의 판정으로 사건을 적지 않습니다. 0.5초, 1초처럼 잠시 이어져야 적어서, 스쳐 지나간 손이나 발로 생기는 오판을 줄입니다.
사건을 모으면 정상과 이상이 갈립니다
입장 → 집기 → 계산 → 나감
네 가지가 모두 있으면 평범한 손님입니다.입장 → 집기 → 나감 (계산 없음)
집었는데 계산이 빠지면 바로 알려야 할 상황입니다. 냉동고를 밀거나 올라가는 것도 마찬가지입니다.지금 단계는 사건을 하나씩 정확히 적는 것까지입니다. 한 사람에게 사건을 묶어 정상과 이상을 자동으로 가르고, "계산대 앞"을 키오스크 결제 기록과 맞춰 보는 일이 다음 단계입니다.
영상은 매장 밖으로 나가지 않습니다
분석은 매장 안의 컴퓨터 한 대에서 끝납니다. 클라우드로 영상을 보내지 않으므로 개인정보 걱정이 적고, 인터넷이 끊겨도 동작합니다. 같은 방식으로 사무실 출입구의 들어옴·나감 기록, 작업장의 안전모·마스크 착용 확인도 만들고 있습니다.
이런 곳에 쓸 수 있습니다
- 무인 아이스크림·과자 할인점, 무인 편의점
- 사무실 출입구에서 들어옴·나감 기록과 아는 사람 구분
- 작업장에서 안전모·마스크 착용 확인
- 영상을 건물 밖으로 내보낼 수 없는 모든 곳
자료와 개인정보
여기 보이는 영상 여섯 편은 참고 사진으로 만든 합성 영상입니다. 사람과 매장 모두 실제가 아니며, 실제 손님이나 직원의 영상을 쓰지 않았습니다. 기준값(손 높이, 판정 횟수, 뚜껑 움직임 비율 등)은 이 여섯 편으로 정한 것이라, 실제 매장에 넣을 때는 그 매장의 카메라와 냉동고에 맞춰 다시 맞춥니다.