네이버 큐 (cue) AI 챗봇 베타서비스가 출시되었다. 대략 11월부터 상용화되어 네이버 통합검색에 반영될 것으로 보이는데 신경이 쓰일 수밖에 없다.
아무래도 검색 결과에 따라 제품 판매량에 영향을 줄 수 밖에 없기 때문인데 네이버 Cue는 얼마나 똑똑할까 시험 삼아 쇼핑 상품 위주로 검색을 좀 해보았다.
네이버 큐 (cue) 검색 결과
‘순위’ 와 ‘추천’ 키워드 결과 값
결론부터 말한다면 정말로 이해할 수 없는 수준의 결과 값을 보여주었다. ***’순위’ 이라는 키워드가 들어간 경우 네[이버 쇼핑 검색 영역 1~3위의 상품을 그대로 노출시킨다.
특이한 점은 ***’추천’ 이라는 키워드가 들어갔을 시에는 4위~6위 상품을 노출시킨다는 것이었다. 무언가 ‘순위’ 와 ‘추천’ 키워드에 대한 차별성을 둔 거라고 보이는데 모든 제품의 키워드가 동일하다는 것이 이해가 되지 않는다.
그리고 ‘순위’ 는 왜 1~3위인지, ‘추천’은 왜 4~6위 쇼핑 상품을 보여주는지 근거도 없지 않나 싶다.
*참고로 추천 키워드로 4~6위 상품을 보여주는 로직은 변경되었는지 지금은 1~3위 제품을 보여주고 있다.
본 상품과 옵션 구별 못함
네이버 상품명을 보면 ‘본 상품’과 ‘옵션 상품’이 모두 포함된 것을 볼 수 있다. 대표적인 것이 ‘삼겹살’인데 현재 네이버 1위 삼겹살 제품의 상품명은 아래와 같다.
‘삼겹살2kg 항정살 등갈비 이베리코 오겹살 듀록 통삼겹 냉동 통오겹살‘
원칙적으로 이러한 상품명은 어뷰징에 해당한다. 왜냐하면 노출되는 가격이 삼겹살인지, 항정살인지, 등갈비인지 구분되지 않기 때문이다.
이 제품은 현재 23,200원인데 만약 삼겹살 2kg에 해당하는 가격이라면 제품 이름에 항정살, 등갈비 등의 키워드가 있으면 안 된다. 사실 제재 대상인데 역시나 네이버답게 방치 중인 상태.
재미난 사실은 항정살 검색 시 위 동일한 상품이 1위에 노출되고 있는데 네이버 큐 역시 ‘항정살 순위’라는 질문을 던지면 위의 제품을 1순위에서 추천하고 있다는 것이다.
이 말인즉슨 네이버 AI 챗봇 큐는 네이버 쇼핑에서 판매 중인 이 제품이 삼겹살인지 항정살인지 구분도 못하고 제품명과 쇼핑 순위만 반영하여 답을 준다는 것이다.
만약 누군가 그래도 옵션에 있는 거니 상관없지 않냐고 물어볼 수는 있겠지만 이 제품의 속성 값 중 하나인 ‘부위’를 보면 ‘삼겹살’로 되어 있다는 것을 알 수 있다.
속성이 삼겹살인 제품임에도 불구하고 상품명에 항정살이 들어가 있다는 이유로 네이버 AI 챗봇 큐가 이 제품을 추천하고 있다는 것이 현재 네이버 AI의 수준이라고 할 수 있다.
네이버 큐 정보 제공의 제한성
앞에서 말한 ‘순위’ ‘추천’ 키워드 결과처럼 대부분의 질문에 대해 제한적인 정보만 제공하고 있다.
예를 들어서 사람이 답을 한다고 하면 네이버 쇼핑 순위는 낮지만 가성비 좋은 제품을 소개해 줄 수도 있고 추천하는 그 이유에 대해서 부가적인 설명을 해 줄 수 있을 것이다.
하지만 네이버는 단순히 특정 영역에 집계된 내용만 보여주고 있다. 정확한 로직을 알 수는 없지만…그냥 취합만 하는 기계라고 해야 할까?
특히 ‘우애 추천’이라는 애매모호한 키워드로 질문을 던질 경우 ‘우애’ 키워드가 들어간 쇼핑 상품 정보만 제공하고 있다는 것이 눈에 띈다.
구글에서 ‘우애 추천’을 할 경우 우애가 들어간 상품도 있지만 형제간의 우애를 돈독히 하기 위한 추천 책이나 우애와 관련 된 영화 추천 글을 볼 수 있다.
이를 토대로 유추해 본다면 네이버 큐 AI 챗봇은 ‘우애’라는 단어의 의미 자체를 생각하지 않고 있음을 알 수 있다.
네이버 큐와 어뷰징
네이버가 특정 질문에 대해 다양한 관점의 답을 제공하지 않고 특정 영역 (네이버 쇼핑, 스마트블럭) 결과 값만 일부 추출하여 답을 준다는 것은 결국 어뷰징 콘텐츠가 그대로 반영된다는 것을 의미한다.
다른 글에도 썼듯이 네이버 쇼핑 트래픽 어뷰징이 굉장히 심각한 상태이다.
이는 통합 검색 영역에 네이버 Cue 큐 AI 챗봇 서비스를 전면적으로 실시할 경우 앞으로 어뷰징이 더 심해질 것으로 볼 수 있다.
애당초 raw data가 맞지 않으면 그 어떠한 방식으로 데이터를 가공해도 결국 틀린 값이 될 수밖에 없을 것이다.
챗 GPT 이후 거창한 이름으로 네이버 큐 챗봇 서비스를 출시하겠지만…결론적으로 오염된 데이터 혹은 어뷰징 데이터를 지우지 않는 이상 더 개판이 되지 않을까라는 생각.