데이블, 광고 A/B 테스트 왜곡 줄이는 필터 ‘BAFF’ 국제학회서 발표

경제뉴스
2026-11-16 10:00 AM
(이코노미아울렛-뉴스)

데이블(대표 이채현)은 광고 A/B 테스트 결과가 왜곡되는 문제를 실제 광고 집행으로 확인하고, 이를 줄이는 필터 ‘BAFF(Bid-Aware Filter Family)’를 지난 9월 추천 시스템 분야 국제 학회 ‘ACM RecSys 2026’ 워크숍에서 발표했다고 16일 밝혔다. 두 광고 추천 알고리즘이 같은 기록으로 학습하면 A/B 테스트 성적이 각자 혼자 운영했을 때와 달라질 수 있다는 것이 핵심이다.

연구진은 다른 알고리즘 없이 혼자 배운 알고리즘을 기준으로 놓고, 광고주 한 곳의 광고 집행에서 성적을 비교했다. 기록을 그대로 함께 쓴 알고리즘은 클릭당 비용(CPC)이 기준의 절반 수준이었다. 숫자로는 좋은 성적이지만, 기준과 어긋난 결과여서 연구진은 이를 왜곡으로 판단했다. BAFF로 기록을 걸러 학습한 알고리즘은 CPC가 기준의 1.0~1.3배로 기준에 더 가까웠다.

두 알고리즘이 서로의 답안을 보며 시험을 친다

광고 플랫폼은 A/B 테스트로 기존 알고리즘과 새 알고리즘을 동시에 돌려 성적을 비교하고, 더 나은 쪽을 서비스에 적용한다. 실시간 입찰(RTB) 광고에서는 광고 자리가 날 때마다 경매가 열리고, 알고리즘이 어떤 광고를 얼마에 입찰할지 정한다. 알고리즘은 이렇게 광고를 내보낸 기록을 보고 배운다.

문제는 A/B 테스트에서 보통 두 알고리즘이 이 기록을 함께 쓴다는 점이다. 새 알고리즘은 자기 기록뿐 아니라 상대가 고른 광고와 상대가 써낸 입찰가로 쌓인 기록까지 배우게 된다. 두 학생의 실력을 가리는 시험에서 서로의 답안을 보며 문제를 푼 셈이다. 점수는 좋아 보여도 각자 혼자 풀었을 때의 실력은 아니다.

혼자 배운 알고리즘을 ‘정답’으로 놓고 비교했다

연구진은 7일 동안 세 단계로 실험했다. 먼저 이틀간 새 알고리즘만 혼자 돌려 다른 알고리즘과 섞이지 않은 기록을 쌓았다. 이 기록으로 학습한 알고리즘을 기준으로 삼았다.

다음 이틀은 일반 A/B 테스트처럼 기존 알고리즘과 새 알고리즘을 반씩 돌려 두 알고리즘의 기록이 섞이게 했다. 마지막 사흘은 이 섞인 기록을 네 가지 방식으로 학습한 알고리즘을 기준과 함께 20%씩 동시에 돌려 각각 기준과 얼마나 차이 나는지 측정했다. 네 방식은 섞인 기록을 모두 쓰는 방식, 상대 기록을 모두 빼는 방식, BAFF로 거르되 설정을 달리한 두 방식이다.

좋아 보인 성적, 연구진은 왜곡으로 봤다

섞인 기록을 모두 쓴 방식과 상대 기록을 모두 뺀 방식은 둘 다 CPC가 기준의 절반 수준이었다. 클릭률(CTR, 노출 대비 클릭 비율)은 기준(1.19%)보다 1.4~1.9%포인트 높았다. CPC는 낮고 클릭률은 높으니 겉으로는 좋은 성적이다.

하지만 A/B 테스트가 끝나면 고른 알고리즘이 혼자 서비스를 맡고, 그때 성적은 테스트 때와 달라질 수 있다. 테스트 결과가 기준보다 좋게 나오든 나쁘게 나오든 기준에서 벗어나면 그 결과를 믿고 내린 판단도 실제와 멀어진다. 연구진이 이 결과를 성과가 아닌 왜곡으로 본 이유다. 연구진은 비교 실험이 정확할수록 광고주와 매체가 더 잘 검증된 추천을 받는다고 설명했다.

전부 쓰지도, 전부 버리지도 않는다

두 방식이 기준에서 벗어난 이유는 서로 다르다. 기록을 모두 쓴 방식은 상대 알고리즘의 선택까지 그대로 배웠다. 상대 기록을 모두 뺀 방식은 간섭은 없앴지만 배울 자료가 모자랐다.

연구진이 고안한 BAFF는 입찰가까지 함께 따지는 필터 묶음이다. 상대 기록을 통째로 버리지 않고 가려 쓴다. 상대 알고리즘이 남긴 기록을 하나하나 되짚어 그 자리에 새 알고리즘이 있었어도 비슷한 광고를 골랐을지, 그만한 입찰가를 써냈을지 따져서 그렇다고 볼 수 있는 기록만 학습에 쓴다. 옆 사람 답안 가운데 내가 풀었어도 비슷하게 썼을 답만 참고하는 셈이다. BAFF로 걸러 학습한 두 방식은 CPC가 기준의 1.0~1.3배, 클릭률 차이는 0.4~0.8%포인트로, 앞의 두 방식보다 기준에 가까웠다.

이 문제는 지난해 웹 분야 국제 학회 ‘WWW’에서 ‘공생 편향(symbiosis bias)’이라는 이름으로 다뤄졌다. 이번 논문은 같은 문제를 실시간 입찰 광고에서 살폈다. 논문은 ACM RecSys 2026의 온라인·적응형 추천 시스템(OARS) 워크숍에 채택돼 9월 28일(현지 시간) 미국 미니애폴리스에서 발표됐다. 전문은 9월 8일 논문 공개 사이트 아카이브(arXiv)에 올라왔다. 연구진은 광고주와 광고 지면 판매 플랫폼으로 대상을 넓혀 같은 결과가 나오는지 확인하는 것을 다음 과제로 꼽았다.

한규호 데이블 최고기술책임자(CTO)는 “A/B 테스트가 틀린 답을 주면 그 위에 쌓은 판단이 모두 틀어진다”며 “이번에 제안한 필터를 실제 운영 중인 광고 서비스에서 검증했고, 실험 결과를 믿을 수 있게 만드는 연구를 학회와 공개 저장소를 통해 내놓을 예정”이라고 말했다.


함께 보면 좋은 콘텐츠

All posts
경제뉴스 2024-08-26 10:00 AM

SGI지속성장연구소, 8월 월간리서치 발표

(이코노미아울렛-뉴스)SGI지속성장연구소는 매월 직장인들을 대상으로 ‘직무행동에 대한 직장인 의식조사’를 실시하고 있다. 이번 8월에는 ‘구성원들의 동료애가 성과에 미치는 영향’에 대해 알아보기로 했고, 조사결과 크게 다음 4가지 사항이 확인이 됐다고 발표했다. ...

경제뉴스 2024-08-02 15:00 PM

의왕시, AI 기반 창업교육 진행

(이코노미아울렛-뉴스)의왕시는 ‘2024년 사회적경제 창업교육’ 기초과정에 이어 심화 과정 수강생을 모집한다고 밝혔다. 예비 창업자 및 사회적경제에 관심 있는 의왕시민이라면 누구나 참여할 수 있는 무료교육이다. ‘2024 ...

경제뉴스 2024-07-08 09:43 AM

미래에셋생명, 지속가능경영보고서 발간… 경영 전반에 지속가능경영 가속화

(이코노미아울렛-뉴스)미래에셋생명이 2023년 지속가능경영보고서를 발간했다. ESG(환경·사회·지배구조) 경영 활동과 성과를 투명하게 공개하며 기업의 책임을 다하고 장기적 성장을 도모하는 경영 방침들을 강조했다. 미래에셋생명 김재식, 황문규 각자 대표이사는 보고서 도입부 공동 메시지에...

경제뉴스 2024-07-17 14:00 PM

2024년 2분기 ‘TV광고 DX 어워드’ 지자체 ‘철원군’ 수상

(이코노미아울렛-뉴스)애드테크 전문기업 모티브인텔리전스(대표 양준모)는 오늘 ‘TV광고 DX 어워드’의 2024년 2분기 수상 캠페인으로 철원군(대행사: 한국언론진흥재단)이 선정됐다고 밝혔다. 2024년 2분기 ‘TV광고 DX 어워드’...

경제뉴스 2024-07-16 09:00 AM

‘하반기 내 국내에만 50억원 투자 예정’ 앤틀러코리아, 예비창업자 100명 모집

(이코노미아울렛-뉴스)세계 최대의 컴퍼니빌더형 벤처캐피탈(VC) 앤틀러의 한국 지사인 앤틀러코리아(Antler Korea)가 2024년 하반기 동안 50억원을 25개 초기 스타트업에 투자할 계획이라고 밝혔다. 앤틀러는 5기 스타트업 제너레이터 프로그램에 참여할 예비 창업자 및 극초기 창업팀 최대 100명을 모집할 예...

경제뉴스 2024-07-31 14:10 PM

인도네시아 시장 진출의 꿈, KT&G 상상스타트업캠프 8기 글로벌트랙으로 실현

(이코노미아울렛-뉴스)KT&G가 주최하고 엠와이소셜컴퍼니가 주관한 KT&G 상상스타트업캠프 8기 글로벌 트랙이 최근 인도네시아에서 ‘Deep Impact Discovery Trip’ 프로그램을 성공적으로 마쳤다. 이번 프로그램은 인도네시아 시장 진출을 꿈꾸는 한국 스타트업들에게 현지 업계를 간접적으로 체험할 수 있는 ...

경제뉴스 2024-07-18 14:10 PM

Ras Al-Khair Special Economic Zone Lures Investment with International Partnerships in Maritime Industry and Offshore Cluster

(이코노미아울렛-뉴스)The Ras al-Khair Special Economic Zone (SEZ) leverages partnerships with major maritime players and has secured backing from the Saudi government to attract global investments. Ras Al-Khair Special Economic Zone Investment with International Partnerships in Maritime Ind...

경제뉴스 2024-07-22 11:40 AM

커리어넷, 대구교통공사·서울신용보증재단·한국기계연구원·한국특허전략개발원·하남도시공사 채용 소식 발표

(이코노미아울렛-뉴스)커리어넷이 대구교통공사·서울신용보증재단·한국기계연구원·한국특허전략개발원·하남도시공사 채용 소식을 발표했다. 커리어넷이 발표한 채용 공고 대구교통공사...

경제뉴스 2024-08-14 07:00 AM

애즈원, LED 디스플레이 장애 자동복구 기술로 미국 특허 취득… K-디스플레이 선두주자 자리매김

(이코노미아울렛-뉴스)LED 디스플레이 전문기업 애즈원은 ‘LED 디스플레이 장애 자동복구*’ 기술로 미국 특허를 취득했다고 밝혔다. LED 디스플레이 전문기업 애즈원이 ‘LED 디스플레이 장애 복구’ 기술로 미국 특허를 취득했...

경제뉴스 2024-07-12 06:00 AM

산업부-KOTRA, 아세안 시장 공략을 위해 태국서 대규모 K-푸드 행사 연다

(이코노미아울렛-뉴스)산업통상자원부(장관 안덕근)와 KOTRA(사장 유정열)는 6월 고양 킨텍스에서 열린 ‘서울국제식품산업대전 2024(이하 서울푸드)’의 성원에 힘입어, 10월 태국 방콕에서 서울푸드의 첫 해외 행사로 ‘서울푸드 인 방콕(SEOUL FOOD in Bangkok)’을 개최한다. 서울푸드는 국내 최대 규모...

경제뉴스 2024-07-18 14:10 PM

라스 알카이르 특별경제구역, 해양 산업 및 해양 클러스터에서의 국제 파트너십을 통해 투자 유치

(이코노미아울렛-뉴스)라스 알카이르(Ras al-Khair) 특별경제구역(Special Economic Zone, SEZ)이 주요 해양 기업들과의 파트너십을 활용하고 사우디 정부로부터 글로벌 투자 유치를 위한 지원을 확보했다. Ras Al-Khair Special Economic Zone Investme...

경제뉴스 2024-08-20 14:40 PM

TTA, 2024년 블록체인 서비스 신뢰성 검증 시험 및 컨설팅 지원 대상 기업 2차 모집

(이코노미아울렛-뉴스)과학기술정보통신부와 한국정보통신기술협회(이하 TTA)는 ‘블록체인 기술·보안 경쟁력 강화’ 사업의 일환으로 진행한 ‘블록체인 신뢰성 검증 시험 및 컨설팅 지원’ 사업 대상 기업을 8월 26일(월)부터 9월 6일(금)까지 2차 모집한다고 밝혔다. ...

Top