주의해야 할 편향적 의사결정

프로덕트 매니지먼트, 김영욱 지음 최근 읽었던 프로덕트 매니지먼트에 관련한 책 중에 두고두고 보게 될 것 같은 책이다. 기본적인 내용을 적절한 예시와 함께 풀어냈는데 도움이 많이 됐다. 그 중 무릎을 탁 치게 만드는 내용이었던 책에서 6.4 주의해야 할 네 가지 편향적 의사결정 챕터를 요약했다.

지나친 확신과 자신감에 기반한 잘못된 가정으로 업무에서 오류를 만들거나 예상보다 훨씬 긴 시간을 사용했던 경험이 있는가?

PM/PO의 일상 업무는 크고 작은 결정의 과정이다. 많은 업무 프로세스들이 있고 각 프로세스 및 분야 전문가들과 함께 순간순간의 결정을 해야한다. 프로덕트의 최고 목표는 고객의 사용 만족도를 높이고 업무 생산성과 효율성을 최대한 제공하는 것이지만, 최근 시장은 전무후무한 변동성과 불확실성, 복잡성, 모호성이 큰 어려운 환경이다. 이 때 PM은 많은 데이터를 바탕으로 이성적이고 전략적인 의사결정을 해야 하지만 데이터를 보는 방법에 오류나 편견, 편향이 없다고 할 수는 없다.

PM이 익혀야 하는 가장 어려운 기술은 의사결정 순간에 본인의 감정과 직감이라고 생각하는 느낌을 제거하고 전체 그림을 보는 것이다. 리안 반 데 메르베

위키피이다가 분류한 인지 편향의 종류는 약 200가지 정도로 많고 더 많다는 의견이 많다. 그 중 PM 직무를 수행하는 동안 경계하면서 극복해야 할 대표적인 편향을 알아보자.

1. 확증 편향(confirmatino bias)

인지 편향 중 대표적으로 언급되는 편향 중 하나. 소셜미디어 버블이라고도 하는 필터 버블같은 인터넷 검색의 개인 맞춤화(유튜브의 알고리즘이 생각났다.)가 심화되면서 더욱 편향에서 빠져나오기 힘들어진다. PM의 경우 본인이 가장 전문적인 업무 능력을 갖고 있다는 신념을 갖는 편향에 치우친 것이 해당한다. 내 의견이나 가설 등을 뒷받침하는 자료를 찾고, 검증은 하지 않은 채 전문가 경험에 기초했다고 하거나 Best practice라고 주장하기도 한다. 가장 큰 폐해는 '당신의 의견이 틀렸다'라는 반대 의견을 무시하기 쉽다는 것이다.

사용자 조사나 인터뷰와 관련된 확증 편향 예시)

기존의 수많은 기능 중에서 사용자 님이 원하는 특정 기능 X를 찾는 것은 얼마나 어렵나요? 매우 불만족 0부터 매우 만족 10 중에 선택

해당 질문은 전형적인 질문처럼 보이지만 매우 나쁘고 잘못된 질문이다. (1) 질문 안에 이미 '얼마나 어렵나'라는 문장을 사용해서 사용자가 '어렵지 않다' 또는 '쉽다'고 대답할 기회와 생각을 미리 제거한다. 은연중에 '조금 혹은 매우 어렵다' 중 선택하라는 유도 질문의 형태다. (2) 어려움의 원인을 이미 '수많은 기능'이라는 말로 원인의 정당성과 한계를 부여한다. (3) 답을 얻는 방법 역시 NPS 방법을 사용해 이미 전제된 한쪽 부분, '얼마나 어려운지'의 데이터를 강요한다.

사용자 님은 특정 기능 X를 찾는 데 어려움이 있었나요? 있다면 그 이유는 무엇인가요? 로 수정한 열린 질문이 좋은 질문이다. 이미 전체된 대답을 강요하지 않고, 한쪽으로 몰고가는 왜곡을 방지할 수 있다. 또한, 가정된 상황이 아닌 해당 상황에서만 얻을 수 있는 데이터이기에 충분히 정제되었다.

PM은 항상 편향을 경계하고 사용자 조사나 UX 디자이너의 기술 통계 데이터를 낼 때 신중하게 결정해야 한다. 그렇지 않으면 해당 통계 데이터를 최종 결정의 기준으로 삼아도 이미 지표가 편향될 수 있고, 의도적으로 긍정적 지표만 이용하게 되기도 하기 때문이다.

확증 편향에 빠지지 않으려면 피하는 연습을 해야한다.

관심을 가지면 보인다. 믿음을 가지면 보이지 않는다. 고미야 가즈요시

(1)편향을 갖고 있다는 사실을 늘 인식하고 받아들인다. (2)사용자 조사, 인터뷰 및 피드백을 받을 때 질문은 반드시 대답의 범주를 제한하는 유도 질문을 철저하게 제한한다. (3)여러 계층을 대표하는 고객 및 사용자, 동료, 이해관계자에게 균형된 피드백을 받는다. - 데이터가 많을수록 확증 편향은 약해지는 경향이 있다. (4)목표치 설정을 팀 리더와 함께하거나 PM이 직접 리더에게 '왜'에 대한 배경을 설명하고 리뷰와 의견을 구한다. (5)결정할 때마다 '무엇'이 아닌 결정이 필요했던 배경 '왜'를 충분히 만족하는지 리뷰한다.

(책에서 기술된 개발, 테스트와 관련된 확증 편향의 예시는 적지 않았다.)

2. 매몰비용 오류 편향(sunk-cost fallacy bias)

"묻고 더블로 가!" 매몰비용 오류 편향을 가장 쉽게 설명하는 말이다. 불확실하고 승산도 없어 보이는데 지금까지 매몰된 비용의 본전 생각과 비논리적인 오기가 합쳐져 나타나는 현상이다.

경영 그루들은 항상 '비즈니스는 언제 시작하느냐보다 어디서 멈추는지 아는 것이 훨씬 중요하다'고 한다. 그러나 손실 회피 성향(loss aversion)이라는 심리적 요소가 편향을 만들게 된다. 손실 회피 성향은 이익을 얻을 때의 기쁨보다 손해 볼 때의 고통이 1.5~2배 정도 더 강하다. PM이라면 미래의 투자자본수익률(ROI:Return On Investment)이 낮게 예상되는 제품이지만 투자를 지속해 실패를 피하고자 하는 위험을 감수한다.

매몰비용 오류 편향의 예)

프로덕트 개발 프로세스 중에서 매몰비용 편향이 가장 두드러지게 나타나는 부분은 기술 부채를 다룰 때다. 현시점에서 더 오래 지속 가능할 수 있는 더 나은 접근 방식을 사용하는 대신 쉽지만 제한된 솔루션을 채택해 발생되는 추가적인 재작업 비용을 말한다.

매몰비용 오류 편향을 피하는 연습

PM이 매몰비용 오류 편향을 가졌다면 잘못된 결정으로 이어지고 결국 제품에 영향을 미친다. 중요한 지표가 될 수 있는 질문을 하면서 최적의 방법을 찾아보자.

• 만약 지금 이 제품에 회사의 현재와 미래가 달린 상황이라도 같은 결정을 할 것인가?
• 기존 코드가 모두 삭제되고 없어졌어도 이런 방법으로 코드를 유지 보수할 것인가?
• 동료가 진행하는 프로젝트에 현재 결정이 옳다고 해줄 수 있는가?

(1) 매몰비용의 함정을 피한다. 지금까지 한 모든 투자는 미래의 이사 결정에 고려해서는 안 된다는 사실을 인식하고, 미래 비용과 이익을 기반으로 결정해야 한다. (2) 점진적 방법으로 접근한다. 매몰비용 효과는 이익이 실현되기 전에 비용이 발생하기 떄문에, 이를 피하기 위해 점진적으로 새로운 기술이나 기능, 좋은 인력에 꾸준히 투자한다. (3) 다른 선택 옵션이 있는지 찾아본다. 두 가지 옵션 외에 더 많은 옵션이 있을 수 있다. 다양한 옵션을 생성하는 경우 각 옵션 비용, 위험 및 이점을 계산하는 과정이 필요하다.

3. 이케아 효과/편향

이케아 효과/편향(IKEA effect bias)은 글로벌 가구 제조 기업인 이케아 이름을 딴 편향이다. '사람들은 본인이 직접 만든 제품은 실제보다 더욱 큰 가치를 부여한다'는 심리 효과다. 본인의 노력과 노동이 들어가면 결과물에 대한 가치 펴악가 실제보다 훨씬 높게 평가된다. PM뿐만 아니라 엔지니어에게도 공통으로 나타나는 편향이다.

노력했다면 정당한 평가를 받을 것이라고 믿는다. 비즈니스 세계에서는 반드시 일어나는 상황이 아니다. 주관적으로 노력과 투자 부분을 해석하는 것은 경계해야 할 편향이다.

이케아 효과/편향을 피하는 연습

사용자에게 이케아 효과/편향을 적용할 수 만 있다면 충성 사용자를 확보하는 데 큰 도움을 느끼게 된다. 예를 들어 노션이나 에어테이블을 처음 사용할 때 온보딩 흐름을 보면 자신의 것으로 만든 것처럼 느끼게 하는 개인화 특정 단계가 있다. 이 단계에서 애착이 증가해 충성 사용자로 발전할 수 있다.

(1) PM으로서 개발 및 디자인, 지원 팀 간 적절한 조율을 하는지 항상 체크한다. (2) 올바른 성과 지표를 프로젝트 시작에 맞춰 준비하고 지속적으로 리뷰한다. (3) 팀 간 우위를 경쟁하는 것이 아닌 팀 전체의 협업이 제품/서비르를 성공시킨다는 공통의 목표를 꾸준히 주지시킨다. (4) 우리 팀의 결과물을 다른 팀에 제공하는 크로스 레퍼런스를 적극적으로 활용한다. 고객 관점에서 타사의 경쟁 제품을 분석하고 진행한다. (5) 중요한 마일스톤마다 객관적 위치에 있는 전문가를 활용하고 리뷰하며 잘못된 점은 빠르게 수정한다. (6) 애널리스트의 제품 분석 기사나 방법을 주시하고 학습해 최대한 분석 평가에서 균형감을 기른다.

4. 오류 합의 편향(false-consensus bias)

내가 생각하고 행동하는 것처럼 다른 사람도 분명 그럴 것이라고 '오류 합의'를 하는 일종의 확증 편향이다. 시니어나 전문가 레벨에서 더욱 짙게 나타나는 경향이 있다. 경험 또는 인사이트라고 할 수도 있지만 영향력으로 인식이 되므로 그 자체에 편향의 위험이 있다. 즉 '자기중심적 사고의 편향'이라고 해석할 수 있다.

사용자는 너처럼 생각하거나 사용하지 않는다.

오류 합의 편향을 피하는 연습

(1) PM 스스로 많은 노력을 해서 의식적으로 오류 합의 편향에 대한 인식을 높이는 연습을 해야 한다. (2) PM 본인의 목표를 명확히 하고 다른 관점을 가질 수 있는 팀 멤버와 함께 리뷰한다. (3) 대안적 관점을 가질 수 있는 고객과 진솔한 대화를 시도한다. (4) 나와 다른 사람의 관점을 비교한다. 긍정적이고 부정적인 측면을 찾아내려고 시도한다. 대안을 이해하는 데 도움이 되고 합리적인 관심으로 관점을 평가하는 데 도움이 된다. (5) 일반적인 편향 제거 기술을 사용한다. - 피드백 프로세스를 디자인하거나 실제 사용자의 제품 사용 데이터를 분석해 생각의 오차를 줄인다. (6) 구체적인 데이터를 꾸준히 추적한다.

PM은 매 순간 다가오는 결정에서 편향을 피할 수 있는 자신만의 노하우를 연습하고 체득해야 한다. 뇌와 습관이 이성을 속이려 한다는 것을 경계하고 조심하면서 명확한 사고와 더 나은 의사결정을 하기 위한 연습을 할 필요가 있다.