서평 [실험의 힘, 마이클 루카, 맥스 베이저만 저] 실험할 것이 천지삐까리

 

 

주변 초자나, 너무 깨끗...한 것 제외하면 마치 내가 사진 찍은 것 같은 생각이 들었던 '실험실' 사진 @pixabay

 

 

흰 가운을 걸치고, 고글을 쓰고, 장갑을 끼고 뭔가 위험한 걸 하고 있는 듯한 모습, 

'실험'이란 단어가 주는 이미지인 것 같다.

 

사람들의 '실험'에 대한 인식은 특정 장소에서만 이루어지고 있다고 생각하기 쉽지만, 

마이클 루카, 맥스 베이저만의 <실험의 힘>은 얼마나 광범위한 일상에 걸쳐 실험에 참여하고 있음을 시사한다. 

 

 

 

고작 2,3년 전만 해도 '4차 산업혁명'이라는 단어가 아주 먼 미래처럼 느껴졌지만, 생각보다 빠르게 일상 속에 그 모습을 나타내고 있다.  코로나19라는 대유행병이 전 세계에 돌면서 당연시했던 대면이 아닌 '비대면'을 디폴트 (기본값)으로, 즉, 꽤나 많은 지구인들의 이동을 통제할 수 있는 상황이 생겼기에 작년에 폭발적인 양의 실험이 이루어졌을 거라 생각할 수 있었다. 

 

 실험 설계는 학문적인 연구에 갇혀있다고 생각하기 쉬운데, 저자는 실험 방법이 경영과 의사결정에 쓰이기 시작하면서 '실험 시대의 초기'가 열렸다고 한다. (p. 7) 업무만이 아니라, 나를 둘러싼 환경이 모두 실험을 기반으로 만들어져 가고 있다는 거 체감하는 순간이다. 

 

 

데이터 홍수를 만끽 중인 기업들

 

 

책 속에서 행동경제학이 나타난 배경, 공공선을 위한 사회적 실험에 대해서 언급된다.

그래도 가장 눈에 쏙 들어오는 건 쏟아지는 데이터를 활용하고 있는 '얼리어댑터' 기업들이었다.

책에는 우버, 페이스북 같은 사례들이 나오지만, 국내에도 유수의 기업들이 많은 데이터를 실험해서 새로운 서비스를 만들기도 하고 없애기도 한다.

 

국내에서 대표적인 한 곳만 꼽아보자면, 네이버가 있다.

굳이 네이버를 언급하는 것은 사용자의 눈에도 얼마나 열심히 실험 설계를 하고 있는지 보이는 곳이었기 때문이다.

 

네이버는 일명 '초록색 창에 검색'하는 이미지를 각인 시켰다.  업무 관련된 것, 특히 영문 베이스가 더 유리한 것들은 구글에서 검색해야 정확하지만, 여전히 '한글 키워드' 기반의 생활 정보 및 쇼핑 관련된 것은 네이버 검색만한 곳이 없다. 구글보다 먼저 찾는 포털 사이트를 가진 나라가 몇 곳일까?

 

처음에는 지식iN이, 뒤이어 블로그, 카페 서비스로 확장되었다. 카페도 처음에는 다음이 더 많았지만, 현재는 카페, 밴드 등 커뮤니티 관련도 사용도가 단연 높은 편이다.

 

어느 순간 지식iN의 파생품인 것처럼 지식 쇼핑 코드로 쇼핑 페이지가 생기더니 이제는 쇼핑하면 네이버를 거치지 않을 수가 없게 커졌다. 패션(스타일), 리빙, 키즈, 최근에는 푸드 윈도까지 엄청나게 확장되는 게 보인다. 결제를 위해 Npay를 만드는가 싶더니, 플러스 멤버십이 생기고 어느 새 네이버 통장까지... 정말 입이 딱 벌어진다.

 

분명한 건, 사용자 눈에도 네이버에서 무언가 실험을 하고 있는게 보일 정도였다는 점!

서비스를 확장하기 위한 작고 큰 실험들의 실패와 성공을 모두 쌓아 올린 것이 네이버의 현재일 것이다.

 

 

 

실험설계의 가장 필수적인 부분

 

 

일상이 실험이지만, 실험할 것이 천지삐까리

 

  (사람들 인식 속의) 실험을 하는 게 일상이지만, 그 실험이 잘 이루어지기 위해서도 실험을 해야 한다. 결국 사람들이 하는 일인지라 최고 효율을 만들어내려면, 연구원들에게도 넛지는 필수다.

 

(p. 275) 실험 회피는 부적절하고 근거 없는 짓이다. 엄밀히 말하면, 많은 관리자가 의식하지 못한 채 항상 실험을 실시하며, 상당한 실익을 거두고 있다. 

 

실험회피는 근거 없는 헛짓이라는 부분에 매우 공강한다. 그렇지만, 실험실 안에서만 실험이 일어나는 줄로만 생각하는 고정관념에 빠져 있는 몇몇 사람와의 의견 조율은 막막하다. 어떤 테스트도 없이 어떤 결과를 얻을지 모르는데, 직관에만 의존해서 단번에 확실한 개선 방안을 찾으려는 방식에 의존하는 사람은 여전히 존재하고 '실험 안함'도 주변에 영향력이 있다. 아직 조직관리나 리더십에 대한 실험은 시작 단계(p.280) 라니 힌트를 얻고 싶었는데 아쉽다.

 

 예전에 실험해도 아무 것도 잡아내지 못하고 끊임 없이 연구노트에 'Fail'을 표시하고 있던 때에 지도교수님이 '똑같은 실험을 반복하지 말라'고 조언해주신 적이 있었다. 그 당시에는 답답하고 화나고, 도무지 받아들일 수 없는 조언이었다. 

  기대한 결과가 안 나온다면 통제변인이 제대로 컨트롤이 안 되어서 결과에 영향을 주었을 거라는 게 랩실에서 이루어지는 실험의 실패요인 1순위다. 결과는 똑같이 'Fail'이라고 해도 어떤 차이를 보이는지 판단할 수 있는 실험이었어야 했는데, 대부분 어떤 힌트도 찾아내지 못하고 끝났었다. 돌이켜보니, 객관적으로 차이가 나타나는 지점까지 양적인 측면에서 더 많이 시도해서 실험했어야 했다. 

 

(p. 288) 실험의 진정한 지지자가 되려면 불확실성도 인정할 수 있어야 한다. 우리가 노력을 기울이더라도 새로운 아이디어가 효과적이지 않다는 것으로 결론지어질 수 있다는 걸 인정해야 한다. 

 

 모든 실험이 의미 있는 결과를 낼 수는 없는 것은 자명하다. 실험을 하다 보면 모든 실험에서 결과를 확인하고 싶어하지만, '불확실성'까지 받아들여야 실험에 대해 더 깊이 이해할 수 있게 되는 것 같다. 그 때 교수님 말씀이 '똑같은 실수'가 아니라 '똑같은 실험'이라고 하셨을 때, 단순히 (실험적) 테크닉을 문제 삼으신 게 아니라 차이를 볼 수 있는 적절한 실험 설계를 했는지 여부를 물으셨구나라는 생각이 든다. 무엇이 문제일지 파악하기 위해 문답이 이어지다가 결국 한번은 못 참고 실수한 게 없느냐고 묻기는 하셨지만 말이다.

 

(p. 91-92) '행동과학적 통찰 뒤에 함축된 의미' 중에서 

넛지의 실행은 겉으로 보이는 것만큼 녹록하지 않다.

첫째로는 맥락이 중요하다. 둘째로는 설계 선택이 중요하기 때문이다. 기존의 틀로는 당신이 시도하려는 조치를 정확히 평가하기 힘들다. 셋째로는 의도하지 않은 결과가 나타나고, 결과가 상황에 따라 다를 수도 있기 때문이다.

 

실험실이 익숙하지만, 근래에 직접 실험하는 만큼 다른 역할도 조금씩 늘어나니...  깜냥이 부족한지라,  그 어느 때보다 스스로 시험대에 올라있는 기분이다. 혼자만 할게 아니라, 다른 연구원들까지 으쌰으쌰 어떻게 잘 하게 할 수 없나 궁리하는 중이다. 같이 하는 팀원들에게 작은 실험... 을 시도해봐야 할 것 같다. 과연 성공할까. 

 

 휴우.. 아침에 일어날 때 하나 빠트린 것 같다. 

 가슴에 손을 얹고 심장박동을 느끼며 '안녕, 파랑해! 사랑해!!' 

지난 1월에 읽었던 샤우나 샤피로의 <마음챙김>에서 배울 수 있는 가장 쉬운 수행법이지만, '안될 것 같아... ' 라는 부정적인 생각이 스멀거릴 때 큰 도움이 되는 것 같다.

 

무조건적으로 모든 결과를 해석하려고 하기보다 결과를 해석할 수 있는 실험 디자인을 하는 능력을 더 향상 시켜 정확에 보다 가까운 의사결정을 하도록 노오~력해야 할 것 같다. 

 

 

여담: 대체 이 책은 어떻게 읽는 거야?? 

 

 독서에 익숙해졌다고 생각했는데, 텍스트가 자체가 잘 읽히지 않는 느낌이었다. 스스로의 빈약한 내공에 또 한번 무릎 꿇으며, 수험서 보듯 연필로 밑줄 그어가며 겨우 읽었다. 

 

(p. 122) 가설검정, 실질적 유의성 (효과의 크기)과 통계적 유의성이란 개념 및 결과를 측정하는 다양한 기준들의 장점과 단점까지 실험 방법의 기본을 조금이나마 쉽게 이해할 수 있다. 

 

 원래 그 시간에 시험 보려던 '사회조사분석사' 수험서를 같이 봤어야 했는데, 책과 싸우는 마음으로 필기 시험 공부를 대신해버렸다. 늘 새로운 일은 시작이 쉽지 않다.

자격증 공부를 열심히 하지 못한 건 사실 핑계지만, 사회 안에서 특정 주제에 대해 어떻게 가설을 세우고 적합한 조사 방법을 고려하여 결과가 의미있는 차이를 나타내는지 판단하는 일련의 과정을 볼 수 있어서 두번째 시험을 준비할 때는 훨씬 수월해질 것 같다. 

 

서평을 쓰면서 다시 돌아봐도 아쉬운 느낌인 <실험의 힘>...

몇년째 꽂혀만 있던 <넛지>부터 다시 읽고 한번 더 뒤적여봐야겠다.