임상시험 결과의 출판 편향과 미공개 결과 이해

항목 바로가기

• 출판 편향의 심각성
• 임상시험 결과 보고의 윤리적 의무
• 부분적 해결책: 시험 등록
• 결과 확산에 미치는 미디어의 영향
• 데이터 조작과 선택적 보고의 위험
• 전체 전문

출판 편향의 심각성

스티븐 에반스(Stephen Evans) 박사는 안톤 티토프(Anton Titov) 박사와의 대화 시작 부분에서 충격적인 통계를 제시합니다. 그는 임상시험 결과의 40%만이 법정 기간 내에 보고되고, 전체의 30%는 결코 공개되지 않는다고 밝힙니다. 이는 의사와 연구자들이 활용할 수 있는 의학적 증거 기반에 큰 공백을 만듭니다.

이러한 문제는 '출판 편향(publication bias)'으로 알려져 있으며, 과학 문헌이 치료 효과의 전체적인 그림을 제대로 반영하지 못함을 의미합니다. 이 문제는 COVID-19 치료법을 넘어 약물 및 비약물 치료를 포함한 의학 전 분야에 영향을 미칩니다.

임상시험 결과 보고의 윤리적 의무

스티븐 에반스(Stephen Evans) 박사는 대중과 시험 참가자들에게 있는 근본적인 윤리적 의무를 강조합니다. 임상시험에 참여한 환자들은 미래의 환자들과 과학 발전을 위해 위험을 감수합니다. 따라서 시험이 끝난 후 결과를 제대로 분석해 대중에게 보고해야 할 중대한 의무가 있습니다.

결과를 발표하지 않는 것은 신뢰를 저버리는 행위입니다. 이는 참가자들의 기여를 무의미하게 만들 뿐만 아니라, 다른 환자들이 위험과 이점에 대한 불완전하고 부정확한 정보를 바탕으로 치료를 받게 할 수 있습니다. 안톤 티토프(Anton Titov) 박사는 이를 현대 의학 연구에서 매우 중요한 문제로 꼽습니다.

부분적 해결책: 시험 등록

출판 편향과 싸우기 위한 주요 노력은 시험 등록 관행입니다. 스티븐 에반스(Stephen Evans) 박사는 무작위 대조 시험을 수행하기 전에 등록하는 것이 핵심 전략이라고 설명합니다. 이는 시험의 존재와 의도된 결과에 대한 공개 기록을 만들어, 후원자나 연구자들이 부정적이거나 중립적인 결과를 무시하기 어렵게 합니다.

등록을 통해 감시 단체와 다른 연구자들은 등록 주체를 추적해 답을 찾아낼 수 있습니다. 이 시스템이 투명성 보장에 큰 도움이 되지만, 스티븐 에반스(Stephen Evans) 박사는 이것이 완벽한 해결책은 아니라고 지적합니다. 연구자들은 시험이 등록된 경우에도 요구 사항의 정신을 우회할 방법을 찾을 수 있습니다.

결과 확산에 미치는 미디어의 영향

스티븐 에반스(Stephen Evans) 박사와 안톤 티토프(Anton Titov) 박사는 미디어 관심이 수행하는 강력한 역할에 대해 깊이 논의합니다. 에반스 박사는 저널 편집자를 포함한 모든 사람이 "헤드라인을 좋아한다"고 지적합니다. 출판은 그가 "정말 좋은 소식이나 정말 나쁜 소식"에 우선적으로 이루어지는 경향이 있습니다.

극히 긍정적인 결과나 심각한 부작용 보고는 뉴스 가치가 있는 것으로 여겨집니다. 반면, 하이드록시클로로퀸(hydroxychloroquine)과 같은 약물이 효과가 없다는 연구와 같은 무관심하거나 무효 결과(null results)는 종종 덜 주목받습니다. 이러한 미디어 주도 역학은 어떤 연구가 출판되고 대중의 주목을 받는지를 결정해 인지된 증거를 왜곡합니다.

데이터 조작과 선택적 보고의 위험

시험 등록이 있어도 데이터 조작의 상당한 위험이 남아 있습니다. 스티븐 에반스(Stephen Evans) 박사는 연구자들이 사전에 지정된 주요 결과가 아니더라도 가장 흥미로운 결과를 "선별해 추출(cherry-pick)"할 수 있는 방법을 설명합니다. 그는 연구에서 유명한 격언을 인용합니다: 연구자들은 "데이터가 자백할 때까지 고문할 수 있다"고요.

통계적으로, 결과의 변동(variation)은 데이터를 샅샅이 뒤지면 거의 항상 흥미로운 것을 찾을 수 있음을 의미합니다. 이러한 관행은 극단적인 결과, 매우 좋든 매우 나쁘든, 의 출판으로 이어지는 반면, 그 사이에 있는 더 미묘한 진실은 출판되지 않은 채 남을 수 있습니다. 이는 궁극적으로 임상 진료를 안내하는 증거 기반을 오염시킵니다.

전체 전문

안톤 티토프(Anton Titov) 박사: 일반적으로 임상시험 결과의 출판과 확산에 대해 논의해 보겠습니다. 제약 산업은 모든 산업 중에서 가장 수익성이 높은 산업입니다. 그런데도 임상시험 결과의 단 40%만이 법률로 정한 기간 내에 보고되며, 임상시험 결과의 30%는 결코 보고되지 않습니다.

시험이 완료되었을 때 결과를 적절히 분석하여 대중에게 다시 보고할 의무가 대중과 임상시험에 참여한 환자들에게 있지 않습니까? 왜 이렇게 많은 임상시험 결과가 대중에게 보고되지 않는 이유는 무엇입니까?

스티븐 에반스(Stephen Evans) 박사: 이것은 정말 중요한 문제입니다. 이것은 COVID-19와 관련해서만이 아닙니다; 모든 종류의 치료, 그리고 약물 치료뿐만 아니라 관련됩니다. 우리는 무작위 시험들이 수행되기 전에 등록되도록 하여 이 출판 편향(publication bias)이라고 부르는 편향을 방지하기 위해 주요한 노력을 기울여왔습니다.

그러면 적어도 시험을 등록한 자들을 추적하여 답이 무엇인지 알아낼 수 있습니다. 문제는 우리 모두가 헤드라인을 좋아한다는 것입니다. 우리 모두는 좋은 소식을 좋아합니다. 신문사나 부작용을 살펴보는 일을 하는 사람이 아니라면, 정말로 나쁜 소식을 좋아합니다.

그래서 문제는 출판이 정말 좋은 소식이나 정말 나쁜 소식에 대해 우선적으로 이루어지는 경향이 있다는 것입니다. 무관심한 소식은 사람들의 관심을 끌지 못합니다. 그것은 편집자들이 좋아하는 것이 아닙니다; 그들은 좋은 헤드라인을 가질 수 없습니다.

하이드록시클로로퀸(hydroxychloroquine)이 효과가 없다는 소식은 대부분의 경우 큰 관심을 끌지 못하는 반면, 그것이 효과가 있다는 아이디어는 더 큰 관심을 끕니다. 현재 우리의 큰 우려 때문에, 무언가가 효과가 없다는 것을 보여주는 연구도 관심을 끌 것이고, 아마 출판될 것입니다. 하지만 일반적인 문제는 여전히 존재합니다.

출판 편향의 문제는 이러한 등록제도에 의해 어느 정도 해결됩니다. 하지만 그럴 때조차, 사람들이 자신들의 결과를 조작하고 최고의 결과를 선별하여 추출(cherry-pick)하는 것이 여전히 가능합니다, 심지어 시험이 이전에 특정 결과를 살펴볼 것이라고 등록했더라도요.

그리고 그것은 별로 흥미롭지 않습니다. 그럼에도 불구하고 그들은 헤드라인, 더 흥미로운 또 다른 결과를 가지게 될 것입니다. 만약 당신이 통계학자라면, 결과의 변동(variation)이 정말로 상당히 구체적인 문제임을 압니다.

당신은 거의 항상 당신의 결과에서 흥미로운 것을 찾을 수 있습니다. 당신은 그 결과들을 찾아다닐 것입니다. 또는 누군가가 한때 표현했듯이, 당신은 데이터가 자백할 때까지 고문합니다.

문제는 극단적인 결과를 좋아하는 경향이 있다는 것입니다, 매우 좋든 매우 나쁘든. 우리는 이것을 신문 헤드라인에서 봅니다; 좋은 소식이나 나쁜 소식은 극적으로 만들어진다면, 신문을 팔 수 있습니다.

그 사이에 있고 무관심한 결과들은 일반적으로 미디어에서 덜 관심을 받습니다. 문제는 과학이 정말로 중간 결과들, 효과를 보여주지 않는 것들에 관심이 있다는 것입니다.

증거 전체에 대한 적절한 시각을 얻기 위해서, 우리는 그것 전부를 보는지 확신해야 합니다. 시험 등록을 갖는 것은 그렇게 하는 데 큰 도움이 됩니다. 하지만 우리가 그렇게 할 때조차, 우리는 일부 연구자들이 결과를 변경하고, 선별하여 추출(cherry-pick)하며, 효과를 보여주는 것, 흥미로운 것을 보여주는 결과들을 생산할 것임을 발견합니다.

흥미롭다는 것은, 그것은 매우 좋을 수도, 또는 매우 나쁠 수도 있습니다. 부작용이 있을 때 그것은 흥미롭습니다. 우리는 의학의 여러 영역에서 이것을 발견하는데, 출판되는 결과들이 한 극단 또는 다른 극단에 있는 경향이 있으며, 그 사이에 있는 진실은 출판되지 않을 수 있습니다.