[기사] 온라인 극단주의에 맞서는 싸움이 계속 실패하는 이유 (타임지)

 

온라인 증오와 관련된 또 다른 총격 사건이나 소셜 미디어에 확산되고 있는 또 다른 폭력적인 네트워크에 대해 읽을 때, 공통적으로 나오는 말은 "소셜 미디어 플랫폼은 더 많은 일을 해야 한다"는 것입니다.

실제로 온라인 극단주의와 콘텐츠 검열에 대한 제 연구 결과에 따르면, 지난 몇 년 동안 주요 사이트에서 콘텐츠 검열을 통한 삭제가 급증했음에도 불구하고, 극단주의자들은 여전히 ​​수많은 디지털 공간에서 사람들을 모집하고, 조직하고, 폭력을 조장하고 있습니다. 따라서 우리가 던져야 할 질문은 플랫폼들이 고립된 상황에서 충분한 역할을 하고 있는지가 아니라, 어떤 하나의 사이트도 감당할 수 없는 더 큰 문제를 우리가 해결하고 있는지 여부입니다.

온라인 증오와 극단주의에 맞서는 우리의 접근 방식은 페이스북, X, 유튜브, 틱톡 등 개별 플랫폼에 지나치게 집중하는 경향이 있고, 인터넷 전반의 콘텐츠 관리 체계의 파편화에는 거의 관심을 두지 않습니다. 역사적으로 정부가 "빅 테크"를 감시하고 플랫폼들이 관리 규칙을 강화할 때, 극단주의 운동은 소규모 플랫폼이나 다른 플랫폼으로 분산되었습니다. 규칙이 적고 신뢰와 안전을 담당하는 팀의 규모가 작을수록, 더 큰 플랫폼으로 다시 침투할 방법을 모색하는 동시에 열성적인 이용자층을 급진화시킬 기회가 더 많아집니다.

최근 일부 주요 플랫폼들이 표현의 자유라는 명목으로 콘텐츠 관리 규칙을 완화하면서 이러한 움직임이 더욱 쉬워졌습니다. 예를 들어, 일론 머스크가 소유했던 X(구 트위터) 는 신뢰 및 안전 팀을 대폭 축소하고, 금지된 극단주의 계정을 복구했으며 , 증오성 콘텐츠에 대한 단속을 완화했습니다 . 마찬가지로, 페이스북과 인스타그램을 소유한 메타 는 제3자 팩트체크 프로그램을 종료하고 증오 표현 정책을 재정비하여 한때 금지되었던 특정 수사법도 허용되도록 했습니다. 이러한 플랫폼들이 가장 폭넓은 영향력을 제공하기 때문에, 극단주의자들은 주류 대중에게 다시 접근할 뿐만 아니라 소규모 플랫폼들이 유지하기 힘든 급진화, 포섭, 그리고 동원의 악순환에 다시 빠지게 됩니다.

광범위한 다중 플랫폼 데이터셋과 이념적 스펙트럼 전반에 걸친 행위자들의 사례 연구를 기반으로 한 저의 연구는 극단주의자들이 이처럼 불균등한 환경에서 어떻게 회복력을 키우는지 보여줍니다. 그들의 전략은 의도적이면서도 역동적입니다. 그들은 변두리 사이트나 암호화된 메시지 앱을 사용하여 가장 자극적이거나 폭력적인 콘텐츠를 게시함으로써 엄격한 단속을 우회합니다. 그런 다음 주류 플랫폼에는 "수축된" 메시지를 작성합니다. 아마도 증오를 담고 있지만, 대규모 삭제를 유발할 정도는 아닙니다. 그들은 주류 소셜 미디어에서 검열당했다고 느끼는 사용자들의 분노를 이용하여 그 불만을 자신들의 결집 구호로 삼습니다. 이러한 악순환은 제가 "일관성 없는 단속 시스템"이라고 부르는 것의 틈새에서 번성합니다. 의도치 않게든 아니든, 극단주의자들이 여러 플랫폼에 적응하고, 금지를 피하고, 재건할 수 있도록 허용하는 생태계입니다.

하지만 이러한 단편적인 접근 방식은 극단주의 운동이 진정으로 해체되는 것이 아니라 일시적으로만 자리를 옮길 뿐이라는 것을 의미합니다. 이러한 네트워크를 약화시키는 대신, 오히려 진화하도록 유도하여 향후 단속을 더욱 어렵게 만듭니다.

더 보기: 갈등 상황에서 온라인 관리가 종종 실패하는 이유

플랫폼별 단속으로 이 문제를 해결하려는 것은 새는 물이 가득한 양동이에 구멍 하나를 막는 것과 같습니다. 구멍 하나를 막으면 다른 구멍으로 물이 쏟아져 나옵니다. 그렇기 때문에 생태계 전반에 걸친 접근 방식이 필요합니다. 폭력적인 내용처럼 거의 모든 플랫폼에서 유해하다고 간주되는 특정 카테고리에서는 여러 플랫폼에 걸쳐 보다 일관된 관리가 최선의 선택입니다.

플랫폼들이 (모호한 표현뿐 아니라 구체적인 집행 프로토콜을 통해) 각자의 기준을 조율한다면, 그 일관성은 극단주의자들이 의존하는 "차익거래"를 없애기 시작합니다. 60개 플랫폼을 분석한 결과, 실질적인 정책 수렴이 이루어지는 곳에서는 폭력적인 집단이 온라인에서 존재감을 유지하기 위해 집행 공백을 악용할 수 없기 때문에 안전한 피난처를 찾기 어려워집니다. 플랫폼들이 유사한 규칙을 적용하고 집행을 조율할 때, 극단주의자들이 재편성할 수 있는 장소가 줄어들고 금지 조치가 시행될 때 다른 사이트로 이동할 기회도 줄어듭니다.

이런 방식으로 조율하는 것은 간단하지 않습니다. 콘텐츠 검열은 언론의 자유, 검열, 그리고 정부나 민간 기업의 잠재적 남용에 대한 우려를 불러일으킵니다. 그럼에도 불구하고, 우리 대부분이 허용 범위를 벗어난 것으로 생각하는 극소수의 콘텐츠, 즉 테러 선전이나 폭력을 조장하는 증오 표현에 대해서는 기준을 일치시킴으로써 많은 빈틈을 메울 수 있을 것입니다.

강력한 신뢰와 안전 기능을 구축하는 것은 저렴하거나 간단하지 않습니다. 특히 수백 명의 관리자와 법률 전문가를 고용할 수 없는 소규모 플랫폼의 경우 더욱 그렇습니다. 바로 이러한 목표를 달성하기 위한 새로운 제3자 이니셔티브가 등장했습니다. 예를 들어 ROOST는 Google, OpenAI, Roblox와 같은 자선 재단과 기술 기업의 연합으로부터 자금을 지원받습니다 . ROOST는 규모에 관계없이 플랫폼이 현실 세계에 해를 끼치는 것으로 알려진 극단주의 콘텐츠를 더 잘 식별하고 삭제할 수 있도록 오픈소스 소프트웨어와 공유 데이터베이스를 제공합니다. 이러한 프로젝트는 기업이 처음부터 중재 기능을 재구축하도록 강요하지 않고도 더 큰 융합으로 나아가는 길을 제시합니다.

물론 가장 큰 장벽 중 일부는 여전히 정치적입니다. 유해한 극단주의 발언과 합법적인 정치적 표현의 경계를 어디에 둘지에 대한 합의가 아직 이루어지지 않았습니다. 이 주제는 심각하게 양극화되었으며, 다양한 행위자와 이해관계자들이 유해한 것으로 간주되어야 하는 것에 대해 극명하게 대조되는 견해를 가지고 있습니다. 하지만 극단주의 폭력은 당파적 문제가 아닙니다. 유대교 회당 총격 사건부터 크라이스트처치에서 생중계된 폭력 사건, 온라인 급진화와 관련된 일련의 이슬람주의적 공격에 이르기까지 우리는 이미 증오와 테러가 플랫폼 간의 틈새에서 번성하고 있다는 것을 알 수 있을 만큼 충분한 잔혹 행위를 목격했습니다.

네, 유해 콘텐츠의 경계에 대한 논의는 계속될 것입니다. 하지만 대부분의 미국인은 폭력, 증오 기반 괴롭힘, 그리고 테러 선전을 노골적으로 조장하는 행위는 신속하고 심각한 개입이 필요하다는 데 동의할 것입니다. 이러한 공통된 기반 위에서 ROOST와 같은 멀티 플랫폼 이니셔티브나 테러 대응을 위한 글로벌 인터넷 포럼(Global Internet Forum to Counter Terrorism)이 주도하는 협력 데이터베이스가 실질적인 진전을 이룰 수 있습니다.

극단주의 콘텐츠가 여러 플랫폼으로 이동하고, 조율되고, 다시 등장하도록 하는 체계적인 인센티브를 해결하지 않는 한, 우리는 끔찍한 공격이 발생할 때마다 "왜 이런 일이 계속 일어나는 걸까?"라는 의문을 품게 될 것입니다. 답은 바로 우리가 분열된 시스템을 구축했기 때문입니다. 각 플랫폼은 각자의 싸움을 벌이는 반면, 극단주의자들은 그 틈새를 악용합니다.

"빅 테크 기업들이 더 적극적으로 나서라"는 요구뿐 아니라, 모든 온라인 공간이 극단주의에 맞서 더욱 단결된 입장을 취하도록 요구해야 할 때입니다. 그래야만 디지털 증오를 조장하는 수많은 유출 정보를 차단할 수 있을 것입니다.

원문 : https://time.com/7264828/online-extremism-fight-failing/