Meaning multiplicity and valid disagreement in textual measurement: A plea for a revised notion of reliability

Christian Baden; Lillian Boxman-Shabtai; Keren Tenenboim-Weinblatt; Maximilian Overbeck; Tali Aharoni

doi:10.5771/2192-4007-2023-4-305

Contents
- Chapter Expand | CollapseAuthorsPage
- Titelei/Inhaltsverzeichnis
- 277–288 EDITORIAL 277–288
  - Editorial to the Special Issue: (Re)Establishing quality criteria for content analysis: A critical perspective on the field’s core method Mario Haim, Valerie Hase, Johanna Schindler, Marko Bachl, Emese Domahidi Mario Haim, Valerie Hase, Johanna Schindler, Marko Bachl, Emese Domahidi
- 289–304 RESEARCH-IN-BRIEF 289–304
  - Establishing standards for human-annotated samples applied in supervised machine learning – Evidence from a Monte Carlo simulation Corinna Oschatz, Marius Sältzer, Sebastian Stier Corinna Oschatz, Marius Sältzer, Sebastian Stier
- 305–376 FULL PAPER 305–376
  - 305–326 Meaning multiplicity and valid disagreement in textual measurement: A plea for a revised notion of reliability Christian Baden, Lillian Boxman-Shabtai, Keren Tenenboim-Weinblatt, Maximilian Overbeck, Tali Aharoni Christian Baden, Lillian Boxman-Shabtai, Keren Tenenboim-Weinblatt, Maximilian Overbeck, Tali Aharoni 305–326
  - 327–353 Coding quality in manual content analysis: An exploration of coder characteristics and category types for crowdworkers and student coders Julia Niemann-Lenz, Anja Dittrich, Jule Scheper Julia Niemann-Lenz, Anja Dittrich, Jule Scheper 327–353
  - 354–376 Ethical challenges in contemporary quantitative content analysis Annemarie Wiedicke Annemarie Wiedicke 354–376
Durchsuchen Sie das Werk
Geben Sie ein Keyword in die Suchleiste ein
CC-BY-NC-ND Access

SCM Studies in Communication and Media , page 305 - 326

Meaning multiplicity and valid disagreement in textual measurement: A plea for a revised notion of reliability

Autoren

Christian Baden Lillian Boxman-Shabtai Keren Tenenboim-Weinblatt Maximilian Overbeck Tali Aharoni

DOI
- doi.org/10.5771/2192-4007-2023-4-305
- ISSN: 2192-4007
- ISSN online: 2192-4007
Abstract

In quantitative content analysis, conventional wisdom holds that reliability, op- erationalized as agreement, is a necessary precondition for validity. Underlying this view is the assumption that there is a definite, unique way to correctly classify any instance of a measured variable. In this intervention, we argue that there are textual ambiguities that cause disagreement in classification that is not measurement error, but reflects true proper- ties of the classified text. We introduce a notion of valid disagreement, a form of replicable disagreement that must be distinguished from replication failures that threaten reliability. We distinguish three key forms of meaning multiplicity that result in valid disagreement – ambiguity due to under-specification, polysemy due to excessive information, and inter- changeability of classification choices – that are widespread in textual analysis, yet defy treatment within the confines of the existing content-analytic toolbox. Discussing implica- tions, we present strategies for addressing valid disagreement in content analysis.

Zusammenfassung

Reliabilität, operationalisiert als Übereinstimmung zwischen Codie- rern, ist gemeinhin akzeptiert als eine notwendige Voraussetzung für Validität in der quan- titativen Inhaltsanalyse. Diese Sichtweise beruht auf der Annahme, dass für jedes Vorkom- men einer gemessenen Variable exakt eine korrekte Klassifizierung bestimmt werden kann. Entgegen dieser Annahme argumentieren wir hier, dass divergierende Klassifizierungen auch aufgrund von im Text verankerten Mehrdeutigkeiten entstehen können, welche nicht als Messfehler zu verstehen sind, sondern vielmehr relevante Eigenschaften des analysier- ten Materials widerspiegeln. Entsprechend entwerfen wir einen Begriff valider Nichtüber- einstimmung im Klassifizierungsprozess, welcher es erlaubt zwischen textuell verankerten, replizierbaren Mehrdeutigkeiten und Replikationsfehlern, welche die Reliabilität der Mes- sung unterminieren, zu unterscheiden. Wir unterscheiden drei in der Textanalyse weit ver- breitete Formen von Mehrdeutigkeiten – begründet in Unter-Spezifizierung, Informations- überschuss, sowie der Austauschbarkeit von Klassifizierungsmöglichkeiten – welche valide Nichtübereinstimmung zur Folge haben, aber bislang keine hinreichende Beachtung im inhaltsanalytischen Methodenkanon gefunden haben. Aufgrund einer Diskussion mögli- cher Implikationen dieser Auslassung skizzieren wir geeignete Strategien für den Umgang mit valider Nichtübereinstimmung in der inhaltsanalytischen Forschung.
Share