Establishing standards for human-annotated samples applied in supervised machine learning – Evidence from a Monte Carlo simulation

Corinna Oschatz; Marius Sältzer; Sebastian Stier

doi:10.5771/2192-4007-2023-4-289

Contents
- Chapter Expand | CollapseAuthorsPage
- Titelei/Inhaltsverzeichnis
- 277–288 EDITORIAL 277–288
  - Editorial to the Special Issue: (Re)Establishing quality criteria for content analysis: A critical perspective on the field’s core method Mario Haim, Valerie Hase, Johanna Schindler, Marko Bachl, Emese Domahidi Mario Haim, Valerie Hase, Johanna Schindler, Marko Bachl, Emese Domahidi
- 289–304 RESEARCH-IN-BRIEF 289–304
  - Establishing standards for human-annotated samples applied in supervised machine learning – Evidence from a Monte Carlo simulation Corinna Oschatz, Marius Sältzer, Sebastian Stier Corinna Oschatz, Marius Sältzer, Sebastian Stier
- 305–376 FULL PAPER 305–376
  - 305–326 Meaning multiplicity and valid disagreement in textual measurement: A plea for a revised notion of reliability Christian Baden, Lillian Boxman-Shabtai, Keren Tenenboim-Weinblatt, Maximilian Overbeck, Tali Aharoni Christian Baden, Lillian Boxman-Shabtai, Keren Tenenboim-Weinblatt, Maximilian Overbeck, Tali Aharoni 305–326
  - 327–353 Coding quality in manual content analysis: An exploration of coder characteristics and category types for crowdworkers and student coders Julia Niemann-Lenz, Anja Dittrich, Jule Scheper Julia Niemann-Lenz, Anja Dittrich, Jule Scheper 327–353
  - 354–376 Ethical challenges in contemporary quantitative content analysis Annemarie Wiedicke Annemarie Wiedicke 354–376
Durchsuchen Sie das Werk
Geben Sie ein Keyword in die Suchleiste ein
CC-BY-NC-ND Access

SCM Studies in Communication and Media , page 289 - 304

Establishing standards for human-annotated samples applied in supervised machine learning – Evidence from a Monte Carlo simulation

Autoren

Corinna Oschatz Marius Sältzer Sebastian Stier

DOI
- doi.org/10.5771/2192-4007-2023-4-289
- ISSN: 2192-4007
- ISSN online: 2192-4007
Zusammenfassung

Automatisierte Inhaltsanalysen sind ein häufig genutztes Instrument zur Beantwortung kommunikationswissenschaftlicher Forschungsfragen. Während Standards für die manuelle Inhaltsanalyse bereits vor Jahrzehnten etabliert wurden, bleibt zu klären, ob diese Standards für den Einsatz manuell generierter Daten im maschinellen Lernen aus- reichen. Wissenschaftler folgen in der Regel einem zweistufigen Verfahren, um mit ihren Modellen qualitativ hochwertige Vorhersagen zu treffen: eine manuelle Inhaltsanalyse, gefolgt von einem Modelltraining mit diesen handcodierten Daten. Bei diesem Vorgehen können allerdings Verzerrungen entstehen, die wir in einer Monte-Carlo-Simulation identifizieren. Simuliert werden (1) Kodierfehler (zufällig, individuell systematisch, gemeinsam systematisch) und (2) Kuratierungsstrategien (ein Kodierer pro Dokument, Mehrheitsregel, vollständige Übereinstimmung) als zwei aufeinanderfolgende Fehlerquellen. Die Ergebnisse zeigen, dass die Übereinstimmung der Codierer vor der manuellen Inhaltsanalyse ein wichtiges Quali- tätskriterium für automatisierte Inhaltsanalysen bleibt. Koeffizienten von mindestens Krippendorff’s Alpha = .8 sind wünschenswert, um zufriedenstellende Vorhersageergebnis- se durch maschinelles Lernen zu erzielen. Systematische Fehler der Codierer (individuelle und gemeinsame) müssen unbedingt vermieden werden. Die besten Ergebnisse erzielen die Kurationsstrategien „ein Kodierer pro Dokument“ oder „Mehrheitscodierung“. Die Studie dient Forschern dazu, zuverlässige Vorhersagen beim Einsatz manueller Inhaltsanalysen im maschinellen Lernen zu erzielen.

Abstract

Automated content analyses have become a popular tool in communication sci- ence. While standard procedures for manual content analysis were established decades ago, it remains an open question whether these standards are sufficient for the use of hu- man-annotated data to train supervised machine learning models. Scholars typically follow a two-stage procedure to obtain high prediction accuracy: manual content analysis fol- lowed by model training with human-annotated samples. We argue that a loss in predic- tion accuracy in supervised machine learning builds up over this two-stage procedure. In a Monte Carlo simulation, we tested (1) human coder errors (random, individual systematic, joint systematic) and (2) curation strategies for human-annotated datasets (one coder per document, majority rule, full agreement) as two sequential sources of accuracy loss of au- tomated content analysis. Coder agreement prior to conducting manual content analysis remains an important quality criterion for automated content analyses. A Krippendorff’s alpha of at least 0.8 is desirable to achieve satisfying prediction results after machine learn- ing. Systematic errors (individual and joint) must be avoided at all costs. The best training samples were obtained using one coder per document or the majority coding curation strategy. Ultimately, this paper can help researchers produce trustworthy predictions when combining manual coding and machine learning.
Share