Veranstaltung

Bei der diesjährigen Conference on Empirical Methods in Natural Language Processing (EMNLP 2026) vom 24. bis 29. Oktober 2026, in Budapest, sind die Forschenden der Gruppe Data Science für Innovation (Abteilung Regionale Transformation und Innovationspolitik) mit zwei Papern vertreten:

• »High Scores, Hidden Failures: Evaluating Codebook-Based LLM Content Analysis«, Elena Senger (Fraunhofer ISI / LMU München), Yuri Campbell (Fraunhofer ISI), Rob van der Goot (IT University of Copenhagen), Barbara Plank (LMU München)
• »The Cost of Decomposition: Trade-Offs in Long-Context Aspect-Based Scientific Summarization«, Pierre Achkar (Fraunhofer ISI / Universität Kassel), Elena Senger (Fraunhofer ISI / LMU München), Tim Gollub (Bauhaus-Universität Weimar), Martin Potthast (Universität Kassel, hessian.AI, ScaDS.AI), Yuri Campbell (Fraunhofer ISI)

Beide Arbeiten gehören zum Forschungsfeld »KI für die Innovationsforschung«. Darin übersetzen die Wissenschaftler:innen Fragen der Innovationsforschung, etwa welche Technologien, Akteure und Ressourcen in einem Innovationssystem eine Rolle spielen oder was die verfügbare Evidenz über eine Technologie aussagt, in klar definierte KI-Aufgaben und entwickeln dafür belastbare Methoden.

Das erste Paper betrifft die Aufgaben Klassifikation und Konzeptextraktion. Große Sprachmodelle werden zunehmend genutzt, um Texte anhand eines Codebuchs zu annotieren, zum Beispiel um zu erkennen, welche Elemente eines Wertschöpfungssystems (Akteure, Ressourcen, Prozesse, Nachfrage usw.) in wissenschaftlichen Publikationen oder Wirtschaftsnachrichten beschrieben werden. Die Studie zeigt, dass gute Gesamtkennzahlen gravierende Schwächen verdecken können: bei seltenen Kategorien, zwischen wiederholten Durchläufen oder beim Wechsel der Textquelle. Daraus leiten wir ein schlankes Validierungsprotokoll ab. Zudem veröffentlichen wir zwei neue, von Expert:innen annotierte Datensätze aus dem Projekt Wertschöpfungsradar.

Das zweite Paper betrifft die Wissenssynthese, konkret die automatische Zusammenfassung langer wissenschaftlicher Publikationen mit Fokus auf einen bestimmten Aspekt wie Methode oder Ergebnisse. Wir vergleichen sechs Verfahren mit lokal betreibbaren Sprachmodellen, was etwa bei vertraulichen Dokumenten wichtig ist, darunter auch Retrieval-basierte (RAG) und agentenbasierte Ansätze. Das Ergebnis: Die direkte Zusammenfassung des gesamten Volltexts liefert die beste Qualität bei vergleichsweise geringem Aufwand. Aufwendigere mehrstufige Pipelines lohnen sich vor allem dann, wenn nachvollziehbare Zwischenschritte benötigt werden. Dieser Beitrag wurde im Projekt Q.E.D. konzipiert und umgesetzt.

Beiden Arbeiten gemeinsam ist die Frage, wie verlässlich KI-Methoden tatsächlich sind, bevor ihre Ergebnisse in Analysen und Entscheidungen der Innovationsforschung einfließen. Da wir jedoch aus der Informatik kommen und unsere Beiträge auf Computer-Science/NLP-Konferenzen präsentieren, liegt der Schwerpunkt unserer Arbeiten auf methodischen Fragestellungen und nicht auf inhaltlichen Ergebnissen. Beide Beiträge werden auf https://aclanthology.org/ zur Verfügung stehen, sobald die Konferenz anfängt.