dc.contributor.author | Mandes, Sławomir | |
dc.contributor.author | Karlińska, Agnieszka | |
dc.date.accessioned | 2024-12-03T07:17:58Z | |
dc.date.available | 2024-12-03T07:17:58Z | |
dc.date.issued | 2024-11-30 | |
dc.identifier.uri | http://hdl.handle.net/11089/53848 | |
dc.description.abstract | The aim of the paper is to critically reflect on the relationship between qualitative thematic analysis and topic modeling, one of the most popular variants of automatic text mining. Based on the results of a qualitative and quantitative analysis of the documents of the Polish Bishops’ Conference, we show the advantages and disadvantages of topic modeling. We negatively verify the thesis of the substitutability of thematic analysis by topic modeling and point to the necessity of combining qualitative and quantitative approaches within the mixed methods methodology. In the final section, we present possible ways of combining the two methods so that qualitative researchers, based on the mixed methods paradigm, can benefit from the advantages of topic modeling and, with the awareness of its advantages and disadvantages, enrich their workshop, broaden the scope of research, and enhance the process of analysis. | en |
dc.description.abstract | Celem artykułu jest krytyczna refleksja nad relacją pomiędzy jakościową analizą tematyczną i modelowaniem tematycznym (ang. topic modeling), jedną z bardziej popularnych odmian automatycznego przetwarzania tekstu. Na podstawie wyników jakościowej i ilościowej analizy dokumentów Konferencji Episkopatu Polski autorzy pokazują wady i zalety modelowania tematycznego. Negatywnie weryfikują tezę o zastępowalności analizy tematycznej przez modelowanie tematyczne i wskazują na niezbędność połączenia podejścia jakościowego z ilościowym w ramach metodologii metod mieszanych (ang. mixed methods). W ostatniej części opracowania przedstawiają możliwe sposoby łączenia obu metod, za pomocą których badacze jakościowi i badaczki jakościowe na podstawie paradygmatu metod mieszanych mogą skorzystać z modelowania tematycznego i – ze świadomością jego wad i zalet – wzbogacić swój warsztat, rozszerzyć zakres badań oraz usprawnić proces analizy. | pl |
dc.language.iso | pl | |
dc.publisher | Wydawnictwo Uniwersytetu Łódzkiego | pl |
dc.relation.ispartofseries | Przegląd Socjologii Jakościowej;4 | pl |
dc.rights.uri | https://creativecommons.org/licenses/by-nc-nd/4.0 | |
dc.subject | qualitative content | en |
dc.subject | analysis | en |
dc.subject | thematic analysis | en |
dc.subject | topic modeling | en |
dc.subject | text mining | en |
dc.subject | mixed methods | en |
dc.subject | jakościowa analiza treści | pl |
dc.subject | analiza tematyczna | pl |
dc.subject | modelowanie tematyczne | pl |
dc.subject | text mining | pl |
dc.subject | mixed methods | pl |
dc.title | W stronę nowej metodologii analizy treści. Podobieństwa i różnice pomiędzy modelowaniem tematycznym i jakościową analizą treści | pl |
dc.title.alternative | Toward a New Methodology for Content Analysis: Similarities and Differences Between Topic Modeling and Qualitative Content Analysis | en |
dc.type | Article | |
dc.page.number | 118-143 | |
dc.contributor.authorAffiliation | Mandes, Sławomir - Uniwersytet Warszawski | pl |
dc.contributor.authorAffiliation | Karlińska, Agnieszka - Naukowa i Akademicka Sieć Komputerowa – Państwowy Instytut Badawczy | pl |
dc.identifier.eissn | 1733-8069 | |
dc.references | Aspers Patrik, Corte Ugo (2019), What is Qualitative in Qualitative Research, „Qualitative Sociology”, vol. 42(2), s. 139–160, https://doi.org/10.1007/s11133-019-9413-7 | pl |
dc.references | Baranowski Mariusz, Cichocki Piotr (2021), Good and bad sociology: Does topic modelling make a difference?, „Society Register”, vol. 5(4), s. 7–22. | pl |
dc.references | Bazeley Pat (2010), Computer assisted integration of mixed methods data sources and analyses, [w:] Abbas Tashakkori, Charles Teddlie (red.), Handbook of mixed methods in social and behavioral research, Los Angeles: Sage Publications, s. 431–468. | pl |
dc.references | Blei David M. (2012), Probabilistic topic models, „Communications of the ACM”, vol. 55(4), s. 77–84, https://doi.org/10.1145/2133806.2133826 | pl |
dc.references | Blei David M., Lafferty John D. (2006), A correlated topic model of Science, „Advances in Neural Information Processing Systems”, vol. 18, s. 147–154, https://doi.org/10.1214/07-AOAS114 | pl |
dc.references | Blei David M., Ng Andrew Y., Jordan Michael I. (2003), Latent Dirichlet Allocation, „Journal of Machine Learning Research”, vol. 3, s. 993–1022. | pl |
dc.references | Boyd-Graber Jordan, Hu Yuening, Mimno David (2017), Applications of Topic Models, „Foundations and Trends in Information Retrieval”, vol. 11(2–3), s. 143–296, https://doi.org/10.1561/1500000030 | pl |
dc.references | Braun Virginia, Clarke Victoria (2006), Using Thematic Analysis in Psychology, „Qualitative Research in Psychology”, vol. 3(2), s. 77–101. | pl |
dc.references | Braun Virginia, Clarke Victoria (2022), Thematic analysis: a practical guide, Los Angeles: Sage Publications. | pl |
dc.references | Brennan Timothy (2017), The digital-humanities bust: After a decade of investment and hype, what has the field accomplished? Not much, „Chronicle of Higher Education”, vol. 64(8). | pl |
dc.references | Brosz Maciej, Bryda Grzegorz, Siuda Piotr (2017), Big Data i CAQDAS a procedury badawcze w polu socjologii jakościowej, „Przegląd Socjologii Jakościowej”, vol. XIII, nr 2, s. 6–23. | pl |
dc.references | Bryda Grzegorz (2014), CAQDAS, Data Mining i odkrywanie wiedzy w danych jakościowych, [w:] Jakub Niedbalski (red.), Metody i techniki odkrywania wiedzy. Narzędzia CAQDAS w procesie analizy danych jakościowych, Łódź: Wydawnictwo Uniwersytetu Łódzkiego, s. 13–40. | pl |
dc.references | Bryda Grzegorz (2020), Whats and Hows? The Practice-Based Typology of Narrative Analyses, „Przegląd Socjologii Jakościowej”, vol. XVI, nr 3, s. 120–142. | pl |
dc.references | Chang Jonathan, Boyd-Graber Jordan L., Gerrish Sean, Wang Chong, Blei David M. (2009), Reading tea leaves: How humans interpret topic models, „Advances in Neural Information Processing Systems”, vol. 22, s. 1–9. | pl |
dc.references | Chen Yingying, Zhao Peng, Sei-Hill Kim, Chang Won Choi (2023), What We Can Do and Cannot Do with Topic Modeling: A Systematic Review, „Communication Methods and Measures”, vol. 17(2), s. 1–20, https://doi.org/10.1080/19312458.2023.2167965 | pl |
dc.references | CLARIN-PL (b.r.), Shortextopic, https://ws.clarin-pl.eu/shortextopic [dostęp: 14.03.2023]. | pl |
dc.references | CLARIN-PL (b.r.), Topiki, https://ws.clarin-pl.eu/topic [dostęp: 14.03.2023]. | pl |
dc.references | Collingridge Dave S. (2013), A Primer on Quantitized Data Analysis and Permutation Testing, „Journal of Mixed Methods Research”, vol. 7(1), s. 81–97, https://doi.org/10.1177/1558689812454457 | pl |
dc.references | Da Nan Z. (2019), The Computational Case against Computational Literary Studies, „Critical Inquiry”, vol. 45(3), s. 601–639, https://doi.org/10.1086/702594 | pl |
dc.references | Delong Marek (2016), Konferencja Episkopatu Polski wobec wybranych kwestii politycznych i społecznych w Polsce w latach 1989–2014, Rzeszów: Wydawnictwo Uniwersytetu Rzeszowskiego. | pl |
dc.references | Delong Marek (2017a), Problem prawnej ochrony życia w enuncjacjach Konferencji Episkopatu Polski w latach 1989–2011, „UR Journal of Humanities and Social Sciences”, vol. 2(1), s. 84–97, https://doi.org/10.15584/johass.2017.1.5 | pl |
dc.references | Delong Marek (2017b), Wybrane kwestie wychowania młodego pokolenia w enuncjacjach Konferencji Episkopatu Polski w latach 1989–2013, „Studia Sandomierskie. Teologia – Filozofia – Historia”, vol. 24(1), s. 249–260. | pl |
dc.references | Denzin Norman K. (2010), Moments, Mixed Methods, and Paradigm Dialogs, „Qualitative Inquiry”, vol. 16(6), s. 419–427, https://doi.org/10.1177/1077800410364608 | pl |
dc.references | DiMaggio Paul (2015), Adapting computational text analysis to social science (and vice versa), „Big Data & Society”, vol. 2(2), s. 1–5, https://doi.org/10.1177/2053951715602908 | pl |
dc.references | DiMaggio Paul, Nag Manish, Blei David (2013), Exploiting affinities between topic modeling and the sociological perspective on culture: Application to newspaper coverage of U.S. government arts funding, „Poetics”, vol. 41(6), s. 570–606, https://doi.org/10.1016/j.poetic.2013.08.004 | pl |
dc.references | Eder Maciej (2016), Słowa znaczące, słowa kluczowe, słowozbiory – o statystycznych metodach wyszukiwania wyrazów istotnych, „Przegląd Humanistyczny”, vol. 60(3), s. 31–44. | pl |
dc.references | Enfield N.J. (2014), The Utility of Meaning: What Words Mean and Why, Oxford: Oxford University Press. | pl |
dc.references | Evans James A., Aceves Pedro (2016), Machine Translation: Mining Text for Social Theory, „Annual Review of Sociology”, vol. 42(1), s. 21–50, https://doi.org/10.1146/annurev-soc-081715-074206 | pl |
dc.references | Flick Uwe (1992), Triangulation Revisited: Strategy of Validation or Alternative?, „Journal for the Theory of Social Behavior”, vol. 22(2), s. 175–197, https://doi.org/10.1111/j.1468-5914.1992.tb00215.x | pl |
dc.references | Flick Uwe (2010), Projektowanie badania jakościowego, przełożył Paweł Tomanek, Warszawa: Wydawnictwo Naukowe PWN. | pl |
dc.references | Friese Susanne (2019), Qualitative Data Analysis with Atlas.ti, Los Angeles: Sage Publications. | pl |
dc.references | Goldthorpe John H. (2012), Współczesna etnografia społeczna: problemy i perspektywy, [w:] John H. Goldthorpe, O socjologii: integracja badań i teorii, przełożyła Jerzyna Słomczyńska, Warszawa: Wydawnictwo IFiS PAN, s. 103–136. | pl |
dc.references | Grimmer Justin (2010), A Bayesian Hierarchical Topic Model for Political Texts: Measuring Expressed Agendas in Senate Press Releases, „Political Analysis”, vol. 18(1), s. 1–35, https://doi.org/10.1093/pan/mpp034 | pl |
dc.references | Grimmer Justin, Stewart Brandon M. (2013), Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts, „Political Analysis”, vol. 21(3), s. 267–297, https://doi.org/10.1093/pan/mps028 | pl |
dc.references | Grimmer Justin, Roberts Margaret E., Stewart Brandon M. (2022), Text as Data: A New Framework for Machine Learning and the Social Sciences, Princeton: Princeton University Press. | pl |
dc.references | Grootendorst Maarten (2022), BERTopic: Neural topic modeling with a class-based TF-IDF procedure, https://doi.org/10.48550/arXiv.2203.05794 | pl |
dc.references | Hess Agnieszka, Hwaszcz Krzysztof (2022), Językoznawstwo korpusowe w badaniach medioznawczych – ujęcie historyczne i praktyczne, „Journal of Humanities and Social Sciences”, vol. 4(25), s. 118–132. | pl |
dc.references | Honnibal Matthew, Montani Ines, Van Landeghem Sofie, Boyd Adriane (2020), spaCy: Industrial-strength Natural Language Processing in Python, https://doi.org/10.5281/zenodo.1212303 | pl |
dc.references | Hoyle Alexander, Goel Pranav, Hian-Cheong Andrew, Peskov Denis, Boyd-Graber Jordan, Resnik Philip (2021), Is automated topic model evaluation broken? The incoherence of coherence, „Advances in Neural Information Processing Systems”, vol. 34, s. 2018–2033. | pl |
dc.references | Index of /~rtuora/spacy (b.r.), http://mozart.ipipan.waw.pl/~rtuora/spacy/ [dostęp: 11.03.2023]. | pl |
dc.references | Isoaho Karoliina, Gritsenko Daria, Mäkelä Eetu (2021), Topic Modeling and Text Analysis for Qualitative Policy Research, „Policy Studies Journal”, vol. 49, s. 300–324, https://doi.org/10.1111/psj.12343 | pl |
dc.references | Kamasa Victoria (2013a), Rodzina w dyskursie polskiego Kościoła katolickiego. Badania korpusowe z perspektywy krytycznej analizy dyskursu, „Socjolingwistyka”, vol. 27, s. 139–152. | pl |
dc.references | Kamasa Victoria (2013b), Naming “In Vitro Fertilization”: Critical Discourse Analysis of the Polish Catholic Church’s Official Documents, „Procedia – Social and Behavioral Sciences”, vol. 95, s. 154–159. | pl |
dc.references | Klein Lauren F., Eisenstein Jacob, Sun Iris, Jacko J.A. (2015), Exploratory Thematic Analysis for Digitized Archival Collections, „Digital Scholarship in the Humanities”, vol. 30, s. 30–41. | pl |
dc.references | Krippendorff Klaus (2018), Content analysis: an introduction to its methodology, Los Angeles: Sage Publications. | pl |
dc.references | Kwiatkowska Agnieszka (2017), „Hańba w Sejmie” – zastosowanie modeli generatywnych do analizy debat parlamentarnych, „Przegląd Socjologii Jakościowej”, t. XIII, nr 2, s. 82–109. | pl |
dc.references | Kwiatkowska Agnieszka, Chwedczuk-Szulc Karol, Bolechów Bartosz (2022), Disentangling the Moral Rightness of Securitization: Data Mining of the Process of Framing and Shaping of Poland-United States Relations, „Polish Political Science Review”, vol. 10(1), s. 35–58, https://doi.org/10.2478/ppsr-2022-0003 | pl |
dc.references | Leszczyńska Katarzyna, Zych Łukasz (2011), Wzory kobiecości w dyskursie Kościoła rzymskokatolickiego w Polsce, [w:] Krystyna Slany (red.), Kalejdoskop genderowy. W drodze do poznania płci społeczno-kulturowej w Polsce, Kraków: Wydawnictwo Uniwersytetu Jagiellońskiego, s. 201–216. | pl |
dc.references | Macanovic Ana (2022), Text mining for social science – The state and the future of computational text analysis in sociology, „Social Science Research”, vol. 49(1), 102784, https://doi.org/10.1016/j.ssresearch.2022.102784 | pl |
dc.references | Mallet: MAchine Learning for LanguagE Toolkit (b.r.), https://mimno.github.io/Mallet/index [dostęp: 11.03.2023]. | pl |
dc.references | Mann Gideon S., Mimno David, McCallum Andrew (2006), Bibliometric impact measures leveraging topic analysis, [w:] Proceedings of the 6th ACM/IEEE-CS joint conference on Digital libraries (JCDL ‘06), New York: Association for Computing Machinery, s. 65–74, https://doi.org/10.1145/1141753.1141765 | pl |
dc.references | Maryl Maciej, Eder Maciej (2017), Topic Patterns in an Academic Literary Journal: The Case of “Teksty Drugie”, https://dh-abstracts.library.virginia.edu/works/4012 [dostęp: 15.12.2022]. | pl |
dc.references | McLevey John (2022), Doing computational social science: a practical introduction, Los Angeles: Sage Publications. | pl |
dc.references | Mimno David, Blei David M. (2011), Bayesian Checking for Topic Models, [w:] EMNLP’11 Proceedings of the Conference on Empirical Methods in Natural Language Processing, Edinburgh–Stroudsburg: Association for Computational Linguistics, s. 227–237. | pl |
dc.references | Moretti Franco (2016), Wykresy, mapy, drzewa. Abstrakcyjne modele na potrzeby literatury, przełożyli Tomasz Bilczewski, Anna Kowalcze-Pawlik, Kraków: Wydawnictwo Uniwersytetu Jagiellońskiego. | pl |
dc.references | Nzabonimpa Jean Providence (2018), Quantitizing and qualitizing (im-)possibilities in mixed methods research, „Methodological Innovations”, vol. 11(2), s. 1–16, https://doi.org/10.1177/2059799118789021 | pl |
dc.references | Onwuegbuzie J. Anthony, Johnson R. Burke, Collins M. Kathleen (2009), Call for mixed analysis: A philosophical framework for combining qualitative and quantitative approaches, „International Journal of Multiple Research Approaches”, vol. 3(2), s. 114–139, https://doi.org/10.5172/mra.3.2.114 | pl |
dc.references | Pawłowski Adam, Walkowiak Tomasz (2022), Statistical tools, automatic taxonomies, and topic modelling in the study of self-promotional mission and vision texts of Polish universities, [w:] Makoto Yamazaki, Haruko Sanada, Reinhard Köhler, Sheila Embleton, Relja Vulanović, Eric S. Wheeler (red.), Quantitative Approaches to Universality and Individuality in Language, Berlin–Boston: De Gruyter Mouton, s. 131–145. | pl |
dc.references | Perrin Andrew J., Tepper Steven J., Caren Neal, Morris Sally (2014), Political and Cultural Dimensions of Tea Party Support, 2009–2012, „The Sociological Quarterly”, vol. 55(4), s. 625–652, https://doi.org/10.1111/tsq.12069 | pl |
dc.references | Rahman Sajjadur, Kandogan Eser (2022), Characterizing Practices, Limitations, and Opportunities Related to Text Information Extraction Workflows: A Human-in-the-Loop Perspective, [w:] CHI Conference on Human Factors in Computing Systems, New Orleans: ACM, s. 1–15, https://doi.org/10.1145/3491102.3502068 | pl |
dc.references | Roberts Margaret E., Stewart Brandon M., Tingley Dustin, Lucas Christopher, Leder-Luis Jetson, Kushner Gadarian Shana, Albertson Bethany, Rand David G. (2014), Structural Topic Models for Open-Ended Survey Responses, „American Journal of Political Science”, vol. 58(4), s. 1064–1082, https://doi.org/10.1111/ajps.12103 | pl |
dc.references | Shadrova Anna (2021), Topic models do not model topics: epistemological remarks and steps towards best practices, „Journal of Data Mining & Digital Humanities”, 7595, https://doi.org/10.46298/jdmdh.7595 | pl |
dc.references | Shah Dhavan V., Cappella Joseph N., Neuman W. Russell (2015), Big Data, Digital Media, and Computational Social Science: Possibilities and Perils, „The ANNALS of the American Academy of Political and Social Science”, vol. 659(1), s. 6–13, https://doi.org/10.1177/0002716215572084 | pl |
dc.references | Skowronek Katarzyna (2006), Między sacrum a profanum: studium językoznawcze listów pasterskich Konferencji Episkopatu Polski (1945–2005), Kraków: Wydawnictwo Lexis. | pl |
dc.references | Skowronek Katarzyna (2007), Między sacrum a profanum, „Zeszyty Prasoznawcze”, nr 50(3–4), s. 191–192. | pl |
dc.references | Stubbs Michael (1996), Text and Corpus Analysis: Computer-Assisted Studies of Language and Culture, Oxford: Blackwell. | pl |
dc.references | Szwed Anna (2018), „Przyszłość ludzkości idzie przez rodzinę!”. Konstruowanie kryzysu rodziny w wypowiedziach Kościoła rzymskokatolickiego w Polsce – treści i funkcje, „Przegląd Religioznawczy”, t. 2, s. 81–96. | pl |
dc.references | Szwed Anna (2019), Typy legitymizacji w wypowiedziach hierarchów Kościoła rzymskokatolickiego w Polsce na temat gender i praw reprodukcyjnych, „Studia Socjologiczne”, t. 3, s. 81–108. | pl |
dc.references | Tang Jian, Meng Zhaoshi, Nguyen Xuan Long, Mei Qiaozhu, Zhang Ming (2014), Understanding the Limiting Factors of Topic Modeling via Posterior Contraction Analysis, [w:] Proceedings of the 31st International Conference on Machine Learning, vol. 32, New York: ACM, s. 190–198. | pl |
dc.references | Teddlie Charles, Tashakkori Abbas (2009), Foundations of mixed methods research: Integrating quantitative and qualitative approaches in the social and behavioral sciences, Los Angeles: Sage Publications. | pl |
dc.references | Underwood Ted (2019), Distant Horizons: Digital Evidence and Literary Change, Chicago: University of Chicago Press. | pl |
dc.references | Venugopalan Manju, Gupta Deepa (2022), An enhanced guided LDA model augmented with BERT based semantic strength for aspect term extraction in sentiment analysis, “Knowledge-Based Systems”, vol. 246, 108668. | pl |
dc.references | Vetulani Zygmunt, Vetulani Grażyna (2020), The case of Polish on its Way to Become a WellResourced-Language, [w:] Adda Gilles (red.), International conference on language technologies for all: enabling linguistic diversity and multilingualism worldwide. Proceedings of LT4All, Paris: UNESCO Headquarters, European Language Resources Association, s. 388–392. | pl |
dc.references | Wiedemann Gregor (2013), Opening up to Big Data: Computer-Assisted Analysis of Textual Data in Social Sciences, „Forum Qualitative Sozialforschung/Forum: Qualitative Social Research”, vol. 14(2), s. 332–357. | pl |
dc.references | Wiedemann Gregor (2016), Text mining for qualitative data analysis in the social sciences, New York–Berlin–Heidelberg: Springer. | pl |
dc.references | Woliński Marcin (2019), Morfeusz 2. Dokumentacja techniczna i użytkowa, http://download.sgjp.pl/morfeusz/Morfeusz2.pdf [dostęp: 21.01.2023]. | pl |
dc.contributor.authorEmail | Mandes, Sławomir - mandess@is.uw.edu.pl | |
dc.contributor.authorEmail | Karlińska, Agnieszka - agnieszka.karlinska@nask.pl | |
dc.identifier.doi | 10.18778/1733-8069.20.4.06 | |
dc.relation.volume | 20 | |