Identifying the factors contributing to quality of academic research in humanities and social sciences

Document Type : Original Article

Authors

1 Ph.D. Candidate of Higher Education Management, Allameh Tabataba'i, Tehran, Iran

2 Professor, Educational Administration and Planning Dept., Allameh Tabataba’I University, Tehran, Iran

3 Professor of Research Methods and Statistics, Faculty of Psychology and Educational Sciences, Allameh Tabataba’i University, Tehran, Iran.

4 Assistant professor Fuculty of Administration and Planning Psychology and Educational Sciences Allameh Tabataba'i University Tehran Iran

Abstract
Identifying the factors contributing to quality of academic research in humanities and social sciences



Abstract

, identifying the factors contributing to quality of academic research, especially in humanities and social sciences, deserves special attention. Given differences in research quality criteria in different fields, the present study adopted the methods of systematic literature review and thematic analysis to identify the dominant values and themes relevant to research quality in humanities and social sciences. Within the systematic literature review, all the related researchers were retrieved from international and national databases and then filtered. The criteria and themes influencing research quality were extracted from a select number of related researches. The extracted criteria were coded in three stages. This yielded three categories, namely inclusive themes, organizing themes, and basic themes. The themes were validated through consultation with the experts in humanities and social sciences. According to the results, inclusive themes included the research infrastructure, organizational climate, accurate scientific plan, scientific desirability, research productivity, scientific influence and authority, innovative visualization. The results are expected to help researchers conduct quality research. Moreover, the findings can help enhance academic research management systems in their accurate evaluation of researches, particularly in humanities and social sciences.

Keywords: academic research quality, humanities and social sciences, systematic literature review, thematic analysis

Keywords


اتقیا، ن. (1391). بررسی کیفیت دوره‏های تحصیلات تکمیلی رشته تربیت‌بدنی و علوم ورزشی در دانشگاه‌های دولتی کشور از دیدگاه دانشجویان، اعضای هیئت‌علمی و مدیران این دوره‏ها، مطالعات مدیریت ورزشی، 16، 13-36.
احسانی، و.، اعطمی، م.، نجفی، س. و سهیلی، ف. (1396). اثربخشی پژوهش‌های فزاینده ایران در گسترش مرزهای دانش، فصلنامه مطالعات ملی کتابداری و سازمان‌دهی اطلاعات، 28 (2)، 123-140.
اسلامی، ز.، حکیم‏زاده، ر. صبوری، ع. (1397). مطالعه تطبیقی تبیین چارچوب‌های سنجش کیفیت پژوهش در نظام آموزش عالی ایران با کشورهای انگلیس، استرالیا، هلند، ایتالیا و هنگ‏کنگ. فصلنامه پژوهش در نظام‏های آموزشی، 12(42)، 59-76.
افشاری، م.، مهرام، ب. و نوغانی، م. (1392). بررسی و تدوین شاخص‌های ارزیابی کیفیت مقاله‏های علمی – پژوهشی در حوزه علوم انسانی مبتنی بر نظریه هنجارهای علم مرتون. سیاست علم و فناوری، 6 (1)، 49-66.
باقرزاده، ع.، و کمیجانی، ا. (1391). محاسبه نرخ بازده نهایی سرمایه‌گذاری در تحقیق و توسعه بخش کشاورزی. اقتصاد و توسعه کشاورزی (علوم صنایع کشاورزی)، 26 (2)، 79-85.
بالغی د.، صدیقه، ضامنی، ف. و تقوایی یزدی، م. (1398). ارائه مدل تأثیر اخلاق پژوهشگری بر کیفیت پژوهش اعضای هیئت‌علمی. مجله دانشگاه علوم پزشکی بابل، 21، 223-229.
پاریاد، ر. (1387). چالش‏های فراروی تحقیقات در حوزه علوم انسانی. کنگره ملی علوم انسانی، تهران، پژوهشگاه علوم انسانی و مطالعات فرهنگی،
پیرحقی، م. و صبوری، ع. (1393). اندازه بحرانی گروه‌های پژوهشی و بررسی آن در ایران. نشاء علم، 5 (1)، 5-11.
چوپانی، م. و نعیمی، ا. (1394). بررسی نگاه پژوهشی دانشجویان و تعهد علمی – اخلاقی آن‌ها. فصلنامه فرهنگ مشاوره و روان‌درمانی، 21 (6)، 109-124.
حسنی، غ.، مراثی، م. و نورمحمدی، ح. (1399). تحلیل و تدوین شاخص‌های ارزیابی کیفیت مقالات علمی پژوهشی هنر، مبتنی بر نظریه هنجارها و ضد هنجارهای علم. پژوهشنامه علم‌سنجی، 6 (11)، 1-20.
خسروی، م. و پورنقی، ر. (1398). ابعاد اثرگذاری پژوهش: مطالعه مرور سیستماتیک، پژوهش‌نامه علم‌سنجی، 5(1)، 203-224.
خورشیدی، غ. و پیشگاهی، ش. (1391). پیش‌نیازها و موانع تحقیق توسعه علوم انسانی میان‌رشته‌ای. مطالعات میان‌رشته‌ای در علوم انسانی، 4(2)، 1-15.
داورپناه، م. (1389. چالش‏های علم‏سنجی در علوم انسانی، پژوهش‏نامه مبانی تعلیم و تربیت، 8 (2)، 1-30.
رضایی، م. و نوروزی چاکلی، ع. شناسایی و اعتبارسنجی شاخص‌های ارزیابی بهره‏وری پژوهشی پژوهشگران ایران، پژوهشنامه پردازش و مدیریت اطلاعات، 30 (1)، 3-39.
سلیمی، ق. و حسینی، ن. (1396). تبیین چارچوب تعالی پژوهش؛ گامی به‌سوی ارائه الگوی نظام ارزیابی کیفیت در آموزش عالی کشور. رهیافت، 65، 82-98.
شریفی، و.، مسگرپور، ب. و بصیرنیا، آ. (1399). کیفیت پژوهش‌های شیوع اختلال‌های روان‌پزشکی در ایران. مجله روان‌پزشکی و روانشناسی بالینی ایران، 18 (2)، 138-149.
عابدجعفری، ح.، تسلیمی، م.، فقیهی، ا. و شیخ‏زاده، م. (1390). تحلیل مضمون و شبکه‏های مضامین: روشی ساده و کارآمد برای تبیین الگوهای موجود در داده‏های کیفی. اندیشه مدیریت راهبردی، 5 (2)، 151-198.
علوی، س.، رعنایی کردشولی، ح.، علیمحمدلو، م. و سلیمی، ق. (1399). طراحی الگوی حکمرانی دانشگاه نسل سوم با رویکرد مدل‏سازی ساختاری تفسیری جامع. مدیریت و برنامه‏ریزی در نظام‏های آموزشی، 26 (14)، 213-254.
غفورنیا، م.، قویدل جنبه سرایی، ش. و بهبودی، م. (1399). ارزیابی پویای عملکرد شبیه‏سازی کارت امتیازی متوازن مراکز آموزش عالی. مطالعات مدیریت راهبردی، 44، 187-220.
طالبی، ف.، جاهد، ح. و ساری‏خانی، ن. (1399). طراحی الگوی ارتقای کیفیت پژوهش در نظام آموزش عالی ایران. پژوهش‏های اخلاقی، 11 (2)، 145-157.
قلی‏پور، ر.، علی پور پیجانی، ا. و معادی رودسری، م. (1394). طراحی الگویی جهت ارزیابی سیاست پژوهی (مطالعه موردی: مرکز پژوهش‌های مجلس شورای اسلامی). فصلنامه مجلس و راهبرد، 22(82)، 267-294.
قنادی‏نژاد، ف. و حیدری، غ. (1399). روش‏ها و شاخص‌های ارزیابی تولیدات علمی در علوم انسانی و اجتماعی: مرور نظام‌مند. پژوهش‌نامه علم‌سنجی، 6 (2)، 203-230.
مجتبی‏زاده، م.، عباس‏پور، ع.، ملکی، ح. و فراست‏خواه، م. (1397). الگوی اعتبارسنجی و تضمین کیفیت نظام آموزش عالی ایران از دیدگاه خبرگان. فصلنامه پژوهش در نظام‏های آموزشی، 12 (42)، 7-24.
محمدی، ر.، زمانی‏فر، م. و صادقی‏مند، ف. (1394). ارزشیابی کیفیت عملکرد اعضای هیئت‌علمی در گروه‌های آموزشی مهندسی (بر مبنای گزارش‌های ارزیابی درونی). فصلنامه آموزش مهندسی ایران، 67، 91-111.
معروفی، ی.، یوسف‏زاده، م. و میرزایی‏فر، د. (1396). مؤلفه‏های ارزشیابی کیفیت برنامه درسی دوره کارشناسی پیوسته دانشگاه فرهنگیان، فصلنامه مطالعات اندازه‌گیری و ارزشیابی آموزشی، 23 (8)، 81-116.
Ahmad, S. (2013). Performance indicators for the advancement of Malaysian research with focus on social science and humanities. Procedia-Social and Behavioral Sciences, 68, 16-28.
Aksnes, D. & Elisabeth, T. (2004). Peer reviews and bibliometric indicators: A comparative study at Norvegian University. Research Evaluation, 13(1), 33–41
Arono, S. (2019) The effect of genre-based mentoring on rhetorical quality of research article drafts by Indonesian lecturers in social sciences and humanities, International Journal of Instruction, 12(3),1-16.
Attride-Stirling, J. (2001). Thematic Networks: An Analytic Tool for Qualitative Research, Qualitative Research, 1 (3), 385-405.
Baker, T. & Clark, J. (2017). Modifying status effects in diverse student groups in New Zealand tertiary institutions: Elizabeth Cohen’s legacy for teacher education. Journal of Education for Teaching, 43(3), 338–348.
Barker, C. & Pistrang, N. (2005). Quality Criteria Under Methodological Pluralism Implications for Conducting and Evaluating Research, American Journal of Community Psychology, 35 (3/4), 201-2012.
Baumeister, R. & Leary, M. (1997). Writing narrative literature reviews. Review of General Psychology, 1 (3), 311–320.
Bryman, A., Becker, C. & Sempik, J. (2007). Quality Criteria for quantitative,and Qualitative and Mixed methods Research: A View from Social Policy, International journal of Social Research Methodology, 11 (4), 261–276.
Chandler, V. (2019). Identifying emerging scholars: seeing through the crystal ball of scholarship selection committees. Scientometrics, 120 (1), 39–56.
DeLoach, S., Sizemore, E. & Borg, M. (2012). Creating quality undergraduate research programs in economics, how, when, where (and why), The American Economist, 57 (1), 96-110.
Ebadifar, A., Baradaran, M. & Eftekhari, M. (2017). How to Assess Quality of Research in Iran, From Input to Impact? Introduction of Peer-Based Research Evaluation Model in Iran, ARCHIVES OF IRANIAN MEDICINE, 20(11):680-685
Evans, C., Camille, K., Howson, A. & Corony, E. (2021) What constitutes high quality higher education pedagogical research? Assessment & Evaluation in Higher Education, 46 (4), 525-546
Eybe, H. & Schmidt, H. (2001). Quality criteria and exemplary papers in chemistry education research, International Journal of Science Education. 23 (2), 209- 225.
Finkenstaedt, T. (1990). Measuring research performance in the humanities, Scientometrics, 19 (5), 409-417.
Furlong, J. & Oancea, A. (2005). Assessing quality in applied and practice-based educational research: A framework for discussion. Australian Educational Researcher, 6, 89–104.
Hellqvist, B. (2010) ‘Referencing in the Humanities and its Implications for Citation Analysis’, Journal of the American Society for Information Science and Technology, 61 (2), 310–318.
Hemlin, S. (1993) Scientific Quality in the Eyes of the Scientist. A Questionnaire Study, Scientometrics, 27 (1), 3–18.
Heyeres, M., Tesy, k., Yang, Y. & Jiang, H. (2019). The characteristics and reporting quality of research impact case studies: A systematic review, Evaluation and Program Planning, 73, 10-23.
Hoffmann, W., Siering, U., Neugebauer, E., Lampert, U. & Eikermann, M. (2018). Systematic review of current guideline appraisals performed with the Appraisal of Guidelines for Research & Evaluation II instrument third of AGREE II users apply a cut-off for guideline quality, Journal of Clinical Epidemiology, 95, 120-127.
Hug, S. E., Ochsner, M. & Daniel, H. (2013). Criteria for assessing research quality in the humanities:
A Delphi study among scholars of English literature, German literature and art history, Research Evaluation, 22 (5), 369–383.
Joao, F., Santos, G., Simoes, R. & Silva, J. (2020). Practice-based design research knowledge production for quality assurance in design, International Journal for Quality Research 14 (2) 647–660.
Lamont, M. & Guetzkow, J. (2016). How quality is recognized by peer review panels: the case of the humanities. In Ochsner, M. Hug, S. E.; Daniel, H. D. (eds). Research Assessment in the Humanities. Towards Criteria and Procedures. Springer International Publishing: Cham, Switzerland, pp. 31-42.
 Lee. B. & Worthington, A. (2016). A network DEA quantity and quality-orientated production model: An application to Australian university research services, Omega 60, 26–33.
Lomer, S. & Jenna, M. (2021). Mapping the research on pedagogies with international students in the UK: a systematic literature review, Teaching in Higher Education, under press.
Lynch, H. Mohamed A., Megan B. & Justin C. (2020). Evaluating the Quality of Research Ethics Review and Oversight: A Systematic Analysis of Quality Assessment Instruments, AJOB Empirical Bioethics, 11 (4), 208-222.
Mertz, M. Inthorn, J. Renz, G. & Rothenberger, l. (2014). Research across the disciplines: a road map for quality criteria in empirical ethics research, BMC Medical Ethics, 18 (17), 2-14.
Miriam, D. (2008). research quality assessment and the metrication of the social sciences. European political science, 7 (1), 52-63.
Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. (2009). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. Annals of Internal Medicine, 151, 264–269.
Nazim Ali, S. Harold, C. & Nasser, M. (1996),Determining the quality of publications and research for tenure or promotion decisions, Library Review, Vol. 45 (1), 39 – 53.
Peruginelli, G. & Faro, S. (2018). Research Quality Evaluation: The Case of Legal Studies. In: Bonaccorsi A. (eds) the evaluation of research in social sciences and humanities. Springer, Cham, 103-129.
Popovic, S., Pekovic, S. & Matic, R. (2019). Research Quality Evaluation in Social Sciences: The Case of Criteria on the Conditions and Requirements for Academic Promotion in Serbia, Slovenia and Montenegro, Montenegrin Journal of Sports Science and Medicine, 8(2), 55-62.
Ochsner, M., Hug, S. & Daniel. H. (2014). Setting the stage for the assessment of research quality in the humanities. Consolidating the results of four empirical studies. Zeitschrift fur Erziehungswissenschaft, 17 (6), 111-132.
Ozga, J. (2008). Governing Knowledge: research steering and research quality, European Educational Research Journal, 7 (3), 261-272.
Rayson, K. Waddington, L. & Hare, D. (2021). The quality of research exploring in session Measures of CBT competence: A systematic review, Behavioral and Cognitive Psychotherapy, DOI: 10.1017/S1352465821000242, 1-17.
Reale, E., Avramov, D,, Canhial, K., Donovan, C., Flecha, R., Holm, P., Lepori, B., Mosoni-Fried, J. & Oliver, E. (2018).A review of literature on evaluating the scientific social and political impact of social sciences and humanities, Research Evaluation, 27(4),298–308.
Research Excellence Framework [REF] (2014). Retrieved from: https://www.ref.ac.uk/2014/media/ref/content/background /secondconsult/REFguide.pdf.
Streck, D. R., (2007). Participatory research methodologies and popular education: reflections on quality criteria, COMUNICAÇÃO SAÚDE EDUCAÇÃO; 20 (58):537-47.
SCImago (2013). SJR - SCImago Journal and Country Rank. Retrieved from http://www.scimagojr.com
Snyder, H. (2019). Literature review as a research methodology: An overview and guidelines, Journal of Business Research, 104, 333-339.
Sullivan, M. (2007) Research quality in physical education and sport pedagogy, Sport, Education and Society, 12 (3), 245-260.
Thelwall, M. & Delgado, M. (2015). Arts and humanities research evaluation: no metrics please, just data. Arts and humanities research evaluation, 71(4), 817-833.
Tracy, S. (2010). Qualitative Quality: Eight Big-Tent Criteria for Excellent Qualitative research qualitative Inquiry, 16 (10) 837–851.
Tranfield, D., Denyer, D., & Smart, P. (2003). Towards a methodology for developing evidence-informed management knowledge by means of systematic review. British Journal of Management, 14, 207–222.
Von NiederhaÈusern, B., Schandelmaier, S., Mi Bonde, M., Brunner, N., Hemkens, L. & Rutquist, M. (2017). Towards the development of a comprehensive framework: Qualitative systematic survey of definitions of clinical research quality, PLOS ONE 12 (7).
Waller, A., Forshaw, K., Bryant, J., Carey, M., Boyes, A. & Sanson-Fisher, R. (2015). Preparatory education for cancer patients undergoing surgery: A systematic review of volume and quality of research output over time, Patient Education and Counseling 98, 1540–1549.
Webber, K. L. (2011). Factors Related to Faculty Research Productivity and Implications for Academic Planners. Planning for higher education. 39 (4), 32-43.
Wickson, F. & Carew, M. (2014) Quality criteria and indicators for responsible research and innovation: learning from transdisciplinarity, Journal of Responsible Innovation, 1 (3), 254-273.
Wook, Y. Chang, K. & lee, S. (20117). Decision quality of the research project evaluation mechanism by using particle swarm optimization, Management Decision, 55 (4), 745-765.
Zhang, Q. (2019). Re-viewing quality of research on initial teacher education in Australia and New Zealand: a systematic review, Asia-Pacific Journal of Teacher Education,47 (1), 18-31.
Zuccala, A. (2018). Language, Culture and Traversing the Scholarly Evaluation Landscape. In A. Bonaccorsi (Ed.), The Evaluation of Research in Social Sciences and Humanities, Springer In‏ternational Publishing AG. 395-411.