О том, как не надо использовать наукометрию: злоупотребления и негативные эффекты количественной оценки исследований

Эта статья написана по большей части на основе книги: Gingras Y. Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie. P.: Éditions Raisons d’agir, 2014; Жэнгра И. Ошибки в оценке науки, или Как правильно использовать библиометрию. М.: НЛО, 2018. Впервые опубликована в: Gingras Y. Dérives et effets pervers de l’évaluation quantitative de la recherche: sur les mauvais usages de la bibliométrie // Recherche en soins infirmiers. 2015. № 121. P. 72–78. Перевод с французского Анной Зайцевой. © 2015 Association de Recherche en Soins Infirmiers.

В центре внимания данной статьи — механизмы формирования библиометрических показателей (прежде всего, импакт-фактора журналов и h-индекса исследователей), используемых для количественной оценки творческой продуктивности и академической влиятельности ученых и периодических изданий, вовлеченных в производство научного знания. Все возрастающая роль этих показателей в академическом мире связана со все бо́ льшим доминированием менеджерского подхода к высшему образованию и науке, основанного на неолиберальной логике эффективности и оптимизации затрат. Критический анализ алгоритмов, осуществляющих подсчет этих показателей, демонстрирует целый ряд асимметрий и ложных логических допущений, оказывающих негативное влияние на динамику научных исследований, — особенно в сфере социальных и гуманитарных наук. Так, например, общеизвестное рейтинговое отставание журналов по социогуманитарным наукам от естественно-научных журналов является результатом специфики подсчета импакт-фактора (среднеарифметического показателя количества упоминаний статей того или иного журнала за двухлетний период), не учитывающего различий в темпоральности развития естественнонаучного и социогуманитарного знания. При рассмотрении h-индекса и механизма его калькуляции могут быть зафиксированы не менее фундаментальные аксиологические изъяны в самом характере изначально предполагаемой связи между количественным индикатором и реальным значением работ того или иного ученого для области его исследований. Более того, вшитая в саму природу библиометрических показателей возможность манипуляций, с одной стороны, уже породила значительное количество уловок и схем, позволяющих конкретным исследователям и институциям повышать свой рейтинг, а с другой — стала использоваться университетскими и академическими администрациями в качестве инструмента, формально легализующего зачастую дискриминационные решения в распределении ресурсов.

1. Жэнгра И. Ошибки в оценке науки, или Как правильно использовать библиометрию. М.: НЛО, 2018.

2. Бурдьё П. О телевидении и журналистике. М.: Прагматика культуры, 2002.

3. Archambault É., Larivière V. History of Journal Impact Factor: Contingencies and Consequences // Scientometrics. 2009. Vol. 79. № 3. P. 639–653.

4. Bhattacharjee Y. Saudi Universities Offer Cash in Exchange for Academic Prestige // Science. Vol. 334. № 6061. P. 1344–1345.

5. Bourdieu P. Sur la télévision. P.: Raisons d’Agir, 1996.

6. Chiapello È., Padis M.-O. Écoles de Commerce: La Pression de L’Internationalisation // Esprit. 2012. P. 18–25.

7. Creagh S. Journal Rankings Ditched // The Conversation. 01.06.2011. URL: https://theconversation.com/journal-rankings-ditched-the-experts-respond-1598.

8. Gallois N. Les Conséquences Des Nouveaux Critères D’évaluation Des Chercheurs en Science Économique // L’Économie politique. 2013. Vol. 59. P. 98–112.

9. Gingras Y. How to Boost Your University up the Rankings // University World News. 2014. № 329. URL: http://universityworldnews.com/article.php?story=20140715142345754.

10. Gingras Y. Le classement de Shanghai n’est pas scientifique // La Recherche. № 430. P. 46–50. URL: http://ost.uqam.ca/Portals/0/docs/articles/2009/Evaluation.Recherche.pdf.

11. Gingras Y. Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie. P.: Éditions Raisons d’Agir, 2014. Ch. 4.

12. Gingras Y., Mosbah-Natanson S. La question de la traduction en sciences sociales: les revues françaises entre visibilité internationale et ancrage national // Archives européennes de sociologie. 2010. Vol. 51. P. 305–321.

13. Glänzel W., Moed H. F. Journal Impact Measures in Bibliometric Research // Scientometrics. 2002. Vol. 53. P. 171–193.

14. Hirsch J. E. An Index to Quantify an Individual’s Scientific Research Output // Proceedings of the National Academy of Sciences. 2005. Vol. 102. № 46. P. 16569–16572.

15. Journals Under Threat: A Joint Response From History of Science, Technology and Medicine Editors // Medical History. 2009. Vol. 53. № 1. P. 1–4.

16. Mercure S. et al. Socioéconomiques de la recherche financée par le gouvernement du Québec, via les Fonds subventionnaires québécois. Études de cas. Rapport présenté au ministère du Développement économique, de l’Innovation et de l’Exportation du Québec. 2007.

17. Pontille D., Torny D. Rendre publique l’évaluation des SHS: les controverses sur les listes de revues de l’AERES // Quaderni. 2012. № 77. P. 11–24.

18. Rovner S. L. New Types of Journal Metrics Grow More Influential in the Scientific Community // Chemical & Engineering News Archive. 2008. Vol. 86. № 21. P. 39–42. URL: http://pubs.acs.org/cen/science/86/8621sci1.html.

19. Saada A. L’évaluation et le classement des revues de sciences humaines par l’Agence de l’évaluation de la recherche et de l’enseignement supérieur (AERES) // Connexions. 2010. № 93. P. 199–204.

20. Science. Vol. 335. № 6072. P. 1040–1042.

21. Seglen P. O. Why the Impact Factor of Journals Should Not Be Used for Evaluating Research // British Medical Journal. 1997. № 314. P. 498–502.

22. Simpson W., Emery J. C.H. Canadian Economics in Decline: Implications for Canada’s Economics Journals // Canadian Public Policy. 2012. Vol. 38. P. 445–470.

23. Van Leeuwen T. N. Testing the Validity of the Hirsch-Index for Research Assessment Purposes // Research Evaluation. 2008. Vol. 17. P. 157–160.

24. Vanclay J. K. An Evaluation of the Australian Research Council’s Journal Ranking // Journal of Informetrics. 2011. № 5. P. 265–274.

25. Waltman L., Van Eck N. J. The Inconsistency of the H-Index // Journal of the American Society for Information Science and Technology. February 2012. Vol. 63. № 2. P. 406–415.