Xếp hạng, không xếp hạng, hay xếp hạng có trách nhiệm?

To Rank, Not to Rank, or to Rank Responsibly?

June 7, 2023

Theo: https://sfdora.org/2023/06/07/to-rank-not-to-rank-or-to-rank-responsibly/

Bài được đưa lên Internet ngày: 07/06/2023

Báo cáo Sự kiện Địa phương của DORAat10

Vào tháng 5/2023, DORA đã kỷ niệm 10 năm thành lập của nó với 2 phiên toàn thể và một chương trình phi tập trung dài 1 tháng các sự kiện địa phương được các thành viên cộng đồng từ khắp nơi trên thế giới tổ chức. Các nhà tổ chức sự kiện đã được trao lựa chọn viết các báo cáo ngắn gọn về các sự kiện của họ để tóm tắt các bài học và các khuyến nghị chính.

Của Güleda Doğan

Mạng lưới truyền thông học thuật đã tổ chức một sự kiện trên trực tuyến vào ngày 17/05/2023, để kỷ niệm 10 năm DORA. Sự kiện này nhằm để thảo luận tính phổ biến của các xếp hạng trong cộng đồng học thuật, bất chấp các nỗ lực của DORA để giải quyết những sai sót của chúng. Các diễn giả, Krystian Szadkowski, Emanuel Kulczycki, và Güleda Doğan, cùng với người điều tiết Zehra Taşkın, đã nói về tác động của các xếp hạng đối với chủ nghĩa tư bản học thuật (Academic Capitalism), các thực hành đánh giá, và các hệ lụy tiêu cực của việc chơi trò chơi trên hệ thống.

Webinar này đã bắt đầu bằng việc Zehra Taşkın giới thiệu sự kiện và nhấn mạnh tầm quan trọng của lễ kỷ niệm DORA. Cô đã giải thích các xếp hạng có ảnh hưởng mạnh như thế nào trong giáo dục đại học và có kết nối tới chủ nghĩa tư bản học thuật. Điều này đã dẫn tới một thảo luận sâu hơn về các thực hành đánh giá và các hệ thống xếp hạng.

Krystian Szadkowski, trợ lý giáo sư chuyên về các hệ thống giáo dục đại học, đã nói về mối quan hệ giữa chủ nghĩa tư bản học thuật và các xếp hạng. Ông đã giải thích các xếp hạng thúc đẩy chủ nghĩa tư bản học thuật như thế nào trên toàn cầu. Chủ nghĩa tư bản học thuật liên quan tới các hoạt động như thị trường trong giáo dục đại học, nơi các nhà nghiên cứu tìm kiếm vốn cấp và các cơ sở tập trung vào uy tín. Krystian đã thúc giục sự dịch chuyển khỏi các xếp hạng và phát triển các hệ thống khoa học vì lợi ích chung.

Emanuel Kulczycki đã thảo luận quy trình đánh giá trong giới hành lâm và những thách thức của nó. Ông đã chia sẻ các câu chuyện về các thực hành phi đạo đức và các sức ép các nhà nghiên cứu đối mặt. Emanuel đã nhấn mạnh nhu cầu cân bằng giữa lòng trung thành với các tổ chức và kỷ luật, đồng thời kêu gọi một quy trình đánh giá cân bằng và đạo đức hơn.

Güleda Doğan đã đề cập tới vấn đề trò chơi và điều khiển xếp hạng. Cô đã nhấn mạnh các lý do đằng sau việc điều khiển các xếp hạng đại học và việc thiếu minh bạch, các phương pháp luận nhất quán, và dữ liệu tin cậy trong các xếp hạng. Güleda đã khuyến khích một đánh giá toàn diện hơn những đóng góp của các trường đại học cho xã hội, thay vì chỉ dựa vào các xếp hạng.

Trong phiên hỏi đáp, những người tham gia đã nêu lên các điểm quan trọng. Krystian đã nhấn mạnh nhu cầu phải sử dụng các vị trí quyền lực để thuyết phục các nhà lãnh đạo trường đại học từ bỏ xếp hạng và thách thức sự kết hợp thối nát giữa chủ nghĩa tư bản học thuật và các hệ thống xếp hạng. Güleda và Emanuel đã nhấn mạnh tầm quan trọng của việc gợi ý các hệ thống lựa chọn thay thế và việc thúc đẩy minh bạch trong khoa học. Họ cũng đã cảnh báo chống lại các nhà xuất bản thương mại tiếp quản phong trào khoa học mở. Các thách thức các nhà nghiên cứu sự nghiệp sớm đối mặt và vai trò của các thước đo trong đánh giá của họ cũng đã được thảo luận.

Những hạn chế về xếp hạng trong việc thừa nhận các sự nghiệp và các trường đại học khác nhau, đặc biệt trong các khu vực lân cận, đã được đề cập tới. Những lo ngại đã được nêu lên về việc thiếu cân nhắc đối với nghiên cứu liên ngành trong các hệ thống xếp hạng. Những người tham gia đã nhấn mạnh tính không công bằng của các giáo sư đang chỉ được các thước đó phán xét trong khi các phương pháp luận giảng dạy đặt ra câu hỏi về tính hợp lệ của chính các thước đo đó.

Những người tham gia đã thừa nhận sự phổ biến của xếp hạng trong giới học thuật và mong muốn đo lường và so sánh bản thân và các cơ sở. Tuy nhiên, họ đã nhấn mạnh nhu cầu biến đổi môi trường cạnh tranh và đặt câu hỏi về sự phụ thuộc thái quá vào các hệ thống xếp hạng. Họ cũng đã thảo luận về cấu trúc phân tầng các trường đại học và sự thiếu hệ thống thực sự bình đẳng.

Minh bạch trong các phương pháp xếp hạng, tác động của tỷ lệ phản hồi đối với xếp hạng quốc gia và sự căng thẳng giữa việc thúc đẩy nghiên cứu liên ngành và đánh giá dựa trên ranh giới ngành cũng đã được thảo luận. Những người tham gia đã thừa nhận tính phức tạp của các vấn đề đó và các thách thức trong việc tìm ra một cách tiếp cận cân bằng.

Để kết luận, sự kiện trên trực tuyến đó đã đánh dấu kỷ niệm 10 năm tuyên bố DORA và đã cung cấp sự thấu hiểu trong việc đảm bảo tác động của xếp hạng trong cộng đồng học thuật. Các diễn giả đã thảo luận về mối quan hệ giữa chủ nghĩa tư bản học thuật, các thực hành đánh giá, và các hệ thống xếp hạng, nhấn mạnh các sai sót và các hệ lụy tiêu cực của chúng. Sự kiện này nhằm nâng cao nhận thức về tác hại của việc không ngừng theo đuổi thứ hạng cao hơn và khuyến khích đánh giá lại các thực hành đánh giá. Lễ kỷ niệm 10 năm DORA nhắc nhở chúng ta về những thách thức hiện hành trong đánh giá nghiên cứu và tầm quan trọng của các nỗ lực tập thể để định hình một hệ thống đánh giá công bằng hơn. Bằng việc thách thức xếp hạng từ vị thế sức mạnh, việc đề xuất các hệ thống lựa chọn thay thế, thúc đẩy tính minh bạch, và phấn đấu vì các quy trình đánh giá công bằng hơn, giới học thuật có thể tạo ra môi trường coi trọng tư duy phản biện, tính công bằng, và lợi ích chung.

A DORAat10 Local Event Report

In May 2023, DORA celebrated it’s 10th Anniversary with two plenary sessions and a decentralized weeklong program of local events organized by community members from around the world. Event organizers were given the option to write brief reports on their events that summarize key takeaways and recommendations.

By Güleda Doğan

The Scholarly Communication Network organized an online event on May 17, 2023, to celebrate the 10th anniversary of DORA. The event aimed to discuss the popularity of rankings in the academic community, despite DORA’s efforts to address their flaws. The speakers, Krystian Szadkowski, Emanuel Kulczycki, and Güleda Doğan, along with moderator Zehra Taşkın, talked about the impact of rankings on academic capitalism, evaluation practices, and the negative consequences of gaming the system.

The webinar started with Zehra Taşkın introducing the event and emphasizing the importance of DORA’s anniversary. She explained how rankings have a strong influence in higher education and are connected to academic capitalism. This led to a deeper discussion about evaluation practices and ranking systems.

Krystian Szadkowski, an assistant professor specializing in higher education systems, talked about the relationship between academic capitalism and rankings. He explained how rankings promote academic capitalism globally. Academic capitalism involves market-like activities in higher education, where researchers seek funding and institutions focus on prestige. Krystian urged a shift away from rankings and the development of science systems for the common good.

Emanuel Kulczycki discussed the evaluation process in academia and its challenges. He shared stories of unethical practices and the pressures faced by researchers. Emanuel emphasized the need to balance loyalty to institutions and disciplines and called for a more ethical and balanced evaluation process.

Güleda Doğan addressed the issue of ranking games and manipulations. She highlighted the reasons behind manipulating university rankings and the lack of transparency, consistent methodologies, and reliable data in rankings. Güleda encouraged a more comprehensive evaluation of universities’ contributions to society, rather than relying solely on rankings.

During the Q&A session, participants raised important points. Krystian emphasized the need to use positions of power to convince university leaders to abandon rankings and challenge the corrupt combination of academic capitalism and ranking systems. Güleda and Emanuel stressed the importance of suggesting alternative systems and promoting transparency in science. They also warned against commercial publishers taking over the open science movement. The challenges faced by early career researchers and the role of metrics in their evaluation were also discussed.

The limitations of rankings in recognizing different careers and universities, particularly in peripheral regions, were addressed. Concerns were raised about the lack of consideration for interdisciplinary research within ranking systems. Participants highlighted the unfairness of professors being judged solely by metrics while teaching methodologies that question the validity of those same metrics.

Participants acknowledged the prevalence of rankings in academia and the desire to measure and compare oneself and institutions. However, they emphasized the need to transform the competitive environment and question the excessive reliance on ranking systems. They also discussed the hierarchical structure of universities and the absence of a truly equal system.

Transparency in ranking methodologies, the impact of response rates on country rankings, and the tension between promoting interdisciplinary research and evaluating based on disciplinary boundaries were also discussed. Participants recognized the complexity of these issues and the challenges in finding a balanced approach.

In conclusion, the online event marked the 10th anniversary of the DORA declaration and provided insights into the enduring influence of rankings in the academic community. The speakers discussed the relationship between academic capitalism, evaluation practices, and ranking systems, highlighting their flaws and negative consequences. The event aimed to raise awareness about the harm caused by the relentless pursuit of higher rankings and encouraged a reevaluation of evaluation practices. The 10th anniversary of DORA reminds us of the ongoing challenges in research assessment and the importance of collective efforts to shape a more equitable assessment system. By challenging rankings from positions of power, proposing alternative systems, promoting transparency, and striving for fairer evaluation processes, academia can create an environment that values critical thinking, fairness, and the common good.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com