From
declaration to global initiative: a decade of DORA
May 18, 2023
Theo:
https://sfdora.org/2023/05/18/from-declaration-to-global-initiative-a-decade-of-dora/
Bài được đưa lên Internet ngày:
18/05/2023
Khi kết thúc lễ kỷ niệm 10 năm thành
lập vào tháng 5 năm 2023 này, chúng tôi sẽ nhìn lại quá
trình phát triển của mình từ một tuyên bố về các
nguyên tắc thành một sáng kiến toàn cầu về đánh giá
nghiên cứu có trách nhiệm và các vấn đề rộng lớn
hơn trong đánh giá nghiên cứu mà DORA đã tìm cách giải
quyết.
Vì sao tuyên bố về đánh giá nghiên
cứu?
“Khi các biện pháp định lượng có tác
động quá lớn đến cách mọi người được khen thưởng,
nó có thể làm tăng sự cám dỗ để tập trung vào một
nhóm các hoạt động hẹp và giảm đầu tư vào những
thành tích có ý nghĩa nhưng ít được khen thưởng hơn.”
Tóm tắt Xu
hướng Hệ thống & Nhận thức Ngoài ý muốn của
DORA
Khi Tuyên bố San
Francisco về Đánh giá Nghiên cứu
- DORA (Declaration on Research Assessment) đã được phác thảo
năm 2012, việc xuất bản trên các tạp chí uy tín với
Yếu tố Tác động của Tạp chí - JIF (Journal Impact
Factor) cao từng, và đối với nhiều người vẫn là, một
trong những cơ chế chính để phán xét “tác động” và
“chất lượng” công việc của một nhà
nghiên cứu. DORA ban đầu có ý định giải quyết
tác động quá đáng mà JIF, một thước đo mức tạp chí,
khi đã
sử dụng sai để đánh
giá chất lượng các bài báo nghiên cứu cá nhân. Dù
JIF có thể bị bóp
méo và biến động xuyên các ngành, nó vẫn là một
thước
đo được sử dụng thường xuyên để thông tin cho
các quyết định xung quanh việc thuê làm, thăng tiến,
nhiệm kỳ, và cấp vốn. Việc sử dụng phổ biến các
biện pháp đo lường chất lượng ủy nhiệm không phù
hợp, như JIF, dẫn đến chu kỳ “xuất bản hay là chết”
làm giảm giá trị những đóng góp học thuật như sự
tham gia với cộng đồng địa phương; tính chặt chẽ và
khả năng tái sản xuất; tạo ra tài sản trí tuệ và
phần mềm; cố vấn; phục vụ học thuật; và làm việc
để cải thiện sự đa dạng, công bằng và hòa nhập.
Mặc dù những người khác đã nêu vấn đề với JIF,
DORA là sáng kiến cộng tác đầu tiên giải quyết vấn
đề này.
Chính trong môi trường này, một nhóm các
nhà xuất bản và học giả có cùng chí hướng đã triệu
tập để giải quyết tình trạng lạm dụng JIF phổ biến
và việc đánh giá thấp các đóng góp học thuật khác
trong thực tiễn đánh giá nghiên cứu. Nhóm Thảo luận về
Yếu tố Tác động đã tập hợp lại lần đầu tiên tại
cuộc Họp Thường niên của Hiệp hội Sinh học Tế bào
Mỹ (ASCB) và Tổ chức Sinh học Phân tử châu Âu (EMBO),
đã làm việc để phác thảo DORA trong vài tháng. Tuyên bố
này cuối cùng đã được xuất bản vào tháng 5/2013 với
155 cá nhân và 82 tổ chức ký kết bao gồm các nhà cấp
vốn nghiên cứu, các nhà xuất bản, và các hiệp hội
nghề nghiệp. Trong khi DORA đưa ra 18
khuyến nghị để cải thiện các
thực hành đánh giá nghiên cứu
cho các cơ quan cấp vốn, các cơ
sở, các nhà xuất bản, các tổ chức cung cấp các thước
đó, và cho các nhà nghiên cứu,
nó có lẽ được biết tới nhiều nhất về sự nghiêm
ngặt chung đầu tiên của nó: “Không sử dụng các thước
đo dựa vào tạp chí, như các Yếu tố Tác động của
Tạp chí, như là biện pháp thay thế chất lượng các bài
báo nghiên cứu cá nhân, để đánh
giá những đóng góp của cá nhân nhà
khoa học, hoặc trong việc thuê làm, thăng tiến, hoặc các
quyết định cấp vốn”.
Sau xuất bản của nó vào năm 2013, một
nhóm những người tình nguyện bắt đầu biến tuyên bố
đó thành điểm tập hợp cho phong trào đánh giá nghiên
cứu có trách nhiệm, thu thập các chữ ký của các cá
nhân và tổ chức để thể hiện sự ủng hộ và đoàn
kết rộng khắp trong cộng đồng học thuật. Các nỗ lực
đó đã được nhiều thành viên sáng lập dẫn dắt, bao
gồm Bernd Pulverer, Stefano Bertuzzi, Mark Patterson, và Sandy
Schmid, cộng với các nhà biện hộ khác như Stephen Curry
và Cationa MacCallum. Sau 5 năm tập hợp
liên minh ủng hộ, DORA đã thu thập được các chữ ký
từ 500 tổ chức và 12.000 cá nhân. Đã tới lúc
thực hiện sự thay đổi và hướng tới việc xúc tác
cho hành động theo một cách thức cụ thể hơn.
Đưa việc biện hộ vào thực tiễn
Vào tháng 2/2018 đã được công
bố rằng DORA sẽ tăng cường các nỗ lực của nó
thông qua hành động trực tiếp được thực hiện bằng
việc cấp vốn và ủng hộ bằng hiện vật từ ASCB,
Cancer Research UK, the Company of Biologists, eLife, EMBO, F1000,
Hindawi, PLOS, và Wellcome. Điều này đã đi cùng với việc
khởi xướng website DORA và tuyển dụng nhân viên toàn
thời gian đầu tiên của DORA, Anna Hatch, người sau này đã
trở thành Giám đốc Chương trình đầu tiên và là người
xúc tác chính của DORA, người đã thúc đẩy DORA trong
hành động. Curry đã được bổ nhiệm là Chủ tịch của
DORA vào tháng 10/2018.
“Tôi nghĩ việc thay đổi văn hóa bén
rễ và phát triển hiệu quả nhất khi các cộng đồng
tham gia. Sự phát triển của DORA từ một tuyên bố ý
định thành một sáng kiến toàn cầu là biểu tượng sức
mạnh của thay đổi văn hóa. Bằng việc đưa các quan
điểm và triển vọng khác nhau vào một hệ sinh thái học
thuật cùng nhau để tạo thuận lợi cho việc chia sẻ
kiến thức, và bằng việc xây dựng liên minh, như nhóm
thảo luận của các nhà cấp vốn, DORA thể hiện rằng
sự thay đổi có hiệu ứng xúc tác”.
Anna Hatch, Giám đốc Chương trình của
DORA từ 2018-2022
Triệu tập, xây dựng liên minh và mở
rộng phạm vi
Việc giành
được vốn cấp để tuyển dụng nhân viên có kỹ
năng và chuyên tâm hỗ trợ toàn thời gian cho sứ mệnh
của DORA là không thể thiếu cho tổ chức này phát
triển thành một sáng kiến toàn cầu. Từ 2018 tới 2022,
Hatch đã khéo léo mở ra một kỷ nguyên mới của DORA,
được đặc trưng bởi không chỉ số lượng người ký
tên tăng lên mà còn là khả năng tiếp cận, vận động
và xây dựng liên minh nhiều hơn trong cộng đồng học
thuật rộng lớn hơn. Giai đoạn này cũng là lúc DORA đã
củng cố các thủ tục điều hành của mình và đã với
ra ngoài châu Âu và châu Mỹ. Vào năm 2018, Hatch
đã khởi động lễ kỷ niệm 5 năm DORA với một loạt
các cuộc phỏng vấn sống động với các thành viên
nổi bật của cộng đồng, những người làm việc để
triển khai đánh
giá nghiên cứu có
trách nhiệm tại các cơ
sở của họ. Vào năm 2019, DORA cũng đã tổ chức một
cuộc họp chung với Viện Y học Howard Hughes (HHMI) Dẫn
dắt Thay đổi Cơ sở cho Cải cách Đánh giá Nghiên cứu
mà đã triệu tập một nhóm các học giả từ khắp nơi
trên thế giới. Nhóm này đã khai phá các cách tiếp cận
thực tiễn và các chiến lược để làm giảm sự phụ
thuộc vào JIF và các đo đếm ủy nhiệm chất lượng
không phù hợp, thảo luận cách thức các cơ sở có thể
điều chỉnh các chính sách và các thực hành đánh
giá của họ cho phù hợp với các giá trị của họ, và
cách để xây
dựng cộng đồng hỗ trợ cho những thay đổi đó về
lâu dài. Điều này còn được bổ sung bởi loạt
bài đăng trên blog Bình luận của Người
tham gia năm 2019 và báo cáo năm 2020 Văn
hóa nghiên cứu: Thay đổi cách chúng ta đánh giá nghiên
cứu là khó, nhưng không phải là không thể.
Dựa trên động lực của cuộc họp
chung, rõ ràng là có mong muốn thúc đẩy sự thay đổi,
nhưng lại thiếu các diễn đàn để các thành viên cộng
đồng tập hợp lại nhằm thảo luận hiệu quả về cách
thực hiện cải cách trong lĩnh vực của họ. Để đáp
ứng nhu cầu này, vào năm 2020 DORA đã khởi xướng Cộng
đồng Thực hành đầu tiên của nó, Nhóm
Thảo luận của Nhà cấp vốn Nghiên cứu, cho các nhà
cấp vốn nghiên cứu công và tư. Hai nhóm các nhà cấp
vốn song song, một cho khu vực châu Á - Thái bình dương
và một cho các khu vực châu Phi, châu Mỹ, và châu Âu,
bây giờ họp ảo mỗi quý.
“DORA đã sớm nhận ra tầm quan trọng
của đại diện khu vực và đó là chìa khóa cho sự tham
gia nghiêm túc, ví dụ, ở châu Á - Thái bình dương”
Ginny Barbour, Phó Chủ tịch
DORA
Các nhóm thảo luận của các nhà cấp vốn
cung cấp không gian để thảo luận về các chính sách và
thực hành đánh giá mới. Trong các cuộc họp nhóm thảo
luận của các nhà cấp vốn, chúng tôi ngày càng nghe được
rằng các nhà cấp vốn đã có quan tâm trong việc đổi
mới - ví dụ, thông qua việc triển khai các CV dạng tường
thuật cho việc cấp vốn cho các ứng viên. Vì nhóm này
đã chú ý tới việc tránh tái tạo lại các cạm bẫy và
định kiến có liên quan tới các CV truyền thống hơn,
DORA và Tổ chức Cấp vốn cho Cộng đồng Thực hành Bình
đẳng giới (FORGEN
CoP) đã đồng tổ chức hai hội thảo dành cho các nhà
cấp vốn nghiên cứu. Dựa vào thảo luận từ các hội
thảo đó, một báo
cáo ngắn đã được xuất bản đưa ra các bài học
chính và các hành động được khuyến
nghị. Để điều chỉnh phù hợp với các định nghĩa
chung và các trường hợp điển hình, DORA cũng đã đồng
tổ chức 2 hội thảo của các nhà
cấp vốn với FORGEN CoP, Nghiên cứu và Đổi mới của
Vương quốc Anh (UKRI), và Quỹ Khoa học Quốc gia Thụy Sĩ.
Các bài học chính từ các hội thảo đó đã được chia
sẻ trong một báo
cáo trên blog mà đã đưa ra các nguyên tắc sử dụng
các CV tường thuật trong đánh
giá trợ cấp. Công việc của DORA xung quanh các CV dạng
tường thuật đang tiếp diễn và sẽ tập trung vào việc
kiểm tra các kết quả triển khai thông qua thử nghiệm.
Theo sau thành
công của các nhóm thảo luận của các nhà
cấp vốn, vào năm 2021 DORA đã triệu tập Nhóm Thảo luận
các
Sáng kiến Quốc gia và Quốc tế theo từng quý. Nhóm
này gồm các tổ chức và các sáng kiến, tương tự DORA,
đang biện hộ cho cải cách đánh
giá nghiên cứu và giúp tránh đúp bản công việc và hỗ
trợ hành động tập thể.
Cuối cùng,
các nhà nghiên cứu và
các nhân viên xúc tác cho nghiên cứu ở các cơ
sở học thuật cũng đã bày tỏ mong muốn có một không
gian cộng đồng để thảo luận về các thách thức, đổi
mới sáng tạo, và các cơ hội cho hành động tập thể.
Để đáp ứng nhu cầu này, chúng tôi lập kế hoạch tạo
ra một Cộng đồng Thực hành cho các thành viên từ các
cơ sở học thuật vào cuối năm nay.
Phát triển tài nguyên và xây
dựng nhận thức
Cải cách
đánh giá nghiên
cứu là vấn
đề hệ thống chỉ có thể được giải quyết bằng
hành động tập thể của tất cả các tác nhân trong hệ
sinh thái học thuật. Để hỗ trợ cho điều này, vào năm
2020 DORA đã thành lập thư viện các tài nguyên với cả
các
tài
nguyên được
DORA và cộng đồng tạo ra để hỗ trợ thay đổi
xuyên khắp dải rộng lớn các tác nhân, bao gồm các nhà
xuất bản, nhà
cấp vốn, và các viện nghiên cứu. Từ 2020, DORA đã sản
xuất và đồng sản xuất một số tài nguyên chính cho
dải rộng lớn các nhu cầu và khán thính phòng. Cân
bằng, rộng lớn, có
trách nhiệm: Hướng dẫn thực hành cho những người đánh
giá nghiên cứu là một video
và máy nhắn tin được đồng tạo lập với Quỹ Nghiên
cứu Quốc gia Luxembourg
để cung cấp các gợi ý về các thực hành tốt nhất
cho những người rà soát lại trợ cấp. Cộng tác với
Ruth Schmidt, Giáo sư Thỉnh giảng tại Viện Thiết kế
trong Viện Công nghệ Illinois, DORA đã xuất bản một loạt
các tài nguyên cho các cơ
sở học thuật, bao gồm: phiếu
đánh giá SPACE,
tóm tắt các Khuynh
hướng Hệ thống Nhận thức Không mong đợi
và tóm tắt các Ý
tưởng cho Hành động.
Khi một số các tổ chức học thuật tìm
cách triển khai các thực hành đánh giá nghiên cứu có
trách nhiệm đã gia tăng, có quá nhiều yêu cầu về các
ví dụ cải cách trong hành động cụ thể. Để đáp ứng
nhu cầu này, DORA, Hiệp hội các trường đại học châu
Âu (EUA), và SPARC Europe đã khởi xướng kho lưu trữ các
trường hợp điển hình “Hình
dung lại đánh
giá học thuật: các câu chuyện đổi mới sáng tạo và
thay đổi” trong năm 2020. Đến
tháng 5/2023, kho này có 13 trường hợp điển hình các quy
trình thay đổi thực tế.
Kho các trường hợp điển hình không là
tài nguyên duy nhất DORA đã tạo ra và cung cấp các ví dụ
cụ thể về các quy trình thay đổi ở các cơ sở học
thuật. Vào năm 2021, DORA đã được trạo trợ cấp 3 năm,
1,2 triệu USD từ Arcadia - một quỹ từ thiện của Lisbet
Rausing và Peter Baldwin. Việc cấp vốn hào phóng này hỗ
trợ cho các Công cụ để Cải thiện Đánh giá Nghiên cứu
- TARA (Tools
to Advance Research Assessment), một sự cộng tác với
Sarah de Rijcke, Giáo sư về Khoa học và Nghiên cứu Đánh
giá và là giám đốc của Trung tâm Nghiên cứu Khoa học
và Công nghệ (CWTS) ở Đại học Leiden, và Ruth Schmidt.
Các thành viên nhóm Dự án TARA cũng gồm Stephen Curry
(DORA), Alex Rushforth (CWTS), Marta Sienkiewicz (CWTS), và Haley
Hazlett (DORA). Dự án TARA gồm 3 kết quả đầu ra chính:
Hỗ trợ trực tiếp
Trong năm
2021, DORA đã thực hiện các bước đầu tiên của nó để
cung cấp hỗ trợ tài chính, trực tiếp cho các thành viên
cộng đồng làm việc để hỗ trợ cho các chính sách và
thực hành đánh
giá nghiên cứu có
trách nhiệm, bằng việc khởi xướng thí điểm Chương
trình Trợ cấp Tham gia Cộng đồng. Trong năm 2022, 10
nhóm từ 9 quốc gia đã được trao vốn cấp cho các dự
án trải từ nâng
cao nhận thức và xây
dựng liên minh, khảo
sát thái độ hướng tới đánh
giá nghiên cứu, tạo lập các khung đánh giá, và nhiều
hơn nữa (đọc báo
cáo của họ ở
đây). Chương trình Trợ cấp Tham gia Cộng đồng đã
trang bị cho biện hộ và thay đổi theo cách thức đặc
thù ngữ cảnh, thể hiện rằng DORA có thể đóng vai trò
trực tiếp hơn trong việc xúc tác thay đổi.
Ngoài việc không khuyến khích JIF:
Đánh giá nghiên cứu có trách nhiệm, công
bằng và tính mở
Dù bản thân tuyên bố là một sản phẩm
của thời của nó và không nêu rõ “công bằng” hay
“uyên thâm mở”, các thực hành đánh giá nghiên cứu
có trách nhiệm có liên quan chặt chẽ với nhau. Vào năm
2020, Hatch, Curry và Barbour đã tiến hành xem xét kỹ Sự
giao
cắt
giữa DORA, uyên thâm mở, và công bằng: “Ở đây
chúng tôi xem xét sự giao cắt ngày một gia tăng giữa
DORA và phong trào uyên thâm mở. Bằng việc làm rõ sự
điều chỉnh phù hợp các giá trị và nguyên tắc chống
trụ cho các nỗ lực đó, chúng tôi thấy rằng chúng làm
nảy sinh các câu hỏi sống còn về công bằng và hòa
nhập toàn diện trong nghiên cứu phải là trung tâm để
cải cách trong các tổ chức nghiên cứu và cộng đồng
học thuật rộng lớn hơn”.
Giao
cắt giữa DORA, uyên thâm mở, và công bằng
DORA cũng đã
cố gắng đưa
ra các tiêu chuẩn hòa nhập toàn diện của riêng nó,
công bố trong năm 2022 sự tái cấu trúc các thủ tục
điều hành của chúng tôi để tái phân phối sức mạnh
vượt ra khỏi châu Âu và Bắc Mỹ trong Ban Chỉ đạo và
làm giảm các rào cản tài chính cho các tổ chức trong
các nền kinh tế
đang phát triển và chuyển
đổi quá độ có mong muốn hỗ trợ DORA. Ban
Chỉ đạo bây giờ bao gồm các thành viên từ hơn 15
quốc gia khắp Bắc và Nam Mỹ, châu Phi, châu Âu, và Châu
Á - Thái bình dương. Đọc thêm về việc tái cấu trúc
điều hành DORA trong bài Mười
năm DORA của Curry 2023.
Tương
lai của đánh
giá nghiên cứu có
trách nhiệm
Trong khi DORA đã trải nghiệm qua giai đoạn
phát triển tăng cường về các khía cạnh mức độ phạm
vi và tầm với trong 5 năm qua, chúng tôi không giảm tốc.
Năm nay, chúng tôi đã công bố một kế
hoạch chiến lược (bản
dịch sang tiếng Việt) xác định 4 mục tiêu để cung
cấp khung công việc và trọng tâm cho công việc của
chúng tôi trong 3 năm tới. Trong những năm tới, chúng tôi
sẽ làm việc để:
Nâng cao nhận thức về các tác
động tiêu cực của các thực hành đánh giá nghiên cứu
mà quá phụ thuộc vào các thước đo không phù hợp, và
các tác động tích cực của các thực hành lựa chọn
thay thế
Tăng tốc phát triển các
biện pháp rõ ràng và cụ thể để cải cách đánh giá
nghiên cứu
Hỗ trợ biện hộ của cải
cách đánh giá nghiên cứu khắp trên thế giới
Đảm bảo việc cấp vốn cần
thiết để phổ biến sứ mệnh của DORA càng hiệu quả
và nhanh chóng càng tốt.
Thay đổi trên phạm vi toàn cầu và xuyên suốt vô số các tác nhân học thuật có thể là không thể nếu không có nhiều sáng kiến và các tổ chức có liên quan như Tuyên ngôn Leiden (bản dịch sang tiếng Việt), Các nguyên tắc Hong Kong về đánh giá các nhà nghiên cứu (bản dịch sang tiếng Việt), Diễn đàn Mỹ Latin về đánh giá nghiên cứu (FOLEC), Mạng lưới Quốc tế các Hiệp hội Quản lý Nghiên cứu (INORMS), và mới đây Liên minh về Cải thiện Đánh giá Nghiên cứu (CoARA). Khi chúng tôi kỷ niệm một thập kỷ của DORA, chúng tôi nhận thức được rằng vẫn còn nhiều việc phải làm. Việc thay đổi đánh giá nghiên cứu đòi hỏi các cách tiếp cận rộng khắp hệ thống và DORA sẽ tiếp tục cộng tác toàn cầu để hỗ trợ và dẫn dắt thay đổi hướng tới đánh giá nghiên cứu có trách nhiệm.
“DORA nợ
nhiều người, từ các nhà
cấp vốn gốc ban đầu trong phòng hội nghị ở San
Francisco trong năm
2012, cho tới các liên minh từ khắp nơi trên thế giới,
những người đã tụ tập đưa ra lời kêu gọi của
tuyên bố ‘cải thiện các cách thức ở đó kết quả
đầu ra nghiên cứu khoa
học được đánh
giá’.
Trong suốt 10 năm đầu của nó, DORA đã dịch chuyển cải
cách đánh giá
nghiên cứu sang giai đoạn trung tâm và đã cộng tác rộng
rãi để phát
triển các giải pháp thực tế. Thách thức cho những năm
tới là phải đảm bảo các giải pháp đó bén rễ sao
cho các thực hành đánh
giá của chúng ta phù hợp hoàn toàn với nguyện vọng cao
nhất tốt nhất mà nghiên cứu có để cung cấp cho nhân
loại”.
Stephen Curry, Chủ tịch
DORA
Ginny Barbour là
Phó Chủ tịch DORA
Haley Hazlett
là
Giám đốc
Chương trình Hành động của DORA
As we wind
down our tenth anniversary celebration this May 2023, we’re taking
a look back at our evolution from a statement of principles to a
global initiative for responsible research assessment, and the wider
issues in research assessment that DORA has sought to address.
Why a
declaration on research assessment?
“When
quantitative measures have an outsized impact on how people are
rewarded, it can increase the temptation to focus on a narrow set of
activities and reduce investment in other meaningful, but less
rewarded, achievements.”
DORA brief
Unintended
Cognitive & Systems Biases
When the San
Francisco Declaration on Research Assessment (DORA) was drafted in
2012, publishing in prestigious journals with a high Journal Impact
Factor (JIF) was, and for many still remains, one of the primary
mechanisms for judging the “impact” and “quality” of a
researcher’s work. DORA was derived initially to address the
oversized impact that the JIF, a journal-level metric, had when used
erroneously to assess the quality of individual research articles.
Though the JIF can be skewed
and variable across disciplines, it remains a frequently
used metric to inform decisions around hiring, promotion, tenure,
and funding. The pervasive use of inappropriate proxy measures of
quality, like the JIF, feed into a “publish or perish” cycle that
devalues scholarly contributions like engagement with local
communities; rigor and reproducibility; the generation of
intellectual property and software; mentorship; academic service; and
work to improve diversity, equity & inclusion. Though others had
raised issues with the JIF, DORA was the first collaborative
initiative to address it.
It was in this
environment that a group of like-minded publishers and academics
convened to address pervasive misuse of the JIF and the devaluing of
other scholarly contributions in research assessment practices. The
Impact Factor Discussion Group, which gathered for the first time at
the 2012 Annual Meeting of the American Society for Cell Biology
(ASCB) and European Molecular Biology Organization (EMBO), worked to
draft DORA over several months. The declaration was eventually
published in May 2013 with 155 individual signatories and 82
organizational signatories including research funders, publishers,
and professional societies. While DORA offers 18 recommendations for
improving research assessment practices for funding agencies,
institutions, publishers, organizations that supply metrics, and
researchers, it is perhaps best known for its first general
stricture: “Do not use journal-based metrics, such as Journal
Impact Factors, as a surrogate measure of the quality of individual
research articles, to assess an individual scientist’s
contributions, or in hiring, promotion, or funding decisions.”
After its
publication in 2013, a group of volunteers set out to make the
declaration a rallying point for the responsible research assessment
movement, collecting individual and organizational signatures to
demonstrate the widespread support and solidarity among the academic
community. These efforts were driven by many of the founding members,
including Bernd Pulverer, Stefano Bertuzzi, Mark Patterson, and Sandy
Schmid, plus other advocates such as Stephen Curry and Cationa
MacCallum. After five years of gathering a coalition of support, DORA
had collected signatures from 500 organizations and 12,000
individuals. It was time to make a change and move towards catalyzing
action in a more concrete fashion.
Putting
advocacy into practice
In February 2018
it was announced
that DORA would intensify its efforts through direct action made
possible by funding and in-kind support from ASCB, Cancer Research
UK, the Company of Biologists, eLife, EMBO, F1000, Hindawi, PLOS, and
Wellcome. This was accompanied by the launch of the DORA website and
hiring DORA’s first full time staff member, Anna Hatch, who went on
to become DORA’s first Program Director and a key catalyst who
propelled DORA into action. Curry was named Chair of DORA in October
2018.
“I think
culture change takes root and grows most efficiently when communities
are engaged. DORA’s evolution from a declaration of intent to a
global initiative is emblematic of the power of culture change. By
bringing different viewpoints and perspectives in the academic
ecosystem together to facilitate knowledge sharing, and by building
coalitions, such as the funder discussion group, DORA demonstrates
that change has a catalytic effect.”
Anna
Hatch, DORA Program Director from 2018-2022
Convening,
coalition building and expanding scope
Obtaining the
funding to hire skilled and dedicated staff to support DORA’s
mission fulltime was integral to the organization growing into a
global initiative. From 2018 to 2022,
Hatch deftly ushered in a new era of DORA characterized not only by
increased signatory numbers but Nalso more outreach, advocacy, and
coalition building within the broader academic community. This period
also was a time when DORA consolidated its governance procedures and
reached out beyond Europe and the Americas. In 2018, Hatch
kicked off DORA’s five-year anniversary with a live-interview
series featuring community members who were working to implement
responsible research assessment at their institutions. In 2019, DORA
also hosted a joint meeting with the Howard Hughes Medical Institute
(HHMI) Driving
Institutional Change for Research Assessment Reform
that convened a group of scholarly actors from around the globe. The
group explored practical approaches and strategies to reduce reliance
on the JIF and inappropriate proxy measures of quality, to discuss
how institutions might align their evaluation policies and practices
with their values, and how to build a community to support these
changes long-term. This was also complemented by a 2019 Participant
Commentary blog series and a 2020 report Research
Culture: Changing how we evaluate research is difficult, but not
impossible.
Building on the
momentum of the joint meeting it was clear that there was an appetite
to drive change, but a lack of forums for community members to gather
for productive discussions about how to implement reform in their
sectors. To meet this need, in 2020 DORA launched its first ever
Community of Practice, the Research
Funder Discussion Group, for public and private research funders.
Two parallel funder groups, one for the Asia-Pacific region and
another for the Africa, Americas, and Europe regions, now meet
virtually each quarter.
“DORA
realized early on the importance of regional representation and
that’s been key to serious engagement for example, in the
Asia-Pacific.”
Ginny
Barbour, DORA Vice-Chair
The funder
discussion groups provide a space to discuss new assessment policies
and practices. During the funder discussion group meetings, we
increasingly heard that funders were interested in innovating – for
example, through implementing narrative style CVs for funding
applicants. Because the group was keen to avoid recreating pitfalls
and biases associated with more traditional CVs, DORA and the Funding
Organisations for Gender Equality Community of Practice (FORGEN
CoP) co-organized two workshops for research funders. Based on
the discussion from these workshops, a short
report was published outlining key takeaways and recommended
actions. To align on shared definitions and use-cases, DORA also
co-organized two funder workshops with FORGEN CoP, UK Research and
Innovation, and the Swiss National Science Foundation. Key takeaways
from these workshops were shared in a blog
report that outlined common principles for the use of narrative
CVs in grant evaluation. DORA’s work around narrative-style CVs is
ongoing and will focus on testing the results of implementation
through experimentation.
Following the
success of the funder discussion groups, in 2021 DORA convened the
quarterly National
and International Initiatives Discussion Group. This group is
composed of organizations and initiatives, like DORA, that are
advocating for research assessment reform and is helping to avoid
duplication of work and support collective action.
Finally,
researchers and research-enabling staff at academic institutions have
also expressed a desire for a community space to discuss challenges,
innovations, and opportunities for collective action. To meet this
need, we plan to create a Community of Practice for members from
academic institutions later this year.
Resource
development and building awareness
Research
assessment reform is a systems
problem that can only be addressed by the collective action of
all actors in the scholarly ecosystem. To support this, in 2020 DORA
created a resource library with both community- and DORA-produced
resources to support change across a wide range of actors,
including publishers, funders, and research institutes. Since 2020,
DORA has produced or co-produced a number of key resources for a
broad range of needs and audiences. Balanced,
broad, responsible: A practical guide for research evaluators
is a video and one-pager co-created with the Luxembourg National
Research Fund to provide tips for best practices for grant reviewers.
In collaboration with Ruth Schmidt, Associate Professor at the
Institute of Design at the Illinois Institute of Technology, DORA has
published numerous resources for academic institutions, including:
The SPACE
rubric, Unintended
Cognitive Systems Biases brief and Ideas
for Action brief.
As the number of
academic organizations seeking to implement responsible academic
assessment practices has increased, so too has demand for concrete
examples of reform in action. To meet this demand, DORA, the European
University Association (EUA), and SPARC Europe launched the case
study repository “Reimagining
academic assessment: stories of innovation and change” in 2020.
As of May 2023, the repository includes 13 case studies of practical
change processes.
The case study
repository is not the only resource that DORA has created to provide
concrete examples of change processes at academic institutions. In
2021, DORA was awarded a 3-year, $1.2M grant from Arcadia – a
charitable fund of Lisbet Rausing and Peter Baldwin. The generous
funding supports Tools
to Advance Research Assessment (TARA), a collaboration with Sarah
de Rijcke, Professor in Science and Evaluation Studies and director
of the Centre for Science and Technology Studies (CWTS) at Leiden
University, and Ruth Schmidt. Members of the Project TARA team also
include Stephen Curry (DORA), Alex Rushforth (CWTS), Marta
Sienkiewicz (CWTS), and Haley Hazlett (DORA). Project TARA consists
of three key outputs:
Direct
support
In 2021, DORA
took its first steps to provide direct, financial support to
community members working to support responsible research assessment
policies and practices, by launching the pilot Community
Engagement Grants Program. In 2022, 10 teams from 9 countries
were awarded funds for projects ranging from awareness and coalition
building, surveying attitudes towards research assessment, creation
of frameworks for assessment, and much more (read their reports
here).
The Community Engagement Grants Program empowered advocacy and change
in a context-specific manner, demonstrating that DORA could play a
more direct role catalyzing change.
Beyond
discouraging the JIF: Responsible research assessment, equity and
openness
Although
the declaration itself is a product of its time and does not
explicitly mention “equity” or “open scholarship”,
responsible research assessment practices are intimately intertwined
with both. In 2020, Hatch, Curry and Barbour took a critical look at
The
intersections between DORA, open scholarship, and equity:
“Here we examine the growing interactions between DORA and the open
scholarship movement. By clarifying the alignment of the values and
principles that underpin both endeavors, we see that they raise vital
questions about equity and inclusion in research that must be central
to reform within research organizations and the wider scholarly
community.”
The
intersections between DORA, open scholarship, and equity
DORA has also
endeavored to live
up to its own standards of inclusion, announcing in 2022 a
restructure of our governance procedures to redistribute power
outside of Europe and North America on the Steering Committee and
reduce financial barriers for organizations in developing or
transitional economies that wish to support DORA. The Steering
Committee now includes members from over 15 countries across
North and South America, Africa, Europe, and the Asia-Pacific. Read
more about DORA’s governance restructuring in Curry’s 2023 piece
Ten
years of Dora.
The future of
responsible research assessment
While DORA has
experienced an intensive period of growth in terms of scope and reach
these past 5 years, we are not slowing down. This year, we announced
a strategic
plan that defines four objectives to provide the framework and
focus for our work over the next three years. In the coming years, we
will work to:
Increase
awareness of the
negative impacts of research assessment practices that are too
dependent on inappropriate metrics, and of the positive impacts of
alternative practices
Accelerate
the development of
clear and concrete measures to reform research assessment
Support
advocates of research
assessment reform worldwide
Secure
the funding needed to
deliver DORA’s mission as efficiently and as rapidly as possible.
Change on a
global scale and across so many scholarly actors would not be
possible without many related initiatives and organizations such as
the Leiden
Manifesto, the Hong
Kong Principles for assessing researchers, the Latin
American Forum for Research Assessment (FOLEC), International
Network of Research Management Societies (INORMS), and the new
Coalition on Advancing
Research Assessment (CoARA). As we celebrate a decade of DORA, we
are cognizant that there is still much to be done. Changing
research assessment requires system-wide approaches and DORA will
continue to collaborate globally to support and drive change towards
responsible research assessment.
“DORA owes
a great deal to a great many people, from the original founders in
that San Francisco conference room in 2012, to the allies from around
the world who have rallied to the declaration’s call ‘to improve
the ways in which the output of scientific research is evaluated’.
In its first 10 years, DORA has moved research assessment reform to
center-stage and collaborated widely to develop real solutions. The
challenge for the years ahead is to ensure these solutions take root
so that our assessment practices align fully with our highest
aspirations for the best that research has to offer humanity.”
Stephen
Curry, DORA Chair
Ginny
Barbour is DORA’s Vice-Chair
Haley
Hazlett is DORA’s Acting Program Director
Dịch: Lê Trung Nghĩa
letrungnghia.foss@gmail.com
_Vi-Cover.png)
