Peer-reviewed
preprints and the Publish-Review-Curate model
28/10/2024
Theo:
https://www.coalition-s.org/blog/peer-reviewed-preprints-and-the-publish-review-curate-model/
Bài được đưa lên Internet ngày:
28/10/2024
Mô hình xuất bản khoa
học truyền thống, được đặc trưng bởi các quyết
định biên tập mang tính kiểm soát, đã bị chỉ trích
ngày càng nhiều.
Những
người phản đối viện lý rằng mô hình này là quá
chậm, mù mờ, không công bằng, thiếu trình độ, bị áp
đảobởi một nhóm nhỏ các cá nhân, không hiệu quả, và
thậm chí lỗi thời.
Để
đáp lại các chỉ trích đó, hai lựa chọn thay thế đã
giành được thu hút được sự chú ý: các bài viết
trước in được rà soát lại ngang hàng và mô hình Xuất
bản - Rà soát lại - Giám tuyển - PRC (Publish-Review-Curate)
(Stern
& O’Shea, 2019 và Liverpool,
2023). Cả
hai mô hình chia sẻ hai bước chung:
Bước
1: Các tác giả quyết định
khi nào để các bài báo của họ sẵn sàng công khai bằng
việc ký gửi chúng như các bài báo trước in (preprint)
lên các máy chủ preprint hoặc các kho
lưu trữ mở của cơ
sở.
Bước
2: Các bài báo trước in
(preprint) sau đó chính
thức được rà soát lại bằng các dịch vụ chuyên dụng
(chẳng hạn như Review Commons, PREreview, Peer Community In
(PCI), v.v.), và các bản rà soát lại được làm cho truy
cập được công khai.
Mô hình Xuất bản - Rà soát lại - Giám
tuyển (PRC) bao gồm một bước bổ sung: giám tuyển.
Ở phần sau đây, chúng tôi sẽ hiểu giám tuyển các bài
báo như là một quy trình lựa chọn dẫn đến việc
trình bày các bài báo trong một bộ sưu tập
được một tạp chí hoặc dịch vụ khác tổ chức, một
định nghĩa sát với từ
điển tiếng Anh của Google được các ngôn ngữ Oxford
cung cấp. Lưu ý là vài đồng nghiệp sử dụng định
nghĩa giám tuyển mở rộng hơn, trải từ biên soạn đơn
giản đến chứng thực các bài báo (Corker
et al., 2024). Các dịch vụ giám tuyển nhất định (ví
dụ, các tạp chí) lựa chọn và kết hợp các preprint
được rà soát lại vào trong các bộ sưu tập được
giám tuyển của họ, cung cấp cho chúng một lớp nhận
dạng bổ sung mà các bản preprint không được giám tuyển
không nhận được.
Các bản preprint được rà soát lại ngang
hàng và mô hình Xuất bản - Rà soát lại - Giám tuyển
đang nhận được sự quan tâm ngày càng gia tăng từ nhiều
bên liên quan: các nhà cấp vốn (như, Liên minh S), các tổ
chức ủng hộ preprint (như, ASAPbio), các nhà xuất bản
(chẳng hạn như các nhà xuất bản tham gia hội thảo ‘Hỗ
trợ tính tương hợp của siêu dữ liệu rà soát lại
ngang hàng các bản preprint’ được tổ chức trong các
ngày 17-18/10 ở Hinxton Hall, Vương quốc Anh, được Europe
PMC và ASAPbio đồng tổ chức), và cả các tạp chí (ví
dụ, các tạp chí thân thiện với PCI).
Một ví dụ nổi bật của tổ chức áp
dụng mô hình Xuất bản - Rà soát lại - Giám tuyển (PRC)
là eLife (Hyde
et al., 2022). Trong mô hình này, các tác giả trước hết
ký gửi các bản preprint của họ và sau đó gửi chúng
tới eLife để rà soát lại ngang hàng. Sau một vòng rà
soát lại và thu phí xuất bản, eLife, từ 2023, đã loại
bỏ các quyết định chấp nhận/từ chối theo truyền
thống. Thay vào đó, nó tập trung vào việc rà soát lại
công khai và đánh giá biên tập định tính của các bản
preprint. Bản preprint được xuất bản trên website của
eLife như một “Preprint được Rà soát lại”, cùng với
bản đánh giá biên tập và rà soát lại công khai.
Một so sánh khác thường được thực
hiện với mô hình PRC là quy trình đánh giá Có Cộng
đồng Ngang hàng - PCI (Peer
Community In). Trong PCI, các tác giả xuất bản
các bài báo và các bản preprint của họ vào các kho lưu
trữ mở, gửi chúng tới một PCI theo chủ đề, và trải
qua một hoặc nhiều vòng rà soát lại ngang hàng. Sau đó,
họ nhận được quyết định biên tập cuối cùng (chấp
nhận/từ chối). Các bài báo được chấp nhận được
PCI khuyến nghị công khai, cùng với các bản rà soát lại
ngang hàng, các quyết định biên tập, và các câu trả
lời của tác giả. Quy trình của PCI phản ánh mô hình
PRC, với giám tuyển - được sự chấp nhận bản
precision và xuất bản văn bản khuyến nghị đánh dấu -
sau quá trình rà soát lại ngang hàng. Tuy nhiên, PCI chỉ
công khai các bản rà soát lại nếu bài báo được chấp
nhận.
Sự mơ hồ trong các bản preprint được
rà soát lại ngang hàng và mô hình PRC
Hai sự mô hồ chính làm mờ đi định
nghĩa cuaur các bản preprint được rà soát lại ngang hàng
và mô hình PRC:
1. Rà soát lại ngang hàng không nhất
thiết là xác nhận
Việc rà soát lại ngang hàng thường bị
lẫn lộn với một hệ thống xác nhận hoặc từ chối
các bài báo. Tuy nhiên, trong hầu hết các dịch vụ
preprint được rà soát lại ngang hàng, không quyết định
chính thức nào (xác nhận/không xác nhận) được đưa
ra, không giống như trong các tạp chí truyền thống. Một
bản preprint trải qua rà soát lại ngang hàng không được
phân loại như là “được xác nhận” hoặc “không
được xác nhận” chỉ dựa vào các rà soát lại. Rà
soát lại đơn giản cung cấp các quan điểm phản biện,
cả tích cực và tiêu cực, và nó duy trì tùy thuộc vào
độc giả diễn giải chúng. Ngoài ra, quy trình rà soát
lại ngang hàng vốn dĩ không đảm bảo chất lượng của
một bài báo. Nó cung cấp các ý kiến phản biện của
những người rà soát lại nhưng không cung cấp sự xác
nhận chắc chắn. Nó cung cấp cho độc qỉa các yếu tố
phản biện tích cực và tiêu cực ít nhiều dựa trên sự
hiểu biết ít nhiều toàn diện và ít nhiều đầy đủ.
Nó không là sự xác nhận mà là ý kiến của một hoặc
nhiều người rà soát lại về tất cả hoặc một phần
của bài báo.
Độc giả thường không thể đưa ra kết
luận về xác thực dựa trên các bản rà soát lại ngang
hàng vì chúng thường phức tạp và dài dòng, khiến chúng
khó hiểu đối với ít nhất một bộ phận độc giả.
Chỉ những chuyên gia dành thời gian để làm như vậy mới
có quyền truy cập chuyên môn hoàn toàn vào cuộc đối
thoại giữa những người đánh giá và các tác giả.
Ngoài ra, độc giả thường thiếu bối cảnh để đánh
giá chất lượng của các bài rà soát lại, vì họ không
thể đánh giá cách những người đánh giá được lựa
chọn, chuyên môn của họ về chủ đề này hoặc các
xung đột lợi ích tiềm ẩn của họ. Sự không rõ ràng
này trái ngược với vai trò của biên tập viên, những
người sở hữu thông tin này và đưa ra quyết định sáng
suốt về việc xác thực.
Hệ quả là, việc liệt kê, công bố, và
đánh dấu các bản preprint như là “được rà soát lại”
có khả năng sẽ làm phát sinh các vấn đề mới, vì các
độc giả có thể không có khả năng để diễn giải
đúng các bản rà soát lại ngang hàng và có thể nghĩ sai
rằng ‘được rà soát lại’ có nghĩa là ‘được xác
thực’.
Liên quan đến định nghĩa của một bản
preprint được rà soát lại ngang hàng, quan
điểm của Liên minh S là thú vị. Nó nêu rằng:
“các
ấn phẩm được rà soát lại ngang hàng'
– được
định nghĩa ở đây như là các tài liệu học thuật tuân
thủ với quy trình rà soát lại ngang hàng tiêu chuẩn độc
lập với tạp chí với sự xác thực rõ ràng hoặc ngầm
định - được hầu hết các tổ chức của Liên minh S
coi là có giá trị và tình trạng tương đương như là
các ấn phẩm được rà soát lại ngang hàng sẽ được
xuất bản trên một tạp chí hoặc một nền tảng được
công nhận”
Liên minh S đã bổ sung một lưu
ý để làm rõ “xác thực rõ ràng hoặc ngầm định”
là gì:
“Một
quy trình rà soát lại ngang hàng tiêu chuẩn được định
nghĩa như là việc thu hút ít nhất hai chuyên gia rà soát
lại tuân thủ các hướng dẫn COPE và không có xung đột
lợi ích với (các) tác giả. Sự xác thực ngầm đã diễn
ra khi những người rà soát lại nêu các điều kiện cần
phải được thỏa mãn đối với một bài báo sẽ được
xác thực. Một xác thực rõ ràng được biên tập viên,
một ban biệt tập, hoặc cộng đồng giám sát quy trình
rà soát lại đó thực hiện.”
Độ chính xác này của Liên minh S làm cho
có thể chỉ ra các bài preprint được rà soát lại ngang
hàng nào có “giá trị và tình trạng tương đương như
là các ấn phẩm được rà soát lại ngang hàng được
xuất bản trên một tạp chí hoặc một nền tảng được
thừa nhận”.
2. Giám tuyển không nhất thiết là xác
thực
Giám tuyển có thể được coi như là sự
phân loại, lựa chọn tích cực và (ít nhiều) nêu bật
các bài báo được rà soát lại. Giám tuyển thường liên
quan đến lựa chọn định tính tích cực: một bài báo
được lựa chọn để đưa vào một bộ sưu tập dựa
trên những phẩm chất – thường là tích cực – của
nó.
Giám tuyển đôi khi là hệ quả của một
quá trình đánh giá có được từ rà soát lại ngang hàng.
Nó hoặc là ở dạng xác thực (ví dụ, ấn phẩm kinh
điển, khuyến nghị công khai bản preprint từ PCI)
hoặc ở dạng các bài báo nổi bật đã được xác thực
rồi (ví dụ, F1000prime, Faculty Opinion, các blog, tin tức &
lượt xem, khuyến nghị bản preprint từ PCI,
v.v.).
Tuy nhiên, về lý thuyết, giám tuyển có
thể được triển khai mà không có xác thực trước hoặc
đồng thời (xem Stern
& O’Shea, 2019 và Corker
et al., 2024). Giám tuyển có thể không luôn tuân theo
quy trình rà soát lại ngang hàng dẫn tới xác thực hoặc
có thể không tự động liên quan tới một quy trình xác
thực.
Điều này có thể gây ra vấn đề nếu
độc giả nghĩ sai rằng các bản preprint được rà soát
lại ngang hàng được giám tuyển như vậy là các bản
preprint được xác thực.
Xác thực nhị phân như một giải pháp
Không giống như nhiều người ủng hộ
các bản preprint được rà soát lại ngang hàng và, thường
thấy hơn, các chỉ trích của những người trông giữ hệ
thống xuất bản truyền thống, tại PCI, chúng tôi bảo
vệ xác thực nhị phân
(binary validation) các bản preprint được rà soát lại
ngang hàng, một quyết định rõ ràng chấp nhận/từ chối
sau rà soát lại ngang hàng. Quan điểm của chúng tôi là
pha giám tuyển của mô hình PRC có thể hưởng lợi từ
quyết định biên tập tích cực. Cách tiếp cận này có
một ưu điểm: nó gửi đi tín hiệu rõ ràng tới độc
giả, khẳng định rằng một phần cộng đồng khoa
học đã đánh giá và
xác thực bài báo đó.
Không
giống như nhiều người ủng hộ các bản preprint
được rà soát lại ngang hàng, tại PCI, chúng tôi bảo vệ
xác
thực nhị phân
các bản preprint được rà soát lại
ngang hàng, một quyết định rõ ràng chấp nhận/từ chối
sau rà soát lại ngang hàng.
Chia
sẻ trên X
Lưu ý rằng không phải tất cả các cộng
đồng khoa học đều có cùng tiêu chí chấp nhận/từ
chối. Một số cộng đồng có tiêu chí khoa học khắt
khe hơn, chọn lọc hơn những cộng đồng khác. Điểm
mạnh tối thiểu có thể chấp nhận được về bằng
chứng khác nhau giữa các tạp chí khoa học. Những khác
biệt này giải thích một phần lý do tại sao cùng một
nghiên cứu có thể được công bố trên một tạp chí
này nhưng không được công bố trên tạp chí khác, bất
kể bất kỳ lập luận nào liên quan đến tính nguyên bản
hoặc tác động của nghiên cứu. Ví dụ, các tạp chí mà
có thể công bố sau khi được PCI
Registered Reports (PCI RR) khuyến nghị có "Mức độ
kiểm soát thiên vị tối thiểu cần thiết để bảo vệ
chống lại việc quan sát dữ liệu trước đó" khác
nhau.
Sự khác biệt về tính nghiêm ngặt khoa
học này để có được sự xác thực không đặt ra câu
hỏi về việc kiểm soát mà chỉ xác định rõ ràng và
làm rõ nó. Các tiêu chí chỉ cần khách quan và minh bạch,
như với các
tạp chí thân thiện với PCI RR. Sự đa dạng và tính
không đồng nhất của ngưỡng chấp nhận phản ánh sự
đa dạng của các cộng đồng và cơ quan xác thực. Trong
hệ sinh thái xuất bản cổ điển, sự đa dạng này được
phản ánh qua sự đa dạng của các tạp chí khoa học. Các
tác giả ít nhiều quen thuộc với sự đa dạng này và
độc giả cũng quen thuộc một phần với nó. Trong hệ
sinh thái Xuất bản-Rà soát lại-Giám tuyển dựa trên xác
thực trước hoặc cùng lúc với quá trình giám tuyển, có
thể mong đợi hoặc thậm chí mong muốn có sự đa dạng
về ngưỡng để có được xác thực và do đó, giám
tuyển.
Hai mô hình PRC với xác thực
Chúng tôi tin tưởng rằng mô hình Xuất
bản - Rà soát lại - Giám tuyển không thể đứng một
mình: nó cần kết hợp một quyết định biên tập nhị
phân, điều sẽ được thực hiện trước khi hoặc cùng
lúc giám tuyển. Vì thế chúng tôi đề xuất hai hình thức
của PRC, cả hai đều kết hợp bước xác thực dựa trên
rà soát lại ngang hàng:
1. Xuất bản -
Rà soát lại - Giám tuyển (= Xác thực): Trong mô hình
này, bản thân giám tuyển hành động như là xác thực
dựa trên rà soát lại ngang hàng. Điều này là những gì
hầu hết các tạp chí khoa
học làm. Ví dụ, một tạp chí có thể xuất bản một
bản preprint được rà
soát lại ngang hàng dựa trên rà soát lại ngang hàng được
một dịch vụ khác tạo ra, như các
tạp chí thân thiện với PCI hoặc các tạp chí liên
quan đến Review Commons
có thể làm.
2. Xuất bản -
Rà soát lại (=>Xác thực)-Giám tuyển:
Ở đây, rà soát lại ngang hàng dẫn tới xác thực trước
bước giám tuyển. Giám tuyển cung cấp giá trị gia tăng
cho bài báo đã nhận được rồi một quyết định chấp
nhận (biên tập) dựa trên rà soát lại ngang hàng. Điều
này là những gì F1000 đã thường làm hoặc những gì
Nature (và các tạp chí khác) làm bằng việc xuất bản
Tin tức & Lượt xem (News & Views) để nêu bật một
bài báo đã được xuất bản rồi.
PRC trước sự chỉ trích của các mô
hình xuất bản truyền thống
Cuối cùng, hãy đánh
giá lại sự chỉ trích của mô hình xuất bản truyền
thống - dài, mù mờ, không công bằng, không đủ tiêu
chuẩn, độc quyền, không hiệu quả, và lỗi thời -
trong bối cảnh của mô hình PRC với xác thực nhị phân:
Dài: Các bản
preprint được xuất bản trước khi rà soát lại ngang
hàng và xác thực, loại bỏ sự chậm trễ nơi các bài
báo bị ẩn khỏi các độc giả trong quá trình đánh
giá.
Mù mở: Các
bản rà soát lại là có sẵn công khai, và các quyết
định xác thực cũng có thể là minh bạch.
Không công bằng:
Các tiêu chí đánh giá minh bạch, khách quan loại bỏ các
lo ngại về tính công bằng.
Những người
đánh giá không đủ tiêu chuẩn: Đảm bảo rằng
các biên tập viên và người rà soát lại có năng lực
giải quyết các chỉ trính đối với các đánh giá không
đủ tiêu chuẩn.
Độc quyền:
Rất nhiều biên tập viên, vì trường hợp này đi với
các biên tập viên theo chủ đề của PCI, đảm bảo sự
đa dạng các quan điểm.
Không hiệu quả:
Trong khi không hệ thống là miễn nhiễm với các sai sót,
tính minh bạch của việc rà soát lại và các đánh giá
biên tập cho phép các độc giả xác định các khiếm
khuyết tiềm tàng.
Lỗi thời:
Thời gian sẽ trả lời liệu chúng tôi là đúng hay sai.
Tuy nhiên, có một chỉ số khích lệ: tăng trưởng nhanh
về sử dụng các
Báo cáo được Đăng ký với quyết
định nhị phân sau rà soát lại ngang hàng là dấu hiệu
tích cực liên quan đến xác thực trong một hệ thống
PRC.
Tóm lại, mô hình PRC,
khi kết hợp với xác thực nhị phân, cung cấp một lựa
chọn thay thế mạnh mẽ cho việc xuất bản truyền thống,
giải quyết các chỉ trích chính của nó trong khi giữ lại
các lợi ích của rà soát lại ngang hàng và giám tuyển.
-------------------------------------
Denis Bourguet
Denis
Bourguet là nhà khoa học cao cấp tại Viện nghiên cứu
nông học và môi trường quốc gia Pháp (INRAE). Ông làm
việc tại Montpellier, Pháp, về sinh học tiến hóa về sự
tiến hóa của khả năng kháng thuốc trừ sâu. Ông đồng
sáng lập PCI vào cuối năm 2016 và đồng quản lý PCI kể
từ đó.
The traditional
scientific publication model, characterized by gate-keeping editorial
decisions, has come under increasing criticism. Opponents argue that
it is too slow, opaque, unfair, lacking in qualifications, dominated
by a small group of individuals, inefficient, and even obsolete. In
response to these critiques, two alternatives have gained traction:
peer-reviewed preprints and the Publish-Review-Curate (PRC) model
(Stern &
O’Shea, 2019 and Liverpool,
2023). Both models share two common steps:
Step
1: Authors decide
when to make their articles publicly available by depositing them as
preprints on preprint servers or institutional open archives.
Step
2: These preprints
are then formally reviewed by specialized services (such as Review
Commons, PREreview, Peer Community In (PCI), etc.), and the reviews
are made publicly accessible.
The
Publish-Review-Curate model includes an
additional step:
curation. In the following, we will understand the curation of
articles as a selective
process leading to the presentation
of articles in a collection
organised by a journal or another service, a definition close to that
of Google’s
English dictionary provided by Oxford Languages. Note that some
colleagues use a more extended definition for curation, ranging from
simple compilation to certification of articles (Corker
et al., 2024). Certain curation services (e.g., journals) select
and incorporate reviewed preprints into their curated collections,
providing them with an added layer of recognition that non-curated
preprints do not receive.
Peer-reviewed
preprints and the Publish-Review-Curate model are garnering
increasing interest from various stakeholders: funders (e.g.,
cOAlition S), pro-preprint organizations (e.g., ASAPbio), publishers
(such as those participating in the ‘Supporting interoperability of
preprint peer review metadata’ workshop held on October 17 & 18
at Hinxton Hall, UK, co-organized by Europe PMC and ASAPbio), and
even journals (e.g., PCI-friendly journals).
One notable
example of an organisation that applies the Publish-Review-Curate
(PRC) model is eLife
(Hyde et al.,
2022). In this model, authors first deposit their preprints and
then submit them to eLife for peer review. After a round of reviews
and the collection of a publication fee, eLife has, since 2023,
removed the traditional accept/reject decisions. Instead, it focuses
on public reviews and qualitative editorial assessments of preprints.
The preprint is published on eLife’s website as a “Reviewed
Preprint,” along with the editorial assessment and public reviews.
Another
comparison often made with the PRC model is the Peer
Community In (PCI)
evaluation process. In PCI, authors publish their articles as
preprints on open archives, submit them to a thematic PCI, and
undergo one or more rounds of peer review. Afterwards, they receive a
final editorial decision (accept/reject). Accepted articles are
publicly recommended by PCI, along with peer reviews, editorial
decisions, and author responses. PCI’s process mirrors the PRC
model, with curation—marked by the preprint’s acceptance and
publication of a recommendation text—following peer review.
However, PCI only makes reviews public if the article is accepted.
Ambiguities
in Peer-Reviewed Preprints and the PRC Model
Two key
ambiguities blur the definition of peer-reviewed preprints and the
PRC model:
1. Peer
review is not necessarily validation
Peer review is
often confused with a system of validating or rejecting articles.
However, in most peer-reviewed preprint services, no formal decision
(validation/non-validation) is made, unlike in traditional journals.
A preprint undergoing peer review is not classified as “validated”
or “not validated” based solely on reviews. Reviews simply offer
critical perspectives, both positive and negative, and it remains up
to the reader to interpret them. Additionally, the peer-review
process does not inherently guarantee the quality of an article. It
offers critical opinions by reviewers but does not provide a
definitive validation. It provides the reader with positive and
negative critical elements based on a more or less thorough and more
or less complete expertise. It is not a validation but the opinion of
one or more reviewers on all or part of the article. Readers often
cannot draw conclusions about validation based on peer reviews
because they are generally complex and lengthy, making them difficult
to understand for at least part of the readership. Only experts who
take the time to do so have complete expert access to the dialogue
between reviewers and authors. In addition, readers often lack the
context to judge the quality of reviews, as they are unable to
evaluate how reviewers are selected, their expertise on the subject,
or their potential conflicts of interest. This opacity contrasts with
the role of editors, who do possess this information and make
informed decisions on validation.
Consequently,
listing, declaring, and marking preprints as “reviewed” will
likely give rise to new problems, because readers may not be able to
interpret peer reviews correctly and may mistakenly think that
‘reviewed’ means ‘validated’.
Concerning the
definition of a peer reviewed preprint, cOAlition
S position is interesting. It states that:
“peer
reviewed publications' – defined here as scholarly papers that have
been subject to a journal-independent standard peer review process
with an implicit or explicit validation – are considered by most
cOAlition S organisations to be of equivalent merit and status as
peer-reviewed publications that are published in a recognised journal
or on a platform”
cOAlition S
added a note
to clarify what is an “implicit or explicit validation”:
“A
standard peer review process' is defined as involving at least two
expert reviewers who observe COPE guidelines and do not have a
conflict of interest with the author(s). An implicit validation has
occurred when the reviewers state the conditions that need to be
fulfilled for the article to be validated. An explicit validation is
made by an editor, an editorial committee, or community overseeing
the review process.”
This cOAlition S
precision makes it possible to indicate which peer-reviewed preprints
have “equivalent merit and status as peer-reviewed publications
that are published in a recognised journal or on a platform.”
2.
Curation is not necessarily validation
Curation can be
viewed as a positive classification, selection and (more or less)
highlighting of reviewed articles. Curation is generally associated
with positive qualitative selection: an article is selected for
inclusion in a collection based on its – generally positive –
qualities.
Curation is
sometimes the consequence of an evaluation process resulting from
peer review. It is either a form of validation (e.g. classic
publication, public recommendation of preprint by PCI)
or a form of highlighting articles that have already been validated
(e.g. F1000prime then Faculty Opinion, blogs, news & views,
recommendation of postprint by PCI,
etc.).
In theory,
however, curation can be carried out without prior or simultaneous
validation (see Stern
& O’Shea, 2019 and Corker
et al., 2024). Curation may not always follow a peer-review
process leading to validation or may not be automatically associated
with a validation process.
This can cause a
problem if the reader mistakenly thinks that such curated
peer-reviewed preprints are validated preprints.
Binary
validation as a solution
Unlike many
supporters of peer-reviewed preprints and, more generally, critics of
gate-keeping of the traditional publication system, at PCI, we
advocate for the binary
validation of
peer-reviewed preprints, a clear accept/reject decision after peer
review. Our view is that the curation phase of the PRC model would
benefit from a positive editorial decision. This approach has an
advantage: it sends a clear signal to the reader, confirming that
part of the scientific community has evaluated and validated the
article.
Unlike
many supporters of peer-reviewed preprints, at PCI, we advocate for
the binary validation of peer-reviewed preprints, a clear
accept/reject decision after peer review. Share
on X
Note that not
all scientific communities have the same acceptance/rejection
criteria. Some communities have stricter, more selective scientific
criteria than others. The minimum acceptable strength of evidence
varies between scientific journals. These variations partly explain
why the same study can be published in one journal but not in
another, regardless of any arguments relating to the originality or
impact of the study. For example, the journals in which it is
possible to publish after a recommendation by PCI
Registered Reports (PCI RR) have different “Minimum required
level of bias control to protect against prior data observation”.
This variation
in scientific stringency to obtain validation does not call
gatekeeping into question but explicitly qualifies and nuances it.
The criteria need only be objective and transparent, as with PCI
RR-friendly journals. The diversity and heterogeneity of
acceptance thresholds reflect a diversity of communities and
validation bodies. In the classic publication ecosystem, this
diversity is reflected by a diversity of scientific journals. Authors
are more or less familiar with this diversity, and readers are partly
familiar with it. In a Publish-Review-Curate ecosystem based on
validation prior to or at the same time as curation, a diversity of
thresholds can be expected or even desired to obtain validation and,
therefore, curation.
Two models of
PRC with validation
We believe that
the Publish-Review-Curate model cannot stand by itself: it should
incorporate a binary editorial decision, which should be made before
or during curation. We therefore propose two forms of PRC, both of
which incorporate a validation step based on peer reviews:
1.
Publish-Review-Curate(=Validate):
In this model, curation itself acts as validation based on peer
reviews. This is what most scientific journals do. For example, a
journal may publish a peer-reviewed preprint based on peer reviews
produced by another service, as PCI-friendly
journals or journals associated with Review
Commons would do.
2.
Publish-Review(=>Validate)-Curate:
Here, peer reviews lead to validation before the curation step.
Curation gives additional value to an article that has already
received an (editorial) acceptance decision based on peer review.
This is what F1000 used to do or what Nature (and other journals) do
by publishing News & Views to highlight an already published
article.
PRC in light
of the criticism of traditional publication models
Finally, let’s
reassess the criticisms of the traditional publication model—long,
opaque, unfair, unqualified, monopolized, inefficient, and
obsolete—in the context of a PRC model with binary validation:
Length:
Preprints are published before peer review and validation,
eliminating the delays where articles remain hidden from readers
during evaluation.
Opacity:
Reviews are publicly available, and validation decisions can also be
transparent.
Unfairness:
Transparent, objective evaluation criteria remove concerns about
fairness.
Unqualified
evaluators:
Ensuring that editors and reviewers are competent addresses the
criticism of unqualified evaluations.
Monopolization:
A larger pool of editors, as is the case with PCI’s thematic
editors, ensures a diversity of perspectives.
Inefficiency:
While no system is immune to errors, the transparency of reviews and
editorial assessments allows readers to identify potential flaws.
Obsolescence:
Time will tell whether we are right or wrong. However, there is an
encouraging indicator: the rapid growth in the use of Registered
Reports with a binary decision post peer-review is a positive
signal concerning validation in a PRC system.
In sum, the PRC
model, when combined with binary validation, offers a robust
alternative to traditional publishing, addressing its key criticisms
while retaining the benefits of peer review and curation.
-------------------------------------
Denis Bourguet
Denis Bourguet
is a senior scientist at the French National Institute for Research
in Agronomy and environment (INRAE). He works in Montpellier, France,
in evolutionary biology on pesticide resistance evolution. He
co-founded PCI in late 2016 and co-manages PCI since then.
Dịch: Lê Trung Nghĩa
letrungnghia.foss@gmail.com
_Vi-Cover.png)