Developing
the first Open Peer Review Module for Institutional Repositories
Bài được đưa
lên Internet ngày: 24/09/2015
Lời
người dịch: Rà soát lại ngang hàng là công việc
quyết định chất lượng của xuất bản phẩm và dữ
liệu được các nhà nghiên cứu đăng, dù là trên các
tạp chí hay trong các kho, và nó là đặc biệt cần thiết
cho truy cập mở, dữ liệu mở và khoa học mở nói chung.
Nhiều nhà nghiên cứu cho rằng trong tương lai, mô hình rà
soát lại ngang hàng mở dựa vào việc đánh giá bản thân
tác phẩm sẽ dần thay thế mô hình rà soát lại của ban
biên tập tạp chí dựa vào uy tín của tạp chí.
Xem
thêm: Khoa
học Mở - Open Science
Vì sao các bài báo
trên arXiv hoặc bất kỳ kho truy cập mở nào khác lại
không được công nhận chính thức như là các xuất bản
phẩm? Điều gì chính xác tách biệt các kho truy cập mở
khỏi các nhà xuất bản? Câu trả lời đơn giản là các
xuất bản phẩm trên các tạp chí đi với chỉ số chất
lượng vô định hình có liên quan tới uy tín được thừa
nhận của tạp chí đó. Các bài báo được đăng trên
một kho, mặt khác, được coi như là “được cung cấp
với rủi ro của riêng độc giả”, khi chúng không đi
kèm với bất kỳ đảm bảo nào đo đếm được giá trị
khoa học của chúng. Chúng tôi nghĩ tới lúc phải thay đổi
tất cả điều đó.
Với sự
hỗ trợ của OpenAIRE, Open Scholar sẽ điều phối nhóm
5 đối tác để phát triển Module rà soát lại ngang hàng
- OPRM (Open Peer Review Module) đầu tiên cho các kho truy cập
mở. Các đối tác của chúng tôi sẽ phân phối tác phẩm
này gồm:
-
Kho của cơ sở của Hội đồng Nghiên cứu Quốc gia Tây Ban Nha (DIGITAL.CSIC)
-
Kho của Viện Hải dương học Tây Ban Nha (e-IEO)
-
Viện Nghiên cứu Trí tuệ Nhân tạo (IIIA) ở Catalonia
-
Phòng thí nghiệm liên ngành của Thư viện Khoa học Máy t ính (SECABA) ở Granada,
-
Công ty phát triển và các dịch vụ chuyên nghiệp DSpace (ARVO)
Dự án của chúng
tôi mường tượng sự chuyển đổi dần dần các kho truy
cập mở hiện hành thành các nền tảng đánh giá đầy
đủ chức năng sẽ cung cấp năng lực cần thiết để
mang lại sự kiểm soát chất lượng nghiên cứu cho cộng
đồng các học giả và giúp lấp đi khoảng cách giữa
các cơ sở hàn lâm và các nhà xuất bản. OPRM
ban đầu sẽ được phát triển
như là trình cài cắm cho các kho bằng việc sử dụng gói
phần mềm Dspace, nhưng sẽ được thiết kế theo cách
thức sẽ tạo thuận lợi cho sự tùy biến thích nghi tiếp
sau cho các bộ phần mềm kho khác như Eprints và Invenio.
Cài
đặt OPRM lên một kho truy cập mở của cơ sở hoặc khác
sẽ xúc tác cho sự rà soát lại chính thức tác phẩm
nghiên cứu số bất kỳ được đặt chỗ trong kho này
bao gồm cả dữ liệu, mã phần mềm và các chuyên khảo
bởi số lượng không hạn chế các đồng nghiệp ngang
hàng. Rà
soát lại nội dung số này sẽ gồm đánh giá định tính
ở dạng văn bản, và các đo đếm định lượng sẽ được
sử dụng để xây dựng uy tín của tác phẩm đó.
Quan
trọng, hệ thống đánh giá này sẽ là mở
và minh
bạch.
Mở
ngụ ý toàn văn của các rà soát lại sẽ sẵn sàng công
khai cùng với tác phẩm nghiên cứu gốc.
Minh
bạch ngụ ý sự nhận diện những người rà soát lại
sẽ là mở cho các tác giả và công chúng.
OPRM cũng sẽ kết
hợp hệ thống uy tín của một người rà soát lại dựa
vào đánh giá bản thân các rà soát lại đó, cả từ
cộng đồng những người sử dụng và những người rà
soát lại khác. Điều này sẽ cho phép xác định tầm
quan trọng của từng rà soát lại trên đánh giá tổng
thể tác phẩm nghiên cứu dựa vào uy tín của người rà
soát lại. Vấn đề phức tạp của việc tạo ra các
thước đo uy tín tin cậy cho các tác phẩm nghiên cứu,
các tác giả, các rà soát lại và những người rà soát
lại sẽ được xử lý bằng sự tinh thông được kết
hợp của 2 nhóm nghiên cứu nổi tiếng với kinh nghiệm
phong phú về mô hình hóa uy tín dựa vào các ý kiến
(IIIA) và việc ra quyết định với các chuyên gia không
thuần nhất (SECABA). Cả các tiếp cận đánh giá uy tín,
a) như là việc mô hình hóa có vấn đề các ý kiến, và
b) như việc ra quyết định nhóm, coi những người rà
soát lại không có sự tin cậy và tinh thông hệt như nhau
trong chủ đề họ chào ý kiến của họ. Quy trình tổng
hợp các rà soát lại vì thế phải tính tới các tình
huống hỗn tạp đó và sự tinh thông rộng lớn hơn phải
cân nhắc nhiều hơn dựa vào sự tổng hợp toàn cầu. Mô
hình đánh giá uy tín vì thế sẽ dựa vào khái niệm rằng
uy tín của nguồn ý kiến ảnh hưởng tới độ tin cậy
của bản thân ý kiến đó.
Hơn nữa, mô hình
đó sẽ là mềm dẻo với các nguồn ý kiến: nó sẽ sử
dụng cả các ý kiến rõ ràng (được các đồng nghiệp
ngang hàng đưa ra ở dạng các rà soát lại chính thức)
và các ý kiến ngầm ý có thể được trích ra từ hành
vi của người sử dụng (như các chỉ số chất lượng
gián tiếp được mã hóa trong số lượng các lần viếng
thăm và các bản tải về), trong các tình huống nơi mà
các ý kiến rõ ràng là ít. Điều này một phần sẽ giải
quyết được vấn đề khởi đầu lạnh lẽo có liên
quan tới độ trễ của các rà soát lại của chuyên gia
bắt đầu tích cóp trong hệ thống. Hơn nữa, mô hình uy
tín của chúng tôi sẽ gồm các biện pháp đồng thuận
để tiếp tục tăng cường cho thẩm định các kết quả
đầu ra tổng hợp. Điều này ngụ ý sự đồng thuận
lớn hơn về uy tín của tác phẩm nghiên cứu sẽ tích
cực tính cho uy tín của nó với 5 người rà soát lại
đồng ý một tài liệu là “tốt” bất kể thực tế
là trung bình tổng hợp là y hệt.
OPRM ban đầu sẽ
được kiểm thử trong 2 kho tạo thành nhóm của chúng
tôi:
-
e-IEO, nó là kho truy cập mở của cơ sở của Viện Đại dương học của Tây Ban Nha, một tổ chức nghiên cứu của nhà nước với 10 trung tâm nghiên cứu và với ngân sách thường nhiên 56 triệu euro, và
-
DIGITAL.CSIC, là kho cơ sở lớn nhất của tổ chức thực hành nghiên cứu ở Tây Ban Nha - Hội đồng Nghiên cứu Quốc gia Tây Ban Nha (CSIC) - và được xếp hạng 5 ở châu Âu trong ấn bản mới nhất về Xếp hạng Web các Kho.
Ảnh hưởng tiềm
tàng của kiểm thử này là cao đối với lượng khổng
lồ và sự đa dạng các mẫu dạng kết quả đầu ra
nghiên cứu sẵn sàng trên nền tảng đó, sự đa lĩnh vực
của nó, và hồ sơ theo dõi kho để làm giàu cho hạ tầng
của nó với các dịch vụ giá trị gia tăng để đo đếm
ảnh hưởng của nghiên cứu cùng với các dòng truyền
thống và đang nổi lên. Trên thực tế, với hơn 110.000
tác phẩm DIGITAL.CSIC chào một nền tảng lý tưởng để
kiểm thử mẫu dạng của OPRM trong một bộ sưu tập số
rộng lớn gồm các xuất bản phẩm, các tư liệu xám,
các tập hợp dữ liệu, các mã phần mềm, các đối
tượng hội nghị, các tài liệu làm việc và các báo
cáo, các tài liệu chính sách, các luận án, các bài đăng
blog, các bài báo trước in và nhiều thứ khác nữa. Hơn
nữa, sự đa dạng như vậy các kết quả đầu ra nghiên
cứu trải khắp 8 lĩnh vực khoa học rộng lớn từ các
khoa học tự nhiên tới các khoa học xã hội và nhân văn,
điều sẽ cho phép thí nghiệm với các tiếp cận rà soát
lại đang nổi lên trong rất nhiều lĩnh vực khác nhau và
vì thế xác định khả năng hành vi đặc thù lĩnh vực
và các mẫu cộng đồng.
Tất
cả mã được sinh ra trong dự án này sẽ là sẵn sàng
trong kho mã công khai (github), được làm thành tài liệu
và được cấu hình đủ sao cho những người khác có thể
thay đổi nó cho phù hợp với các cấu hình của riêng
họ, và tuân theo các thực hành tốt nhất được thừa
nhận về các đóng góp mã trong các dự án nguồn mở.
Chúng tôi biện hộ mạnh mẽ phát hành
mã theo giấy phép y hệt được sử dụng cho mã chung của
Dspace, nghĩa là Giấy phép BSD, được giải thích ở đây:
http://owl.li/NPB6V.
Là quan trọng để lưu ý rằng mã đó sẽ không bao gồm
các phần mềm, các thư viện hoặc các phụ thuộc mã của
các bên thứ 3, điều làm cho nó không tương thích với
các giấy phép đó.
Tóm lại, OPRM nhằm
nhấn mạnh hạ tầng đang có được các kho truy cập mở
chào và để xúc tác cho sự chuyển đổi chúng thành các
nền tảng đánh giá đầy đủ chức năng với các thước
đo chất lược có liên quan. Quy trình đánh giá dựa vào
kho này có thể chạy song song với rà soát lại ngang hàng
tạp chí truyền thống và sẽ:
-
xúc tác cho rà soát lại ngang hàng bất kỳ tác phẩm nghiên cứu nào được ký gửi trong kho, bao gồm cả dữ liệu, mã và các chuyên khảo
-
cung cấp các thước đo mới để đánh giá định lượng chất lượng nghiên cứu
-
tạo ra hệ thống uy tín phức tạp cho những người rà soát lại
-
cho phép cân nhắc các rà soát lại dựa vào chất lượng của những đóng góp của những người rà soát lại trước đó
-
tạo thuận lợi cho lựa chọn nội dung phù hợp từ các kho số bằng việc phân biệt tư liệu đã từng được những người rà soát lại thẩm định bằng việc sử dụng các thẻ và các bộ lọc tìm kiếm tiên tiến
-
lôi kéo cộng đồng nghiên cứu vào hội thoại mở và minh bạch về tính lành mạnh và tính hữu dụng của tư liệu nghiên cứu
Trong khi OPRM được
kỳ vọng sẽ sẵn sàng vào tháng 12/2015, chúng tôi chào
đón rồi các kho có quan tâm liên hệ với chúng tôi để
thảo luận về triển vọng cộng tác trong tương lai.
Bài đăng ban
đầu được xuất bản trên www.openscholar.org.uk.
Trung tâm Nghiên
cứu Tâm trí, Não và Hành vi (CIMCYC) - Đại học Granada.
Why
aren’t articles on arXiv or any other open access repository
formally credited as publications? What is it exactly that separates
open access repositories from publishers? The simple answer is that
publications in journals come with an amorphous quality indicator
associated with the journal’s perceived prestige. Articles posted
on a repository on the other hand, are considered to be “provided
at the reader’s own risk”, as they are not accompanied by any
measurable guarantee of their scientific merit. We think the time has
come to change all that.
With
the support
of OpenAIRE, Open Scholar will coordinate a consortium of five
partners to develop the first Open Peer Review Module (OPRM) for open
access repositories. Our partners that will deliver this work
include:
1. The institutional repository of the Spanish National Research Council (DIGITAL.CSIC)
2. The repository of the Spanish Oceanographic Institute (e-IEO)
3. The Artificial Intelligence Research Institute (IIIA) in Catalonia
4. The Multidisciplinary Laboratory of Library and Computer Sciences (SECABA) in Granada, and
5. A company of DSpace professional development and services (ARVO)
1. The institutional repository of the Spanish National Research Council (DIGITAL.CSIC)
2. The repository of the Spanish Oceanographic Institute (e-IEO)
3. The Artificial Intelligence Research Institute (IIIA) in Catalonia
4. The Multidisciplinary Laboratory of Library and Computer Sciences (SECABA) in Granada, and
5. A company of DSpace professional development and services (ARVO)
Our
project envisions the gradual conversion of existing open access
repositories into fully-functional evaluation platforms that will
provide the capacity needed to bring back research quality control to
the community of scholars and help bridge the gap between academic
institutions and publishers. The OPRM will initially be developed as
a plugin for repositories using the Dspace software package, but will
be designed in a way that will facilitate subsequent adaptation to
other repository software suites such as EPrints and Invenio.
The
installation of the OPRM on an institutional or other open access
repository will enable the formal review of any digital research work
hosted in this repository including data, software code and
monographs by an unlimited number of peers. Reviews of this digital
content will consist of a qualitative assessment in the form of text,
and quantitative measures that will be used to build the work’s
reputation. Importantly, this evaluation system will be open
and transparent.
Open means that the full text of the reviews will be publicly
available along with the original research work. Transparent means
that the identity of the reviewers will be disclosed to the authors
and to the public.
The
OPRM will also incorporate a reviewer reputation system based on the
assessment of reviews themselves, both by the community of users and
by other reviewers. This will allow a sophisticated scaling of the
importance of each review on the overall assessment of a research
work, based on the reputation of the reviewer. The complex issue of
creating reliable reputation metrics for research works, authors,
reviews and reviewers will be tackled by the combined expertise of
two prominent research groups with ample experience in opinion-based
reputation modelling (IIIA) and group decision making with
non-homogeneous experts (SECABA). Both approaches of reputation
assessment, a) as a probabilistic modelling of opinions, and b) as
group decision making, consider that the peer reviewers do not have
the same confidence and expertise in the topic they offer their
opinion on. The aggregation process of reviews must therefore take
into account these heterogeneous situations and larger expertise must
weigh more on the global aggregation. The reputation assessment model
will thus be based on the concept that the reputation of the opinion
source impacts the reliability of the opinion itself.
In
addition, the model will be flexible with its opinion sources: it
will use both explicit opinions (offered by peers in the form of
formal reviews) and implicit opinions that can be extracted from user
behavior (such as indirect quality indicators encoded in the number
of visits and downloads), in situations where explicit opinions are
sparse. This will partly address the cold-start issue associated with
the latency of expert reviews starting to accumulate in the system.
Furthermore, our reputation model will include consensus measures to
further strengthen the validity of aggregation outcomes. This means
that greater consensus on the evaluation of a research work will
count positively for its reputation five reviewers agreeing a paper
is “good” is different than two saying it is “poor”, two
“excellent” and one that is “good” despite the fact that the
aggregated average is the same.
The
OPRM will initially be tested on the two repositories that form our
consortium:
-
e-IEO, which is the institutional open access repository of the Spanish Institute of Oceanography, a public research organization with 10 research centers and 56 million euros annual budget, and
-
DIGITAL.CSIC, which is the largest institutional repository of a research performing organization in Spain —the Spanish National Research Council (CSIC)— and ranked in the 5th position of the European classification in the latest edition of Ranking Web of Repositories.
The
potential impact of this testing is high for the sheer volume and
diversification of research outputs typologies available in the
platform, its multidisciplinary, and the repository’s track record
in enriching its infrastructure with value added services to measure
research impact along traditional and emerging lines. In fact, with
over 110,000 works DIGITAL.CSIC offers an ideal platform to test the
OPRM prototype on a wide digital collection comprising publications,
grey literature, datasets, software code, conference objects, working
papers and reports, policy documents, theses, blog postings, preprint
articles and many more. Further, such variety of research outputs
spans across 8 broad scientific areas ranging from hard sciences to
social sciences and humanities, which will allow to experiment with
the emerging review approaches on very diverse disciplines and thus
identify likely discipline- specific behavior and community patterns.
All
the code generated in this project will become available in public
code repositories (github), documented and made configurable enough
so that others can change it to match their own configurations, and
following accepted best-practices regarding code contributions in
open source projects. We strongly advocate release of the code under
the same license as that used for DSpace general code, i.e. a BSD
License, explained here: http://owl.li/NPB6V.
It is important to note that the code will not include third-party
software, libraries or code dependencies which are not compatible
with these licenses.
In
summary, the OPRM aims to capitalise on the existing infrastructure
offered by open access repositories and to enable their conversion
into fully-functional evaluation platforms with associated quality
metrics. This repository-based evaluation process can run in parallel
to traditional journal peer review and will:
-
enable the peer review of any research work deposited in a repository, including data, code and monographs
-
provide novel metrics for the quantitative assessment of research quality
-
create a sophisticated reputation system for reviewers
-
allow the weighting of reviews based on the quality of previous reviewer contributions
-
facilitate the selection of relevant content from digital repositories by distinguishing material that has been validated by reviewers using tags and advanced search filters
-
engage the research community in an open and transparent dialogue over the soundness and usefulness of research material
While
the OPRM is expected to be ready in December 2015, we already welcome
interested repositories to contact us in order to discuss the
prospect of future collaboration.
Post
originally published at www.openscholar.org.uk.
Mind,
Brain and Behaviour Research Centre (CIMCYC) - University of Granada.
Dịch: Lê Trung
Nghĩa
Không có nhận xét nào:
Đăng nhận xét
Lưu ý: Chỉ thành viên của blog này mới được đăng nhận xét.