Open
source motor for Basque Country’s big data project
Submitted
by Gijs Hillenius on November 27, 2014
Bài
được đưa lên Internet ngày: 27/11/2014
Chính
quyền Xứ Basque ở Tây Ban Nha đang dựa vào nguồn mở
cho một nền tảng lưu trữ phân tán phạm vi rộng. Hệ
thống đó quản lý hầu hết các nhu cầu về tệp của
chính quyền vùng tự trị này, điều hành hơn 1 triệu
yêu cầu trong một ngày.
Các
hệ thống cho phép trao đổi tệp an toàn và được quản
lý giữa các ứng dụng được đặt chỗ trong mạng máy
tính của chính quyền Xứ Basque và trong các mạng của
các tổ chức khác.
Triển
khai dữ liệu lớn của Xứ Basque kết hợp Apache
HBase, một hệ thống quản trị cơ sở dữ liệu phân tán
và giải pháp lưu trữ phân tán Hadoop.
Chức năng tìm kiếm được Elasticsearch
cung cấp.
“Vài
năm trước, sự trao đổi các tệp lớn giữa các cơ quan
hành chính nhà nước từng gây ra sự đau đầu”, Oscar
Guadilla Jimenez, một kỹ sư phần mềm làm việc cho nhà
cung cấp dịch vụ ICT do chính phủ quản lý, EJIE (Eusko
Jaurlaritzaren Informatika Elkartea), nói. “Các nhà quản trị
CNTT có thể nói rằng các hệ thống hoặc các máy chủ
của họ có thể không cho phép điều đó, hoặc một sự
trao đổi như vậy từng là không thể. Nên chúng tôi đã
xây dựng giải pháp của riêng chúng tôi - chỉ trong 6
tháng, bằng việc sử dụng nguồn mở”.
Hệ
thống đó bây giờ dẫn dắt các dịch vụ tích hợp nền
tảng Platea (Platea Integración Services) của Xứ Basque.
Platea là viết tắt của nền tảng CPĐT của Xứ này. Vài
trong số các thành phần được làm cho sẵn sàng như
nguồn mở, một ví dụ là Platea
Integración Files, được làm sẵn sàng bằng việc sử
dụng giấy phép nguồn mở của Liên minh châu Âu, EUPL.
Giải
pháp đó cũng được sử dụng cho dự
án dữ liệu mở của Xứ Basque.
Dễ
sử dụng
5
lập trình viên ở EJIE đặt trọng tâm vào dễ sử dụng,
ông nói. “Sự trao đổi làm việc khắp tất cả các máy
chủ và các máy để bàn”.
Giao
diện web của hệ thống dữ liệu lớn cho phép những
người sử dụng tải lên các tệp và truyền chúng tới
những người sử dụng khác. Như một sự lựa chọn, một
dịch vụ tệp đám mây cho phép những người sử dụng
lưu trữ, đồng bộ và chia sẻ các tệp quá lớn để
được gửi bằng thư điện tử, chia sẻ chúng với những
người khác bằng việc sử dụng các URL. Một tính năng
hay là giải pháp tải lên các tệp, Guadilla nói: “Nó cho
phép những người sử dụng tải các tệp lên và cùng
lúc điền vào các mẫu theo yêu cầu”.
“Hành
lang dịch
vụ (service bus) của chúng tôi điều khiển nhiều hơn
1 triệu yêu cầu tệp mỗi ngày”, Guadilla nói. Các yêu
cầu theo tiến trình sẽ được lưu trữ trong Hbase, và
được các lập trình viên ở EJIE giám sát, bằng việc
sử dụng các báo cáo để sáng tạo, xây dựng và kiểm
thử các trao đổi tệp bổ sung.
Có
khả năng thay đổi phạm vi và vững mạnh
“Hệ
thống của chúng tôi chỉ cho các nền hành chính nhà nước
khác rằng nguồn mở là chín muồi cho các dự án dữ
liệu lớn”, Guadilla nói. “Nền tảng đó có khả năng
thay đổi được phạm vi và vững mạnh, và chúng tôi có
thể theo dõi và lần vết mọi điều xảy ra cho một tệp,
theo tất cả các chi tiết, tuân thủ các luật về tính
riêng tư của chúng tôi”, kỹ sư Guadilla nói.
Lập
trình viên phần mềm đã trình bày dự án dữ liệu lớn
này ở LibreCon, một hội
nghị về CNTT-TT mở, đã diễn ra ở Bilbao hôm 11-12/11.
The
Government of the Basque Country in Spain is relying on open source
for a large-scale distributed storage platform. The system manages
most of the file needs of the autonomous region government, handling
over one million requests per day.
The
systems allows the secure and managed exchange of files between
applications hosted in the computer network of the Basque government
and in networks of other organisations.
The
Basque Country big data implementation combines Apache
HBase, a distributed database management system and the Hadoop
distributed storage solution. Search functionality is provided by
Elasticsearch.
“A
few years ago, the exchange of large files between public
administrations caused big headaches”, says Oscar Guadilla Jimenez,
a software engineer working for the government-owned ICT service
provider, EJIE (Eusko Jaurlaritzaren Informatika Elkartea). “IT
administrators would say that their systems or servers would not
permit it, or that such an exchange was just impossible. So we built
our own solution - in just six months, using open source.”
The
system now drives the Basque Country’s Platea Integración
Services. Platea is the acronym for the country’s e-government
platform. Several of its components are made available as open
source, one example being Platea
Integración Files, made available using the European Union’s
open source licence, EUPL.
The
solution is also used for the Basque Country’s open
data project.
Easy
to use
The
five developers at EJIE put the emphasis on ease of use, he says.
“The exchange works across all servers and desktops.”
The
big data system’s web interface allows users to upload files and
transfer them to other users. Alternatively, a cloud file service
allows users to store, synchronise and share files that are too large
to be sent by email, sharing them with others using URLs. One nifty
feature is the file upload solution, says Guadilla: “It allows
users to upload files and at the same time fill-in the required
forms.”
“Our
service
bus handles more than a million file requests per day”, says
Guadilla. The work flow requests are stored in Hbase, and is
monitored by the developers at EJIE, using the reports to invent,
build and test additional file exchanges.
Scalable
and robust
“Our
system shows other public administrations that open source is mature
for big bata projects”, Guadilla says. “The platform is scalable
and robust, and we can track and trace everything that happens to a
file, in all detail, conforming to our privacy
laws”, says engineer Guadilla.
The
software developer presented the big data project at LibreCon,
a conference on open ICT, which took place in Bilbao on 11 and 12
November.
Dịch:
Lê Trung Nghĩa
Không có nhận xét nào:
Đăng nhận xét
Lưu ý: Chỉ thành viên của blog này mới được đăng nhận xét.