Tìm hiểu Google protocol buffer

Chào mừng các bạn đã quay lại với thachleblog. Ở bài trước, mình có giới thiệu về serialize và deserialize để convert object sang dạng byte stream (và ngược lại). Tuy nhiên, dữ liệu dạng byte stream này không thể chia sẻ cho các ứng dụng được viết bằng các ngôn ngữ khác. Google có phát triển một platform để giải quyết vấn đề này chính là Protocol Buffer (viết tắt là protobuf). Protobuf giải quyết vấn đề này như thế nào? Cơ chế hoạt động ra sao, chúng ta cùng tìm hiểu nhé.

Giới thiệu

Protocol Buffer là một platform được phát triển bởi google được sử dụng để serialize dữ liệu thành dạng byte stream (tương tự Thrift của facebook và Microsoft Bond protocols). Phiên bản đầu tiên được giới thiệu vào năm 2008, phiên bản mới nhất hiện tại là 3.3.0.

Ưu điểm

Như mình đã đề cập ở phần giới thiệu, protobuf giải quyết vấn đề của serialize trong Java đó là dữ liệu được serialize chỉ đọc được bởi Java. Dữ liệu được serialize bởi protobuf có thể được deserialize bằng các ngôn ngữ khác nhau.

Ngoài ra, dữ liệu protobuf nhẹ và nhanh hơn so với xml và json, sau đây là so sánh giữa dữ liệu protobuf và XML:

  • Dữ liệu protobuf “nhẹ hơn” từ 3 – 10 lần
  • Protobuf xử lý nhanh hơn 20 – 100 lần

Nguồn: https://developers.google.com/protocol-buffers/docs/javatutorial

Do đặc điểm là “nhẹ” và nhanh của dữ liệu được serialize bởi protobuf, vì vậy protobuf sẽ đặc biệt thích hợp trong các ứng dụng data real-time hoặc trao đổi dữ liệu trực tiếp (ví dụ các ứng dụng web chat)

Cơ chế hoạt động

Protobuf cho phép định nghĩa object dưới dạng struct (message) với định dạng .proto. File này sẽ được dùng chung để protobuf compiler compile sang các ngôn ngữ tương ứng. Do đó, object này có thể được sử dụng bởi các ngôn ngữ khác nhau. Về cơ chế mình cũng thấy giống giống như JVM. Các bạn có thể xem lại bài Tại sao Java là một ngôn ngữ lập trình độc lập nền tảng?

Tìm hiểu Google protocol buffer

Hình minh họa vai trò của protocal buffer compiler

Cài đặt và sử dụng

Đầu tiên chúng ta sẽ cần tải protobuf compiler tại https://github.com/google/protobuf/releases, có bản cho cả windown, linux và macos.

Sau khi giải nén là ta đã có thể sử dụng. Kiểm tra version bằng lệnh: protoc –version

Tiếp theo, chúng ta cần định nghĩa file .proto theo cấu trúc struct, dưới đây là file addressbook mình lấy trong thư mục example:

// [START declaration]
syntax = "proto3";
package tutorial;
// [END declaration]
 
// [START java_declaration]
option java_package = "thach.le.protobuf";
option java_outer_classname = "AddressBookProtos";
// [END java_declaration]
 
 
// [START messages]
message Person {
  string name = 1;
  int32 id = 2;  // Unique ID number for this person.
  string email = 3;
 
  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }
 
  message PhoneNumber {
    string number = 1;
    PhoneType type = 2;
  }
 
  repeated PhoneNumber phones = 4;
}
 
// Our address book file is just one of these.
message AddressBook {
  repeated Person people = 1;
}
// [END messages]

Ghi chú:

  • message: theo cấu trúc struct, khi build thành file .java, mỗi message sẽ tương ứng với 1 class mỗi message có các variable được đánh số thứ tự từ 1 – 15
  • repeated: được hiểu tương tự như kiểu array, list trong Java

……

Các bạn có thể đọc thêm docs để hiểu thêm về cú pháp của proto

Sau khi đã có file .proto, chúng ta có thể build thành các file tương ứng, dưới đây mình build cho java và js.

  • protoc -I=C:\protoc-3.3.0-win32\bin\source —java_out=build C:\protoc-3.3.0-win32\bin\source\addressbook.proto
  • protoc -I=C:\protoc-3.3.0-win32\bin\source —js_out=library=AddressBook,binary:. C:\protoc-3.3.0-win32\bin\source\addressbook.proto

Vì mình không xét CLASS_PATH cho protoc nên mình phải truyền đường dẫn tuyệt đối cho file input. Các bạn có thể đọc thêm để hiểu cú pháp generate file này.

Kiểm tra thư mục C:\protoc-3.3.0-win32\bin\source, giờ thì các bạn đã có các file Java và JS để có thể serialize và deserialize object. Các bạn có thể tham khảo cách sử dụng cách sử dụng probuf object cho Java và JS tại đây.

Kết

Tuần vừa rồi thì mình có làm ứng dụng web chat (360live.vn/live) có sử dụng probufer, thật sự thì mình thấy việc trao đổi dữ liệu giữa server và client thông qua probufer rất dễ dàng và nhanh. Hy vọng bài viết của mình sẽ giúp các bạn tiếp cận nhanh hơn với protobufer…

Mọi thắc mắc, góp ý vui lòng comment bên dưới. Xin cảm ơn và hẹn gặp lại các bạn ở các bài viết sau.

Tham khảo thêm:

https://developers.google.com/protocol-buffers/docs/overview

https://github.com/google/protobuf/tree/master/js

https://developers.google.com/protocol-buffers/docs/javatutorial

2 thoughts on “Tìm hiểu Google protocol buffer

  1. Pingback: Giới thiệu WebSockets » Thach Le

  2. Pingback: Apache Thrift: giới thiệu và cài đặt » Thach Le

Tham gia bình luận