Thuật ngữ Big Data được thực hiện cho các cỗ tập dữ liệu kếch xù bao gồm trọng lượng phệ, tốc độ cao và nhiều một số loại dữ liệu sẽ tăng lên từng ngày một. Sử dụng các khối hệ thống quản lý dữ liệu truyền thống cuội nguồn, khôn cùng khó nhằm xử lý Big data. Do đó, Quỹ ứng dụng Apabít (Apađậy Software Foundation) vẫn ra mắt một framework thương hiệu là Hadoop nhằm giải quyết và xử lý các thử thách làm chủ cùng xử lý Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là một trong những framework open-source nhằm tàng trữ với cách xử lý Big data vào môi trường xung quanh phân tán. Nó đựng nhì mô-đun, một là MapReduce với một mô-đun không giống là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS).

MapReduce: Đây là mô hình lập trình song song để giải pháp xử lý một lượng phệ tài liệu có cấu trúc, bán cấu tạo cùng ko kết cấu trên các cụm to của Hartware tmùi hương mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là 1 phần của framework Hadoop, được áp dụng nhằm lưu trữ cùng xử trí những bộ tài liệu. Nó cung cấp một hệ thống tập tin Chịu lỗi để chạy xe trên phần cứng thương thơm mại.

Hệ sinh thái Hadoop chứa các sub-project (tool) khác nhau như Sqoop, Pig với Hive được thực hiện nhằm trợ giúp các mô-đun Hadoop.

Sqoop: Nó được áp dụng để nhập cùng xuất tài liệu mang đến với đi thân HDFS với RDBMS.Pig: Đây là 1 trong những nền tảng gốc rễ ngôn ngữ giấy tờ thủ tục được thực hiện để phát triển tập lệnh cho những hoạt động vui chơi của MapReduce.

Xem thêm: Từ Downright Là Gì, Nghĩa Của Từ Downright, Downright Là Gì, Nghĩa Của Từ Downright

Hive: Đây là một trong căn cơ được áp dụng nhằm cách tân và phát triển những tập lệnh một số loại SQL để triển khai những vận động MapReduce.

Crúc ý: Có rất nhiều cách khác biệt để triển khai các hoạt động MapReduce:

Cách tiếp cận truyền thống cuội nguồn sử dụng công tác Java MapReduce mang lại tài liệu tất cả cấu trúc, bán kết cấu cùng ko kết cấu.Cách tiếp cận sử dụng câu lệnh cho MapReduce để xử trí dữ liệu bao gồm cấu trúc và cung cấp cấu trúc bằng Pig.Ngôn ngữ tầm nã vấn Hive sầu (Hivequốc lộ hoặc HQL) mang đến MapReduce để xử lý dữ liệu bao gồm cấu tạo bởi Hive sầu.Hive là gì?

Hive là một trong chính sách cơ sở hạ tầng kho dữ liệu nhằm xử trí tài liệu có cấu tạo vào Hadoop. Nó nằm trong đỉnh Hadoop để cầm tắt Dữ liệu mập với giúp truy vấn vấn cùng đối chiếu tiện lợi.

Ban đầu Hive được trở nên tân tiến bởi vì Facebook, tiếp nối Quỹ Phần mềm Apabịt đã mang với trở nên tân tiến nó thành một mối cung cấp msinh hoạt bên dưới thương hiệu Apađậy Hive. Nó được thực hiện do những chủ thể không giống nhau. Ví dụ: Amazon áp dụng nó trong Amazon Elastic MapReduce.

Hive không phải là:Một DataBase quan hệMột xây cất nhằm giải pháp xử lý giao dịch thanh toán Online (OnLine Transaction Processing - OLTP)Một ngôn ngữ cho các truy vấn vấn thời hạn thực với update cấp hàngdị kì của HiveNó lưu trữ lược thiết bị trong cửa hàng tài liệu cùng xử lý dữ liệu vào HDFS.Nó có phong cách thiết kế đến OLAP.Nó cung cấp ngôn từ loại SQL để truy vấn vấn được Gọi là Hivequốc lộ hoặc Hquốc lộ.Nó là không còn xa lạ, lập cập, có chức năng không ngừng mở rộng.Kiến trúc của Hive

Sơ đồ dùng tiếp sau đây mô tả phong cách xây dựng của Hive:


*

Sơ trang bị thành phần này đựng các đơn vị chức năng khác nhau.

User Interface: Hive sầu là một trong những phần mềm cơ sở hạ tầng kho dữ liệu rất có thể tạo nên sự liên quan giữa người tiêu dùng cùng HDFS. Các đồ họa người dùng mà Hive sầu cung ứng là Hive Web UI, Hive command line và Hive HD Insight (Trong máy chủ Windows).Meta Store: Hive sầu lựa chọn những máy chủ cơ sở dữ liệu tương xứng nhằm tàng trữ lược thứ hoặc metadata của các bảng, đại lý tài liệu, những cột vào một bảng, các một số loại tài liệu của bọn chúng cùng ánh xạ HDFS.HiveQL Process Engine: HiveQL tương tự như SQL nhằm truy vấn đọc tin lược vật trên Metastore. Đây là 1 trong những giữa những thay thế sửa chữa của cách thức truyền thống cuội nguồn mang đến chương trình MapReduce. Tgiỏi vì viết lịch trình MapReduce bởi Java, bạn có thể viết một truy vấn vấn đến các bước MapReduce với xử trí nó.Execution Engine: Phần phối kết hợp của giải pháp cách xử trí HiveQL với MapReduce là Công ráng tiến hành Hive (Hive sầu Execution Engine). Công cụ triển khai giải pháp xử lý tầm nã vấn và chế tạo hiệu quả y hệt như công dụng MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là những nghệ thuật lưu trữ tài liệu để tàng trữ dữ liệu vào khối hệ thống tệp.Cách thao tác làm việc của Hive

Sơ thứ sau diễn đạt tiến trình thao tác thân Hive với Hadoop.


*

Cách Hive sầu hệ trọng với framework Hadoop:

Thực thi query: Giao diện Hive nhỏng Command line hoặc Giao diện người dùng web gửi truy hỏi vấn mang lại Trình tinh chỉnh và điều khiển (bất kỳ trình điều khiển các đại lý dữ liệu nào như JDBC, ODBC, v.v.) để tiến hành.Nhận kế hoạch: Trình tinh chỉnh và điều khiển bao gồm sự giúp sức của trình biên dịch truy vấn nhằm so sánh cú pháp truy vấn vấn để kiểm soát cú pháp và kế hoạch truy hỏi vấn hoặc đòi hỏi của truy tìm vấn.Nhận metadata: Trình biên dịch gửi kinh nghiệm metadata mang lại Metastore (bất kỳ cơ sở dữ liệu nào).Gửi metadata: Metastore gửi metadata như một bình luận cho trình biên dịch.Gửi kế hoạch: Trình biên dịch kiểm tra thử khám phá và gửi lại kế hoạch mang đến trình tinh chỉnh và điều khiển. Đến đây, việc đối chiếu cú pháp cùng biên dịch một truy nã vấn đang hoàn toàn.Kế hoạch thực hiện: Trình tinh chỉnh gửi chiến lược triển khai đến nguyên tắc xúc tiến.Thực kiến thiết việc: Trong nội bộ, quy trình tiến hành công việc là một trong những quá trình MapReduce. Công thế triển khai gửi công việc cho JobTracker, vào node Name với nó gán các bước này đến TaskTracker, trong node Data. Tại đây, truy tìm vấn xúc tiến công việc MapReduce.Hoạt đụng metadata: Trong Khi thực hiện, vẻ ngoài tiến hành có thể xúc tiến các vận động metadata cùng với Metastore.Lấy kết quả: Công cầm xúc tiến nhận kết quả tự những node Data.Gửi kết quả: Công cố tiến hành gửi các cực hiếm tác dụng đó cho trình tinh chỉnh.Gửi kết quả: Trình tinh chỉnh gửi tác dụng mang lại Giao diện Hive sầu.
Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *