hive是什么

果冻 2020-08-13 15:13:52

hive 是基于 Hadoop 的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

hive 是基于 Hadoop 的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。hive 数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供 SQL 查询功能，能将 SQL 语句转变成 MapReduce 任务来执行。

hive

Hive 的优点是学习成本低，可以通过类似 SQL 语句实现快速 MapReduce 统计，使 MapReduce 变得更加简单，而不必开发专门的 MapReduce 应用程序。hive 十分适合对数据仓库进行统计分析。

简介

hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能；可以将 SQL 语句转换为 MapReduce 任务运行，通过自己的 SQL 查询分析需要的内容，这套 SQL 简称 Hive SQL，使不熟悉 mapreduce 的用户可以很方便地利用 SQL 语言查询、汇总和分析数据。而 mapreduce 开发人员可以把自己写的 mapper 和 reducer 作为插件来支持 hive 做更复杂的数据分析。

它与关系型数据库的 SQL 略有不同，但支持了绝大多数的语句如 DDL、DML 以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的 1：具进行数据提取转化加载，用来存储、查询和分析存储在 Hadoop 中的大规模数据集，并支持 UDF（User-Defined Function）、UDAF(User-Defnes AggregateFunction)和 USTF（User-Defined Table-Generating Function），也可以实现对 map 和 reduce 函数的定制，为数据操作提供了良好的伸缩性和可扩展性。

hive 不适合用于联机(online)事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。hive 的特点包括：可伸缩（在 Hadoop 的集群上动态添加设备）、可扩展、容错、输入格式的松散耦合。

适用场景

hive 构建在基于静态批处理的 Hadoop 之上，Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，hive 并不能够在大规模数据集上实现低延迟快速的查询，例如，hive 在几百 MB 的数据集上执行查询一般有分钟级的时间延迟。

因此，hive 并不适合那些需要高实时性的应用，例如，联机事务处理（OLTP）。hive 查询操作过程严格遵守 Hadoop MapReduce 的作业执行模型，hive 将用户的 hiveQL 语句通过解释器转换为 MapReduce 作业提交到 Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。hive 并非为联机事务处理而设计，hive 并不提供实时的查询和基于行级的数据更新操作。hive 的最佳使用场合是大数据集的批处理作业，例如，网络日志分析。

设计特征

hive 是一种底层封装了 Hadoop 的数据仓库处理工具，使用类 SQL 的 hiveSQL 语言实现数据查询，所有 hive 的数据都存储在 Hadoop 兼容的文件系统（例如，Amazon S3、HDFS）中。hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到 HDFS 中 hive 设定的目录下，因此，hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。hive 的设计特点如下。