雨果书斋

拙笔记录生活琐事 微语道出肺腑真言

一篇文章让你了解Hive和HBase的区别

相信做大数据开发的朋友对hive和HBase一定不会陌生。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。HBase是Ha...

技术 1 评 3495

大数据数据库:MPP vs MapReduce

这些年大数据概念已经成为IT界的热门,我们经常也会在新闻和报纸中看到。大数据概念中最为关键的技术就是数据库管理系统,伴随着hadoop和MapReduce技术的流行,大数据的数据库中Hive和Spark等新型数据库脱颖而出;而另一个...

技术 0 评 189

Kafka在大数据生态系统中的价值

近几年, Apache Kafka的应用有了显著的增长。Kafka最新的客户包括Uber, Twitter, Netflix, LinkedIn, Yahoo, Cisco, Goldman Sachs 等。Kafka是个高可扩展的生产消费者系统。利用Kafka系统,用户可以发布大量的消息, 同时...

技术 0 评 190

Kafka在大数据中的应用

Kafka适用大数据处理的原因: 支持存储任何类型和格式的数据 使用商业硬件来存储大量数据 是一个高性能和可伸缩的系统 将数据存储在磁盘上,可以用来服务不同的数据管道;可用于实时事件处理和批处理 由于数据和系统冗...

技术 0 评 223

大数据平台技术架构方案

大数据平台是为了计算,现今社会所产生的越来越大的数据量,以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,...

技术 0 评 326

广告

大数据平台架构组件选择与运用场景

一、大数据平台 大数据在工作中的应用有三种: 与决策相关,数据科学的领域,了解统计学、算法,这是数据科学家的范畴; 与工程相关,如何实施、如何实现、解决什么业务问题,这是数据工程师的工作。 数据工程师在业务和...

技术 0 评 206

大数据组件图谱—比较齐全

文件系统 数据存储 内存技术 数据搜集 消息系统 数据处理 查询引擎 分析和报告工具 调度与管理服务 机器学习 开发平台 文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高...

技术 1 评 235

数据库和数据库实例的概念

很多人都把这两个概念弄混淆,认为MySQL是数据库,也是数据库实例。这样的理解在应用到Oracle和SQL Server的时候可能是正确的,但是再MySQL的体系结构中确是不适用的。 那么从概念上理解,该如何区分数据库和数据库实例呢?...

技术 0 评 139

什么是数据仓库?

为什么需要数据仓库? 传统的数据库中,存放的数据都是一些定制性数据较多,表是二维的,一张表可以有很多字段,字段一字排开,对应的数据就一行一行写入表中,特点就是利用二维表表现多维关系。 但这种表现关系的上限和下...

技术 0 评 232

集群的基本概念

集群的定义 集群是一组协同工作的服务集合,一般由两个或者两个以上的服务器组成.在集群中,同样的服务可以由多个服务实体提供.因而当一个节点出现故障时,集群中的另外一个节点就可以自动接管故障节点的资源. 集群需要具备...

技术 0 评 303