文章
文章
全部标签

Hadoop

  • hadoop集群配置LZO压缩以及支持Hive

    hadoop集群配置LZO压缩以及支持Hive

    下载以及编译lzo源码包 LZO源码包地址 将下载的源码包使用maven进行编译 使用 mvn clean package，编译之后将生成adoop-lzo-0.4.20.jar的jar包 特殊说明：也可以不进行编译，直接使用作者编译好的lzo jar包。链接: https://pan.baidu.com/s/13IjKDEokh_dqkGoDY1bIFA 密码: fbtf 将编译之后的jar包上…
    Hadoop
    • 559
    • 0
    白老师白老师
  • 图解HDFS存储原理

    图解HDFS存储原理

    HDFS是现在最受欢迎和被人们说熟知的分布式文件系统。本文翻译了经典的 HDFS 原理讲解漫画，以一种通俗易懂的方式帮助 HDFS 初学者理解HDFS 的原理。 HDFS写数据原理 HDFS读数据原理 HDFS故障类型和其检测方法 读写故障的处理 DataNode 故障处理 副本布局策略
    Hadoop
    • 868
    • 0
    白老师白老师
  • HDFS的shell常用命令操作

    HDFS的shell常用命令操作

    HDFS的命令有两种风格： hadoop fs开头 hdfs dfs开头 两种命令都可以使用，效果相同，建议使用hdfs dfs，因为hadoop fs为老版本用法，兼容保留。 启动集群 start-dfs.sh start-yarn.sh 帮助命令 [hadoop@node01 ~]$ hdfs dfs -help ls 查看HDFS系统根目录 [hadoop@node01 ~]$ hdfs d…
    Hadoop
    • 709
    • 0
    白老师白老师
  • Hadoop 基础

    Hadoop 基础

    HDFS的概念 Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题 文件级别的分布式系统 块级别的分布式系统 设计思想 分散均匀存储 dfs.blocksize = 128M 备份冗余存储 dfs.replication = 3 重要特性 HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.b…
    Hadoop
    • 213
    • 0
    白老师白老师
  • Hadoop 发展背景和简介

    Hadoop 发展背景和简介

    Hadoop产生的背景 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 基于google开源三驾马车中的GFS的开源实现 2003年google发表GFS论文 2004年hdfs开源 2004年“谷歌MapReduce”论文 2005年Nu…
    Hadoop
    • 500
    • 0
    白老师白老师
❯
购物车
优惠劵
搜索

  • 扫码打开当前页

  • 扫码关注公众号

返回顶部