现在的位置: 首页 > 云计算 > 正文

学习Hadoop的源码

2013年12月21日 云计算 ⁄ 共 916字 ⁄ 字号 评论关闭

秒速赛车公式 www.l19l7.cn 近两年在云计算方面折腾,从基础知识、到理论算法,进一步Hadoop的集群搭建、Hbase,Hive,Pig等一系列的研究;

甚至Avro,ZooKeepr,mahout以及Chukwa,都有所涉足;读书破万卷,下笔有如神;

对此用的再多,不如下手一试,而阅读Hadoop的源码结构也是一种修炼内功的不必可少之路;

1:首先再看源码之前,至少要了解Hadoop有哪些东西,至少需要掌握了如下几点

Hadoop提供了什么东东

HDFS,Map-Reduce当然是必不可少的

Hadoop的集群搭建模式,namenode,datanode,jobtracker,tasktracker这些职责都是必不可少的。

以及MR2(YARN)的第二代集群管理架构

还有管理UI

2:获取源码

通过工具SVD从//svn.apache.org/repos/asf/hadoop获取源码

源码结构至少包括:

assemblies

client

common-project

dist

hdfs-project

mapreduce-project

maven-plugins

minicluster

project

project-dist

tools

yarn-project

接下来进一步对源码学习和分析

3:HDFS部分

核心代码在main中的java,native,webapps[对应的hdfs的管理界面]

org.apache.hadoop.fs包下面只有5个类

BlockStorageLocation extends BlockLocation

? ? ? ? Hdfs ?extends AbstractFileSystem

? ? ? ? HdfsBlockLocation extends BlockLocation

? ? ? ? HdfsVolumeId implements VolumeId

? ? ? ? VolumeId [interface]

org.apache.hadoop.hdfs包还包含如下子包

client

net

protocol

protocolProtocolBuffers

qjournal

security

server

tools

util

web

还还有一系列的类

打造一个专门的File System确实需要关注更多的东东

抱歉!评论已关闭.

  • 马上背!十九大报告中的四个“新” 2019-02-16
  • 蒲县工商质监局非公党委举办2018元旦文艺会 2019-02-16
  • 人民网评:建设数字中国时不我待 2019-02-16
  • 618史上最壕“买家”现身 Google以 5.5亿美元投资京东 2019-02-15
  • 雍正官窑:朕就是这样的品味(图) 2019-02-15
  • 西安司法考试将试点机考 2019-02-15
  • 人民日报新媒体矩阵聚焦十九大 融媒报道"给你好看" 2019-02-14
  • 社会主义是过渡阶段,最终实现共产主义才是其目的。社会主义是在消灭私有制,建立公有制直至无私,实现共产主义。 2019-02-14
  • 四轮电动车销售火爆存安全隐患 专家:需建国家标准 2019-02-14
  • 看懂汽车三元催化器工作原理后还能当金子卖?难为非洲兄弟了! 2019-02-14
  • 周杰伦昆凌为儿子庆生 小小周帅气入镜 2019-02-13
  • 都以为机器人普及了,一切都不是问题了?机器人不需要不断升级?机器人生产啥?不需要人设计? 2019-02-13
  • 价值-热门标签-华商生活 2019-02-13
  • 上合组织引领发展 吉中合作稳步前行——访吉尔吉斯斯坦总统热恩别科夫 2019-02-13
  • 互联网金融协会提示:防范变相“现金贷”业务风险 2019-02-12
  • 515| 545| 953| 336| 761| 494| 727| 951| 145| 1|