现在的位置: 首页 > 云计算 > 正文

学习Hadoop的源码

2013年12月21日 云计算 ⁄ 共 916字 ⁄ 字号 评论关闭

秒速赛车公式 www.l19l7.cn 近两年在云计算方面折腾,从基础知识、到理论算法,进一步Hadoop的集群搭建、Hbase,Hive,Pig等一系列的研究;

甚至Avro,ZooKeepr,mahout以及Chukwa,都有所涉足;读书破万卷,下笔有如神;

对此用的再多,不如下手一试,而阅读Hadoop的源码结构也是一种修炼内功的不必可少之路;

1:首先再看源码之前,至少要了解Hadoop有哪些东西,至少需要掌握了如下几点

Hadoop提供了什么东东

HDFS,Map-Reduce当然是必不可少的

Hadoop的集群搭建模式,namenode,datanode,jobtracker,tasktracker这些职责都是必不可少的。

以及MR2(YARN)的第二代集群管理架构

还有管理UI

2:获取源码

通过工具SVD从//svn.apache.org/repos/asf/hadoop获取源码

源码结构至少包括:

assemblies

client

common-project

dist

hdfs-project

mapreduce-project

maven-plugins

minicluster

project

project-dist

tools

yarn-project

接下来进一步对源码学习和分析

3:HDFS部分

核心代码在main中的java,native,webapps[对应的hdfs的管理界面]

org.apache.hadoop.fs包下面只有5个类

BlockStorageLocation extends BlockLocation

? ? ? ? Hdfs ?extends AbstractFileSystem

? ? ? ? HdfsBlockLocation extends BlockLocation

? ? ? ? HdfsVolumeId implements VolumeId

? ? ? ? VolumeId [interface]

org.apache.hadoop.hdfs包还包含如下子包

client

net

protocol

protocolProtocolBuffers

qjournal

security

server

tools

util

web

还还有一系列的类

打造一个专门的File System确实需要关注更多的东东

抱歉!评论已关闭.

  • 第十六届中国经济论坛 2019-06-26
  • 拜博口腔医疗集团创始人、董事长黎昌仁获第十二届人民企业社会责任奖年度人物奖 2019-06-26
  • 县名解析晋城高平市地名来历 2019-06-25
  • “网络党课”第二课 杨禹《为美好生活而奋斗》 2019-06-25
  • 自然规律是不可改变的,社会规律是可以改变的。这是自然科学与社会科学的区别之一。 2019-06-25
  • 香港有祖国全面支持<br>港人对未来满怀憧憬 2019-06-25
  • 中央第四环保督察组向江西移交1034件信访问题线索 2019-06-24
  • 第十二届中国(南宁)国际园林博览会吉祥物正式发布 2019-06-24
  • C级总销量迫近A4L 宝马3系乏力 2019-06-24
  • 包车司机借口“学炒股”敲开门 抢钱后杀人抛尸 2019-06-23
  • 临汾“尧王杯”马拉松赛激情开跑 2019-06-23
  • 我们包住内力,在不断变化中寻找契机可出击可借力亦可卸力。 2019-06-23
  • “ONE NIGHT 给小孩”北京站探访周迅刘雯共奏可爱“交响曲” 2019-06-22
  • 爱护民生:什么基金都不能买,即使获利,也不会给分多少红利,只是意思意思。 2019-06-22
  • 三颗迄今最年轻行星现形 2019-06-22
  • 式场公式规律中特平码 今天福彩3d走势图 快乐12网上投注软件 陕西快乐10分选号技巧 深圳风采开奖玩法 曾道人平特论坛 重庆百变王牌开奖直播现场 百家乐怎么 快乐时时彩走势图开奖 宁夏11选5直播 京东彩票优惠券怎么用 360天津时时彩 足球直播吧 香港赛马会内幕资料区 云南时时彩走势20选5走势图