欢迎使用WordPress。这是您的第一篇文章。编辑或删除它，然后开始写作吧！
世界，您好！
从零学习Hadoop之HDFS架构
上一篇《从零学习Hadoop之认识HDFS》简单介绍了一下HDFS。已经了解到HDFS为Hadoop这个分布式计算框架提供高性能、高可靠、高可扩展的存储服务。HDFS架构是一个典型的主从架构，包括一个NameNode节点（主节点）和多个DataNode（从节点）并提供应用程序访问接口。
NameNode是整个文件系统的管理节点，它负责文件系统名字空间（NameSpace）的管理与维护，同时负责客户端文件操作的控制以及具体存储任务的管理...
从零学习Hadoop之Hadoop的RPC机制
说在前面的话
一般我们说了解的RPC（Remote Procedure Call，远程过程调用）机制都要面对两个问题：
对象调用方式；
序列/反序列化机制。
RPC架构如图所示：
Hadoop自己实现了简单的RPC组件，依赖于Hadoop Writable类型的支持。
Hadoop Writable接口要求每个实现类都要确保将本类的对象正确序列化（writeObject）与反序列化（readObject）。因此，Hadoop RPC使用Java动态代理与反射实现对象的调用方式（...
细说Java IO相关
概述
在大部分的行业系统或者功能性需求中，对于程序员来说，接触到io的机会还是比较少的，其中大多也是简单的上传下载、读写文件等简单运用。最近工作中都是网络通信相关的应用，接触io、nio等比较多，所以尝试着深入学习并且描述下来。
io往往是我们忽略但是却又非常重要的部分，在这个讲究人机交互体验的年代，io问题渐渐成了核心问题。Java传统的io是基于流的io，从jdk1.4开始提供基于块的io，即nio，...
操作系统之哲学原理-导论2
上篇《操作系统之哲学原理-导论》主要介绍了以下内容：
人造和神造
程序是如何运行的
知道了程序的执行过程不仅仅是从高级语言编写的程序开始，而且可以直接在机器语言或者汇编语言上编写，使用这种称为“低级”的语言编写出来的机器语言程序无需经过编译器的翻译就可以在计算机指令集上执行。如果是在汇编语言上编写的汇编程序，则只需要经过汇编器的翻译即可加载执行。
什么是操作系统
掌控局势的一种系...
操作系统之哲学原理-导论
说在前面的话
得知《操作系统之哲学原理》这本书，貌似也是知乎。所谓基础不牢地动山摇，操作系统原理乃是计算机学科非常重要的基础学科之一，也是程序员进阶必备。本着加强记忆，有助思考，决定将我所看、所想有所记，以读书笔记形式来记录。
人造与神造
要有学习操作系统的恰当思维：“哲学”，其为一种思维方式或者一种生活方式。
“什么是计算机的根本特征”？答案：“人造”。
稍微引申一下，计算机学科就是...
初识Hadoop从零学习
《Hadoop权威指南》第一章中，有一段对Hadoop非常形象的介绍，介绍如下：
在古时候，人们用牛来来拉重物。当一头牛拉不动一根圆木时，人们从来没有考虑过要培育更强壮的牛。同理，我们也不该想方设法打造超级计算机，而应该千方百计综合利用更多计算机来解决问题。
-格雷斯·霍珀（Grace Ho...
从零学习Hadoop之HDFS的HA机制
Hadoop2.0.0版本之前，NameNode是HDFS集群的单点故障点，每一个集群只有一个NameNode，如果这个机器或者进程不可用，整个集群则无法使用，直到重启NameNode或者新启动一个NameNode节点。
那么，导致HDFS集群不可用的两种主要情况：
类似机器宕机，Hadoop1解决方式：重启NameNode。
计划内的软件或者硬件升级（NameNode节点），将导致集群在段时间范围内不可用。
HDFS的高可用性（High Availablity）就可...
Hadoop性能调优之部分参数设置技巧
这里主要针对Hadoop1中Mapreduce的性能调优，Hadoop2的MapReduce的性能调优大同小异。
这里主要涉及的参数包括：
HDFS：
dfs.block.size
Mapredure：
io.sort.mb
io.sort.spill.percent
mapred.local.dir
mapred.map.tasks & mapred.tasktracker.map.tasks.maximum
mapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximum
mapred.reduce.max.attempts
mapred.reduce.parallel.copies
map...
HDFS block自动进入安全模式（safe mode）原因及解决方案
实验中碰到了如下问题：
问题描述：
The number of live datanodes 3 has reached the minimum number 0.
Safe mode will be turned off automatically once the thresholds have been reached。
可能原因： 因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失。
一般来说，这是由于系统断电，内存不足等原因导致dataNode丢失超过设置的丢失百分比，系统自动进入安全模式。
下面我将...