If Coding | 如果·编程 | 如果·代码 | 分享知识、关注互联网。

从零学习Hadoop之HDFS的HA机制

Hadoop2.0.0版本之前，NameNode是HDFS集群的单点故障点，每一个集群只有一个NameNode，如果这个机器或者进程不可用，整个集群则无法使用，直到重启NameNode或者新启动一个NameNode节点。那么，导致HDFS集群不可用的两种主要情况：类似机器宕机，Hadoop1解决方式：重启NameNode。计划内的软件或者硬件升级（NameNode节点），将导致集群在段时间范围内不可用。 HDFS的高可用性（High Availablity）就可...

2016年04月15日 Hadoop 评论 1 条喜欢 0 阅读 1,494 views 次阅读全文

HDFS block自动进入安全模式（safe mode）原因及解决方案

实验中碰到了如下问题：问题描述： The number of live datanodes 3 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached。可能原因：因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失。一般来说，这是由于系统断电，内存不足等原因导致dataNode丢失超过设置的丢失百分比，系统自动进入安全模式。下面我将...

2016年04月25日 Hadoop 暂无评论喜欢 11 阅读 2,170 views 次阅读全文

大话Future模式

说在前面的话什么是Future 模式呢？对于多线程，如果线程A要等待线程B的结果，那么线程A没必要等待B，直到B有结果，可以先拿到一个未来的Future，等B有结果是再取真实的结果。其实这个模式用的很多，比如浏览器下载图片的时候，刚开始是不是通过模糊的图片来代替最后的图片，等下载图片的线程下载完图片后在替换。思想实例 Main：系统启动，调用Client发出请求 package com.ifcoding.future; pub...

2016年05月17日 Java 暂无评论喜欢 0 阅读 1,417 views 次阅读全文

class文件常量池和运行时常量池比对

在学习JVM过程中，接触到常量池这个概念，后来发现不仅仅有一个运行时常量池概念，还有一个class文件常量池概念，使得本来不懂的我更加迷惑了。要想理解，那么就得对这两者进行比较理解，加深记忆。那么，我们先看一下JVM运行时数据区：其中，程序计数器（PC计数器）：是JVM执行程序的流水线，存放一些跳转指令。本地方法栈：是JVM调用操作系统方法所使用的栈。虚拟机栈：是JVM调用Java代码所使用的...

2016年07月21日 Java 暂无评论喜欢 6 阅读 2,558 views 次阅读全文

Spring整合MyBatis配置中的问题

最近在学习Java高并发秒杀API，项目使用SpringMVC、Spring和MyBatis框架来实现，其中必然要学习Spring与MyBatis的整合。在spring整合mybatis单元测试中碰到如下问题： org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'sqlSessionFactory' defined in class path resource [spring/spring-dao.xml]: Cannot resolve reference to bean 'classpath...

2016年06月21日 Java 暂无评论喜欢 4 阅读 2,755 views 次阅读全文

操作系统之哲学原理-导论

说在前面的话得知《操作系统之哲学原理》这本书，貌似也是知乎。所谓基础不牢地动山摇，操作系统原理乃是计算机学科非常重要的基础学科之一，也是程序员进阶必备。本着加强记忆，有助思考，决定将我所看、所想有所记，以读书笔记形式来记录。人造与神造要有学习操作系统的恰当思维：“哲学”，其为一种思维方式或者一种生活方式。 “什么是计算机的根本特征”？答案：“人造”。稍微引申一下，计算机学科就是...

2016年03月23日读书笔记评论 1 条喜欢 0 阅读 992 views 次阅读全文

Hadoop性能调优之部分参数设置技巧

这里主要针对Hadoop1中Mapreduce的性能调优，Hadoop2的MapReduce的性能调优大同小异。这里主要涉及的参数包括： HDFS： dfs.block.size Mapredure： io.sort.mb io.sort.spill.percent mapred.local.dir mapred.map.tasks & mapred.tasktracker.map.tasks.maximum mapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximum mapred.reduce.max.attempts mapred.reduce.parallel.copies map...

2016年04月29日 Hadoop 暂无评论喜欢 0 阅读 1,210 views 次阅读全文

大数据生态技术圈介绍

知乎所见，Xiaoyu Ma对Hadoop生态系统的回答真是简直了，非常赞。下面是对他回答的引用。大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工...

2016年03月22日 Hadoop, Spark 暂无评论喜欢 1 阅读 657 views 次阅读全文

Java工程师成神之路[转]

一、基础篇 1.1 JVM 1.1.1. Java内存模型，Java内存管理，Java堆和栈，垃圾回收 http://www.jcp.org/en/jsr/detail?id=133 http://ifeve.com/jmm-faq/ 1.1.2. 了解JVM各种参数及调优 1.1.3. 学习使用Java工具 jps, jstack, jmap, jconsole, jinfo, jhat, javap, … http://kenai.com/projects/btrace http://www.crashub.org/ https://github.com/taobao/TProfiler https://github.com/CSUG/HouseMD http:/...

2016年04月07日 Java 暂无评论喜欢 0 阅读 1,020 views 次阅读全文

计算字符个数-华为oj

题目描述写出一个程序，接受一个有字母和数字以及空格组成的字符串，和一个字符，然后输出输入字符串中含有该字符的个数。不区分大小写。输入描述: 输入一个有字母和数字以及空格组成的字符串，和一个字符。输出描述: 输出输入字符串中含有该字符的个数。输入例子: ABCDEF A 输出例子: 1 知识点字符串解答 import java.util.Scanner; public class Main { public static void main(String...

2016年03月27日算法暂无评论喜欢 0 阅读 842 views 次阅读全文