从零学习Hadoop之认识HDFS

从零学习Hadoop之认识HDFS
Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是一个用在普通硬件设备上的分布式文件系统。它与现有的分布式文件系统有很多近似的地方，但是又和这些文件系统有许多不同的地方。 HDFS HDFS开始是为开源的Apache Nutch项目的基础结构而创建，HDFS是Hadoop项目的一部分，而Hadoop又是Lucene的一部分。 HDFS的特点 高容错性，可以用来部署在低廉的硬件上。 高吞吐量，用来访问应用程序的数...
2016年04月03日 Hadoop 暂无评论 喜欢 0 阅读 484 views 次 阅读全文

大话Future模式

大话Future模式
说在前面的话 什么是Future 模式呢？对于多线程，如果线程A要等待线程B的结果，那么线程A没必要等待B，直到B有结果，可以先拿到一个未来的Future，等B有结果是再取真实的结果。其实这个模式用的很多，比如浏览器下载图片的时候，刚开始是不是通过模糊的图片来代替最后的图片，等下载图片的线程下载完图片后在替换。 思想 实例 Main：系统启动，调用Client发出请求 package com.ifcoding.future; pub...
2016年05月17日 Java 暂无评论 喜欢 0 阅读 794 views 次 阅读全文

Hadoop性能调优之部分参数设置技巧

Hadoop性能调优之部分参数设置技巧
这里主要针对Hadoop1中Mapreduce的性能调优，Hadoop2的MapReduce的性能调优大同小异。 这里主要涉及的参数包括： HDFS： dfs.block.size Mapredure： io.sort.mb io.sort.spill.percent mapred.local.dir mapred.map.tasks & mapred.tasktracker.map.tasks.maximum mapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximum mapred.reduce.max.attempts mapred.reduce.parallel.copies map...
2016年04月29日 Hadoop 暂无评论 喜欢 0 阅读 873 views 次 阅读全文

初识Hadoop从零学习

初识Hadoop从零学习
《Hadoop权威指南》第一章中，有一段对Hadoop非常形象的介绍，介绍如下： 在古时候，人们用牛来来拉重物。当一头牛拉不动一根圆木时，人们从来没有考虑过要培育更强壮的牛。同理，我们也不该想方设法打造超级计算机，而应该千方百计综合利用更多计算机来解决问题。                                                                                                              -格雷斯·霍珀（Grace Ho...
2016年03月21日 Hadoop 评论 1 条 喜欢 0 阅读 574 views 次 阅读全文

LinkedHashSet和LinkedHashMap源码剖析

LinkedHashSet和LinkedHashMap源码剖析
总体介绍 如果你已看过前面关于HashSet和HashMap，以及TreeSet和TreeMap的讲解，一定能够想到本文将要讲解的LinkedHashSet和LinkedHashMap其实也是一回事。LinkedHashSet和LinkedHashMap在Java里也有着相同的实现，前者仅仅是对后者做了一层包装，也就是说LinkedHashSet里面有一个LinkedHashMap（适配器模式）。因此本文将重点分析LinkedHashMap。 LinkedHashMap实现了Map接口，即允许放入key为null的元素...
2016年06月16日 Java 暂无评论 喜欢 0 阅读 812 views 次 阅读全文

字符串分隔-华为oj

字符串分隔-华为oj
题目描述 连续输入字符串，请按长度为8拆分每个字符串后输出到新的字符串数组； 长度不是8整数倍的字符串请在后面补数字0，空字符串不处理。 输入描述: 连续输入字符串(输入2次,每个字符串长度小于100) 输出描述: 输出到长度为8的新字符串数组 输入例子: abc 123456789 输出例子: abc00000 12345678 90000000 知识点 字符串 解答 import java.util.Scanner; public class Main {     public static ...
2016年04月01日 算法 暂无评论 喜欢 0 阅读 394 views 次 阅读全文

Java工程师成神之路[转]

Java工程师成神之路[转]
一、基础篇 1.1 JVM 1.1.1. Java内存模型，Java内存管理，Java堆和栈，垃圾回收 http://www.jcp.org/en/jsr/detail?id=133 http://ifeve.com/jmm-faq/ 1.1.2. 了解JVM各种参数及调优 1.1.3. 学习使用Java工具 jps, jstack, jmap, jconsole, jinfo, jhat, javap, … http://kenai.com/projects/btrace http://www.crashub.org/ https://github.com/taobao/TProfiler https://github.com/CSUG/HouseMD http:/...
2016年04月07日 Java 暂无评论 喜欢 0 阅读 471 views 次 阅读全文

进制转换-华为oj

进制转换-华为oj
题目描述 写出一个程序，接受一个十六进制的数值字符串，输出该数值的十进制字符串。（多组同时输入） 输入描述: 输入一个十六进制的数值字符串。 输出描述: 输出该数值的十进制字符串。 输入例子: 0xA 输出例子: 10 知识点 字符串 解答 import java.util.Scanner; public class Main {     public static void main(String[] args) {         Scanner in = new Scanner(System.in);         while ...
2016年04月18日 算法 暂无评论 喜欢 0 阅读 636 views 次 阅读全文

从零开始搭建Hadoop-0.20.2平台的详细过程

从零开始搭建Hadoop-0.20.2平台的详细过程
说在前面的话 本来是之前写在我的另外一篇博客cndwzone.com的文章，时间是2014年6月份的，现在借用一下，由于当时对搭建Hadoop-0.20.2版本记录的比较详细，当然回过头看看，还是存在一些问题，比如SSH是为什么了什么，里面的密钥起到什么作用，当时没有深究，可能会对原理性的东西进行学习记录。 由于硬件限制，我在这里说的是hadoop伪分布式模式（Pseudo-Distributed Mode），其实网上已经有很多教程，不...
2016年03月25日 Hadoop 暂无评论 喜欢 0 阅读 708 views 次 阅读全文

操作系统之哲学原理-操作系统历史

操作系统之哲学原理-操作系统历史
操作系统进化的推动因素 硬件成本不断下降 计算机的功能和复杂性不断变化 XP系统代码达到4000w行。 第一阶段：状态机操作系统 时间：1940年以前 所谓状态机操作系统实际上算不上我们现在通常所定义的操作系统，而是一种简单的状态转换程序：根据特定输入和现在的特定状态进行状态转换而已。 驱动力：个人英雄主义 第二阶段：单一操作员单一控制端操作系统 时间：20世纪40年代 第一台电子计算机：ENIAC 原...
2016年05月10日 读书笔记 暂无评论 喜欢 0 阅读 445 views 次 阅读全文
Copyright © If Coding 保留所有权利.   Theme  Ality   

用户登录