Mining of Massive Datasets,大数据挖掘
由Anand Rajaraman (@anand_raj) 和 Jeff Ullman写的《Mining of Massive Datasets》，由Cambridge University...
View Articleflume org.apache.flume.ChannelException: Unable to put batch on required channel
执行flume windows版本时遇到如下错误： 2013-02-25 12:05:37,818 (pool-4-thread-1) [INFO - org.apache.flume.client.avro.SpoolingFileLineReader.readLines(Spooling FileLineReader.java:167)] Last read was never...
View Articleflume channel,source,sink汇总
这是flume-ng的channel,source,sink类型汇总，方便查询。 Component Type Description Implementation Class Channel memory In-memory, fast, non-durable event transport MemoryChannel Channel file A channel for reading,...
View Articleflume windows spool dir问题源码修改
flume-ng 1.3.1 windows可能报如下错误： 04 三月 2013 16:54:19,638 ERROR [pool-4-thread-1] (org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run:148) – Uncaught exception in Runnable...
View Article一种递归计算的高效方法
周海汉/文 http://abloz.com 递归计算，有时能非常直观的解决问题，但是非常耗资源，计算很慢，还可能导致堆栈耗尽，计算失败。所以很多时候具体实现时不提倡采用递归，而是将递归转为循环的方式来实现。但这种方式又不直观，容易出错。 有没有一种方法可以即递归，又快速实现，减少运算资源消耗呢? python中的生成器是一种解决方案。以斐波纳契数列为例： def fibonacci(n):...
View Articlejava 读取本地和hdfs文件夹
周海汉/文 abloz.com 2013.3.14 package my.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import...
View Articlehive mapreduce script用法示例
周海汉/文 2013.3.27 对于一些hql语句特殊处理，hive本身没有提供相应功能，可以有两种方式，一是mapreduce script，二是写UDF，UDAF，UDTF等。后者需要调用hive提供的api。前者则类似mapreduce的stream模式，只需正确处理输入输出即可。 所以mapreduce脚本进行一些简单处理还是很方便的。...
View Articlehive 复杂 UDAF 使用方法
周海汉 /文 2013.3.27 前文《hive mapreduce script用法示例》 示例了mapreduce脚本。本文采用较复杂的方式自定义hive聚合函数。 package com.abloz.hive; /** * @author zhouhh * @date 2013-3-27 * note: for count value >=1 */ import...
View Articlehive执行语句时报NullPointerException
java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93) at...
View Article复制部分HBase表用于测试
周海汉/文 2013.4.2 可以将日期’08/08/16 20:56:29′从hbase log 转换成一个 timestamp, 操作如下: hbase(main):021:0> import java.text.SimpleDateFormat hbase(main):022:0> import java.text.ParsePosition...
View Article预测，算命，心理学和大数据
周海汉/文 说到计划经济，给共产主义国家的人民留下了非常严重阴影。因为政府的大手实际上无法真正预测掌控一切。 计划委员会的官员也不过是人，不是神。一旦所计划的事情庞杂到一个国家，基本上很多情况下只能瞎扯蛋了。即使一个人对自己的规划，其实也是很难做到的。何况还要规划别人的事情。...
View Articlehive 介绍
周海汉 2013.4.18 Hive introduction 介绍 from ablozhou 相关博文： hive 复杂 UDAF 使用方法 hive mapreduce script用法示例 hive 入门教程
View ArticleClik here to view.
svg：xml标记的可缩放矢量图形
abloz.com 2013.7.17 SVG是scalable vectory graphic. html5可以用此画图。 复制下述脚本，存为html文件，用chrome打开，可以看到用xml标记画的图形。这可以用于统计图表的展示。如用Path来绘制曲线，用Rectangle来绘制柱状图。一次可以粘贴一个单元，并修改参数可以看到效果。但需要做好低版本IE的兼容。 <!DOCTYPE...
View Articlehadoop 配置机架感知
周海汉 2013.7.24 http://abloz.com 假如设备链接层次分3层，第一层交换机d1下面连多个交换机rk1,rk2,rk3,rk4,…. 每个交换机对应一个机架。 d1(rk1(hs11,hs12,…),rk2(hs21,hs22,…), rk3(hs31,hs32,…),rk4(hs41,hs42,…),…)...
View Articleerlang领悟
abloz.com 周海汉 /文 2013.8.6 erlang作为著名的并发编程语言，在大规模并发计算上很独到。但它的怪异的语法和独特的约定，让学习曲线很陡。OTP意思是open telecom platform. 1.编译安装： 很中规中矩，一点不特殊。 wget http://www.erlang.org/download/otp_src_R16B01.tar.gz ./configure...
View Articlesqoop 1.99 安装配置
周海汉/文 2013.8.20 http://abloz.com 摘要： 1. sqoop 1.99的安装配置 2. client使用 3. 从HBase，Hive导数据到mysql 版本 sqoop-1.99.2-bin-hadoop100...
View Articlescala HelloWorld
周海汉/文 2013.8.1 最近网络封锁太严，日志都发不出来了，只好重发。 scala，一种基于JVM虚拟机的函数式语言，以其编程效率和分布式处理能力著称。spark 就是用scala写的。 下载： [hadoop@hs11 scala-2.11.0-M4]$ scala Welcome to Scala version 2.11.0-M4 (Java HotSpot(TM) 64-Bit...
View Articlesqoop 从 hive 导到mysql遇到的问题
周海汉/文 2013.8.22 环境 hive 版本hive-0.11.0 sqoop 版本 sqoop-1.4.4.bin__hadoop-1.0.0 从hive导到mysql mysql 表： mysql> desc cps_activation; +————+————-+——+—–+———+—————-+ | Field | Type | Null | Key | Default |...
View ArticleR 语言在centos6.4上的安装
周海汉 2013.8.30 CentOS 6.4 64位上安装。官方下载地址： http://cran.r-project.org 官方下载比较老。 R-2.10.0-2.el5.x86_64.rpm 09-Nov-2009 16:45 14K R-core-2.10.0-2.el5.x86_64.rpm 09-Nov-2009 16:45 31M...
View ArticleGo 语言试用
周海汉 /文 2013.8.30 安装测试 官网 http://golang.org/ 下载 https://code.google.com/p/go/downloads/list wget https://go.googlecode.com/files/go1.1.2.linux-amd64.tar.gz 解压后会生成go目录 [andy@s1 test]$ cat hello.go...
View Article