MapReduce实践 Uber数据分析

介绍

这篇博客是关于如何在Hadoop MapReduce中进行Uber数据分析的。

数据

数据下载

数据展示
data view

数据说明

该数据有4列:

  1. dispatching_base_number
  2. date
  3. active_vehicles
  4. trips

问题描述

计算每个Basement每个周几总共有多少trips

MapReduce实现

Mapper

在Mapper中 使用java.time.LocalDate来获取每个年月日具体是星期几,并将Basement_number+dayofweek作为keys,tripNum作为value。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
public static class ExtractTripMapper extends Mapper<Object, Text, Text, IntWritable>
{
private IntWritable tripNum; // trip 值
String specifyDate = "MM/DD/YYYY";
DateTimeFormatter formatter = DateTimeFormatter.ofPattern("M/d/y"); // date转化格式
LocalDate date;
String dayOfWeek;

public void map(Object key, Text value, Context context) throws IOException, InterruptedException
{
String[] splitArray = value.toString().split(","); // 对字符串进行切分
specifyDate = splitArray[1];
// 使用try来处理不和谐的数据
try{
date = LocalDate.parse(specifyDate,formatter);
dayOfWeek = date.getDayOfWeek().toString();
tripNum = new IntWritable(new Integer(splitArray[3]));
}
catch (DateTimeParseException e){
e.printStackTrace();
return;
}

context.write(new Text(splitArray[0] + "+" + dayOfWeek), tripNum);
}
}

Combiner&Reducer

之后就与WordCont相同,进行简单的统计和合并。

1
2
3
4
5
6
7
8
9
10
11
12
13
public static class SumReducer extends Reducer<Text, IntWritable, Text, IntWritable>
{
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException
{
int sum = 0;
for (IntWritable val : values)
{
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}

输出

result

完整代码

Have a nice day!