MapReduce
用于分析无法载入内存的数据集的编程方法
mapreduce
是一种编程方法,适用于分析无法以其他方法载入计算机内存的大型数据集。该方法使用 datastore
,以小分块的方式处理数据,包含映射阶段(用于对数据进行格式化或执行前兆计算)和化简阶段(用于对来自映射阶段的所有结果进行聚合)。有关详细信息,请参阅MapReduce 快速入门。
有关将其他产品与 mapreduce
结合使用的信息,请参阅Speed Up and Deploy MapReduce Using Other Products。
函数
对象
KeyValueStore | 存储用于 mapreduce 的键-值对组 |
ValueIterator | 用于 mapreduce 的中间值迭代器 |
主题
- MapReduce 快速入门
了解 MapReduce 编程方法并运行示例计算。
- 编写 map 函数
创建在
mapreduce
算法中使用的 map 函数。 - Write a Reduce Function
Create a reduce function for use in a
mapreduce
algorithm. - Speed Up and Deploy MapReduce Using Other Products
Capabilities of other products to speed up and share
mapreduce
algorithms.
疑难解答
This example shows how to debug mapreduce
algorithms in
MATLAB®. Debugging enables you to follow the movement of data between the different
phases of mapreduce
execution and inspect the state of all
intermediate variables.