您的位置:58编程 > apache pig Apache Pig TOMAP()函数

apache pig Apache Pig TOMAP()函数

2023-03-23 13:33 ApachePig教程

apache pig Apache Pig TOMAP()函数

apache pig

Apache Pig是一种用于处理大型数据集的开源软件,它可以帮助用户快速、有效地处理大量数据。它是基于Hadoop的,可以在Hadoop集群上运行,并且可以使用MapReduce来执行其中的任务。Pig是一种面向对象的语言,它使用一种类似SQL的语法来处理数据。它允许用户使用一系列命令来处理大量数据,而不需要写出MapReduce代码。

Pig有两个主要部分:Pig Latin和Pig Engine。Pig Latin是一种面向对象的语言,它使用一系列命令来处理大量数据。例如:LOAD、FILTER、GROUP BY、JOIN、ORDER BY、STORE 等命令。这些命令可以帮助用户快速地处理大量数据。Pig Engine是一个执行引擎,它将Pig Latin代码转换成MapReduce代码并将其发送到Hadoop集群上执行。

LOAD 'data.txt' USING PigStorage(',') AS (id:int, name:chararray, age:int); 
FILTER student BY age > 18; 
GROUP student BY age; 
STORE student INTO 'output' USING PigStorage(','); 

Apache Pig TOMAP()函数

Pig Latin的 TOMAP() 函数用于将key-value对转换为Map。

语法

下面给出了 TOMAP() 函数的语法。

grunt> TOMAP(key-expression, value-expression [, key-expression, valueexpression ...])

假设在HDFS目录 /pig_data/ 中有一个名为 employee_details.txt 的文件,其中包含以下内容。

employee_details.txt

001,Robin,22,newyork
002,BOB,23,Kolkata
003,Maya,23,Tokyo
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai

通过使用关系 emp_data 将此文件加载到Pig中,如下所示。

grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

现在让我们将每个记录的名称和年龄作为key-value对,并将它们转换为map,如下所示。

grunt> tomap = FOREACH emp_data GENERATE TOMAP(name, age);

验证

您可以使用 Dump 运算符验证 tomap 关系的内容,如下所示。

grunt> DUMP tomap;
  
([Robin#22])
([BOB#23])
([Maya#23])
([Sara#25]) 
([David#23])
([Maggy#22])


阅读全文
以上是58编程为你收集整理的apache pig Apache Pig TOMAP()函数全部内容。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。
相关文章
© 2024 58编程 58biancheng.com 版权所有 联系我们
桂ICP备12005667号-32 Powered by CMS