百度收录比较好的网站,可以发外链的网站或平台有哪些,wordpress文章不显示标题,wordpress快速建站教程第一个參数iter是一个迭代器#xff0c;涉及被map函数产生的键和值。它们是reduce实例。在本例中。单词随机被托付给不同的reduce实例。然后#xff0c;要单词同样#xff0c;处理它的reduce也同样。可确保终于合计是正确的。第二个參数params与map函数中一致#xff0c;在… 第一个參数iter是一个迭代器涉及被map函数产生的键和值。它们是reduce实例。在本例中。单词随机被托付给不同的reduce实例。然后要单词同样处理它的reduce也同样。可确保终于合计是正确的。第二个參数params与map函数中一致在此。仅简单使用disco.util.kvgroup()来提取每一个单词统计计数。累计计数yield(产生)结果。执行作业以下開始执行作业。可使用大量參数定制作业但通常来说。对于简单的任务来说 仅使用当中3个就可以。除了启动作业之外我们还须要输出结果。首先我们在作业完毕前要等待通过调用wait等待调用完毕完毕后会返回结果。为方便起见。通过job对象调用wait及其他相关方法。result_iterator()函数取结果文件地址列表。它被wait()函数返回iterates(迭代)遍历全部结果中的键值对。 defmap(line, params): for word in line.split(): yield word, 1 defreduce(iter, params): from disco.util import kvgroup for word, counts in kvgroup(sorted(iter)): yield word, sum(counts) if__name__ __main__: job Job().run(input[http://discoproject.org/media/text/chekhov.txt], mapmap, reducereduce) for word, count inresult_iterator(job.wait(showTrue)): print(word, count) 本博客全部内容是原创假设转载请注明来源http://blog.csdn.net/myhaspl/假设一切妥当。可看到作业执行输入从tagdata:bigtxt中读入这个是開始时刻创建的终于打印输出在job执行时可打开或执行disco master的端口。查看作业的实时进程。python count_words.py也可在控制台上查看作业进程例如以下 DISCO_EVENTS1 python count_words.py正如您所示,创建一个新的迪斯科的工作是相当简单的。你能够在随意数量的方面扩展这个简单的样例。比如,通过使用params对象包含停用词的列表。假设你把迪斯科分布式文件系统的数据,你能够试试改变输到tag://data:bigtxt。以及加上map_reader disco.worker.task_io.chain_reader。你能够试着用sum_combiner(),使job更有效率。你也能够尝试自己定义功能分区和读取函数用与map和reduce函数一样的方式编写然后,你能够试着链接job在一起,以便之前的job输出成为下一个的输入。disco是设计得尽可能的简单,这样你就能够专注于你自己的问题,而不是框架。
