使用提取API从任何RSS提要提取完整的新闻文章内容

2020-11-09 20:57:10

了解如何从任何RSS提要或给定的URL列表中提取所有字段。在本例中,我们将使用Medium的RSS提要。代码将是用Python编写的,但可以很容易地改编成其他语言。

让我们从导入包开始。我们将使用“feed parser”来提取中等RSS提要。

让我们首先从RSS提要中提取链接。在本例中,我们将从“迈向数据科学”中摘录文章。当涉及到数据科学、机器学习和人工智能时,“走向数据科学”是领先的博客之一。

导入FeedparserNewsFeed=在Feed中找到的feedparser.parse(";https://towardsdatascience.com/feed";)print(";Total条目:";+str(len(NewsFeed.Entries))+";\n";)i=0表示NewsFeed中的条目。条目:Print(str(I)+";:GET URL:";+entry y.link)i=i+1。

我们能够提取链接,现在我们希望提取提要中每篇新闻文章的全部内容、摘要、元数据和其他详细信息。

要解压,我们将使用Pipfeed的提取API:https://promptapi.com/marketplace/description/pipfeed-api,您可以从Prompt API获得一个免费的API密钥。

导入请求surl=";https://api.promptapi.com/pipfeed";payload=";https://towardsdatascience.com/topic-model-evaluation-3c43e2308526";headers={";apiKey";:";Your_api_key";}Response=requests.request(";post";,url,Headers=Headers,Data=payload)STATUS_CODE=RESPESE.STATUS_CODERESULT=RESPESE.TextPrint(Result)。

上面的代码将提取给定的URL并返回所有字段。下面是我们从上面的代码得到的响应。请不要忘记将提示API生成的API密钥替换为您自己的API密钥。

“摘要”和“预测类别”是使用Pipfeed的AI模型生成的。其余的字段摘自这篇文章的HTML本身。

发表在#34;:";2020-11-09T05:15:23.001Z";,";标题";:";主题模型评估";,";作者";:[";Giri Rabindranath";],";描述";:";评估是理解主题模型的关键-本文解释了什么是主题模型评估。,";语言";:";en";,";url";:";https://towardsdatascience.com/topic-model-evaluation-3c43e2308526";,";mainImage";:";https://miro.medium.com/max/1200/1*wvlqQPpOHFK7xQ1XOhe6xg.jpeg";,";类别";:";机器学习";,";类别";:NULL,";预测类别";:[";机器学习";,";数据科学";,";编程";],";标记";:[],";关键字";:[";一致性";,";评估";,";人类";,";模型";,&##型号";、";主题";,";主题";,";方式";,";Word";,";单词";],";摘要";:";在本文中,我们将介绍主题模型评估,它是什么,以及如何进行评估。\n什么是主题模型评估?\n主题模型评估是评估主题模型达到设计目的的程度的过程。\n这就是主题模型评估重要的原因。\n如何评估主题模型回顾本文希望已经明确了一件事:\u2014年主题模型评估并非易事!";;";图像&34;:[";Https://miro.medium.com/fit/c/140/140/1*74Yrxu8s4sOtTECtixv9Fg.jpeg";,";https://miro.medium.com/max/60/1*[电子邮件受保护]?q=20";,";https://miro.medium.com/fit/c/140/140/0*l_zfjU9IKMa47tfy";,";https://miro.medium.com/fit/c/56/56/2*b2y5uCYazQ9FgiUQEUHT6Q.jpeg";,";Https://miro.medium.com/max/60/1*mpyrgqwMjfclV2oN1U2VIA.jpeg?q=20";,";https://miro.medium.com/max/698/1*E4oPMmq5jTKuStZJuyDGpw.jpeg";,";https://miro.medium.com/max/12032/1*wvlqQPpOHFK7xQ1XOhe6xg.jpeg";,";https://miro.medium.com/max/60/1*_MXaw5BKgIsm8J3dOUNHMg.jpeg?q=20";,";Https://miro.medium.com/max/224/1*AGyTPCaRzVqL77kFwUwHKg.png";,";https://miro.medium.com/max/270/1*W_RAPQ62h0em559zluJLdQ.png";,";https://miro.medium.com/max/60/1*E4oPMmq5jTKuStZJuyDGpw.jpeg?q=20";,";https://miro.medium.com/max/1200/1*wvlqQPpOHFK7xQ1XOhe6xg.jpeg";,";Https://miro.medium.com/max/60/0*aP8H1qpRN_OR1x5r?q=20";,";https://miro.medium.com/max/60/0*NIpOoYo9iHt4lMbg?q=20";,";https://miro.medium.com/max/60/0*l_zfjU9IKMa47tfy?q=20";,";https://miro.medium.com/max/270/1*Crl55Tm6yDNMoucPo1tvDg.png";,";Https://miro.medium.com/max/784/1*_MXaw5BKgIsm8J3dOUNHMg.jpeg";,";https://miro.medium.com/fit/c/140/140/1*FTG-junI6KJzojC_xRVNXg.png";,";https://miro.medium.com/max/60/0*fG5RLd48iOZezB_y.jpeg?q=20";,";https://miro.medium.com/fit/c/140/140/0*NIpOoYo9iHt4lMbg";,";Https://miro.medium.com/fit/c/140/140/1*[电子邮件受保护]";,";https://miro.medium.com/max/60/1*wvlqQPpOHFK7xQ1XOhe6xg.jpeg?q=20";,";https://miro.medium.com/fit/c/140/140/1*mpyrgqwMjfclV2oN1U2VIA.jpeg";,";https://miro.medium.com/fit/c/140/140/0*fG5RLd48iOZezB_y.jpeg";,";Https://miro.medium.com/fit/c/140/140/0*aP8H1qpRN_OR1x5r";,";https://miro.medium.com/max/60/1*74Yrxu8s4sOtTECtixv9Fg.jpeg?q=20";,";https://miro.medium.com/max/60/1*FTG-junI6KJzojC_xRVNXg.png?q=20";],";博客名称";:空,#34;博客徽标URL";:空,";HTML";:";<;div class=\";id=\";readability-page-1\";>;<;section>;<;div>;<;div>;<;h2 id=\";ef6b\";>;数据科学解释了<;/h2>;<;h2 id=\";E375\";>;此处\u2019s关于评估主题模型需要了解的内容<;/h2>;<;div>;<;div>;<;a rel=\";href=\";https://medium.com/@g_rabi?source=post_page-3c43e2308526--\";>;<;div>;<;p>;<;img Height=\";28\";Width=\";28\";src=\";https://miro.medium.com/fit/c/56/56/2*b2y5uCYazQ9FgiUQEUHT6Q.jpeg\";alt=\";Giri Rabindranath\";>;<;/p>;<;/div>;<;/a>;<;/div>;<;/div>;<;div>;<;p id=\";8bff\";>;<;em>;主题模型广泛用于分析非结构化文本数据,但它们不提供所生成主题质量的指导。评价是理解主题模型的关键。在本文中,我们将了解什么是主题模型评估,为什么它很重要,以及如何进行it.<;/em>;<;/p>;<;/div>;<;/section>;<;section>;<;div>;<;div>;<;h2 id=\";324c\";>;Contents<;/h2>;<;ul>;<;li id=\";dd12\";>;<;a rel=\";href=\";#f0ce\#34;&>什么是主题模型evaluation<;/em>;<;/a>;?<;/li>;<;li id=\";