Scraper-如何保存和存储表情符号

Question

我目前正在python 3.x和ubuntu环境下从https://scrapy.org/使用Scraper，以某种方式我想在论坛中获得用户评论，并且包含文本和表情符号。

想知道我们如何将这些表情符号保存到数组中，以便我可以在cvs或json中看到它？

谢谢

Answer 1

可能是HTML结构引起的。 如果子元素中提供了表情符号，则可以在xpath表达式中使用string()函数。

response.xpath('string(.//xpath/to/comment)')

Answer 2

如果您至少可以提供页面的HTML，那就更好了。

如果emoji和text包含在父元素中，则让div带有如下注释类。

<div class="comment">
    <div class="description">This is a comment.</div>
    <span>:-)</span>
</div>

那么您可以使用以下XPath或CSS选择器。

response.css('.comment ::text').extract()

要么

response.xpath('.//div[@class="comment"]//text()').extract()