需要帮助使用 pandas 创建 csv output 文件

Question

在使用 pandas 创建 csv output 文件时需要帮助。我的 csv output 文件中只有一行数据，应该有五行。 我已经尝试在不同的地方添加打印语句来检查我的输入 csv 文件是否正在迭代，它是。 不确定为什么不将所有五个结果存储在 sentiment.csv 文件中。 urls2.csv 文件中有 5 个 url，因此人们会期望 sentiment.csv 中有 5 个结果，但我只得到一个。 任何帮助将不胜感激。

import spacy
from spacytextblob.spacytextblob import SpacyTextBlob
import pandas as pd
from bs4 import BeautifulSoup
import requests
nlp = spacy.load('en_core_web_sm')
nlp.add_pipe('spacytextblob')
df = pd.read_csv("urls2.csv")
urls = df["Address"].tolist()

url_sent_score = []
url_sent_label = []
total_pos = []
total_neg = []
for count, x in enumerate(urls):
  url = x
  headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
  res = requests.get(url,headers=headers)
  html_page = res.text

  soup = BeautifulSoup(html_page, 'html.parser')
  for script in soup(["script", "style","meta","label","header","footer"]):
    script.decompose()
    page_text = (soup.get_text()).lower()
    page_text = page_text.strip().replace("  ","")
    page_text = "".join([s for s in page_text.splitlines(True) if s.strip("\r\n")])
    doc = nlp(page_text)

  sentiment = doc._.blob.polarity
  sentiment = round(sentiment,2)

  if sentiment > 0:
    sent_label = "Positive"
  else:
    sent_label = "Negative"

url_sent_label.append(sent_label)
url_sent_score.append(sentiment)
positive_words = []
negative_words = []

for x in doc._.blob.sentiment_assessments.assessments:
  if x[1] > 0:
    positive_words.append(x[0][0])
  elif x[1] < 0:
    negative_words.append(x[0][0])
  else:
    pass

total_pos.append(', '.join(set(positive_words)))
total_neg.append(', '.join(set(negative_words)))

data = {
      'Sentiment Score':url_sent_score,
      'Sentiment Label':url_sent_label,
      'Positive Words':total_pos,
      'Negative Words':total_neg}

df=pd.DataFrame(data)
df.to_csv("sentiment.csv")
df.to_json("sentiment.json",orient="split")

Answer 1

function .to_csv写入一个文件，默认字段分隔符是逗号 (,)，请参阅此文档 ( https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html )。 您应该将文件的字段分隔符更改为一行，如下所示：

df.to_csv("sentiment.csv",sep="\n")

其中"\n"在新行中写入 dataframe 的每一行。