當代碼有多行時，Jupyter Notebook 的響應很慢

Question

我有一個關於 jupyter 筆記本的問題。

當我將 663 行 python 代碼復制並粘貼到 jupyter notebook 時，它顯示的響應比只有幾行代碼的 notebook 低得多。

有沒有人遇到過這個問題？ 有誰知道解決方案？

Answer 1

沒有關於你的代碼的任何信息真的很難給你一個答案。 但是，請盡量控制您的輸出。 單次運行生成過多的輸出可能會對內核造成過度殺傷。 此外，在單個單元格中運行近 700 行代碼並沒有多大意義，您確定您使用的是正確的工具嗎？ 有時，一段代碼可能會減慢整個會話的速度，如果您將執行分成更小的部分，在多個單元格中，您會發現真正的瓶頸是什么。

Answer 2

將此添加到您的筆記本中，然后在執行該單元格后單擊該鏈接。 然后，您可以跟蹤正在運行的內容的進度並查看哪些語句導致它變慢。 您還可以將代碼拆分為多個單元格，以查看發生減速的位置。

from IPython.core.display import display, HTML
#sc = SparkContext.getOrCreate()
from pyspark import SparkContext
sc =SparkContext()
spark_url = sc.uiWebUrl
display(HTML('''
<p>
    <br />Spark connection is ready! Use this URL to monitor your Spark application!
</p>
<p>
    <a href="{spark_url}">{spark_url}</a>
</p>'''.format(spark_url=spark_url)))