使用 Jupyter notebook 启动 spark-shell

02 Apr 2021

在Jupyter notebook上面运行spark-shell,方便交互式学习API

  1. 确认本地能够正常启动 spark-shell,(spark, hadoop,java环境已经配好了)

  2. 能够使用 pip 或 pip3

    # 安装依赖, 如果是pip3 记得把python改成 python3
    pip install jupyter notebook
    # 添加启动 spark-scala 的内核
    pip install spylon-kernel 
    python -m spylon_kernel 
    

3.启动jupyter notebook

# 如果是root模式需要添加 --allow-root,如果在服务器运行,需要指定ip,不然只能在本机访问
jupyter notebook --allow-root --ip=centos7-1
  1. 打开终端提示的url

    image-20210401135828782

  2. 创建一个spylon-kernel的文件

    image-20210401135955193

  3. 如果spark初始化失败,可以查看jupyter notebook打印的错误信息, 根据报错的信息做对应处理

   # 修改spark-shell启动的默认参数
   vim $SPARK_HOME/conf/spark-defaults.conf
   
   # 使用本地模式运行,学习的时候使用
   spark.master			   local