广州自助公司建网站企业今日新闻 最新消息 大事

直接在shell进行pyspark进行编程，程序没有办法写得太长，而且我们希望能够实现一个及时给出结果的编程环境，可以使用pycharm连接centos上的spark，进行本地编程，同步到centos系统中运行程序，并把结果返回pycharm上。以下是pycharm的环境配置，这里采用的是2020版本的，2023版本变动较大，暂时没有找到配置方法：

1. 新建项目→选择pure python→选择existing interpreter→选择更多…按钮
   
2. 选择SSH→New server configuration→Host填写ip地址，这里以：192.168.19.137，Port不变→Username填写自己的系统用户名：root为例→点击New按钮
   
3. 填写Password→点击Nex
   
4. 点击后面的文件夹图标→配置centos上的python路径，选择centos上的python路径，这里选择miniconda里的python路径→点击OK→点击Finish
   
5. 配置上传文件的存放路径：点击Remote project location后的文件夹→选择centos上存放py文件的路径→选择ok→点击create
   
6. 配置部署关联路径：Tools→Deployment→Configuration
   
7. 选择前面配置的远程客户端→选择Mappings→Deployment path的文件夹→选择跟前面上传路径一样的位置→点击OK→点击OK
   
8. 在后面运行中会出现以下错误，需要代码头部添加以下两段代码
   没有设置JAVA运行环境

JAVA_HOME is not set

以下代码

import os
JAVA_HOME='/root/bigdata/jdk'
#向系统环境变量中添加 JAVA_HOME路径
os.environ['JAVA_HOME']=JAVA_HOME

指定Python解释器的位置

Exception: Python in worker has different version 2.7 than that in driver 3.6,
PySpark cannot run with different minor versions.Please check environment variables
PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

添加以下代码

PYSPARK_PYTHON = "/miniconda2/envs/py365/bin/python"
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON
os.environ["PYSPARK_DRIVER_PYTHON"] = PYSPARK_PYTHON

示例代码

运行结果