为了账号安全,请及时绑定邮箱和手机立即绑定

Python分布式爬虫实战(二) - 搭建 Mac 开发环境

标签:
Python 爬虫

0 环境及版本

系统

  • Mac OS

IDE

PyCharm 2018.3.5

数据库

  • MySQL 5.7

    Redis, elasticsearch

开发环境

virtualenv

1 Pycharm的安装及简单使用

设置快捷键

设置解释器

2 MySQL和Navicat的安装和使用

2.1 MySQL

2.2 Navicat

3 Python安装

推荐py3.5+版本

4 virtualenv和virtualenvwrapper安装和配置

4.1 virtualenv简介

每个应用可能需要各自拥有一套独立的Python运行环境。virtualenv就是用来为一个应用创建一套隔离的Python运行环境。

优点

  • 使不同应用开发环境独立
  • 环境升级不影响其他应用,也不会影响全局的python环境
  • 防止系统中出现包管理混乱和版本的冲突

它是将全局Python解释器进行私有化复制
如果不使用虚拟环境,默认的pip安装都会安装到同一个目录(java是把自己需要的包放到自己项目目录),不同项目使用起来会产生问题

安装

pip install virtualenv

查看 virtualenv

4.2 virtualenvwrapper 简介

virtualenv的扩展管理包,用于更方便管理虚拟环境

优点

  • 将所有虚拟环境整合在一个目录下
  • 管理(新增,删除,复制)虚拟环境
  • 切换虚拟环境

安装

pip install virtualenvwrapper

  • 查询安装路径
    which virtualenvwrapper.sh

  • 修改.bash_profile
    vim /Users/sss/.bash_profile

在最后加入:

export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_SCRIPT=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
export VIRTUALENVWRAPPER_PYTHON=/Library/Frameworks/Python.framework/Versions/2.7/bin/python2
export VIRTUALENVWRAPPER_VIRTUALENV=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenv
export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'
source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh

  • 立即生效
    source ~/.bash_profile

  • 到其工作目录
    cd ~/.virtualenvs ls

  • 查看当前系统py版本

    为py2.7

  • 现在,希望创建py3的环境

  • 查询py3位置
    which python3

  • 创建py3环境
    mkvirtualenv --python=/Library/Frameworks/Python.framework/Versions/3.7/bin/python3 py3scrapy

  • 查看python版本

其他常用的命令:

$ workon                显示所有的环境名称
$ workon 环境名          进入/切换到该环境
  • deactivate 返回到系统环境
$ rmvirtualenv          移除环境
点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消