使用scrapy写爬虫

Jimmy Lee

|Aug 4, 2015|Last edited: 2022-7-21|
type
Post
status
Published
date
Aug 4, 2015
slug
scrapy
summary
tags
PYTHON
category
icon
Update time
Jul 21, 2022 02:27 AM
Internal status
password
一开始想在windows环境下安装scrapy,无奈安装多次都失败,转向linux
linux自带python2.7 因此只需要安装scrapy模块就行
先用pip安装Scrapy 失败
于是安装easy_install
命令行 sudo apt-get install python-setuptools
sudo easy_install Scrapy
出现错误,搜索知道必须使用python的dev版本
于是 sudo apt-get install python-dev
再次 sudo easy_install Scrapy
安装成功
然后安装mongodb
sudo easy_instal pymongo

开始订阅我的关于终生学习, 生产力以及知识管理的文章. 订阅后, 您将收到我的精选文章.

©2014-2024 Jimmy Lee. All rights reserved. 公众号: 技术管理方法论
Powered By My Lovely Children