Ubuntu14.04下如何安裝Python爬蟲框架Scrapy?

Tags: 框架, 爬蟲,

小編現在正在學Python爬蟲,一開始都是自己瞎鼓搗,經別人介紹,學習了Scrapy,現在終於領教了Scrapy的強大之處,但這個框架需要先在Ubuntu系統上安裝。下面小編就分享一下自己是如何安裝的。

工具/原料

安裝Ubuntu14.04系統電腦一臺

網絡處於接通狀態

方法/步驟

按照官方文檔的說明,安裝scrapy 需要以下程序或者庫:

(1)、Python 2.7

(2)、lxml。 Most linux distributions ships PRepackaged versions of lxml. Otherwise refer to

(3)、OpenSSL。 This comes preinstalled in all Operating systems except Windows (see Platform specific installation notes)

(4)、pip or easy_install Python package managers

我們安裝的Ubuntu14.01系統都已經自帶了前面3個,Python的版本為2.7.6。為了驗證是否有安裝,我們來查看一下。

打開終端,執行如下命令python, 接下來就是import lxml, import OpenSSL。如下圖。如果import沒有報錯,說明系統已經自帶了。

Ubuntu14.04下如何安裝Python爬蟲框架Scrapy

為了能夠保證下面的安裝能夠成功。我們先執行:sudo apt-get install python-dev。如圖:

Ubuntu14.04下如何安裝Python爬蟲框架Scrapy

再執行:sudo apt-get install libevent-dev。如圖:

Ubuntu14.04下如何安裝Python爬蟲框架Scrapy

在這裡說明一下,不安裝上面兩個可能會出現一些錯誤,導致在後面的工作無法進行。

接下來就是安裝pip了,執行:apt-get install python-pip。如圖:

Ubuntu14.04下如何安裝Python爬蟲框架Scrapy

最後,也就是最重要的,安裝Scrapy。執行:pip install Scrapy,如圖:

Ubuntu14.04下如何安裝Python爬蟲框架Scrapy

到這裡就已經安裝完成了。接下來就是使用這個框架了。

注意事項

pip是python的一個包管理工具,很多包鬥都可以用這個來管理。

相關問題答案