蟲術：Python絕技

定　價：￥99.00

作　者：	梁睿坤著
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787121344565	出版時間：	2018-07-01	包裝：	平裝
開本：	16	頁數(shù)：	428	字數(shù)：

內容簡介

　　《蟲術——Python絕技》以大數(shù)據(jù)應用方面常用的語言 Python 為基礎，從網絡爬蟲的實現(xiàn)原理入手，逐步帶領讀者進入網絡爬蟲的世界。在各類爬蟲框架中，將 Scrapy 作為軸心，從多個維度揭開爬蟲技術的面紗。例如，爬取規(guī)則的制定技巧，設計高速爬蟲，如何讓爬蟲更“聰明”地獲取數(shù)據(jù)，將海量數(shù)據(jù)進行分布式存儲的技術，設計具有高隱匿性的爬蟲，大規(guī)模、高并發(fā)的分布式爬蟲技術。《蟲術——Python絕技》基于 Python 這門靈活且簡潔的語言，結合作者在網絡數(shù)據(jù)爬取和大數(shù)據(jù)方面的實際工程經驗，使得本書更具實用性?！断x術——Python絕技》旨在讓更多數(shù)據(jù)工作者或編程愛好者在大數(shù)據(jù)時代從海量的信息中通過掌握“蟲術”來獲取對自已或企業(yè)有價值的信息。

作者簡介

　　近二十年軟件開發(fā)、項目管理、團隊建設和管理經驗。致力于互聯(lián)網技術應用與大數(shù)據(jù)應用方面的研究與開發(fā)工作。曾任多家軟件公司的高級軟件工程師、項目經理、首席架構師和技術總監(jiān)等職務。現(xiàn)任廣州市增增智能科技有限公司CEO，從事視覺智能、語音智能及IoT等技術的產品研發(fā)與企業(yè)經營方面的工作。

圖書目錄

第1章爬蟲初步
1.1 爬蟲與大數(shù)據(jù)
1.1.1 大數(shù)據(jù)架構
1.1.2 爬蟲的作用與地位
1.1.3 Python與爬蟲
1.1.4 Python的網絡爬蟲框架
1.1.5 蟲術技術路線圖
1.2 實例：簡單的爬蟲
1.3 內容分析進階
1.3.1 選擇器
1.3.2 深入BeautifulSoup
1.3.3 元素的搜尋
1.3.4 亂碼與中文編碼
1.4 新聞供稿的爬取實例
1.5 小結
第2章 Scrapy基礎知識
2.1 Scrapy架構
2.2 Scrapy快速入手
2.3 數(shù)據(jù)模型Item
2.4 蜘蛛—Spiders
2.5 管道—Item Pipeline
2.6 Scrapy的運行與配置
2.7 新聞供稿爬蟲的Scrapy實現(xiàn)
2.8 小結
第3章 Scrapy的工程管理
3.1 Scrapyd
3.2 scrapyd-client及部署
3.3 搭建爬蟲服務器
第4章中階蟲術
4.1 蜘蛛的演化
4.1.1 蜘蛛的本質—深入Spider
4.1.2 通用蜘蛛
4.1.3 蜘蛛中間件
4.2 爬蟲系統(tǒng)的測試與調試
4.2.1 開發(fā)期調試
4.2.2 蜘蛛的測試
4.2.3 蜘蛛的運行期調試
4.2.4 調試內存溢出
4.3 處理HTTP請求
4.3.1 HTTP請求
4.3.2 Scrapy的Request對象
4.3.3 表單處理
4.3.4 下載器中間件
4.4 處理HTTP響應
4.4.1 HTTP響應
4.4.2 Scrapy的響應對象
4.4.3 深入選擇器
4.4.4 非結構化數(shù)據(jù)的提取
4.4.5 黑夜中的眼睛
4.5 處理JavaScript
4.5.1 示例：電商產品爬蟲
4.5.2 Selenium和PhantomJS
4.5.3 Scrapy與Splash
4.6 數(shù)據(jù)存儲與后處理
4.6.1 圖片的下載與存儲
4.6.2 示例：產品圖片采集
4.6.3 導出到數(shù)據(jù)文件
4.6.4 導出到數(shù)據(jù)庫
4.6.5 示例：基于阿里云的存儲后端
第5章高階蟲術
5.1 增量式爬網
5.1.1 推演路由
5.1.2 時機的重要性
5.1.3 去重處理
5.1.4 布隆過濾器
5.1.5 基于Redis的布隆過濾器
5.2 突破封印
5.2.1 封禁淺析
5.2.2 客戶端仿真
5.2.3 化身萬千—蜘蛛世界的易容術
5.2.4 反跟蹤
5.2.5 繞開蜜罐
5.3 蟲海
5.3.1 分布式爬蟲架構
5.3.2 認識scrapy-redis
5.3.3 示例：分布式電商爬蟲
5.4 可視化爬蟲
5.4.1 示例：某點評網爬蟲
5.4.2 解讀Portia爬蟲代碼
5.4.3 數(shù)據(jù)項加載器—Item Loaders
5.4.4 最后的工作