C# 爬蟲

Selenium 與PhantomJS

PhantomJS 稱為幽靈瀏覽器, 是一個沒有任何介面的瀏覽器, 又稱為 Headless(無頭).  PhantomJS還可以顯示經由Javascript渲染後的資料.

Selenium為自動化測試工具, 支援各種瀏覽器, 包含Chrome, Safari, Firefox等. 如果在這些瀏覽器裡面安裝一個Selenium插件, 可實現Web界面的測試.  所以在PhantomJS裏加入Selenium, 就可在背景裏執行預設的腳本

Python常用這二個套件進行網路爬蟲. C#也支援這種方式

步驟

開啟Visual studio 2017 新增專案, 選取主控台應用程式(.NET Framework), 然後開啟nuget套件管理器. nuget管理器可為目前專案安裝所需的第三方套件, 這些套件僅作用於目前專案, 對其他專案並不生效.

接下來安裝 Selenium.WebDriver, Selenium.PhantomJS.WebDriver, Selenium.WebDriver.PhantomJS.Xplatform, Selenium.Support 四個套件.

完成安裝四個套件後, 底下的爬蟲程式即可抓取台灣銀行黃金存簿的歷史金價, 並存入MySQL資料庫中