眼中腳下路,心中要有宏圖。大家好,我是跨境男孩Riven。
本文共計5400余字,預計需要一首歌的時間閱讀!
圖片來源:跨境男孩Riven
在SEO日常工作中,為提升工作效率,今天給各位獨立站賣家及站長朋友們,分享一款功能強大、超實用的SEO工具—— 尖叫青蛙( Screaming Frog SEO Spider),具體有多強大和實用,請容Riven慢慢道來。
Screaming Frog是一個強大的SEO工具,對任何電子商務或博客站都是必不可少的。對于日常的SEO工作來說,它不僅能提升工作效率,還能清楚地了解到網站的結構及頁面結構等。如果使用得當,它幾乎可以立即帶來顯著的SEO排名。
圖片來源:跨境男孩Riven
圖片來源:Creaming Frog-尖叫青蛙
尖叫青蛙是一款網站爬蟲工具,它會通過你提供的網站主域爬取你的網站,并獲取你網站里所有的網頁以及關鍵元素,并實時提供分析結果。
網站內所有的鏈接包括html、css、JavaScript、圖片等,導出鏈接可以獲取網站內容所有導出的鏈接,方便大家清理不想導出的鏈接。
尖叫青蛙強大的地方就在于它不僅獲取了網站內所有的鏈接,我們通過鏈接的就能獲取到該鏈接的所有信息,大致包括該鏈接包含鏈接數、狀態碼、是否被robots屏蔽、該網頁標題、標題長度、描述、關鍵詞、發布時間等等所有的信息,分析的信息詳細到只有你想不到的,沒有你找不到的。
上面說到可以查看每個鏈接的狀態碼,通過狀態碼,我們就能快速找到網站中存在的死鏈。相信很多小伙伴都會頭疼蜘蛛每天在抓死鏈卻找不出死鏈出現在哪個位置,而這款工具除了能找出網頁中所有的死鏈外,它更厲害的是你可以點擊一個死鏈,在inlink標簽里就能顯示在哪些頁面含有這個死鏈。是不是很方便?
這款工具可以快速創建XML站點地圖和圖像XML站點地圖,通過URL進行高級配置,包括上次修改,優先級和更改頻率。
通過尖叫青蛙工具里的indexability欄,你可以清楚地看到每一個鏈接是否被robots屏蔽、是否被nofollow。
通過使用交互式爬網和目錄強制導向圖和樹形圖,可以有助你們分析可視化的評估內部鏈接和URL結構。
圖片來源:Creaming Frog-尖叫青蛙
除了以上功能外,尖叫青蛙還有其他一些功能,比如查看鏈接是否被重定向、網頁大小、鏈接細節信息、搜索結果展示頁效果圖、列舉網頁內的h標簽、rel =“next”和rel =“prev”(文章頁上下篇鏈接)、檢查重復的URL等等。
使用此工具的第一步是了解所有內容的模塊區分,主要包括:菜單欄、抓取區域、標簽欄、主窗口、詳細窗口、側邊欄
圖片來源:Creaming Frog-尖叫青蛙
圖片來源:Creaming Frog-尖叫青蛙
菜單欄為Screaming Frog的一些全局配置功能,主要包括:文件(如快速訪問最近抓取的網站等)、模式(蜘蛛、列表、SERP、比較)、配置(蜘蛛、Robots.txt、爬網速度、用戶代理、排除等)、選擇導出等
圖片來源:Creaming Frog-尖叫青蛙
當為Spider蜘蛛模式下時,僅需輸入主域名或URL,然后點擊「Start」按鈕即可;
可以選擇Pause暫停或Clear清空按鈕,或者查看進度條,等待全站抓取完全。
圖片來源:Creaming Frog-尖叫青蛙
圖片來源:Creaming Frog-尖叫青蛙
可以選擇配置常用的標簽菜單為可見狀態,也可以拖拽進行標簽菜單進行排序。
為簡潔起見,我不會覆蓋菜單中的每個選項卡,但我會介紹在軟件中最常用的選項卡,了解這些是什么以及如何使用它們幫助你進行SEO分析。
內部鏈接(Internal):篩選顯示該網站內為主域名下path 的URL,不含External出站鏈接(別的自定義域名的網站)
狀態代碼(Response Codes):這些是你的網站在請求頁面時返回的代碼。這將只包含可以使用內部鏈接找到的頁面。如果你擁有大量用戶配置文件或用戶生成的內容,這會使網站的爬網速度變得更快,你可以排除網站的各個部分以加快抓取速度。通常,服務器將返回20X,30X,40X或50X狀態 - 分別表示正常,重定向,客戶端錯誤和服務器錯誤。
頁面標題(Page Title):你可以在此處快速訪問你網站上的網頁標題。如果你有超過1頁的標題,它會這樣說。此選項卡還具有用于查找重復,短,長和缺失標記的過濾器選項,以及用于檢查標題是否與H1標記匹配的選項。
元描述(Meta Description):你可以在此處找到元描述,并按重復,短,長和缺失描述進行過濾。
H1標簽(Headling 1):這是你可以找到所有H1標簽的地方,它包括重復,多個和缺少h1標簽的過濾器。這對于分析整個站點的h1標簽很有用。
H2標簽(Headling 2):這是上述部分的重復,但僅適用于H2標簽。重要的是要注意雖然有多個h2標簽可供選擇,但這不再是一個重要因素。
圖像(Images):你可以在此處找到爬網期間在網站上使用的所有圖像的列表。它將包括其URL路徑,圖像的使用次數,并可按大小和alt屬性進行過濾。此部分非常基礎,反映了抓取工具讀取圖像的難度。
圖片來源:Creaming Frog-尖叫青蛙
根據上方3.3選擇的標簽菜單,此處主窗口區域會顯示其下面的URL和相關字段(聯動展示);也支持對表單字段進行拓展排序
圖片來源:Creaming Frog-尖叫青蛙
支持篩選URL的格式(HTML、JacaScript、Images、PDF等);支持對URL進行扁平化或樹狀結構展示;支持導出
圖片來源:Creaming Frog-尖叫青蛙
在3.4的主窗口中,點擊某一個URL后,可以在下方查看該URL的詳細信息(比如TDKU、H1、H2、Indexable、頁面字符數、響應時間等);
支持查看「Inlinks」,即查詢哪些頁面跳轉至該URL、及對應的Anchor Text錨文本;
支持查看「Outlinks」,即該URL內跳轉至別的頁面的鏈接及Anchor Text錨文本等;
支持查看SERP Snippets、Strcutured Data Detailes等
支持查看該網站的統計數據、SEO問題分類統計等,如下圖我切換至顯示該網站內的3xx重定向的URL數據;
圖片來源:Creaming Frog-尖叫青蛙
由于篇幅有限,這里就不詳細展開介紹了,歡迎文末掃碼加微信交流獨立站Google SEO~
下載地址:https://www.screamingfrog.co.uk/seo-spider/
圖片來源:Creaming Frog-尖叫青蛙
目前尖叫青蛙有免費版和收費版兩種:
免費版:免費版的功能與付費版差不多,但免費版最多只能抓取500個鏈接,當鏈接抓取數量超過500時就會自動停止。
付費版:無鏈接抓取數量限制,付費版價格:£149.00 Per Year(149英鎊/每年)
如果你想使用付費版,建議在淘寶上買共享版本,性價比高。
使用Screaming Frog有許多不同的方法,但主要目標是抓取并修復你的網站。要開始使用,只需在線下載,然后安裝即可。
完成此操作后,即可開始抓取你的網站。對于中型網站,這通常需要幾分鐘。大型網站可能需要更長時間才能抓取,并且你可能會耗盡內存。
完成抓取后,你可以輕松查看整個網站的錯誤。只需瀏覽菜單和選項卡即可瀏覽各種可用工具。
圖片來源:Creaming Frog-尖叫青蛙
使用Screaming Frog,你可以輕松抓取網站。首先,你只需要在蜘蛛中輸入起始URL即可。此選項位于屏幕頂部。
從這里開始,網站將一次自動抓取一個URL。但是,重要的是要注意Screaming Frog基于內部鏈接。因此,任何缺少鏈接的頁面都不會出現在抓取中。
如果你在抓取網站上的任何網址時遇到問題,可能被機器人屏蔽。這通常可以在你的robots.txt設置中進行檢查。
在某些情況下,你需要抓取網址列表。比如你正在清理索引,希望檢查這些鏈接是否存在404鏈接,此時就可以使用Scraper工具。
當你創建列表后,復制到剪貼板。從Screaming Frog菜單中選擇“Mode”,你可以更改為列表模式而不是蜘蛛模式。這樣你就可以將這些URL直接粘貼到Screaming Frog中。你還可以從文件,站點地圖或手動添加列表中抓取列表:
圖片來源:Creaming Frog-尖叫青蛙
如果你在抓取網站時遇到問題,更改抓取設置會很有用。它更快速,更容易,因此請按照以下說明操作:
5.4.1 讓尖叫青蛙爬得更快:
如果你想讓Screaming Frog爬得更快,可以在 Configuration> Speed中完成。只需增加最大線程數,并刪除任何URL限制。
但是,如果你過快地抓取你的網站,則可能會被阻止。你可以通過將IP地址列入白名單來更改服務器設置中的此設置。
圖片來源:Creaming Frog-尖叫青蛙
5.4.2 讓尖叫的青蛙爬行更慢:
如果你的網站托管在Shopify或SHOPLINE上,或者你不能將你的IP地址列入白名單; 那么你會想慢慢抓取網站。可以在Configuration> Speed中更改此 設置。你可以為每秒的URI請求數添加限制。
你還可以通過減少線程數來降低爬網速度。默認情況下,線程數為5。這可以減少到1或2,這將明顯降低你抓取的速度。
圖片來源:Creaming Frog-尖叫青蛙
5.4.3 忽略Robots.txt:
互聯網上有一些網站阻止了所有機器人,這通常是在robots.txt中設置錯誤了。如果是這種情況,你需要盡快修復。
但是,如果這是一個開發網站,并且你不希望它被編入索引; 你需要忽略robots.txt。
為此,你可以在Configurations> Robots.txt> Settings中更改 設置。可以選擇忽略robots.txt。即使robots.txt禁止你這樣做,也可以抓取網站。
圖片來源:Creaming Frog-尖叫青蛙
5.4.4 更改用戶代理:
我很少需要做的就是更改我的用戶代理以進行爬網。默認為Screaming Frog,但你可能希望以與Googlebot相同的方式查看網站。因此,更改用戶代理有時會有所幫助。
要更改此設置,你需要在Configuration> User-agent中打開設置 。在這里,你可以找到一個下拉菜單,以選擇不同的預設。
但是,使用用戶代理時應該小心。如果你經常進行服務器日志分析,則數據會受到影響。
圖片來源:Creaming Frog-尖叫青蛙
點擊左上角文件「Save as」按鈕,保存至本地;下次可以直接將seospider文件拖拽至尖叫青蛙內即可快速訪問
圖片來源:Creaming Frog-尖叫青蛙
圖片來源:Creaming Frog-尖叫青蛙
Google強烈建議你使用XML Sitemap網站地圖。它可以幫助他們抓取你的網站并查找的所有新內容。
創建站點地圖的第一步是抓取你的網站。然后,你將需要生成一個新文件。為此,請從菜單中選擇“創建XML站點地圖”。
圖片來源:Creaming Frog-尖叫青蛙
這應該創建一個要求配置的彈出窗口。默認情況下這很好用,但你可能希望進行更改。
例如,你可能希望更改更新的頻率:
圖片來源:Creaming Frog-尖叫青蛙
或者,你可能希望包含規范化的URL:
圖片來源:Creaming Frog-尖叫青蛙
如果你為網站的每個頁面添加了規范,這將非常有用。否則,你可能會收到站點地圖為空的通知。
要查找損壞的死鏈接,首先需要選擇“響應代碼”標簽。然后選擇顯示客戶端錯誤(4XX)的過濾器,并選擇“internal” 選項卡,主窗口區域顯示的鏈接就是站內404破損鏈接。
圖片來源:Creaming Frog-尖叫青蛙
使用與上述相同的方法,選擇顯示重定向(3XX)的過濾器。這將為你提供所有內部重定向。
雖然重定向沒有任何害處,但你應該嘗試在內部減少這些重定向。這就是為什么這很重要:
當外部網站鏈接到損壞的頁面時,重定向可以幫助用戶。這使得它成為一件好事。但是,當你這樣做時,那就糟糕了。
這是因為重定向需要服務器處理請求。這會增加頁面加載時間。因此,由于你可以控制內部鏈接,因此應該替換它。
圖片來源:Creaming Frog-尖叫青蛙
檢查內部鏈接的快速簡便方法是使用Screaming Frog。這是因為它通過內部鏈接抓取整個網站,因此收集了大量有關網站導航,錨文本和alt屬性的數據。
要檢查指向頁面的內部鏈接,只需搜索你要查看的URL地址即可。這可以在主窗口的右側找到。
找到URL后,選擇屏幕底部的“鏈接”選項卡。然后,這將使用數據填充詳細窗口,你可以開始瀏覽鏈接。
有6個主要字段:Type、From、To、Anchor Text(錨文本)、Alt Text、Follow。但是,最重要的列將是From、To和Anchor Text。
圖片來源:Creaming Frog-尖叫青蛙
標題和標題是揭示與Google相關的網頁相關性的一些最大信號。因此,你需要使用Screaming Frog快速分析你的內容。
要開始使用,只需選擇頁面標題選項卡即可。然后,這將向你顯示所有HTML頁面和相應的標題。可以過濾此數據以顯示具有缺失,重復,短,長和多個標題的頁面。這將幫助你找到快速解決的問題。
5.10.1 頁面標題優化:
為了充分利用我們的頁面標題,你應該為每個頁面設置一個唯一的標題。請務必在該頁面中包含目標關鍵字,并避免在多個頁面標題中使用相同的關鍵字。
圖片來源:Creaming Frog-尖叫青蛙
5.10.2 標題優化:
我的主要提示是確保每頁包含一個H1標記,每頁至少包含1個H2標記。標題是讓Google了解你的網頁內容的絕佳方式,并且你的用戶可以看到它們。嘗試包括你的核心術語和主題相關標題。
圖片來源:Creaming Frog-尖叫青蛙
5.10.3 元描述優化:
這些不是直接排名因素,但谷歌在其搜索引擎結果頁面(SERP)中使用它們。因此,值得將這些簡短而引人注目的用戶。在說明中包含你的核心關鍵字,因為搜索者找到你的網頁時,這些關鍵字通常會變為粗體。
圖片來源:Creaming Frog-尖叫青蛙
5.10.4 元關鍵詞優化:
這些用于向Google提供有關你網頁內容的重要數據。然而,近10年來,這并不是一個排名因素。因此,建議不用花太多時間填寫這些。
圖片來源:Creaming Frog-尖叫青蛙
大多數SEO都經常會忽略這些。但是,它們仍然是排名因素,應引起一些關注。Screaming Frog非常適合發現改善圖像的機會。
圖片來源:Creaming Frog-尖叫青蛙
5.12 HREFLang
檢查HREFLang標簽有很多好方法,但Screaming Frog是另一種方法。這可以在屏幕頂部的Hreflang選項卡下找到。
查看此選項卡時,有許多方法可以過濾數據。使用這些過濾器可以幫助你找到任何問題。
圖片來源:Creaming Frog-尖叫青蛙
排除工具用于從你的抓取中排除你網站的各個部分。因此,它的功能很像robot.txt文件。
當你處理大型網站時,這可能很有用。例如,如果要排除wordpress標記頁面,則會將其排除在外:https://www.seoriven.com/tag/.*。*意味著忽略所有變化。如果要阻止URL參數或網站的整個部分,這可能很有用。
圖片來源:Creaming Frog-尖叫青蛙
一旦你在抓取大型網站時遇到麻煩,當然不希望每次都全量爬行。只需使用菜單選項保存爬網即可。通過像普通文件一樣雙擊它或打開尖叫的青蛙Screaming Frog,可以在以后再次打開此爬行。打開后,你可以從保存它的同一下拉菜單中選擇加載爬網。
批量導出工具對于創建具有單一類型信息的電子表格非常有用。我最喜歡的批量選項包括導出所有錨文本、所有30x重定向、所有40x錯誤、內部鏈接、圖像等。
當我審核一個網站時,我覺得上面的內容特別有用。
以上就是SEO工具Screaming Frog SEO Spider(尖叫青蛙)的大致介紹了,它的功能是不是很強大超實用呢?
若你在使用Screaming Frog過程中,有不清楚的問題,歡迎留言
(來源:跨境男孩)
以上內容屬作者個人觀點,不代表雨果跨境立場!本文經原作者授權轉載,轉載需經原作者授權同意。?