response.css(".product-card .price::text").get()

提取此頁面上每件商品的商品名稱、價格和庫存情況。

• Spidra采用了一種非常直接的數據提取方式。你只需描述所需獲取的數據，它就會負責加載網頁、解析內容，并返回結構化結果。同時，它還會在后臺處理導航操作及各種交互邏輯，因此當你想要提取數據時，完全不必擔心選擇器或抓取邏輯的實現問題。

• Firecrawl的主要功能是將網頁轉換成結構清晰、易于處理的文本格式。它不會單獨提取價格、標題等特定字段，而是將整頁內容轉換為Markdown或簡化版的JSON格式。因此，當你需要將網頁內容輸入到人工智能系統中，或者以一種便于閱讀的格式處理這些數據時，Firecrawl會非常有用。

• Jina Reader的設計目的是將網頁中的冗余元素（如導航欄、廣告和樣式代碼）去除，只保留實際內容。如果你只是想理解或處理頁面上的信息，而不是提取結構化數據，那么這個工具會非常適用。

• Bright Data AI抓取工具結合了人工智能技術與強大的抓取基礎設施。它們允許你在無需編寫選擇器的情況下獲取結構化數據，同時也能有效應對數據被屏蔽或系統負載過高的問題。因此，這些工具更適合處理規模較大、要求較高的抓取任務。

• Apify介于傳統抓取工具和人工智能驅動的抓取工具之間。它提供了一個完整的平臺，用于構建和運行抓取腳本，并且可以在適當的地方應用人工智能技術，無論是進行數據提取還是后續處理。因此，當你需要對整個抓取流程擁有更多控制權時，Apify會非常有用。

實際上，這些工具所解決的具體問題并不完全相同。有些工具專注于提取結構化數據，有些則側重于清理文本內容，還有些工具用于構建完整的抓取工作流程。選擇合適的工具取決于你想要實現的目標，而不僅僅是工具本身具備的功能。

人工智能抓取在實踐中的應用

讓我們使用一個人工智能爬取工具，執行同樣的數據收集任務，從books.toscrape.com中提取書籍信息。我們將使用Spidra的API，這樣你們就能清楚地看到其中發生了哪些變化。

步驟1：獲取API密鑰

請在spidra.io注冊賬號，然后從控制面板中生成一個API密鑰。后續的所有請求都需要使用這個密鑰來進行身份驗證。

步驟2：了解API結構

Spidra的爬取接口接受JSON格式的數據。其中兩個最重要的字段是url（需要爬取的網址）和prompt（需要提取的信息，需用簡單的英語表述）。你還可以選擇指定output格式——對于結構化數據來說，JSON格式最為適用。

POST https://api.spidra.io/scrape
Authorization: Bearer YOUR_API_KEY
Content-Type: application/json

如你所見，我們根本不需要使用任何選擇器或進行HTML結構分析，只需要提供一個URL和相應的提取要求即可。

步驟3：編寫單頁數據提取代碼

以下是我們傳統爬蟲程序的等效版本，它是通過API調用來實現的：

import requests
import json

API_KEY = "your_api_key_here"

payload = {
    "urls": [{"url": "https://books.toscrape.com/"}],
    "prompt": "提取該頁面上的所有書籍信息。對于每本書，需要返回書名、價格以及星級評分（評分范圍為1到5）。",
    "output": "json"
}

response = requests.post(
    "https://api.spidra.io/scrape",
    headers={
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    },
    json=payload
)

data = response.json()
print(json.dumps(data, indent=2))

這就是整個爬取程序的代碼。其中沒有使用BeautifulSoup，也沒有任何選擇器邏輯或HTML解析過程。

步驟4：理解輸出結果

API會返回一個結構化的JSON響應。每本書的信息都會以對象的形式呈現出來，其中包含你之前指定的各個字段：

{
  "results": [
    {
      "title": "閣樓里的光",
      "price": "￡51.77",
      "rating": 3
    },
    {
      "title": "輕觸天鵝絨",
      "price": "￡53.74",
      "rating": 1
    },
    {
      "title": "屈服",
      "price": "￡50.10",
      "rating": 1
    }
    ...
  ]
}

該系統能夠自動識別星級評分的編碼規則（例如star-rating Three表示3分），而無需我們事先指定評分的具體表示方式。它完全理解了“星級評分應為1到5之間的數字”這一要求，并自行完成了相應的轉換工作。

步驟5：在多步驟工作流程中使用Actions功能

當涉及到那些在傳統爬蟲中需要耗費大量開發工作的工作流程時，人工智能爬取技術才能真正發揮其優勢。

^{假設你想訪問每本書的詳細頁面，并提取其中的所有描述信息以及圖書的可用狀態（而不僅僅是列表頁面上顯示的內容）。
在傳統的爬蟲系統中，這意味著你需要構建一個循環來遍歷這些頁面，管理狀態信息，在每個詳細頁面上處理可能出現的錯誤，同時為頁面不同的結構設計專門的選取器。而在像Spidra這樣的人工智能爬蟲工具中，你可以通過瀏覽器操作來模擬人類的交互行為：}

{
  "urls": [
    {
      "url": "https://books.toscrape.com/catalogue/category/books/mystery_3/index.html",
      "actions": [
        {
          "type": "forEach",
          "observe": "查找產品列表中的所有圖書卡片",
          "mode": "inline",
          "captureSelector": "article.product_pod",
          "maxItems": 10,
          "itemPrompt": "提取圖書的標題、價格和星級評價（一/二/三/四/五），并以JSON格式返回：{title, price, star_rating}"
        }
      ]
    }
  ]
}

^{該系統會自動導航到每本書的頁面，讀取新內容，提取所需的字段，并將所有結果整合到同一個結果集中。
你還可以根據自己的需求配置數據提取的方式：}

{
  "urls": ["https://jobs.example.com/senior-engineer"],
  "prompt": "提取職位詳情",
  "schema": {
    "type": "object",
    "required": ["title", "company", "remote", "employment_type"],
    "properties": {
      "title": { "type": "string" },
      "company": { "type": "string" },
      "location": { "type": ["string", "null"] },
      "remote": { "type": ["boolean", "null"] },
      "salary_min": { "type": ["number", "null"] },
      "salary_max": { "type": ["number", "null"] },
      "employment_type": {
        "type": ["string", "null"],
        "enum": ["full_time", "part_time", "contract", null]
      },
      "skills": {
        "type": "array",
        "items": { "type": "string" }
      }
    }
  }
}

^{這些人工智能爬蟲工具還有許多其他功能，比如批量爬取、人工智能檢索等等。}