ウェブサイトの URL とコンテンツ スクレイパー API

APIエンドポイント仕様

  • エンドポイント パス: /api/1/webScraper
  • データの種類: JSON & 20/分
  • 情報元： インターネットからのソース
  • リクエスト制限: 500リクエスト/月
  • スクリプトと統合: cURL, JS, Python, Ruby, Php, Node.js, Java, .NET, Rust, Go, Typescript と統合するコード
ウェブサイトの URL とコンテンツ スクレイパー API エンドポイントの基本情報

APIエンドポイントパス

必須

Web サイトのコンテンツと URL スクレイパー API

api/1/webScraper


Call Method

Required

GET

返されるデータの種類

JSON

Web サイトのコンテンツに構造化された JSON データを出力する


利用可能な API 引数とパラメータ

token

必須

BUYFROMLO API トークンを購入します. 無料および有料のサブスクリプション API は両方とも利用可能です: /api/1/webScraper からアクセスできます. - /app/1/webcontentscraper のサイト APP も同様

url

必須

対象ページのURLを入力してください

type

必須

オプション: allURL, metaAndContent


lang

オプション

ターゲット サイトの言語 ISO コードを入力します. デフォルト値はenです


Web サイトのコンテンツと URL スクレイパー API

api/1/webScraper

TRY IT OUT

コードの統合と対応

Python コードサンプル


import requests

apiendpoint = "https://api.buyfromlo.com/api/1/webScraper?"

## Required Arguments & Parameters ##

token = ""your buyfromlo token""
url = ""Input a category url""
type = "Select one type from two: metaAndContent, or allURL"

## Optional Argument ##
lang = "the target site language. The default language is English"

data="url=" + url + "&type=" + type + "&lang=" + lang
headers={"Authorization": "Bearer " + token}

## Call the api ##
response = requests.get(apiendpoint + data, headers=headers)
print(response.status_code)
print(response.json())

JSON 応答サンプル


{
    "Metatag Title": metaData['title'] (string),
    "Metatag Description": metaData['description'] (string),
    "Release Date": metaData['date'] (string),
    "Article Content": metaData['text'] (string),
    "Input URL": url (string),
}