Doraever
ベータ ドメイン: doraever.jp, www.doraever.jp
Crawl Hubは掲載サイトの公式APIではなく、各サイト運営者との提携・承認を意味しません。対応状況は公開URLパターンに対するCrawl Hubの動作範囲を示します。
対応URLパターン
一覧
https://doraever.jp/job-listshttps://doraever.jp/_sitemap/sitemap/job_sitemap.xmlhttps://doraever.jp/_sitemap/sitemap/job_sitemap.xml?chunk={chunk}
詳細
https://doraever.jp/job-{job_id}
対応操作
自動判定, 掲載終了確認
出力
HTML, JSON
既知の制限
- ドラEVER。公開job_sitemap.xmlを1000件単位のnative chunkとしてAPI paginationへ流す。robotsの /api/ は使わず、公開HTML/公開sitemapのみを対象にする。
エラー時の動作
非対応URL、許可されていない操作、ポリシー制限に該当するリクエストは、内部情報を出さずにリクエストID付きの標準エラーを返します。
リクエスト例
curl -X POST https://api.crawl-hub.shian.space/v1/scrape \
-H "Authorization: Bearer $CRAWLHUB_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://jp.mercari.com/item/...", "params":{"mode":"html_json", "work_type":"auto", "include_html":false}}'
{
"request_id": "req_...",
"resolved_site": "mercari",
"fetch_summary": {"status": "completed", "attempts": 1},
"cost_units": 2,
"data": {"title": "...", "price": 12800}
}