We are launching Crawlee for Python, an open-source library for web scraping and browser automation. Quickly scrape data, store it, and avoid getting blocked with auto-generated human-like fingerprints, headless browsers, and smart proxy rotation.
Crawlee is a robust web scraping and browser automation library for Python. It enables developers to build reliable crawlers quickly and efficiently.
Crawlee is developed by experienced web scraping professionals who use it daily for large-scale data extraction projects.
pipx run crawlee create my-crawler
pip install 'crawlee[playwright]'
playwright install
import asyncio
from crawlee.playwright_crawler import PlaywrightCrawler, PlaywrightCrawlingContext
async def main():
crawler = PlaywrightCrawler(
max_requests_per_crawl=5,
headless=False,
browser_type='firefox',
)
@crawler.router.default_handler
async def request_handler(context: PlaywrightCrawlingContext) -> None:
await context.enqueue_links()
data = {
'url': context.request.url,
'title': await context.page.title(),
'content': (await context.page.content())[:100],
}
await context.push_data(data)
await crawler.run(['https://crawlee.dev'])
await crawler.export_data('results.json')
if __name__ == '__main__':
asyncio.run(main())
# # # # # # # # # # # # # # # # # # # # # # # # # .
誰でも簡単にウェブスクレイピング。
存在しない場所に API を作成します。kimono を使用すると、すぐに...
Saldorは、LLM向けの最高のウェブデータを抽出します。
ウェブサイトをカスタマイズ可能なAPIに瞬時に変換します。
痛みを伴わないデータ抽出とWeb自動化
Web データをシームレスにクロール、解析、スケール
ブロックされることなく、ウェブスクレイピングのための最もシンプルなAPI。
AI 駆動のブラウザ自動化。
ウェブスクレイピングを簡単にする
志を同じくするプロフェッショナルと 1 対 1 の会話でマッチング
Slackの混沌から明瞭さへ、わずか数分で
30分以内に何千ものランディングページをパーソナライズ
正確さと速度を備えたドキュメント解析のための最初の LLM
SaaS専門家向けのAIアシスタント
ライブ翻訳機能付きAI搭載電話アプリ
魅力的な AI 搭載のインタラクティブなデモ—今すぐログイン不要
AI モーショングラフィック副操縦士
ストレスと不安を取り除くためにコンフェティをポップしましょう、100%AIフリー
SaaSのためのスムーズな支払い