We are launching Crawlee for Python, an open-source library for web scraping and browser automation. Quickly scrape data, store it, and avoid getting blocked with auto-generated human-like fingerprints, headless browsers, and smart proxy rotation.
Crawlee is a robust web scraping and browser automation library for Python. It enables developers to build reliable crawlers quickly and efficiently.
Crawlee is developed by experienced web scraping professionals who use it daily for large-scale data extraction projects.
pipx run crawlee create my-crawler
pip install 'crawlee[playwright]'
playwright install
import asyncio
from crawlee.playwright_crawler import PlaywrightCrawler, PlaywrightCrawlingContext
async def main():
crawler = PlaywrightCrawler(
max_requests_per_crawl=5,
headless=False,
browser_type='firefox',
)
@crawler.router.default_handler
async def request_handler(context: PlaywrightCrawlingContext) -> None:
await context.enqueue_links()
data = {
'url': context.request.url,
'title': await context.page.title(),
'content': (await context.page.content())[:100],
}
await context.push_data(data)
await crawler.run(['https://crawlee.dev'])
await crawler.export_data('results.json')
if __name__ == '__main__':
asyncio.run(main())
Seamlessly extract data from any website without coding.
Easy web scraping for anyone.
Buat API di mana mereka tidak ada. Dengan kimono Anda dapat dengan cepat...
Saldor mengekstrak data web terbaik untuk LLM.
Transform websites into customizable APIs instantly.
Ekstraksi Data dan Otomatisasi Web Tanpa Rasa Sakit
Rayap, parsing, dan skala data web tanpa batas
API paling sederhana untuk scraping web tanpa diblokir.
Otomatisasi browser yang didukung AI.
Membuat web scraping menjadi mudah
Cocokkan dengan profesional yang berpikiran sama untuk percakapan 1:1
Beralih dari Kekacauan Slack ke Kejelasan dalam Hitungan Menit
Personalisasi ribuan halaman arahan dalam waktu kurang dari 30 menit
LLM pertama untuk parsing dokumen dengan akurasi dan kecepatan
Asisten AI untuk profesional SaaS
Aplikasi panggilan telepon bertenaga AI dengan terjemahan langsung
Demo interaktif yang menyenangkan yang didukung AI—sekarang tanpa login
Kopilot Grafik Gerak AI
Lepaskan konfeti untuk menghilangkan stres & kecemasan, 100% bebas AI
Pembayaran yang Lancar untuk SaaS