We are launching Crawlee for Python, an open-source library for web scraping and browser automation. Quickly scrape data, store it, and avoid getting blocked with auto-generated human-like fingerprints, headless browsers, and smart proxy rotation.
Crawlee is a robust web scraping and browser automation library for Python. It enables developers to build reliable crawlers quickly and efficiently.
Crawlee is developed by experienced web scraping professionals who use it daily for large-scale data extraction projects.
pipx run crawlee create my-crawler
pip install 'crawlee[playwright]'
playwright install
import asyncio
from crawlee.playwright_crawler import PlaywrightCrawler, PlaywrightCrawlingContext
async def main():
crawler = PlaywrightCrawler(
max_requests_per_crawl=5,
headless=False,
browser_type='firefox',
)
@crawler.router.default_handler
async def request_handler(context: PlaywrightCrawlingContext) -> None:
await context.enqueue_links()
data = {
'url': context.request.url,
'title': await context.page.title(),
'content': (await context.page.content())[:100],
}
await context.push_data(data)
await crawler.run(['https://crawlee.dev'])
await crawler.export_data('results.json')
if __name__ == '__main__':
asyncio.run(main())
Extrae datos sin problemas de cualquier sitio web sin codificación.
Extracción web fácil para todos.
Crea API donde no existen. Con kimono puedes rápidamente...
Saldor extrae los mejores datos web para LLM.
Transforma los sitios web en API personalizables al instante.
Extracción de datos y automatización web sin dolor
Rastreo, análisis y escalado de datos web sin problemas
La API más simple para raspar web sin ser bloqueado.
Automatizaciones del navegador impulsadas por IA.
Extracción de datos web simplificada
Empareja con profesionales afines para conversaciones uno a uno
Pasa del caos de Slack a la claridad en minutos
Personaliza miles de páginas de destino en menos de 30 minutos
El primer LLM para el análisis de documentos con precisión y velocidad
Asistentes de IA para profesionales de SaaS
Aplicación de llamadas telefónicas con tecnología de IA con traducción en vivo
Demostraciones interactivas atractivas impulsadas por IA, ahora sin necesidad de inicio de sesión
Copiloto de gráficos en movimiento con IA
Lanza confeti para deshacerte del estrés y la ansiedad, 100% libre de IA
Pagos sin problemas para SaaS