We are launching Crawlee for Python, an open-source library for web scraping and browser automation. Quickly scrape data, store it, and avoid getting blocked with auto-generated human-like fingerprints, headless browsers, and smart proxy rotation.
Crawlee is a robust web scraping and browser automation library for Python. It enables developers to build reliable crawlers quickly and efficiently.
Crawlee is developed by experienced web scraping professionals who use it daily for large-scale data extraction projects.
pipx run crawlee create my-crawler
pip install 'crawlee[playwright]'
playwright install
import asyncio
from crawlee.playwright_crawler import PlaywrightCrawler, PlaywrightCrawlingContext
async def main():
crawler = PlaywrightCrawler(
max_requests_per_crawl=5,
headless=False,
browser_type='firefox',
)
@crawler.router.default_handler
async def request_handler(context: PlaywrightCrawlingContext) -> None:
await context.enqueue_links()
data = {
'url': context.request.url,
'title': await context.page.title(),
'content': (await context.page.content())[:100],
}
await context.push_data(data)
await crawler.run(['https://crawlee.dev'])
await crawler.export_data('results.json')
if __name__ == '__main__':
asyncio.run(main())
# # # # # # # # # # # # # # # # # # # # # # # # .
سهولة استخراج البيانات من الويب للجميع.
إنشاء واجهات برمجة تطبيقات حيث لا توجد. مع kimono، يمكنك بسرعة...
Saldor يستخرج أفضل بيانات الويب للنماذج اللغوية الكبيرة.
تحويل المواقع الإلكترونية إلى واجهات برمجة تطبيقات قابلة للتخصيص على الفور.
استخراج البيانات وتلقائية الويب بدون ألم
زحف ، تحليل ، وتوسيع نطاق بيانات الويب بسلاسة
أبسط واجهة برمجة تطبيقات لخداع الويب دون التعرض للحظر.
أتمتة المتصفح مدعومة بالذكاء الاصطناعي.
تسهيل تجميع البيانات من الويب
تطابق مع متخصصين ذوي التفكير المماثل لمحادثات فردية
انتقل من فوضى Slack إلى الوضوح في دقائق
خصّص آلاف صفحات الهبوط في أقل من 30 دقيقة
أول نموذج لغوي كبير لمعالجة المستندات بدقة وسرعة
مساعدو الذكاء الاصطناعي لمتخصصي SaaS
تطبيق مكالمات الهاتف المدعوم بالذكاء الاصطناعي مع الترجمة المباشرة
عروض تفاعلية ممتعة مدعومة بالذكاء الاصطناعي—الآن بدون تسجيل الدخول
مساعد الرسوم المتحركة بالذكاء الاصطناعي
أطلق الكونفيتي للتخلص من التوتر والقلق ، 100٪ خالٍ من الذكاء الاصطناعي
مدفوعات سلسة لـ SaaS