项目
FurAffinity Scraper
一个基于python的FurAffinity.net爬虫。
使用BeautifulSoup解析html并使用cfscrape绕过Cloudflare的反爬虫页面,http请求库从urllib库迁移到了requests库,请求图片并使用sqlite保存爬取图片的元信息。
支持爬虫的中断和恢复,支持使用用户cookies模拟登录状态的爬虫,支持同时爬取图片和元信息。
项目托管于我的GitHub。
一个基于python的FurAffinity.net爬虫。
使用BeautifulSoup解析html并使用cfscrape绕过Cloudflare的反爬虫页面,http请求库从urllib库迁移到了requests库,请求图片并使用sqlite保存爬取图片的元信息。
支持爬虫的中断和恢复,支持使用用户cookies模拟登录状态的爬虫,支持同时爬取图片和元信息。
项目托管于我的GitHub。
iOS开发者/计算机科学/兽人控
华中科技大学 本科在读