一个高速爬取小姐姐写真照的异步爬虫

非法程序、

注意：此版本只能搜索下载，并且输入关键字后会立刻下载所有下载结果，可以先在网站上确定自己要下载的资源再输入，或者自己修改代码，这个网站没有反爬虫设置，还是很简单的。

演示：


爬虫代码：

1. import aiofiles
   
2. import aiohttp
   
3. import asyncio
   
4. from lxml import etree
   
5. import uvloop    # win下忽略，不要导入此模块
   
6. import os
   
7. 
   
8. asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())    # win下注释掉此行
   
9. headers={"User-Agent":"Mozilla/5.0 (X11; Linux x86_64; rv:91.0) Gecko/20100101 Firefox/91.0"}
   
10. 
    
11. async def get_url(session,url):
    
12.     async with session.get(url,headers=headers) as resp:
    
13.         if resp.status==200:
    
14.             res = await resp.text()
    
15.             return res
    
16. 
    
17. 
    
18. async def htmlParsh(sem,session,html):
    
19.     async with sem:
    
20.         htmlPs = etree.HTML(html)
    
21.         chaUrls = htmlPs.xpath('//a[@class="item-link"]/@href')
    
22.         tasks = []
    
23.         for url in chaUrls:
    
24.             task = asyncio.create_task(imgParse(session,url))
    
25.             tasks.append(task)
    
26.         nextPageUrl = htmlPs.xpath('//li[@class="page-item"]/a[@rel="next"]/@href')
    
27.         if not nextPageUrl:
    
28.             await asyncio.wait(tasks)
    
29.             print("所有页面索引完毕！")   
    
30.             return      
    
31.         else:
    
32.             await main(nextPageUrl[0])
    
33. 
    
34. async def imgParse(session,url):
    
35.     imgHtml = await get_url(session,url)
    
36.     htmlPs = etree.HTML(imgHtml)
    
37.     iTitle = htmlPs.xpath('//h1[@class="post-title"]/text()')[0]
    
38.     imgUrls = htmlPs.xpath('//div[@data-fancybox="gallery"]/img/@data-src')
    
39.     tasks=[]
    
40.     for url in imgUrls:
    
41.         urlSplit = url.split("/")
    
42.         imgName = urlSplit[-1]
    
43.         imgContent = await getImg(session,url)
    
44.         task = asyncio.create_task(writeImg(iTitle,imgName,imgContent),name=f'{iTitle}-{imgName}')
    
45.         tasks.append(task)
    
46.     await asyncio.wait(tasks)
    
47. 
    
48. 
    
49. async def writeImg(ititle,imgname,imgcontent):
    
50.     downloadPath ="/home/yin/download/pyspider"
    
51.     if not os.path.exists(downloadPath + '/' + keyword + '/' + ititle):
    
52.         os.makedirs(downloadPath + '/' + keyword + '/' + ititle)
    
53.         async with aiofiles.open(downloadPath + '/' + keyword + '/' + ititle + '/' + imgname, 'wb') as f:
    
54.             print('正在下载：' + ititle + '/' + imgname)
    
55.             await f.write(imgcontent)
    
56.     else:
    
57.         if os.path.exists(downloadPath + '/' + keyword + '/' + ititle + '/' + imgname):
    
58.             print(f'{imgname}已存在，忽略下载！！！')
    
59.         else:
    
60.             async with aiofiles.open(downloadPath + '/' + keyword + '/' + ititle + '/' + imgname, 'wb') as f:
    
61.                 print('正在下载：' + ititle + '/' + imgname)
    
62.                 await f.write(imgcontent)
    
63. 
    
64. 
    
65. async def getImg(session,imgurl):
    
66.     async with session.get(imgurl,headers=headers) as resp:
    
67.         if resp.status == 200:
    
68.             imgContent = await resp.read()
    
69.             return imgContent
    
70. 
    
71. 
    
72. 
    
73. 
    
74. async def main(offset):
    
75.     sem = asyncio.Semaphore(5)
    
76.     async with aiohttp.ClientSession() as session:
    
77.         html = await get_url(session,offset)
    
78.         await htmlParsh(sem,session,html)
    
79. 
    
80. 
    
81. keyword = input("请输入要搜索的关键字:")
    
82. offset=f'https://www.f4mn.com/search.html?s={keyword}'
    
83. asyncio.run(main(offset))

复制代码

yunrui660

感谢楼主，好人一生平安

w495557292

感谢楼主，好人一生平安

w495557292

药不能停 / 加大药量