多线程任意网站小说下载配置版

Gu_city

疫情在家太无聊，就开始看小说，但是发现很多小说不是要开会员就是带有大量广告，
于是就有了爬取小说的想法，但是每次搜索到的网站都是不一样的，总不能每次都
重新写个爬虫啊，于是就有了这个整合版本的，这是第一版灵感来自于一个看书软件
但是软件被收购了以后就不维护了，现在不能用了，只能自己动手解决这些问题了
贴代码

1. import configparser, os, requests, chardet, time, refrom lxml import etree
   
2. from multiprocessing import Pool
   
3. from requests.adapters import HTTPAdapter
   
4. from urllib.parse import urljoin  # 网址绝对路径与相对路径拼接
   
5. 
   
6. xzwz = ''  # 下载小说的网址
   
7. ml = ''  # 得到目录页连接
   
8. bt = ''  # 得到目录页标题
   
9. zw = ''  # 得到小说正文
   
10. 
    
11. headers = {
    
12.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108
    
13. 
    
14. Safari/537.36',
    
15. 
    
16. }
    
17. 
    
18. 
    
19. def mkdir(path):  # 创建目录
    
20. 
    
21.     isExists = os.path.exists(path)  # 判断路径是否存在  # 存在     True  # 不存在   False
    
22.     if not isExists:  # 判断结果  # 如果不存在则创建目录
    
23.         os.makedirs(path)  # 创建目录操作函数
    
24.         print(path + ' 创建成功')
    
25.         return True
    
26.     else:
    
27.         # 如果目录存在则不创建，并提示目录已存在
    
28.         print(path + ' 目录已存在')
    
29.         return False
    
30. 
    
31. 
    
32. def duini():
    
33.     global xzwz, bt, zw, ml
    
34.     # print('读取网址列表')
    
35.     cf = configparser.ConfigParser()
    
36.     cf.read("网址接口.ini")
    
37. 
    
38.     wzlist = cf.options('下载页')
    
39.     # print(wzlist)
    
40.     # print(type(wzlist))
    
41.     wzm = wzlist[0]
    
42.     print(wzm)
    
43. 
    
44.     xzwz = cf.get('下载页', wzm)
    
45.     ml = cf.get(wzm, '目录连接')
    
46.     bt = cf.get(wzm, '目录标题')
    
47.     zw = cf.get(wzm, '正文')
    
48.     # print(pjt)
    
49.     # print(wzlist[0])
    
50.     # print(xzwz)
    
51.     # print(bt)
    
52.     path = os.getcwd() + '/小说下载'
    
53.     mkdir(path)
    
54.     os.chdir(path)
    
55. 
    
56. 
    
57. def huoqulist():
    
58.     global xzwz, ml, bt
    
59.     print('获取列表中.......')
    
60.     print(xzwz)
    
61.     # print(type(xzwz))
    
62.     # print(type(ml)  ,bt,zw)
    
63.     s = requests.Session()
    
64.     s.mount('http://', HTTPAdapter(max_retries=3))
    
65.     s.mount('https://', HTTPAdapter(max_retries=3))
    
66.     try:
    
67.         html = requests.get(xzwz, headers=headers)
    
68.         e = chardet.detect(html.content)['encoding']
    
69.         html.encoding = e
    
70.         # print(html.text)
    
71.         txt = etree.HTML(html.text)
    
72.         # print(txt)
    
73.         tlj = txt.xpath(ml)
    
74.         tbt = txt.xpath(bt)  # text() 为提取文字内容，不然就要在下面  写  i.text
    
75.         bturl = []
    
76.         print('一共有  %d   章' % len(tlj))
    
77.         if len(tlj) == 0 or len(tbt) == 0:
    
78.             print('目录获取失败，检查下载页面和正则配置是否正确')
    
79.         else:
    
80.             for i in range(len(tlj)):
    
81.                 name = re.sub('[\/:*?"“”<>~  ！，：‘’|]', '', tbt[i])#文件名安全化处理
    
82.                 # print(name)
    
83.                 fullurl = urljoin(xzwz, tlj[i])
    
84.                 bturl.append(fullurl + '|' + name)
    
85.                 # 分割写法   url = ulist.split('|')[0]
    
86.                 # print(i)
    
87.             #print(bturl)
    
88.             return (bturl)
    
89.     except requests.exceptions.RequestException as e:
    
90.         print(e)
    
91. 
    
92. 
    
93. def test(i, url_1, zw):
    
94.     # print(i, pjt, url_1)
    
95.     time.sleep(1)
    
96.     wjm = url_1.split('|')[1]
    
97.     lj = url_1.split('|')[0]
    
98. 
    
99.     wj = os.getcwd() + '/{}.txt'.format(wjm)
    
100.     if not os.path.exists(wj):
     
101.         print(i, wjm)
     
102.         s = requests.Session()
     
103.         s.mount('http://', HTTPAdapter(max_retries=3))
     
104.         s.mount('https://', HTTPAdapter(max_retries=3))
     
105.         try:
     
106.             html = requests.get(lj, headers=headers, timeout=5)
     
107.             e = chardet.detect(html.content)['encoding']
     
108.             html.encoding = e
     
109.             txt = etree.HTML(html.text)
     
110.             nr = txt.xpath(zw)
     
111.             wb = ''
     
112.             for x in nr:
     
113.                 # print(x)
     
114.                 wb = wb + x
     
115.             # print(wb)
     
116.             time.sleep(0.5)
     
117.             # print(wj)
     
118.             with open(wj, 'w', encoding='GBK') as f:
     
119.                 f.write(wb)
     
120.         except requests.exceptions.RequestException as e:
     
121.             print(e)
     
122. 
     
123. 
     
124. def is_number(s):  # 判断是否为数字
     
125.     try:
     
126.         float(s)
     
127.         return True
     
128.     except ValueError:
     
129.         pass
     
130. 
     
131.     try:
     
132.         import unicodedata
     
133.         unicodedata.numeric(s)
     
134.         return True
     
135.     except (TypeError, ValueError):
     
136.         pass
     
137. 
     
138.     return False
     
139. 
     
140. 
     
141. if __name__ == '__main__':
     
142.     print('start')
     
143.     duini()
     
144.     time.sleep(1)
     
145.     clist = huoqulist()
     
146.     #input()
     
147.     pool = Pool(processes=30)
     
148.     if len(clist) > 0:
     
149.         for i in range(len(clist)):
     
150.             # print(i)
     
151.             url_1 = clist[i]
     
152.             pool.apply_async(test, args=(i, url_1, zw))  # 维持执行的进程总数为10，当一个进程执行完后启动一
     
153. 
     
154. 个新进程.test  为进程名字
     
155.         pool.close()
     
156.         pool.join()
     
157.     else:
     
158.         print('clist  列表为空列表')
     
159. 
     
160. # test(1, 'http://www.xbiquge.la/10/10489/9700534.html|第459章冥丹')

复制代码

使用方法：把附件解压出来跟程序放在同一文件夹就可以了
需要xpath正则基础，各目录提取需要自己写
我自己适配了几个网址，其他的自己添加
大部分可以用第一种配置就可以了
图片说明粉色是下载的网址  一定要是小说的目录那一页
红色是用的那个配置   名字要一样
G%9W3]SUIO6UD5983_X1RNJ.png (87.3 KB, 下载次数: 0)

我们老师说过

谢谢大佬，拿来研究下