Python 2023 年 3 月 22 日

Python多线程实战

Python 多线程后端相关爬虫相关

先暂时写下来吧。因项目需求，被迫学习 Python。主要是爬取某网站的搜索结果。然后提取某些信息。

阅读须知：新手总结错误颇多请勿较真欢迎指出

因为涉及数据量大，词库多，不得已使用多线程搜索，先看成果吧。

用时4.12秒的程序是单线程，搜索了 1 个词，2 页内容。

用时5.3秒的程序是多线程，搜索了 6 个词，每个词 2 页内容。

提升了至少 480%的效率吧。接下来简单分析下代码。

Python 提供了多种模块用来支持多线程编程，其中就包含queue和threading 两个区别我就不过多介绍，我也是新手，没看太多资料。我这里用的是后者。

词库

首先我们定义一个数组，也可以是后端的词库。

data_list  = ['汽车', '小说', '罗马是什么',' 游标对象','花开花落英文单词是什么','关于 db conference 的含义']

单个查询处理

这个时候继续下一步，定义函数用于处理每个查询。

# 定义函数用于处理每个查询
def process_query(query):
    # 在这里放置您的代码，用于处理每个查询
    #......
    pass

上面放置单线程写的代码即可。

执行查询

# 定义函数用于执行查询
def run_queries(query_list):
    threads = []
    for query in query_list:
        thread = threading.Thread(target=process_query, args=(query,))
        threads.append(thread)
        thread.start()

    # 等待所有线程完成
    for thread in threads:
        thread.join()

# 执行查询
run_queries(data_list)

这样一个最简单的多线程就做好了。后期需要改的地方也很多，这只是便于新手理解的方案。如果使用Queue的话，针对大数据量查询是很占优势的，不过他所使用的时间大部分都用于推出线程上了。

最后可以通过以下代码，把它们分别放到代码头部和尾部进行计算时间。

import time
start_time = time.time()


end_time = time.time()
print("爬取时间为：{}秒".format(end_time - start_time))

作者：吃个甘蔗嚼一年发表日期：2023 年 3 月 22 日