三默网为您带来有关“进程池实现多任务拷贝文件”的文章内容,供您阅读参考。

进程池实现多任务拷贝文件

2023-01-20 12:35:23

1、开辟进程池实现多任务拷贝文件

import multiprocessing
import os

def copy_file(file_name,old_folder_name,new_folder_name):

    print("---从{}--->{}文件名:{}".format(old_folder_name,new_folder_name,file_name))
    old_f = open(old_folder_name+"/"+file_name,"rb")
    content = old_f.read()
    old_f.close()

    new_f = open(new_folder_name+"/"+file_name,"wb")
    new_f.write(content)
    new_f.close()

def main():
    # 1\获取用户要copy的文件夹的名字
    old_folder_name = input("请你输入需要copy的文件夹的名字:")
    # 2\创建一个新文件夹
    try:
        new_folder_name = old_folder_name+"[复件]"
        os.mkdir(new_folder_name)
    except:
        pass
    # 3\获取文件夹内所有文件的名字, listdir()
    file_names = os.listdir(old_folder_name)
    print(file_names)
    # 4\创建进程池
    po = multiprocessing.Pool(5)

    # 5\向进程池里面添加copy文件的任务
    for file_name in file_names:
        po.apply_async(copy_file,args=(file_name,old_folder_name,new_folder_name))

    po.close()
    po.join()

if __name__=="__main__":
    main()

2、增加进度显示

进度条使用主进程显示,需要注意点如下:

A)创建队列实现进程间通讯,注意进程池创建队列使用multiprocessing.Manager.Queue(),不使用进程池创建多进程之间通讯创建的队列直接使用multiprocessing.Queue()

B)使用主进程实现进度显示,不需要join()方法,主进程收集队列信息打印即可

import multiprocessing
import os


def copy_file(q,file_name, old_folder_name, new_folder_name):
    old_f = open(old_folder_name + "/" + file_name, "rb")
    content = old_f.read()
    old_f.close()

    new_f = open(new_folder_name + "/" + file_name, "wb")
    new_f.write(content)
    new_f.close()

    # 拷贝完成,向队列中写入一个消息,表示已经完成
    q.put(file_name)


def main():
    # 1\获取用户要copy的文件夹的名字
    old_folder_name = input("请你输入需要copy的文件夹的名字:")
    # 2\创建一个新文件夹
    try:
        new_folder_name = old_folder_name + "[复件]"
        os.mkdir(new_folder_name)
    except:
        pass
    # 3\获取文件夹内所有文件的名字, listdir()
    file_names = os.listdir(old_folder_name)
    # 4\创建进程池
    po = multiprocessing.Pool(5)

    # 5\创建一个队列
    q = multiprocessing.Manager().Queue() # 注意进程池创建队列使用Manager而不是直接创建

    # 6\向进程池里面添加copy文件的任务
    for file_name in file_names:
        po.apply_async(copy_file, args=(q,file_name, old_folder_name, new_folder_name))

    po.close()
    # po.join()
    all_file_num = len(file_names)
    copy_complete = 0
    while True:
        file_name = q.get()
        copy_complete += 1
        # print("已经完成{}文件的复制".format(file_name))
        # print("拷贝的进度为:%.2f%%" % (copy_complete*100 / all_file_num),end="") # end=“”表示不换行
        print("\r拷贝的进度为:%.2f%%" % (copy_complete*100 / all_file_num),end="") # \r表示打印回到当前行首,覆盖第一次的数据

        if(copy_complete>=all_file_num):
            break

if __name__ == "__main__":
    main()