mg娱乐电子4355_mg娱乐电子游戏平台
做最好的网站

Python开发【模块】:Concurrent

时间:2019-11-03 00:42来源:计算机编程
Python中的多线程没有真正实现多现程!为什么这么说,我们了解一个概念,全局解释器锁(GIL)。 concurrent 模块 回顾: 对于python来说,作为解释型语言,Python的解释器必须做到既安全

Python中的多线程没有真正实现多现程! 为什么这么说,我们了解一个概念,全局解释器锁(GIL)。

concurrent 模块

回顾:

  对于python来说,作为解释型语言,Python的解释器必须做到既安全又高效。我们都知道多线程编程会遇到的问题,解释器要留意的是避免在不同的线程操作内部共享的数据,同时它还要保证在管理用户线程时保证总是有最大化的计算资源。而python是通过使用全局解释器锁来保护数据的安全性:

  python代码的执行由python虚拟机来控制,即Python先把代码(.py文件)编译成字节码(字节码在Python虚拟机程序里对应的是PyCodeObject对象,.pyc文件是字节码在磁盘上的表现形式),交给字节码虚拟机,然后虚拟机一条一条执行字节码指令,从而完成程序的执行。python在设计的时候在虚拟机中,同时只能有一个线程执行。同样地,虽然python解释器中可以运行多个线程,但在任意时刻,只有一个线程在解释器中运行。而对python虚拟机的访问由全局解释器锁来控制,正是这个锁能保证同一时刻只有一个线程在运行

 

多线程执行方式:

  • 设置GIL(global interpreter lock).
  • 切换到一个线程执行。
  • 运行:
  •     a,指定数量的字节码指令。
  •     b,线程主动让出控制(可以调用time.sleep(0))。
  • 把线程设置为睡眠状态。
  • 解锁GIL.
  • 再次重复以上步骤。

  GIL的特性,也就导致了python不能充分利用多核cpu。而对面向I/O的(会调用内建操作系统C代码的)程序来说,GIL会在这个I/O调用之前被释放,以允许其他线程在这个线程等待I/O的时候运行。如果线程并为使用很多I/O操作,它会在自己的时间片一直占用处理器和GIL。这也就是所说的:I/O密集型python程序比计算密集型的程序更能充分利用多线程的好处。

总之,不要使用python多线程,使用python多进程进行并发编程,就不会有GIL这种问题存在,并且也能充分利用多核cpu

 

threading使用回顾:

import threading
import time

def run(n):
    semaphore.acquire()
    time.sleep(2)
    print("run the thread: %s" % n)
    semaphore.release()

if __name__ == '__main__':
    start_time = time.time()
    thread_list = []
    semaphore = threading.BoundedSemaphore(5)  # 信号量,最多允许5个线程同时运行
    for i in range(20):
        t = threading.Thread(target=run, args=(i,))
        t.start()
        thread_list.append(t)
    for t in thread_list:
        t.join()

    used_time = time.time() - start_time
    print('用时',used_time)

# 用时 8.04102110862732

  

ThreadPoolExecutor多并发:

import time
import threading
from concurrent.futures import ThreadPoolExecutor
from concurrent.futures import ProcessPoolExecutor

def run(n):
    time.sleep(2)
    print("run the thread: %s" % n)

if __name__ == '__main__':
    pool = ProcessPoolExecutor(5)
    start = time.time()
    for i in range(20):
        pool.submit(run,i)

    pool.shutdown(wait=True)
    print(time.time()-start)

# 8.741109848022461

 

  

 

Python代码的执行由Python虚拟机(解释器)来控制。

Python在设计之初就考虑要在主循环中,同时只有一个线程在执行,

就像单CPU的系统中运行多个进程那样,内存中可以存放多个程序,

但任意时刻,只有一个程序在CPU中运行。

同样地,虽然Python解释器可以运行多个线程,只有一个线程在解释器中运行。

 

对Python虚拟机的访问由全局解释器锁(GIL)来控制,正是这个锁能保证同时只有一个线程在运行。在多线程环境中,Python虚拟机按照以下方式执行。

编辑:计算机编程 本文来源:Python开发【模块】:Concurrent

关键词: