Java线程池原理
# Java的线程池
① 合理使用线程池的好处
Java的线程池是运用场景最多的并发框架,几乎所有需要异步或者并发执行任务的程序都可以使用线程池。
合理使用线程池能带来的好处:
- 降低资源消耗。通过重复利用已经创建的线程降低线程创建的和销毁造成的消耗。例如,工作线程Woker会无线循环获取阻塞队列中的任务来执行。
- 提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行。
- 提高线程的可管理性。线程是稀缺资源,Java的线程池可以对线程资源进行统一分配、调优和监控。
② 工作原理
线程池的核心实现类是ThreadPoolExecutor类,用来执行提交的任务。因此,任务提交到线程池时,具体的处理流程是由ThreadPoolExecutor类的execute()方法去完成的。
- 如果当前运行的线程少于corePoolSize,则创建新的工作线程来执行任务(执行这一步骤需要获取全局锁)。
- 如果当前运行的线程大于或等于corePoolSize,而且BlockingQueue未满,则将任务加入到BlockingQueue中。
- 如果BlockingQueue已满,而且当前运行的线程小于maximumPoolSize,则创建新的工作线程来执行任务(执行这一步骤需要获取全局锁)。
- 如果当前运行的线程大于或等于maximumPoolSize,任务将被拒绝,并调用RejectExecutionHandler.rejectExecution()方法。即调用饱和策略对任务进行处理。
工作线程(Worker):线程池在创建线程时,会将线程封装成工作线程Woker。Woker在执行完任务后,不是立即销毁而是循环获取阻塞队列里的任务来执行。
# 线程池的创建
# 可以通过ThreadPoolExecutor来创建一个线程池
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue<Runnable> workQueue,
RejectedExecutionHandler handler)
2
3
4
5
6
# 线程池的7个参数
- corePoolSize(线程池的基本大小): 提交一个任务到线程池时,线程池会创建一个新的线程来执行任务。注意:即使有空闲的基本线程能执行该任务,也会创建新的线程。
如果线程池中的线程数已经大于或等于corePoolSize,则不会创建新的线程。
如果调用了线程池的prestartAllCoreThreads()方法,线程池会提前创建并启动所有基本线程。
- maximumPoolSize(线程池的最大数量):线程池允许创建的最大线程数。
阻塞队列已满,线程数小于maximumPoolSize便可以创建新的线程执行任务。
如果使用无界的阻塞队列,该参数没有什么效果。
- workQueue(工作队列): 用于保存等待执行的任务的阻塞队列。
- ArrayBlockingQueue:基于数组结构的有界阻塞队列,按FIFO(先进先出)原则对任务进行排序。使用该队列,线程池中能创建的最大线程数为maximumPoolSize。
- LinkedBlockingQueue:基于链表结构的无界阻塞队列,按FIFO(先进先出)原则对任务进行排序,吞吐量高于ArrayBlockingQueue。使用该队列,线程池中能创建的最大线程数为corePoolSize。静态工厂方法Executor.newFixedThreadPool()使用了这个队列。
- SynchronousQueue:一个不存储元素的阻塞队列。添加任务的操作必须等到另一个线程的移除操作,否则添加操作一直处于阻塞状态。静态工厂方法Executor.newCachedThreadPool()使用了这个队列。
- PriorityBlokingQueue:一个支持优先级的无界阻塞队列。使用该队列,线程池中能创建的最大线程数为corePoolSize。
keepAliveTime(线程活动保持时间) 线程池的工作线程空闲后,保持存活的时间。如果任务多而且任务的执行时间比较短,可以调大keepAliveTime,提高线程的利用率。
unit(线程活动保持时间的单位) 可选单位有DAYS、HOURS、MINUTES、毫秒、微秒、纳秒。
handler(饱和策略,或者又称拒绝策略) 当队列和线程池都满了,即线程池饱和了,必须采取一种策略处理提交的新任务。
- AbortPolicy:无法处理新任务时,直接抛出异常,这是默认策略。
- CallerRunsPolicy:用调用者所在的线程来执行任务。
- DiscardOldestPolicy:丢弃阻塞队列中最靠前的一个任务,并执行当前任务。
- DiscardPolicy:直接丢弃任务。
- threadFactory:构建线程的工厂类
# Executors创建线程池
Executors
内部是现场也是通过ThreadPoolExecutor
来实现的,只是对ThreadPoolExecutor
进行了封装,提供了一些工厂方法。
Executors提供了四种线程池:
- FixedThreadPool:创建固定大小的线程池。corePoolSize和maximumPoolSize相等,都是用户指定的固定值。使用LinkedBlockingQueue。
new ThreadPoolExecutor(nThreads, nThreads,
0L, TimeUnit.MILLISECONDS,
new LinkedBlockingQueue<Runnable>());
2
3
- CachedThreadPool:创建一个可缓存的线程池。corePoolSize为0,maximumPoolSize为Integer.MAX_VALUE。使用SynchronousQueue。
new ThreadPoolExecutor(0, Integer.MAX_VALUE,
60L, TimeUnit.SECONDS,
new SynchronousQueue<Runnable>(),
threadFactory)
2
3
4
SynchronousQueue是不存储任务的,新的任务要么立即被已有线程执行,要么创建新的线程执行。
- SingleThreadExecutor:创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行。使用LinkedBlockingQueue。
new ThreadPoolExecutor(1, 1,
0L, TimeUnit.MILLISECONDS,
new LinkedBlockingQueue<Runnable>(),
threadFactory)
2
3
4
- ScheduledThreadPool:创建一个大小无限的线程池。此线程池支持定时以及周期性执行任务的需求。使用DelayedWorkQueue。
super(corePoolSize, Integer.MAX_VALUE, 0, NANOSECONDS,
new DelayedWorkQueue(), threadFactory)
2
# 任务执行
- execute(Runnable command):提交一个Runnable任务用于执行。
- submit(Runnable task):提交一个Runnable任务用于执行,并返回一个表示任务等待完成的Future。
- submit(Callable
task):提交一个Callable任务用于执行,并返回一个表示任务等待完成的Future。 - invokeAny(Collection<? extends Callable
> tasks):执行给定的任务,只要其中一个任务成功完成(也就是没有抛出异常),返回的结果便是该任务的结果。 - invokeAll(Collection<? extends Callable
> tasks):执行给定的任务,返回一组表示任务的Future。 - schedule(Runnable command, long delay, TimeUnit unit):延迟执行Runnable命令。
- schedule(Callable
callable, long delay, TimeUnit unit):延迟执行Callable命令。 - scheduleAtFixedRate(Runnable command, long initialDelay, long period, TimeUnit unit):以指定的时间间隔定期执行命令,首次执行的延迟时间为initialDelay。
- scheduleWithFixedDelay(Runnable command, long initialDelay, long delay, TimeUnit unit):以指定的时间间隔定期执行命令,但是延迟的时间为上一次任务结束到下一次任务开始的时间。
# 线程池的五种运行状态
RUNNING :该状态的线程池既能接受新提交的任务,又能处理阻塞队列中任务。
SHUTDOWN:该状态的线程池不能接收新提交的任务,但是能处理阻塞队列中的任务。(政府服务大厅不在允许群众拿号了,处理完手头的和排队的政务就下班。) 处于RUNNING 状态时,调用shutdown()方法会使线程池进入到该状态。
注意:finalize() 方法在执行过程中也会隐式调用shutdown()方法。
STOP:该状态的线程池不接受新提交的任务,也不处理在阻塞队列中的任务,还会中断正在执行的任务。(政府服务大厅不再进行服务了,拿号、排队、以及手头工作都停止了。) 在线程池处于RUNNING 或 SHUTDOWN 状态时,调用shutdownNow() 方法会使线程池进入到该状态;
TIDYING:如果所有的任务都已终止,workerCount (有效线程数)=0。 线程池进入该状态后会调用 terminated() 钩子方法进入TERMINATED 状态。
TERMINATED:在terminated()钩子方法执行完后进入该状态,默认terminated()钩子方法中什么也没有做
# 线程池的关闭
- shutdown():启动一个有序关闭,执行以前提交的任务,但不接受新任务。如果已经关闭,则调用没有效果。
- shutdownNow():试图停止所有正在执行的活动任务,暂停处理正在等待的任务,并返回等待任务列表。
- awaitTermination(long timeout, TimeUnit unit):等待(阻塞)直到所有任务完成执行后或者超时。
- isShutdown():如果在关闭后执行了终止操作,则返回true。
- isTerminated():如果关闭后所有任务都已完成,则返回true。
- isTerminating():如果现有线程终止,但尚未完全终止,则返回true。
- finalize():在JVM垃圾回收线程回收此对象之前调用,默认调用shutdown()方法。
# Java线程池的调优以及监控
# 线程池的调优
- 先从以下几个角度分析任务的特性:
- 任务的性质:CPU 密集型任务、IO 密集型任务和混合型任务。
- 任务的优先级:高、中、低。
- 任务的执行时间:长、中、短。
- 任务的依赖性:是否依赖其他系统资源,如数据库连接。
- 任务性质不同的任务可以用不同规模的线程池分开处理。可以通过Runtime.getRuntime().availableProcessors()方法获得当前设备的 CPU 个数。
- CPU 密集型任务配置尽可能小的线程,如配置 N c p u + 1 N_{cpu}+1Ncp**u+1 个线程的线程池。
- IO 密集型任务则由于线程并不是一直在执行任务,则配置尽可能多的线程,如2 ∗ N c p u 2N_{cpu}2∗Ncp**u*。
- 混合型任务,如果可以拆分,则将其拆分成一个 CPU 密集型任务和一个 IO 密集型任务。只要这两个任务执行的时间相差不是太大,那么分解后执行的吞吐率要高于串行执行的吞吐率;如果这两个任务执行时间相差太大,则没必要进行分解。
- 优先级不同的任务可以使用优先级队列PriorityBlockingQueue来处理,它可以让优先级高的任务先得到执行。但是,如果一直有高优先级的任务加入到阻塞队列中,那么低优先级的任务可能永远不能执行。
- 执行时间不同的任务可以交给不同规模的线程池来处理,或者也可以使用优先级队列,让执行时间短的任务先执行。
- 依赖数据库连接池的任务,因为线程提交 SQL 后需要等待数据库返回结果,线程数应该设置得较大,这样才能更好的利用 CPU。
- 建议使用有界队列,有界队列能增加系统的稳定性和预警能力。可以根据需要设大一点,比如几千。使用无界队列,线程池的队列就会越来越大,有可能会撑满内存,导致整个系统不可用。
# 线程池的监控
- 通过线程池提供的参数进行监控,参数如下:
- taskCount:线程池需要执行的任务数量。
- completedTaskCount:线程池在运行过程中已完成的任务数量,小于或等于taskCount。
- largestPoolSize:线程池里曾经创建过的最大线程数量。通过这个数据可以知道线程池是否曾经满过。如该数值等于线程池的最大大小,则表示线程池曾经满过。
- getPoolSize:线程池的线程数量。如果线程池不销毁的话,线程池里的线程不会自动销毁,所以这个大小只增不减。
- getActiveCount:获取活动的线程数。
- 通过继承线程池并重写线程池的beforeExecute,afterExecute和terminated方法,我们可以在任务执行前,执行后和线程池关闭前干一些事情。
如监控任务的平均执行时间,最大执行时间和最小执行时间等。这几个方法在线程池里是空方法,如:
protected void beforeExecute(Thread t, Runnable r) { }
# 总结
线程池做的工作主要是控制运行的线程的数量,线程池的特点:线程复用;控制最大并发数;管理线程。 在日常开发中我们可以根据业务需要使用线程池来提高代码的执行效率,但是线程池的调优以及监控也是非常重要的,需要我们掌握。