环境版本:
windows7 x64
django 1.11.6
django-celery 3.2.2
1)通过eclipse,右击项目名称,Run As----Pydev:Django
2)在manage.py文件所在路径执行命令:python manage.py runserver 0.0.0.0:8000
本次启动采用方式1,启动成功后,控制台日志打印信息如下:
2、在...\testdj\testdj\testdj下新建celery配置文件celeryconfig.py:
#-*- coding: utf-8 -*-
'''Created on 2019年8月28日
@author: lenovo'''
importceleryimportdjcelery#当djcelery.setup_loader()运行时,Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件,找到标记为task的方法,将它们注册为celery task。
djcelery.setup_loader()#设置不同的队列,不要只使用默认的队列,这样当任务比较多的时候任务之间会相互影响(例如将普通任务和定时任务混在一起),
CELERY_QUEUES={#定时任务队列
'beat_tasks':{'exchange':'beat_tasks','exchange_type':'direct','binding_key':'beat_tasks'},'work_queue':{'exchange':'work_queue','exchange_type':'direct','binding_key':'work_queue'}#普通任务队列
}
CELERY_DEFAULT_QUEUE='work_queue' #设置默认队列,若不指定队列则使用该队列
CELERY_IMPORTS=('course.tasks',
)#参数配置可参考官网:http://docs.celeryproject.org/en/latest/userguide/configuration.html
CELERY_ACKS_LATE=True #允许重试
CELERYD_FORCE_EXECV=True #可以让Celery更加可靠,只有当worker执行完任务后,才会告诉MQ,消息被消费,防治死锁
CELERYD_CONCURRENCY=4 #设置并发的worker数量
CELERYD_MAX_TASKS_PRE_CHILD=100 #每个worker最多执行100个任务被销毁,可以防止内存泄露
CELERYD_TASK_TIME_LIMIT=12*30 #单个任务的最大运行时间为6分钟,超过的话就被杀掉
3、在项目路径...\testdj\testdj下新建app,命名为course
右击项目名称testdj,选择Django---create application(mange.py startapp),输入app名称完成创建;
4、将新建的course这个app和djcelery模块注册到settings.py中:
INSTALLED_APPS =['django.contrib.admin','django.contrib.auth','django.contrib.contenttypes','django.contrib.sessions','django.contrib.messages','django.contrib.staticfiles','djcelery','course',
]
注册djcelery是为了后续通过manage.py使用其相关命令 ;
5、建立Celery与django的关系,包括broker和backend设置,在settings.py中完成相关配置:
#Celery
from celeryconfig import *BROKER_BACKEND='redis'BROKER_URL='redis://localhost:6379/1'CELERY_RESULT_BACKEND='redis://localhost:6379/2'
6、在...\testdj\testdj\course下新建tasks.py文件
#-*- coding: utf-8 -*-
'''Created on 2019年8月28日
@author: lenovo'''
importtimefrom celery.task importTaskclassCourseTask(Task):
name='course-task' #给该任务起一个名字,这样可以用它在其他地方表示这个任务
def run(self,*args,**kwargs):print 'start course task'time.sleep(4)print 'args={},kwargs={}'.format(args, kwargs)print 'end course task'
7、新建views.py
#-*- coding: utf-8 -*-
'''Created on 2019年8月29日
@author: lenovo'''
from course.tasks importCourseTaskfrom django.http importJsonResponsedefdo(request):#执行异步任务
print 'start do request'CourseTask.delay()print 'end do request'
return JsonResponse({'result':'ok'})
8、修改urls.py文件:
from django.conf.urls importurlfrom django.contrib importadminfrom course importviews
urlpatterns=[
url(r'^admin/', admin.site.urls),
url(r'^do/$',views.do,name='do'),
]
9、启动worker:在manage.py文件所在路径下执行命令python manage.py celery worker -l INFO
10、打开浏览器访问http://127.0.0.1:8000/do/完成请求发送,查看runserver启动的服务日志显示通过views.py已发送任务成功,查看worker日志显示worker已接收到任务并进行了消费
并且我们发起请求时,
start do request
end do request
是实时打印的(而非等待4S才打印end do request),说明任务未出现阻塞情况,证明任务是异步的。
11、增加定时任务设置:修改celeryconfig.py文件,增加定时任务,并指定定时任务运行在beat_tasks队列中:
#-*- coding: utf-8 -*-
'''Created on 2019年8月28日
@author: lenovo'''
importceleryimportdjcelery#当djcelery.setup_loader()运行时,Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件,找到标记为task的方法,将它们注册为celery task。
djcelery.setup_loader()#设置不同的队列,不要只使用默认的队列,这样当任务比较多的时候任务之间会相互影响(例如将普通任务和定时任务混在一起),
CELERY_QUEUES={#定时任务队列
'beat_tasks':{'exchange':'beat_tasks','exchange_type':'direct','binding_key':'beat_tasks'},'work_queue':{'exchange':'work_queue','exchange_type':'direct','binding_key':'work_queue'}#普通任务队列
}
CELERY_DEFAULT_QUEUE='work_queue' #设置默认队列,若不指定队列则使用该队列
CELERY_IMPORTS=('course.tasks',
)#参数配置可参考官网:http://docs.celeryproject.org/en/latest/userguide/configuration.html
CELERY_ACKS_LATE=True #允许重试
CELERYD_FORCE_EXECV=True #可以让Celery更加可靠,只有当worker执行完任务后,才会告诉MQ,消息被消费,防治死锁
CELERYD_CONCURRENCY=4 #设置并发的worker数量
CELERYD_MAX_TASKS_PRE_CHILD=100 #每个worker最多执行100个任务被销毁,可以防止内存泄露
CELERYD_TASK_TIME_LIMIT=12*30 #单个任务的最大运行时间为6分钟,超过的话就被杀掉
#设置定时任务
from datetime importtimedelta
CELERYBEAT_SCHEDULE={'task1':{'task':'course-task','schedule':timedelta(seconds=5),'options':{'queue':'beat_tasks'}
}
}
12、启动beat:执行命令python manage.py celery beat -l INFO
13、查看beat日志定时任务发送情况以及worker日志任务消费情况,当前定时任务跑在beat_tasks队列里正常
beat日志显示按照定时任务设置要求每隔5s发送一次任务:
worker日志显示worker成功消费了每个定时任务: