博客
关于我
Django 3.0.1 + celery 4.4.2 + redis 部署
阅读量:662 次
发布时间:2019-03-15

本文共 4840 字,大约阅读时间需要 16 分钟。

一、背景

(1)Celery 4.0要求Django1.8或者比1.8 更新的版本,如果Django低于1.8版本,请使用Celery 3.1版本。

(2)俺是个小气的人,免费听哔哩上几年前的Django教程视频。让安装三个包:celery、celery-with-redis、django-celery。依次安装,发现celery-with-redis、django-celery支持的celery版本最高到4.0。也就是最新版本的Celery已经实现了 celery-with-redis、django-celery包的功能,不在需要安装这两个包。

ERROR: django-celery 3.3.1 has requirement celery<4.0,>=3.1.15, but you'll have celery 4.1.1 which is incompatible.ERROR: celery-with-redis 3.0 has requirement celery<4.0,>=3.0, but you'll have celery 4.1.1 which is incompatible.

二、部署步骤

(1)自建的Django项目目录结构如下。 proj为项目名称。

- proj/  - manage.py  - proj/    - __init__.py    - settings.py    - urls.py  - app1    - __init__.py    - admin.py    - app1.py    - models.py    - tests.py      - urls.py    - views.py

(2)在proj/proj/目录下建立celery.py。 proj需要更改成自己项目名字。

from __future__ import absolute_import, unicode_literalsimport osfrom celery import Celery# set the default Django settings module for the 'celery' program.os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')app = Celery('proj')# Using a string here means the worker doesn't have to serialize# the configuration object to child processes.# - namespace='CELERY' means all celery-related configuration keys#   should have a `CELERY_` prefix.app.config_from_object('django.conf:settings', namespace='CELERY')# Load task modules from all registered Django app configs.app.autodiscover_tasks()@app.task(bind=True)def debug_task(self):    print('Request: {0!r}'.format(self.request))

上面内容解释:

  1.  from __future__ import absolute_import 保证celry.py不和library冲突
  2. os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings') 为Celery命令设置默认的环境变量。当执行Celery命令时,会自动使用指定的settings作为配置文件,而不必每次执行时都要指定配置文件。
  3. app = Celery('proj') 生成Celery实例,对于Django,只需要一个
  4. app.config_from_object('django.conf:settings', namespace='CELERY') 设置Django项目的settings作为Celery的一部分配置文件。这样你就可以直接将Celery的配置项配置在Django项目的settings文件中,而不必为Celery单独写一个配置文件。但是Celery支持单独定义配置文件。
  5. namespace='CELERY' :Django的settings配置文件中,Celery的配置项都以大写的CELERY_开头。当然此项可以不指定,但是为了防止和Django配置项混淆,建议指定。
  6. app.autodiscover_tasks() 最佳项目实践是将不同app的task放在不同的task.py模块中。自动加载经过注册的app根目录下的task。app的根目录如下:。这样就不需要配置CELERY_IMPORTS来指定每个app具体task.py路径。 
- app1/    - tasks.py    - models.py- app2/    - tasks.py    - models.py

(3)在proj/proj/__init__.py文件中导入Celery app

from __future__ import absolute_import, unicode_literals# This will make sure the app is always imported when# Django starts so that shared_task will use this app.from .celery import app as celery_app__all__ = ('celery_app',)

(4)在proj的settings.py中添加配置项

# root为随意的一个名字CELERY_BROKER_URL = 'redis://root:password@127.0.0.1:6379/0'

(5)编写task代码

# Create your tasks herefrom __future__ import absolute_import, unicode_literalsfrom celery import shared_task# 自己建立的模型类from demoapp.models import Widget@shared_taskdef add(x, y):    return x + y@shared_taskdef mul(x, y):    return x * y@shared_taskdef xsum(numbers):    return sum(numbers)import time@shared_taskdef count_widgets():    time.sleep(5)    return Widget.objects.count()@shared_taskdef rename_widget(widget_id, name):    w = Widget.objects.get(id=widget_id)    w.name = name    w.save()

(6)打开两个命令行窗口。一个运行Celery命令启动Worker,另一个窗口运行Django项目。

# 启动celery。windows系统需要 -P参数。 eventlet需要单独pip installcelery -A demo worker -l info -P eventlet# 启动Django项目. 项目根目录下python manage.py runserver

(7)views视图函数中使用启动task任务。 当访问此视图函数时,会立即返回celery.html页面,任务会被提交到celery去异步执行。

from .task import count_widgetsdef celery(req):    res = count_widgets.delay()   # print(res.get())    return render(req, 'app1/celery.html')

三、碰到问题

(1)版本问题 只需要安装Celery一个包即可

(2)错误:Celery ValueError: not enough values to unpack (expected 3, got 0)

解决方法:

第一步: pip install eventlet 第二步:运行celery命令时增加P参数。    celery -A proj worker -l info -P eventlet

参数说明:

  1.  -A--app 使用到的项目名
  2.  -P, --pool Celery使用的实现池。可以有 prefork (default), eventlet, gevent, threads ,solo.
  3.  -l, --loglevel 日志级别,可以有 DEBUG, INFO, WARNING, ERROR, CRITICAL,FATAL.

 

(2)错误:DatabaseError: DatabaseWrapper objects created in a thread can only be used in that same thread. The object with alias 'default' was created in thread id 140107533682432 and this is thread id 65391024.

解决办法:

    在Pycharm全文搜索(连按shift两次快捷键),搜索monkey_patch() 函数,其为eventlet源码函数,对其进行修改

def monkey_patch(on={"thread":False}):

问题原因:     

      经过分析django的db模块的代码,发现进行数据库操作关闭时,会对创建这个连接进行验证是否是同 一个thread进行操作,如果不是一个操作,就会报错。

     经过排查eventlet的monkey_patch(),发现eventlet在提供绿色协程时,为了性能提升,竟然强悍的部分原生模块(os、socket、thread)进行了修改,并且通过monkey_patch的方式进行替换了。这里受影响的就是eventlet 对原生的thread 进行了补丁操作,对thread的获取线程id的方法get_ident()进行了重写。

def get_ident(gr=None):    if gr is None:        return id(greenlet.getcurrent())    else:        return id(gr)

     这样,就会引起,之前thread.get_ident() 和monkey_patch 后的thread.get_ident() 获取的值不同,monkey_patch() 后获取的是线程中绿色协程的id。

    想要解决这个问题,可以在monkey_patch() 时,不对thread进行打补丁,monkey_patch((on={"thread":False}),就可以解决。不过,这样不知道会不会影响到eventlet提供的写成并发能力。如果有大牛,可以做进一步补充。

(4)参考资料

官网资料

别人资料

转载地址:http://xnglz.baihongyu.com/

你可能感兴趣的文章
NIFI大数据进阶_Json内容转换为Hive支持的文本格式_操作方法说明_01_EvaluteJsonPath处理器---大数据之Nifi工作笔记0031
查看>>
NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka消费者处理器_来消费kafka数据---大数据之Nifi工作笔记0037
查看>>
NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka生产者---大数据之Nifi工作笔记0036
查看>>
NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
查看>>
NIFI大数据进阶_NIFI监控功能实际操作_Summary查看系统和处理器运行情况_viewDataProvenance查看_---大数据之Nifi工作笔记0026
查看>>
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
查看>>
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
查看>>
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
查看>>
NIFI大数据进阶_使用NIFI表达式语言_来获取自定义属性中的数据_NIFI表达式使用体验---大数据之Nifi工作笔记0024
查看>>
NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
查看>>
NIFI大数据进阶_内嵌ZK模式集群2_实际操作搭建NIFI内嵌模式集群---大数据之Nifi工作笔记0016
查看>>
NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_02---大数据之Nifi工作笔记0034
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028
查看>>
NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
查看>>
NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
查看>>