［已解决］Flask-RQ2＋redis的后台进程不工作

折腾：

［已解决］Flask中添加后台进程用于提醒到期时发送通知

期间，代码是：

/Users/crifan/dev/dev_root/daryun/SIPEvents/sourcecode/sipevents/sipevents/__init__.py

/Users/crifan/dev/dev_root/daryun/SIPEvents/sourcecode/sipevents/sipevents/views.py

然后去运行，结果redis没有相关的输出

add的函数也没有对应的输出

对应的log是：

然后此停止自己的flask应用，去看看redis的log中，是否有输出对应的内容，结果发现没有：

难道是：

此处的add的job没有输出，所以没看到任何输出？

但是此处有log啊：

此处去确认，redis是正常工作的：

后台有进程，也是可以ping通的：

然后想起来了：

之前还有file的log，去看看里面是否有输出：

结果也没有找到

Flask-RQ 不工作

flask使用RQ的时候怎样让rqwork在flask中执行（不阻塞），而不用rqwork在命令行执行？ – V2EX

一大波 RQ 的问题， work 数，工作模式，非独立运行 …… – V2EX

Flask-RQ2 not run

Flask-RQ2 queue not work

Flask-RQ2 schedule

Flask-RQ2 job scheduler not work

python – Issue when running schedule with Flask – Stack Overflow

cron – How to run recurring task in the Python Flask framework? – Stack Overflow

python – How to stop Flask from initialising twice in Debug Mode? – Stack Overflow

先去试试：

/Users/crifan/dev/dev_root/daryun/SIPEvents/sourcecode/sipevents/run.py

然后去运行看看，是否app还会被多次初始化：

结果好像还是：

看到：

Flask-RQ2 — Flask-RQ2 16.0.2 documentation

说是：

RQ: Documentation

的扩展

感觉是：

难道是此处没有安装RQ？

去看看

其中的确是已经安装了rq了：

难道要去：

nvie/rq: Simple job queues for Python

执行：

？

好像的确是可以看到任务了，至少看到部分任务了：

对于新建活动之后创建的任务：

去运行rq worker看到了：

－》

此处的

add.queue(1, 2)

生效了。

但是：

add.schedule(timedelta(seconds=20), 3, 4)

没有生效啊。

难道是需要去：

rq-scheduler

的环境或工具，才能看到schedule的任务输出？

所以去搜：

flask python rq-scheduler

ui/rq-scheduler: A light library that adds job scheduling capabilities to RQ (Redis Queue)

再次测试：

结果没有生效：

以及：

－》感觉是：

首先需要：

rq后台先运行：

以及：

rescheduler也要后台先运行：

然后再去使用Python-RQ2的job的：

queue去触发加入队列－》rq的worker就会检测到？

schedule去加入要调度的队列？－》rqscheduler就会检测到并调度运行对应的任务

去试试：

1.后台运行rq

2.后台运行rqscheduler

此处确保了：

redis-server已经运行了，且正常

rq worker已经运行了

rqscheduler已经运行

对应的log分别都输出到了：

redis.log

rq_worker.log

rqscheduler.log

然后再去运行对应的自己的flask程序

然后去创建活动：

对应的job是：

然后去看对应的log中，是否有对应的job运行了。

很明显：

还是：

rq  worker工作了

但是rqscheduler没有工作

flask rqscheduler

flask rqscheduler not work

使用rqscheduler定时执行任务 | 阿小信的博客

how do you package your flask/rq workers with your webapp ?：flask

后来的后来，发现好些rq的schedule的任务：

3+4的add

执行了：

－》但是却没有像预期的一样：每隔20秒就运行一次

总共只运行了一次

不过reschedule的log中却没有输出：

然后对应的flask的file的log也看到了：

－》

难道是：

本身的含义就是：

只运行一次，运行的时间是：在20秒之后？

flask python rq-scheduler

Ask HN: What you use for task scheduling in Python + Flask? | Hacker News

Python-RQ best practices?：flask

看到官网的解释了：

ui/rq-scheduler: A light library that adds job scheduling capabilities to RQ (Redis Queue)

－》很明显，传入timedelta，就是指的是：

在对应时间之后，去运行

而不是：

每隔多长时间，去运行

然后回头看文档：

API — Flask-RQ2 16.0.2 documentation

“

schedule(time_or_delta, *args, **kwargs)

A function to schedule running a RQ job at a given time or after a given timespan:

@rq.job

def add(x, y):

    return x + y

add.schedule(timedelta(hours=2), 1, 2)

add.schedule(datetime(2016, 12, 31, 23, 59, 59), 1, 2)

add.schedule(timedelta(days=14), 1, 2, repeat=1)

”

也是解释的说是：

在指定的时间，或者是：时间段之后，运行。

回头再去看官网示例：

Flask-RQ2 — Flask-RQ2 16.0.2 documentation

才注意到：

queue job in 60 seconds

其实是：

60秒之后，把此任务加入队列（待到时候被调度执行）

而我之前理解错了，以为是：

每60秒就加入队列，被调度执行一次呢。。。

而对应另外那个repeat参数，此处的：

Flask-RQ2的

文档：

Flask-RQ2 — Flask-RQ2 16.0.2 documentation

和API：

API — Flask-RQ2 16.0.2 documentation

都没有具体解释细节用法：

比如想要无限循环下去，该如何设置repeat的值

而由于其是：rq-scheduler的封装，

所以去看rq-scheduler的官网文档：

ui/rq-scheduler: A light library that adds job scheduling capabilities to RQ (Redis Queue)

其中有repeat的解释：

想要无限循环的执行，则：

repeat=None

然后好像对应的，同时要设置：

interval=20

才可以实现：

每隔20秒，无限循环下去。

去试试

然后2个job是：

过了几分钟后，去看log：

/Users/crifan/dev/dev_root/daryun/SIPEvents/sourcecode/sipevents/rq_worker.log

－》可以看出来：

此处不是每隔20秒，而是1分钟60秒，才运行一次。

想起来了：

使用rqscheduler定时执行任务 | 阿小信的博客

中提到的：

然后也看到：

即：

rqscheduler是支持-i参数，决定调度轮训的间隔时间的

默认是60秒＝1分钟

－》就是上述，代码中指定了20秒，实际上1分钟执行一次的原因

然后去试试：

先杀掉reschedule，再去加上-i参数重新运行：

故意改个更短的间隔15秒：

然后重新去运行：

从：

/Users/crifan/dev/dev_root/daryun/SIPEvents/sourcecode/sipevents/rq_worker.log

的：

每5秒就调度一次，说明-i 5参数起效果了。

/Users/crifan/dev/dev_root/daryun/SIPEvents/sourcecode/sipevents/rq_worker.log

以及：

可以看出来：

的确是在后台，始终重复循环的运行了。

［总结］

Flask-RQ2支持：

rq worker

和：

rqscheduler

对于耗时的任务，被放到后台异步执行，等有了结果了，保存到某个地方（redis，其他数据库等），然后其他地方，可以在需要的时候去到保存的地方取回对应的结果，这样的工作，可以被称为：后台（耗时，异步）任务

－》这类的后台任务，Flask-RQ2在内部，是通过rq worker的去支持的。

－》对应的代码：

内部后台运行了：

rq worker

监听对应的，加入了此队列的任务，

然后就去执行对应的任务

另一类是：

定期的，周期性的，任务，需要在特定的时间，甚至是定期循环的执行的任务，需要在特定的时间去调度执行，此类任务，可以被称为调度任务

－》这类的调度任务，Flask-RQ2在内部，是通过rqshceduler的去支持的。

－》对应代码：

内部后台是：

rqscheduler

每隔一段时间（通过-i参数指定间隔时间）去运行

检测是否有需要调度执行的任务

如果有就去调度rq worker去执行？

－》

所以可以说成是：

干活的，最终都是rq worker干活的

只不过：

add.queue是立刻去干活

add.schedule是指定了，在特定的时间到了，再去干活（比如30秒之后，从现在开始每隔15秒都去干活）

－》

rq worker：负责最终的干对应的活

rqscheduler：调度，在对应的时间到了，把要干活的，丢给rq worker去干

问题1: 为何Flask-RQ2的正常工作之前，需要去运行rq woker？

详细解释：

Flask-RQ2的官网文档：

Flask-RQ2 — Flask-RQ2 16.0.2 documentation

中已经说了：

Flask-RQ2只是针对于：

RQ: Simple job queues for Python

的扩展

－》意味着：

1.安装Flask-RQ2的时候，会自动装上对应的依赖的和RQ相关的库：

rq (0.6.0)

rq-scheduler (0.7.0)

－》而RQ==Redis Queue，本身是基于Redis去实现队列和任务的管理，

所以也会自动安装所以来的：

redis (2.10.5)

2.Flask-RQ2是需要RQ的后台的服务作为支持，才能完整的工作的

－》

所以为了能让后台任务管理完整的工作，需要：

运行rq的后台服务：

注意到其输出是：

Listening for work on default

其作用是：

监听默认的default的rq ？

如果有任务被加入到此队列中，就去执行改任务。

看起来，应该对应着：

API — Flask-RQ2 16.0.2 documentation

中的默认的配置的queues

“

queues = [‘default’]

List of queue names for RQ to work on.

”

问题2: 为何Flask-RQ2的正常工作之前，需要去运行rqscheduler？

ui/rq-scheduler: A light library that adds job scheduling capabilities to RQ (Redis Queue)

对应的代码：

内部是把此任务，加入到了rqsheduler中了

rqsheduler每隔一段时间运行一次，去检查是否有到了对应的时间的任务

如果有，就丢给rq worker去运行

－》

所以需要后台也一直有个调度的任务：

rqscheduler

去运行，负责任务的调度执行。

问题3：Flask-RQ2和Flask-RQ是什么关系？

Flask-RQ2官网文档中：

Flask-RQ2 — Flask-RQ2 16.0.2 documentation

已经说了：

Flask-RQ2是，借鉴了Matt Wright的Flask-RQ：

mattupstate/flask-rq: RQ (Redis Queue) integration for Flask applications

的思想，

而Flask-RQ的思想是啥？

那就是：简单，方便，好用。

但是由于Flask-RQ还是做的不是足够的方便好用，

所以jezdez才去，重新弄了个Flask-RQ2，以便于更方便的使用Redis Queue去实现后台任务，调度任务等功能。

总的说就是：

Flask-RQ2和Flask-RQ都是基于RQ的扩展，

而个人觉得，Flask-RQ2比Flask-RQ更加方便和好用。

【如何让Flask-RQ2完整的工作起来的步骤】

1.后台运行rq worker

具体的命令，可以用：

关于nohup命令不了解的可以参考：

［整理］命令前面加上nohup是什么含义

关于2>&1不了解的可以参考：

［整理］Linux中重定向中大于号的用户以及>2&1的含义

2.后台运行rqscheduler

其中的：

-i 5 表示interval间隔时间为5-》5秒就去运行一次，检查是否有需要调度执行的任务

如果不设置，默认间隔为60秒＝1分钟

－》你根据你的情况，决定是否要传入-i参数修改默认间隔

－》我此处之所以需要设置-i，是因为：

我测试期间，有个任务需要每隔15秒就运行一次

所以此处的-i间隔的时间，要短于我的任务的间隔

否则任务间隔就变成默认的60秒＝1分钟才执行一次了。

另外：

关于schedule的参数的问题：

Flask-RQ2中没有详细解释

可以去看：

rq-scheduler的官网文档：

ui/rq-scheduler: A light library that adds job scheduling capabilities to RQ (Redis Queue)

比如：

interval：Time before the function is called again, in seconds

repeat：Repeat this number of times (None means repeat forever)

注意：

IMPORTANT NOTE: If you set up a repeated job, you must make sure that you either do not set a result_ttl value or you set a value larger than the interval. Otherwise, the entry with the job details will expire and the job will not get re-scheduled.

比如：

就表示：过1秒之后就运行，之后永远不停止地每间隔15秒就运行一次。

如何查看输出：

可以去：

rq_worker.log

和：

rqscheduler.log

去看对应的输出的log

至此，就可以看到Flask-RQ2正常的运行，我们所添加的job任务了。

转载请注明：在路上 » ［已解决］Flask-RQ2＋redis的后台进程不工作