我們曾經(jīng)研究過如何讓Python和Go互相調度,當時發(fā)現(xiàn),將Go語言寫的模塊打包成動態(tài)鏈接庫,就能在Python中進行調度:
優(yōu)劣互補! Python+Go結合開發(fā)的探討
Go的優(yōu)勢很明顯,從1億減到1,在我的設備上測試,用Go運行只需要50ms,Python可能需要接近100倍的時間。
但是,這種寫法也有缺點:實在太麻煩了,大大增加了整個項目的耦合性。
那Python中有沒有辦法不通過打包成動態(tài)鏈接庫的方法,用Python調度Go的任務呢?答案是Go celery.
https://github.com/gocelery/gocelery
我們可以用Go寫一個計算密集型任務的Worker,然后用Python的Celery beat來調度這個Worker,下面給大家演示一下:
1.編寫Go Worker
最好是將計算密集型的任務改造成Go語言版的,這樣收益才能最大化。
比如這里,我使用的是上回從1億減到1的老梗。
PS,別被下面這段代碼嚇到了,其實大部分是可以去掉的配置項,核心代碼就幾行。
輸入命令:
go run main.go
即可運行該worker
2.編寫Python客戶端
每5秒調度一次1億減到1,不過不跑Python worker. 由于Go Worker在運行,這里的minus會被Go Worker消費。
另外請注意,這里的minus函數(shù)實際上只是為了能被識別到而編寫的,其內容毫無意義,直接寫個pass都沒問題(因為實際上是Go Worker在消費)。
編寫完后,針對go_tasks模塊啟動beat:
celery -A go_tasks beat
此時,調度器就會調度Go Worker執(zhí)行任務:
可以看到,我們成功用Python的Celery Beat調度了Go寫的Worker!可喜可賀。
接下來可以看看如果單純用Python的Worker做這樣的計算是有多耗時:
啟動worker:
celery worker -A python_tasks -l info --pool=eventlet
啟動beat調度器:
celery -A python_tasks beat
結果如下:
可以看到,Python從1億減到1平均需要5.2秒左右的時間,和Go版相差了100倍左右。
如果我們將調度器的頻率提高到每秒計算1次,Python版的Worker,其任務隊列一定會堵塞,因為Worker消費能力不夠強大。相比之下,Go版的Worker可就非常給力了。
因此,如果你的項目中有這種計算密集型的任務,可以嘗試將其提取成Go版本試試,說不定有驚喜呢。
-
Go
+關注
關注
0文章
45瀏覽量
12351 -
python
+關注
關注
56文章
4825瀏覽量
86170 -
Worker
+關注
關注
0文章
8瀏覽量
6555 -
動態(tài)鏈接庫
+關注
關注
0文章
11瀏覽量
7128
發(fā)布評論請先 登錄
Go語言開發(fā)有什么優(yōu)勢?怎么學?
會go語言能做什么工作?
python2和python3是如何互相切換的
Python 轉向 Go語言的9大原因和3大缺點
Go語言其實有很多優(yōu)良特性,很多時候都可以代替Python
golang的調度模型-GPM 模型的源碼結構
詳解剖析Go語言調度模型的設計

Go/Rust挑戰(zhàn)Java/Python地位
Schedule:簡單實用的 Python 周期任務調度工具
Crontab:簡單實用的Python 周期任務調度工具
Go在單線程計算性能上的優(yōu)勢

評論