飞道的博客

Python之web服务利器Flask生产环境部署实践【基于gunicorn部署生产环境】

457人阅读  评论(0)

     Python是一门非常友好的语言,学习成本很低,这也是我很喜欢写Python的原因之一,在与应用端或者是业务端做整合的时候我们经常会将模型或者是数据分析的应用做成可以被直接调用的web服务来提供外部的访问,在web服务搭建这一块,有很多的第三方库可以完成这一任务,这里列举出来我了解的web框架,欢迎补充:


  
  1. Django: Python Web应用开发框架
  2. Diesel:基于Greenlet的事件I/O框架
  3. Flask:一个用Python编写的轻量级Web应用框架
  4. Cubes:轻量级Python OLAP框架
  5. Kartograph.py:创造矢量地图的轻量级Python框架
  6. Web2py:全栈式Web框架
  7. Pulsar:Python的事件驱动并发框架
  8. Falcon:构建云API和网络应用后端的高性能Python框架
  9. Bottle: 微型Python Web框架
  10. Tornado:异步非阻塞IO的Python Web框架
  11. webpy: 轻量级的Python Web框架

       对于我个人而言,Flask是我搭建web服务的首选,很轻量级,使用起来也很方便,简单的应用几乎是没有什么学习成本的,相信使用过的人对于下面这句话都不会陌生: 

      很简单的依据启动命令就可以将我们自己的应用或者是模块暴露成可被访问、调用的web服务了,很神奇的吧。

     说了Flask的很多好处,但是这是否意味着它是完美的了呢?其实并不是,很大程度上需要取决于你的应用复杂程度,今天遇上一个问题就是需要在生产环境里面部署Flask应用服务,之前这个问题我并没有去过多考虑,因为觉得开发环境和生产环境的部署方式是一样的,所以一直也就这么做着项目走过来了后面发现并不是这个样子的,我们来看一个简单的例子:

      上图是在windows下面我启动了本地的一个web服务,终端输出的提示信息以及警告信息,之前一直都忽略了这一行信息,其实这里的警告信息很简单就是说:不要使用这种方式在生产环境里面部署你的web服务,如果仅仅是用来开发、测试或者是调试什么的则就无所谓了,那么这是为什么呢?是因为:flask直接用于生产环境无论是处理高并发还是鲁棒性都有所欠缺,一般会配合WGSI容器来进行生产环境的部署

    所以这里就需要针对生产环境的部署去做一套方案了。我是参考了这里的方案,截图如下所示:

      我们参考的是【自主部署选项】这里的内容,截图如下所示:

     这里文档讲的比较简单,不过也大概看懂了使用的过程是比较简单。

     这里自己的实践思路就是【gunicorn+gevent】,首先来简单熟悉一下gevent:

官方解释 greenlet 是轻量级的并行编程,gevent 就是利用 greenlet 实现的基于协程(coroutine)的 python 的网络 library,通过使用greenlet提供了一个在libev事件循环顶部的高级别并发API。即 gevent 是对 greenlet 的高级封装。

      下面是从廖老师网站里面拿来的介绍:

     上面的内容理解了我们差不多就知道gevent是干什么的了。接下来就需要来了解一下gunicorn了,在了解和介绍gunicorn之前,我们先来看看WSGI是什么,下面是摘自百度百科的介绍:


  
  1. WSGI介绍:
  2. PythonWeb服务器网关接口(Python Web Server Gateway Interface,缩写为WSGI)是Python应用程序或框架和Web服务器之间的一种接口,已经被广泛接受, 它已基本达成它的可移植性方面的目标。WSGI 没有官方的实现, 因为WSGI更像一个协议. 只要遵照这些协议,WSGI应用(Application)都可以在任何服务器(Server)上运行, 反之亦然。
  3. WSGI标准在 PEP333中定义并被许多框架实现,其中包括现广泛使用的django、flask框架。
  4. 诞生背景:
  5. 以前如何选择合适的Web应用程序框架成为困扰Python初学者的一个问题,这是因为,一般而言,Web应用框架的选择将限制可用的Web服务器的选择,反之亦然。那时的Python应用程序通常是为CGI,FastCGI,mod_python中的一个而设计,甚至是为特定Web服务器的自定义的API接口而设计的。WSGI(有时发音作'wiz-gee')是作为Web服务器与Web应用程序或应用框架之间的一种低级别的接口,以提升可移植Web应用开发的共同点。WSGI是基于现存的CGI标准而设计的。

      看了好多gunicorn介绍的资料,下面总结的一段话感觉是比较贴切的了:

Gunicorn是一个unix上被广泛使用的高性能的Python WSGI UNIX HTTP Server。和大多数的web框架兼容,并具有实现简单,轻量级,高性能等特点。gunicorn是支持wsgi协议的http服务器,gevent只是它支持的模式之一,是为了解决django、flask这些web框架自带wsgi server性能低下的问题。自带的webserver更多的是测试用途,线上发布时,最好使用高性能的wsgi server或者是联合nginx做uwsgi。

     毕竟是第一次接触到的东西,所以必要的背景内容和相关的介绍说明学习是很重要的对于我来说是这样的。初步熟悉和了解之后就可以开始实践了,首选是环境的搭建:


  
  1. pip install gunicorn
  2. pip install gevent

      完成了环境的搭建后,下面是一个简单的实例【myApp.py】:


  
  1. #!usr/bin/env python
  2. #encoding:utf-8
  3. from __future__ import division
  4. '''
  5. __Author__:沂水寒城
  6. 功能: gunicorn+flask Demo
  7. '''
  8. from flask import *
  9. #过滤掉警示信息
  10. import warnings
  11. warnings.filterwarnings( "ignore")
  12. app=Flask(__name__)
  13. @app.route("/")
  14. def init():
  15. '''
  16. 初始化启动接口
  17. http://localhost:5000/
  18. '''
  19. return u"gunicorn+flask web服务正常启动........"
  20. if __name__ == '__main__':
  21. app.run(host= '0.0.0.0',port= 5000)

      启动命令如下所示:

gunicorn -w 10 -b 0.0.0.0:5000 myApp:app

    在Linux终端执行上面的命令后就可以看到相应的输出了,这里就不进行展示了,后面会有具体的实例。

    下午了解到的启动方式主要有两种,上面的直接命令行启动是第一种方式,第二种方式是基于配置文件的启动,这里就需要编写一个config.py的配置文件来对gunicorn的配置项进行配置了,我们在终端可以简单地通过下面的命令来查看gunicorn所有的配置选项:

gunicorn -h

      下面是所有的可选配置项信息:


  
  1. usage: gunicorn [OPTIONS] [APP_MODULE]
  2. optional arguments:
  3. -h, --help show this help message and exit
  4. -v, --version show program 's version number and exit
  5. -m INT, --umask INT A bit mask for the file mode on files written by
  6. Gunicorn. [0]
  7. --worker-connections INT
  8. The maximum number of simultaneous clients. [1000]
  9. --max-requests INT The maximum number of requests a worker will process
  10. before restarting. [0]
  11. --graceful-timeout INT
  12. Timeout for graceful workers restart. [30]
  13. --access-logfile FILE
  14. The Access log file to write to. [None]
  15. --reload-engine STRING
  16. The implementation that should be used to power
  17. :ref:`reload`. [auto]
  18. --preload Load application code before the worker processes are
  19. forked. [False]
  20. -D, --daemon Daemonize the Gunicorn process. [False]
  21. --strip-header-spaces
  22. Strip spaces present between the header name and the
  23. the ``:``. [False]
  24. --certfile FILE SSL certificate file [None]
  25. --log-syslog-to SYSLOG_ADDR
  26. Address to send syslog messages. [udp://localhost:514]
  27. --statsd-prefix STATSD_PREFIX
  28. Prefix to use when emitting statsd metrics (a trailing
  29. ``.`` is added, []
  30. -w INT, --workers INT
  31. The number of worker processes for handling requests.
  32. [1]
  33. --max-requests-jitter INT
  34. The maximum jitter to add to the *max_requests*
  35. setting. [0]
  36. --no-sendfile Disables the use of ``sendfile()``. [None]
  37. --reuse-port Set the ``SO_REUSEPORT`` flag on the listening socket.
  38. [False]
  39. --worker-tmp-dir DIR A directory to use for the worker heartbeat temporary
  40. file. [None]
  41. -u USER, --user USER Switch worker processes to run as this user. [0]
  42. --reload Restart workers when code changes. [False]
  43. --chdir CHDIR Chdir to specified directory before apps loading.
  44. [/root/cgb/demo]
  45. --access-logformat STRING
  46. The access log format. [%(h)s %(l)s %(u)s %(t)s
  47. "%(r)s" %(s)s %(b)s "%(f)s" "%(a)s"]
  48. --limit-request-fields INT
  49. Limit the number of HTTP headers fields in a request.
  50. [100]
  51. --ca-certs FILE CA certificates file [None]
  52. --spew Install a trace function that spews every line
  53. executed by the server. [False]
  54. --forwarded-allow-ips STRING
  55. Front-end's IPs from which allowed to handle set
  56. secure headers. [ 127.0 .0 .1]
  57. --do-handshake-on-connect
  58. Whether to perform SSL handshake on socket connect
  59. (see stdlib ssl module 's) [False]
  60. -R, --enable-stdio-inheritance
  61. Enable stdio inheritance. [False]
  62. --paste STRING, --paster STRING
  63. Load a PasteDeploy config file. The argument may
  64. contain a ``#`` [None]
  65. --proxy-allow-from PROXY_ALLOW_IPS
  66. Front-end's IPs from which allowed accept proxy
  67. requests (comma separate). [ 127.0 .0 .1]
  68. --logger- class STRING
  69. The logger you want to use to log events in Gunicorn.
  70. [gunicorn.glogging.Logger]
  71. --keep-alive INT The number of seconds to wait for requests on a Keep-
  72. Alive connection. [2]
  73. -c CONFIG, --config CONFIG
  74. The Gunicorn config file. [None]
  75. --log-level LEVEL The granularity of Error log outputs. [info]
  76. --paste-global CONF Set a PasteDeploy global config variable in
  77. ``key=value`` form. [[]]
  78. --pythonpath STRING A comma-separated list of directories to add to the
  79. Python path. [None]
  80. --reload-extra-file FILES
  81. Extends :ref:`reload` option to also watch and reload
  82. on additional files [[]]
  83. --capture-output Redirect stdout/stderr to specified file in
  84. :ref:`errorlog`. [ False]
  85. --ciphers CIPHERS SSL Cipher suite to use, in the format of an OpenSSL
  86. cipher list. [ None]
  87. --keyfile FILE SSL key file [ None]
  88. -k STRING, --worker- class STRING
  89. The type of workers to use. [sync]
  90. --log-config-dict LOGCONFIG_DICT
  91. The log config dictionary to use, using the standard
  92. Python [{}]
  93. --log-syslog-prefix SYSLOG_PREFIX
  94. Makes Gunicorn use the parameter as program-name in
  95. the syslog entries. [None]
  96. --backlog INT The maximum number of pending connections. [2048]
  97. --limit-request-line INT
  98. The maximum size of HTTP request line in bytes. [4094]
  99. -p FILE, --pid FILE A filename to use for the PID file. [None]
  100. -b ADDRESS, --bind ADDRESS
  101. The socket to bind. [['127.0.0.1: 8000 ']]
  102. --disable-redirect-access-to-syslog
  103. Disable redirect access logs to syslog. [False]
  104. --limit-request-field_size INT
  105. Limit the allowed size of an HTTP request header
  106. field. [8190]
  107. -n STRING, --name STRING
  108. A base to use with setproctitle for process naming.
  109. [None]
  110. --error-logfile FILE, --log-file FILE
  111. The Error log file to write to. [-]
  112. --ssl-version SSL_VERSION
  113. SSL version to use. [_SSLMethod.PROTOCOL_SSLv23]
  114. --cert-reqs CERT_REQS
  115. Whether client certificate is required (see stdlib ssl
  116. module's) [ 0]
  117. -g GROUP, --group GROUP
  118. Switch worker process to run as this group. [ 0]
  119. --proxy-protocol Enable detect PROXY protocol (PROXY mode). [ False]
  120. --threads INT The number of worker threads for handling requests.
  121. [ 1]
  122. -t INT, --timeout INT
  123. Workers silent for more than this many seconds are
  124. killed and restarted. [ 30]
  125. --dogstatsd-tags DOGSTATSD_TAGS
  126. A comma-delimited list of datadog statsd (dogstatsd)
  127. tags to append to statsd metrics. []
  128. --suppress-ragged-eofs
  129. Suppress ragged EOFs (see stdlib ssl module 's) [True]
  130. --log-config FILE The log config file to use. [None]
  131. --initgroups If true, set the worker process's group access list
  132. with all of the [ False]
  133. --check-config Check the configuration. [ False]
  134. --log-syslog Send *Gunicorn* logs to syslog. [ False]
  135. --log-syslog-facility SYSLOG_FACILITY
  136. Syslog facility name [user]
  137. --statsd-host STATSD_ADDR
  138. ``host:port`` of the statsd server to log to. [ None]
  139. -e ENV, --env ENV Set environment variable (key=value). [[]]

     感觉有很多很多,不过不是说所有的都是需要去手动配置的,我们只需要配置最常使用到的几个就行了,下面是我编写的一个配置文件:


  
  1. #!usr/bin/env python
  2. #encoding:utf-8
  3. import os
  4. import gevent.monkey
  5. gevent.monkey.patch_all()
  6. import multiprocessing
  7. #开发环境可以打开,生产环境可以
  8. #debug = True
  9. #用于控制errorlog的信息级别,可以设置为debug、info、warning、error、critical
  10. loglevel = 'debug'
  11. #监听地址+端口
  12. bind = "0.0.0.0:5000"
  13. #定义日志存储
  14. if not os.path.exists( 'log/'):
  15. os.makedirs( 'log/')
  16. pidfile = "log/gunicorn.pid"
  17. #访问日志
  18. accesslog = "log/access.log"
  19. #错误日志
  20. errorlog = "log/debug.log"
  21. #开启后台运行,默认值为False
  22. daemon = True
  23. #启动的进程数,推荐值为:CPU核数*2+1
  24. workers = multiprocessing.cpu_count()* 2+ 1
  25. #指开启的每个工作进程的模式类型,默认为sync模式,也可使用gevent模式
  26. worker_class = 'gevent'
  27. x_forwarded_for_header = 'X-FORWARDED-FOR'

        个人感觉写得是很清晰的了,相应的配置项都已经写上了注释说明了方便具体的改动处理。我们使用第一种启动方式启动,下面是具体的输出截图:

命令:  

gunicorn -w 4 -b 172.19.6.213:5000 myApp:app

     启动命令中,我们设置了4个进程,从结果来看一共有4个不同的pid编号说明启动了4个不同的进程。关闭可以使用【Ctrl+C】的方式,截图如下所示:

      接下来使用第二种启动方式执行,命名如下:

gunicorn --config=config.py API:app

      结果截图如下所示:

    第二种方式是基于配置文件的启动方式,这里我们启动的同时还生成了日志文件:

    首先来看debug.log的内容,因为内容比较多,这里只看最后几行:

    然后是看gunicorn.pid的内容:

    细心的你是不是发现了什么呢?57523这个pid是不是。

    最后看access.log的内容,这是访问日志存储文件,因为我们没有访问接口,所以文件就是空的。

     到这里整个的生产环境部署实践差不多就结束了,感觉也是收获很多,学海无涯啊!


转载:https://blog.csdn.net/Together_CZ/article/details/105518419
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场