共计 10147 个字符,预计需要花费 26 分钟才能阅读完成。
一、启动方式
项目配置文件settings.py
DEBUG = False #DEBUG 为 True 时,django 会自动为你静态文件代理,不过当 DEBUG 为 False 时,意味着你要进入生产环境,那么,你就必须使用 STATIC_ROOT 来指明你的静态文件在哪里
ALLOWED_HOSTS = ["*"]
runserver 方式
启动命令:python manage.py runserver 0.0.0.0:8000
浏览器地址栏:http://39.107.226.105:8000/students/
问题:
- runserver 是一个纯 python 编写的轻量级服务器,且不稳定
- 应用服务器直接对接客户,只能提供一台服务
- 地址栏需要输入端口号
uwsgi 方式
安装:pip install uwsgi
注意:在工程目录下创建名为 uwsgi.ini
的文件
[uwsgi]
# 使用 nginx 连接时使用
#socket=0.0.0.0:8000
# 直接做 web 服务器使用
http=0.0.0.0:8000
# 项目目录
chdir=/home/sunck/project
# 项目中 wsgi.py 文件的目录,相对于项目目录
wsgi-file=project/wsgi.py
processes=4
threads=2
master=True
pidfile=uwsgi.pid
daemonize=uwsgi.log
启动:uwsgi --ini uwsgi.ini
结束:uwsgi --stop uwsgi.pid
浏览器地址栏:http://39.107.226.105:8000/students/
问题:
- 应用服务器直接对接客户,只能提供一台服务
- 地址栏需要输入端口号
一个相对可以应用与开发的 uwsgi.ini
[uwsgi]
listen = 100
master = true
socket-timeout = 30
stats = 127.0.0.1:1730
post-buffering = 100M
cpu-affinity = true
single-interpreter = true
socket = 0.0.0.0:9090
socket = /tmp/uwsgi.sock
# 缓存体系
cache = true
cache2 = name=mycache,items=100
lazy-apps = true
wsgi-disable-file-wrapper = true
memory-report = true
uid = root
master = true
vhost = true
no-stie = true
workers = 2
reload-mercy = 10
vacuum = true
max-requests = 3500
limit-as = 1024
buffer-sizi = 65535
pidfile = /var/run/uwsgi.pid
master-fifo = /tmp/uwsgififo
daemonize = /var/log/uwsgi/uwsgi.log
log-maxsize = 10000000000
enable-threads=true
die-on-term=true
wsgi-disable-file-wrapper=true
#env= LUFFY_ENV=Production
#pythonpath=/server/virtual/IronThrone/lib/python3.6/site-packages
解决静态文件问题
settings.py
STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, "collectedstatic")
STATICFILES_DIRS = [os.path.join(BASE_DIR, "static")
]
迁移静态文件到STATIC_ROOT
:python manage.py collectstatic
project/urls.py
from django.contrib import admin
from django.urls import path, re_path, include
from django.views import static
from django.conf import settings
from django.conf.urls import url
urlpatterns = [path('admin/', admin.site.urls),
path('', include(("Axf.urls", "Axf"), namespace="Axf")),
url(r'^static/(?P<path>.*)$', static.serve, {'document_root': settings.STATIC_ROOT}, name='static'),
]
二、代理
代理在网络中使用是比较常见的,比如大家去国外网站查找学习资料的时候就会用到代理。其原理也比较简单:
- 用户将请求发给代理服务器
- 代理服务器代用户去访问数据
- 代理服务器将数据给用户
正常没有代理情况上网
代理服务器场景
说明:代理服务器扮演的就是一个中间人的角色
代理分为正向代理和反向代理两种类型:
-
正向代理:代理用户访问其他网站,比如 ss,蓝灯
-
反向代理:用来发布服务器,比如 nginx
正向代理
我是一个用户,我访问不了某网站,但是我能访问一个代理服务器,这个代理服务器呢,他能访问那个我不能访问的网站,于是我先连上代理服务器,告诉他我需要那个无法访问网站的内容,代理服务器去取回来,然后返回给我
概念:是一个位于客户端和原始服务器 (origin server) 之间的服务器,为了从原始服务器取得内容,客户端向代理发送一个请求并指定目标(原始服务器),然后代理向原始服务器转交请求并将获得的内容返回给客户端
作用:
- 为在防火墙内的局域网客户端提供访问 Internet 的途径
- 使用缓冲特性减少网络使用率
反向代理
概念:以代理服务器来接受 internet 上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给 internet 上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器
作用:
-
堡垒机
堡垒机承担所有的外部访问,保护后端服务器的安全。就是将防火墙后面的服务器提供给 Internet 用户访问
-
业务发布服务器
将多个服务器通过虚拟主机的方式发布到公网
-
缓存服务器
CDN 加速即内容分发网络,其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定
3、反向代理部署流程
服务器:39.107.226.105(Nginx 服务器)、39.107.226.106(DJango 应用服务器)
说明:DJango 服务使用 runserve 启动python manage.py runserver 0.0.0.0:8000
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
use epoll;
worker_connections 1024;
}
http {log_format main '$remote_addr - $remote_user [$time_local]"$request" '
'$status $body_bytes_sent"$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
include /etc/nginx/conf.d/*.conf;
server {listen 80 default_server;
listen [::]:80 default_server;
server_name _;
charset koi8-r;
location / {proxy_pass http://39.107.226.106:8000;
}
error_page 404 /404.html;
location = /40x.html { }
error_page 500 502 503 504 /50x.html;
location = /50x.html {}}
}
反向代理优化
location / {proxy_pass http://39.107.226.105:8000;
proxy_set_header X-real-ip $remote_addr;
proxy_set_header Host $http_host;
client_max_body_size 10m; # 允许客户端请求的最大单文件字节数
client_body_buffer_size 128k; # 缓冲区代理缓冲用户端请求的最大字节数,
proxy_connect_timeout 90; #nginx 跟后端服务器连接超时时间(代理连接超时)
proxy_send_timeout 90; # 后端服务器数据回传时间(代理发送超时)
proxy_read_timeout 90; # 连接成功后,后端服务器响应时间(代理接收超时)
proxy_buffer_size 4k; # 设置代理服务器(nginx)保存用户头信息的缓冲区大小
proxy_buffers 4 32k; #proxy_buffers 缓冲区,网页平均在 32k 以下的话,这样设置
proxy_busy_buffers_size 64k; # 高负荷下缓冲大小(proxy_buffers*2)
proxy_temp_file_write_size 64k; # 设定缓存文件夹大小,大于这个值,将从 upstream 服务器传
}
浏览器地址栏:http://39.107.226.105/students/
4、uwsgi 部署流程
服务器:39.107.226.105(Nginx 服务器)、39.107.226.106(DJango 应用服务器)
工程目录下创建 uwsgi.ini
文件
[uwsgi]
# 使用 nginx 连接时使用
socket=0.0.0.0:8000
# 直接做 web 服务器使用
#http=0.0.0.0:8000
# 项目目录
chdir=/home/sunck/project
# 项目中 wsgi.py 文件的目录,相对于项目目录
wsgi-file=project/wsgi.py
processes=4
threads=2
master=True
pidfile=uwsgi.pid
daemonize=uwsgi.log
启动 DJango 服务:uwsgi --ini uwsgi.ini
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
use epoll;
worker_connections 1024;
}
http {log_format main '$remote_addr - $remote_user [$time_local]"$request" '
'$status $body_bytes_sent"$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
include /etc/nginx/conf.d/*.conf;
server {listen 80 default_server;
listen [::]:80 default_server;
server_name _;
charset koi8-r;
location / {
include uwsgi_params;
uwsgi_pass 39.107.226.106:8000;
}
error_page 404 /404.html;
location = /40x.html { }
error_page 500 502 503 504 /50x.html;
location = /50x.html {}}
}
浏览器地址栏:http://39.107.226.105/students/
三、集群搭建
- 客户端通过浏览器 发起请求 代理服务器
- 代理服务器 接受请求
- 代理服务器 发起请求 业务服务器
- 业务服务器 接受请求
- 业务服务器 处理请求
- 业务服务器 响应请求 代理服务器
- 代理服务器 响应请求 客户端
- 客户端通过浏览器渲染请求并展示给用户
主机:
- 39.107.226.105(Nginx)
- 10.107.226.1(Django 应用)
- 10.107.226.2(Django 应用)
- 10.107.226.3(Django 应用)
- 101.107.226.109(数据库)
Nginx 负载均衡算法:
概念:负载均衡是由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术,将外部发送来的请求按照事先设定分配算法分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地回应客户的请求
作用:均衡负载能够平均分配客户请求到服务器列阵,籍此提供快速获取重要数据,解决大量并发访问服务问题
算法 | 说明 |
---|---|
轮询 | 每个请求按时间顺序逐一分配到不同的后端服务器,如果后端某台服务器宕机,故障系统被自动剔除,使用户访问不受影响 |
weight | 指定轮询权值,weight 的值越大分配到的访问概率越高,主要用于后端每台服务器性能不均衡的情况下。或者仅仅为在主从的情况下设置不同的权值,达到合理有效的地利用主机资源 |
ip_hash | 根据获取客户端的 IP 地址,通过哈希函数计算得到的一个数值,用该数值对服务器列表的大小进行取模运算,得到的结果便是客服端要访问服务器的序号。采用源地址哈希法进行负载均衡,同一 IP 地址的客户端,当后端服务器列表不变时,它每次都会映射到同一台后端服务器进行访问,有效解决了动态网页存在的 session 共享问题 |
fair | 比上面的更加智能的负载均衡算法。此种算法可以依据页面大小和加载时间长短智能地进行负载均衡,也就是根据后端服务器的响应时间来分配请求,响应时间短的优先分配。Nginx 本身是不支持 fair 的,如果需要使用这种调度算法,必须下载 Nginx 的 upstream_fair 模块 |
url_hash | 按访问 url 的 hash 结果来分配请求,使每个 url 定向到同一个后端服务器,可以进一步提高后端缓存服务器的效率。Nginx 本身是不支持 url_hash 的,如果需要使用这种调度算法,必须安装 Nginx 的 hash 软件包 |
Nginx 负载均衡调度状态:
在 Nginx upstream 模块中,可以设定每台后端服务器在负载均衡调度中的状态
状态参数 | 说明 |
---|---|
down | 表示当前的 server 暂时不参与负载均衡 |
weight | 默认为 1,weight 越大,负载的权重就越大 |
max_fails | 允许请求失败的次数,默认为 1。当超过最大次数时,返回 proxy_next_upstream 模块定义的错误 |
fail_timeout | 在经历了 max_fails 次失败后,暂停服务的时间,默认为 10s。max_fails 可以和 fail_timeout 一起使用 |
backup | 预留的备份机器,当其他所有的非 backup 机器出现故障或者忙的时候,才会请求 backup 机器,因此这台机器的压力最轻 |
注意:当负载调度算法为 ip_hash 时,后端服务器在负载均衡调度中的状态不能是 weight 和 backup
upstream 模块案例:
-
基于轮询算法
upstream web1 {server 10.107.226.1:8000 max_fails=1 fail_timeout=10s; server 10.107.226.2:8000 max_fails=1 fail_timeout=10s; server 10.107.226.3:8000 max_fails=1 fail_timeout=10s; server 10.107.226.4:8000 backup; server 10.107.226.5:8000 down; }
-
基于 weight 轮询
upstream web2 {server 10.107.226.1:8000 weight=1 max_fails=1 fail_timeout=10s; server 10.107.226.2:8000 weight=2 max_fails=1 fail_timeout=10s; server 10.107.226.3:8000 weight=3 max_fails=1 fail_timeout=10s; server 10.107.226.4:8000 backup; server 10.107.226.5:8000 down; }
-
基于 ip_hash
upstream web3 { ip_hash; server 10.107.226.1:8000 max_fails=1 fail_timeout=10s; server 10.107.226.2:8000 max_fails=1 fail_timeout=10s; server 10.107.226.3:8000 max_fails=1 fail_timeout=10s; server 10.107.226.5:8000 down; }
Nginx 服务上部署静态文件
location /static {alias /var/www/ty/collectedstatic/;}
注意:DJango 应用的 settings.py 文件中的 STATIC_ROOT 参数不是为了提供静态文件,而是为了迁移静态
STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, "collectedstatic")
STATICFILES_DIRS = [os.path.join(BASE_DIR, "static")
]
迁移静态文件到STATIC_ROOT
:python manage.py collectstatic
project/urs.py
文件无需使用 url 定位静态文件了,因为 Nginx 已经把这个活干了
from django.contrib import admin
from django.urls import path, re_path, include
#from django.views import static
#from django.conf import settings
#from django.conf.urls import url
urlpatterns = [path('admin/', admin.site.urls),
path('', include(("Axf.urls", "Axf"), namespace="Axf")),
#url(r'^static/(?P<path>.*)$', static.serve, {'document_root': settings.STATIC_ROOT}, name='static'),
]
注意:将应用服务器上的 collectedstatic 静态目录拷贝到 Nginx 所在主机下规定的位置即可
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
use epoll;
worker_connections 1024;
}
http {log_format main '$remote_addr - $remote_user [$time_local]"$request" '
'$status $body_bytes_sent"$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
include /etc/nginx/conf.d/*.conf;
upstream web1 {server 10.107.226.1:8000 max_fails=1 fail_timeout=10s;
server 10.107.226.2:8000 max_fails=1 fail_timeout=10s;
server 10.107.226.3:8000 max_fails=1 fail_timeout=10s;
server 10.107.226.4:8000 backup;
server 10.107.226.5:8000 down;
}
server {listen 80 default_server;
listen [::]:80 default_server;
server_name _;
charset koi8-r;
location / {
include uwsgi_params;
uwsgi_pass web1;
}
location /static {alias /var/www/ty/collectedstatic/;}
error_page 404 /404.html;
location = /40x.html { }
error_page 500 502 503 504 /50x.html;
location = /50x.html {}}
}
四、HTTPS 访问
Nginx 配置
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
use epoll;
worker_connections 1024;
}
http {log_format main '$remote_addr - $remote_user [$time_local]"$request" '
'$status $body_bytes_sent"$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
include /etc/nginx/conf.d/*.conf;
server {listen 443 ssl http2 default_server;
listen [::]:443 ssl http2 default_server;
server_name _;
charset koi8-r;
ssl_certificate "/etc/nginx/pki/server.crt";
ssl_certificate_key "/etc/nginx/pki/private/server.key";
ssl_session_cache shared:SSL:1m;
ssl_session_timeout 10m;
ssl_ciphers PROFILE=SYSTEM;
ssl_prefer_server_ciphers on;
location / {
include uwsgi_params;
uwsgi_pass 101.201.148.195:8000;
}
error_page 404 /404.html;
location = /40x.html { }
error_page 500 502 503 504 /50x.html;
location = /50x.html {}}
}
注意:创建 /etc/nginx/pki/
目录与/etc/nginx/pki/private
购买 SSL 证书