点击上方“朱小厮的博客”,选择“设为星标”
后台回复"加群",加入新技术群
欢迎跳转到本文原文地址:https://honeypps.com/architect/introduction-of-kong/
Kong 是由 Mashape 开发的并于2015年开源的一款API 网关,它是基于OpenResty(Nginx + Lua模块)和 Apache Cassandra/PostgreSQL 构建的,能提供易于使用的RESTful API来操作和配置API管理系统。Kong 可以水平扩展多个 Kong Server,通过前置的负载均衡配置把请求均匀地分发到各个Server,来应对大批量的网络请求。
Kong 的扩展是通过插件机制进行的,并且也提供了插件的定制示例方法。插件定义了一个请求从进入到最后反馈到客户端的整个生命周期,所以可以满足大部分的定制需求,本身 Kong 也已经集成了相当多的插件,包括密钥认证、CORS、文件日志、API 请求限流、请求转发、健康检查、熔断等。官网地址:https://konghq.com/,代码托管地址:https://github.com/Kong/kong。
Nginx、Openresty和Kong三者紧密相连:
-
Nginx = Http Server + Reversed Proxy + Load Balancer
-
Openresty = Nginx + Lua-nginx-module,Openresty是寄生在 Nginx 上,暴露 Nginx 处理的各个阶段的钩子, 使用 Lua 扩展 Nginx
-
Kong = Openresty + Customized Framework,Kong作为 OpenResty 的一个应用程序
在使用Kong之前,最好新了解一下 OpenResty和Nginx,可以参考微信公众号「朱小厮博客」中的《Nginx架构原理科普》和《OpenResty概要及原理科普》这两篇文章。
Kong 网关具有以下的特性:
-
可扩展性: 通过简单地添加更多的服务器,可以轻松地进行横向扩展,这意味着您的平台可以在一个较低负载的情况下处理任何请求。
-
模块化: 可以通过添加新的插件进行扩展,这些插件可以通过RESTful Admin API轻松配置。
-
在任何基础架构上运行: Kong 网关可以在任何地方都能运行。可以在云或内部网络环境中部署 Kong,包括单个或多个数据中心设置,以及 public,private 或 invite-only APIs。
Kong的整体架构如下所示:
-
Kong Restful 管理API提供了API、API消费者、插件、upstreams、证书等管理。
-
Kong 插件拦截请求/响应,相当于 Servlet中的拦截器,实现请求的AOP处理。
-
数据中心用于存储 Kong 集群节点信息、API、消费者、插件等信息,目前提供了PostgreSQL和Cassandra支持,如果需要高可用建议使用Cassandra。
-
Kong 集群中的节点通过 Gossip 协议自动发现其他节点,当通过一个 Kong 节点的管理 API 进行一些变更时也会通知其他节点。每个 Kong 节点的配置信息是会缓存的,如插件,那么当在某一个 Kong 节点修改了插件配置时,需要通知其他节点配置的变更。
-
Kong 核心基于 OpenResty,实现了请求/响应的 Lua 处理化。
Kong 网关的API接口的典型请求工作流程如下图所示:
当 Kong 运行时,每个对 API 的请求将先被 Kong 命中,然后这个请求将会被代理转发到最终的 API 接口。在请求(Requests)和响应(Responses)之间,Kong 将会执行已经事先安装和配置好的任何插件,授权 API 访问操作。Kong 是每个API请求的入口点(Endpoint)。
Install
Kong 可运行在某些 Linux 发行版、Mac OS X 和 Docker 中,无论是本地机还是云端服务器皆可运行。除了免费的开源版本,Mashape 还提供了付费的企业版[1],其中包括技术支持、使用培训服务以及 API 分析插件。
为了演示方便,下面就以Docker环境中部署Kong为例来做相关讲解,内容参考官网:https://docs.konghq.com/install/docker/。Kong 安装有两种方式,一种是没有数据库依赖的DB-less 模式,另一种是with a Database 模式。我们这里使用第二种带Database的模式,因为这种模式功能更全。
1. 构建 Kong 的容器网络
首先我们创建一个 docker 自定义网络,以允许容器相互发现和通信。在下面的创建命令中 kong-net 是我们创建的Docker网络名称。
$ docker network create kong-net
2. 搭建数据库环境
Kong 目前使用 Cassandra 或者PostgreSQL,你可以执行以下命令中的一个来选择你的Database。请注意定义网络 --network=kong-net 。
使用Cassandra:
-
docker run -d --name kong-database \
-
--network=kong-net \
-
-p
9042:
9042 \
-
cassandra:
3
使用 PostgreSQL:
-
$ docker run -d --name kong-database \
-
--network=kong-net \
-
-p
5432:
5432 \
-
-e
"POSTGRES_USER=kong" \
-
-e
"POSTGRES_DB=kong" \
-
-e
"POSTGRES_PASSWORD=kong" \
-
postgres:
9.6
3. 初始化或者迁移数据库
我们使用docker run --rm来初始化数据库,该命令执行后会退出容器而保留内部的数据卷(volume)。这个命令我们还是要注意的,一定要跟你声明的网络,数据库类型、host名称一致。同时注意Kong的版本号,注:当前 Kong 最新版本为 2.x,不过目前的kong-dashboard (Kong Admin UI) 尚未支持 2.x 版的Kong,为了方便后面的演示,这里以最新的 1.x 版的Kong作为演示。(截止2020-04-24时,Kong 最新版为1.5.1)
下面指定的数据库是 PostgreSQL,如果连接的是 Cassandra,可以将下面的 KONG_DATABASE 配置为 cassandra。
-
$ docker run --rm \
-
--network=kong-net \
-
-e
"KONG_DATABASE=postgres" \
-
-e
"KONG_PG_HOST=kong-database" \
-
-e
"KONG_PG_PASSWORD=kong" \
-
-e
"KONG_CASSANDRA_CONTACT_POINTS=kong-database" \
-
kong:
1.5
.1 kong migrations bootstrap
4. 启动 Kong 容器
完成初始化或者迁移数据库后,我们就可以启动一个连接到数据库容器的 Kong 容器,请务必保证你的数据库容器启动状态,同时检查所有的环境参数 -e 是否是你定义的环境。
-
$ docker run -d --name kong \
-
--network=kong-net \
-
-e
"KONG_DATABASE=postgres" \
-
-e
"KONG_PG_HOST=kong-database" \
-
-e
"KONG_PG_PASSWORD=kong" \
-
-e
"KONG_CASSANDRA_CONTACT_POINTS=kong-database" \
-
-e
"KONG_PROXY_ACCESS_LOG=/dev/stdout" \
-
-e
"KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
-
-e
"KONG_PROXY_ERROR_LOG=/dev/stderr" \
-
-e
"KONG_ADMIN_ERROR_LOG=/dev/stderr" \
-
-e
"KONG_ADMIN_LISTEN=0.0.0.0:8001, 0.0.0.0:8444 ssl" \
-
-p
8000:
8000 \
-
-p
8443:
8443 \
-
-p
8001:
8001 \
-
-p
8444:
8444 \
-
kong:
1.5
.1
Kong 默认绑定4个端口:
-
8000:用来接收客户端的 HTTP 请求,并转发到 upstream。
-
8443:用来接收客户端的 HTTPS 请求,并转发到 upstream。
-
8001:HTTP 监听的 API 管理接口。
-
8444:HTTPS 监听的 API 管理接口。
到这里,Kong 已经安装完毕,我们可以使用 docker ps
命令查看当前运行容器,正常情况下可以看到 Kong 和 PostgreSQL 的两个容器:
-
$ docker ps
-
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
-
a28160da4a9d kong:latest
"/docker-entrypoint.…"
10 seconds ago Up
9 seconds
0.0
.0
.0:
8000
-8001->
8000
-8001/tcp,
0.0
.0
.0:
8443
-8444->
8443
-8444/tcp kong
-
6c85a2e5491f postgres:
9.6
"docker-entrypoint.s…"
31 minutes ago Up
31 minutes
0.0
.0
.0:
5432->
5432/tcp kong-database
我们可以通过 curl -i http://localhost:8001/
来查看 Kong 是否运行完好。
Kong UI
Kong 企业版提供了管理UI,开源版本是没有的。但是有很多的开源的管理 UI ,其中比较 Fashion的有Kong Dashboard和 Konga。Kong Dashboard 当前最新版本(3.6.x)并不支持最新版本的 Kong,最后一次更新也要追溯到1年多以前了,选择 Konga 会更好一点。这里简单介绍一下Kong Dashboard和 Konga。
Kong Dashboard
Kong Dashboard的Github地址为:https://github.com/PGBI/kong-dashboard。docker 环境中安装运行如下:
-
$ docker run --rm \
-
--network=kong-net \
-
-p
8080:
8080 \
-
pgbi/kong-dashboard start \
-
--kong-url http:
//kong:8001
启动之后,可以在浏览器中输入 http://localhost:8080
来访问 Kong Dashboard 管理界面。
Konga
Konga (官网地址:https://pantsel.github.io/konga/,Github地址:https://github.com/pantsel/konga)可以很好地通过UI观察到现在 Kong 的所有的配置,并且可以对于管理 Kong 节点情况进行查看、监控和预警。Konga 主要是用 AngularJS 写的,运行于nodejs服务端。具有以下特性:
-
管理所有Kong Admin API对象。
-
支持从远程源(数据库,文件,API等)导入使用者。
-
管理多个Kong节点。使用快照备份,还原和迁移Kong节点。
-
使用运行状况检查监视节点和API状态。
-
支持电子邮件和闲置通知。
-
支持多用户。
-
易于数据库集成(MySQL,PostgresSQL,MongoDB,SQL Server)。
下面使用的 PostgresSQL 是和上面在docker环境中安装 Kong时的是一致的,注意用户名、密码、数据库名称等配置,docker环境安装启动 Konga:
-
$ docker run -d -p
1337:
1337 \
-
--network kong-net \
-
--name konga \
-
-e
"DB_ADAPTER=postgres" \
-
-e
"DB_URI=postgresql://kong:kong@kong-database/kong" \
-
pantsel/konga
如果Konga容器启动成功,可以通过 http://localhost:1337/访问管理界面。通过注册后进入,然后在 CONNECTIONS 中添加 Kong 服务的管理路径http://xxx.xxx.xxx.xxx:8001
。Konga管理界面示例如下:
Kong Admin API
部署好 Kong 之后,则需要将我们自己的接口加入到 Kong 的中管理,Kong 提供了比较全面的RESTful API,每个版本会有所不同,详细可以参考官网:https://docs.konghq.com/2.0.x/admin-api/。Kong 管理API的端口是8001(8044),服务、路由、配置都是通过这个端口进行管理,所以部署好之后页面可以直接访问 http://localhost:8001
。
这里我们先来了解一下如何使用 RESTful 管理接口来管理 Service (服务)、Route(路由)。
1. 添加一个Service
-
$ curl -i -X POST http:
//localhost:8001/services \
-
--data name=hello-service \
-
--data url=
'http://xxx.xxx.xxx.xxx:8081/hello'
这里的 'http://xxx.xxx.xxx.xxx:8081/hello' 是在《网关 Zuul 科普》中提及的一个简单的基础服务接口,调用这个接口会返回
Hello!
。
客户端调用 Service 名称 hello-service 访问 'http://xxx.xxx.xxx.xxx:8081/hello'。添加成功后,系统将返回:
-
{
-
"host":
"xxx.xxx.xxx.xxx",
-
"created_at":
1587959433,
-
"connect_timeout":
60000,
-
"id":
"d96f418a-8158-4b1d-844d-ed994fdbcc2c",
-
"protocol":
"http",
-
"name":
"hello-service",
-
"read_timeout":
60000,
-
"port":
8081,
-
"path":
"\/hello",
-
"updated_at":
1587959433,
-
"retries":
5,
-
"write_timeout":
60000,
-
"tags": null,
-
"client_certificate": null
-
}
2. 为 Service 添加一个 Route
-
$ curl -i -X POST \
-
--url http:
//localhost:8001/services/hello-service/routes \
-
--data
'paths[]=/hello' \
-
--data name=hello-route
添加成功后,系统将返回:
-
{
-
"id":
"667bafde-7ca4-4fc4-b4f1-15c3cbec0b09",
-
"path_handling":
"v1",
-
"paths": [
-
"\/hello"
-
],
-
"destinations": null,
-
"headers": null,
-
"protocols": [
-
"http",
-
"https"
-
],
-
"methods": null,
-
"snis": null,
-
"service": {
-
"id":
"d96f418a-8158-4b1d-844d-ed994fdbcc2c"
-
},
-
"name": hello-route,
-
"strip_path":
true,
-
"preserve_host":
false,
-
"regex_priority":
0,
-
"updated_at":
1587959468,
-
"sources": null,
-
"hosts": null,
-
"https_redirect_status_code":
426,
-
"tags": null,
-
"created_at":
1587959468
-
}
3. 验证
我们可以通过访问 http://localhost:8000/hello 来验证一下配置是否正确。
前面的操作就等效于配置 nginx.conf:
-
server {
-
listen
8000;
-
location /hello {
-
proxy_pass http:
//xxx.xxx.xxx.xxx8081/hello;
-
}
-
}
不过,前面的配置操作都是动态的,无需像 Nginx一样需要重启。
Service是抽象层面的服务,它可以直接映射到一个物理服务,也可以指向一个Upstream(同Nginx中的Upstream,是对上游服务器的抽象)。Route是路由的抽象,它负责将实际的请求映射到 Service。除了Serivce、Route之外,还有 Tag、Consumer、Plugin、Certificate、SNI、Upstream、Target等,读者可以从官网的介绍文档[2]中了解全貌。
下面在演示一个例子,修改 Service,将其映射到一个 Upstream:
-
# 添加 name为 hello-upstream 的 Upstream
-
$ curl -i -X POST http:
//localhost:8001/upstreams \
-
--data name=hello-upstream
-
-
# 为 mock-upstream 添加 Target,Target 代表了一个物理服务(IP地址/hostname + port的抽象),一个Upstream可以包含多个Targets
-
$ curl -i -X POST http:
//localhost:8001/upstreams/hello-upstream/targets \
-
--data target=
"xxx.xxx.xxx.xxx:8081"
-
-
# 修改 hello-service,为其配置
-
$ curl -i -X PATCH http:
//localhost:8001/services/hello-service \
-
--data url=
'http://hello-upstream/hello'
上面的配置等同于 Nginx 中的nginx.conf配置 :
-
upstream hello-upstream{
-
server xxx.xxx.xxx.xxx:
8081;
-
}
-
-
server {
-
listen
8000;
-
location /hello {
-
proxy_pass http:
//hello-upstream/hello;
-
}
-
}
当然,这里的配置我们也可以通过管理界面来操作。上面操作完之后,在Konga中也有相关信息展示出来:
Kong Plugins
Kong通过插件Plugins实现日志记录、安全检测、性能监控和负载均衡等功能。下面我将演示一个例子,通过启动 apikey 实现简单网关安全检验。
1. 配置 key-auth 插件
-
$ curl -i -X POST http:
//localhost:8001/routes/hello-route/plugins \
-
--data name=key-auth
这个插件接收config.key_names定义参数,默认参数名称 ['apikey']。在HTTP请求中 header和params参数中包含apikey参数,参数值必须apikey密钥,Kong网关将坚持密钥,验证通过才可以访问后续服务。
此时我们使用 curl -i http://localhost:8000/hello
来验证一下是否生效,如果如下所示,访问失败(HTTP/1.1 401 Unauthorized,"No API key found in request" ),说明 Kong 安全机制生效了。
-
HTTP/
1.1
401 Unauthorized
-
Date: Mon,
27 Apr
2020
06:
44:
58 GMT
-
Content-Type: application/json; charset=utf
-8
-
Connection: keep-alive
-
WWW-Authenticate: Key realm=
"kong"
-
Content-Length:
41
-
X-Kong-Response-Latency:
2
-
Server: kong/
1.5
.1
-
-
{
"message":
"No API key found in request"}
在Konga中我们也可以看到相关记录:
2. 为Service添加服务消费者(Consumer),定义消费者访问 API Key, 让他拥有访问hello-service的权限。
创建消费者 Hidden:
-
$ curl -i -X POST http:
//localhost:8001/consumers/ \
-
--data username=Hidden
创建成功之后,返回:
-
{
-
"custom_id": null,
-
"created_at":
1587970751,
-
"id":
"95546c8f-248c-45c7-bce5-d972d3d9291a",
-
"tags": null,
-
"username":
"Hidden"
-
}
之后为消费者 Hidden 创建一个 api key,输入如下命令:
-
$ curl -i -X POST http:
//localhost:8001/consumers/Hidden/key-auth/ \
-
--data key=ENTER_KEY_HERE
现在我们再来验证一下http://localhost:8000/hello
:
-
$ curl -i -X GET http:
//localhost:8000/hello \
-
--header
"apikey:ENTER_KEY_HERE"
返回:
-
HTTP/
1.1
200
-
Content-Type: text/plain;charset=UTF
-8
-
Content-Length:
7
-
Connection: keep-alive
-
Date: Mon,
27 Apr
2020
07:
08:
38 GMT
-
X-Kong-Upstream-Latency:
116
-
X-Kong-Proxy-Latency:
71
-
Via: kong/
1.5
.1
-
-
Hello!
Well done.
Kong 官网(https://docs.konghq.com/hub/)列出了已有的所有插件,如下图所示:
Kong 网关插件概括为如下:
-
身份认证插件:Kong提供了Basic Authentication、Key authentication、OAuth2.0 authentication、HMAC authentication、JWT、LDAP authentication认证实现。
-
安全控制插件:ACL(访问控制)、CORS(跨域资源共享)、动态SSL、IP限制、爬虫检测实现。
-
流量控制插件:请求限流(基于请求计数限流)、上游响应限流(根据upstream响应计数限流)、请求大小限制。限流支持本地、Redis和集群限流模式。
-
分析监控插件:Galileo(记录请求和响应数据,实现API分析)、Datadog(记录API Metric如请求次数、请求大小、响应状态和延迟,可视化API Metric)、Runscope(记录请求和响应数据,实现API性能测试和监控)。
-
协议转换插件:请求转换(在转发到upstream之前修改请求)、响应转换(在upstream响应返回给客户端之前修改响应)。
-
日志应用插件:TCP、UDP、HTTP、File、Syslog、StatsD、Loggly等。
总结
Kong 作为API网关提供了API管理功能及围绕API管理实现了一些默认的插件,另外还具备集群水平扩展能力,从而提升整体吞吐量。Kong 本身是基于 OpenResty,可以在现有 Kong 的基础上进行一些扩展,从而实现更复杂的特性。虽然有一些特性 Kong 默认是缺失的,如API级别的超时、重试、fallback策略、缓存、API聚合、AB测试等,这些功能插件需要企业开发人员通过 Lua 语言进行定制和扩展。综上所述,Kong API 网关默认提供的插件比较丰富, 适应针对企业级的API网关定位。
References
-
https://github.com/Kong/kong
-
https://www.jianshu.com/p/a2e0bc8f4bfb
-
https://docs.konghq.com/install/docker
-
https://www.cnblogs.com/duanxz/p/9770645.html
-
https://docs.konghq.com/2.0.x/admin-api/
-
https://docs.konghq.com/hub/
参考资料
[1]
企业版: http://getkong.org/enterprise/
[2]官网的介绍文档: https://docs.konghq.com/2.0.x/admin-api/
欢迎跳转到本文原文地址:https://honeypps.com/architect/introduction-of-kong/
想知道更多?扫描下面的二维码关注我
后台回复”加群“获取公众号专属群聊入口
【原创系列 | 精彩推荐】
-
Paxos、Raft不是一致性算法嘛?
-
越说越迷糊的CAP
-
分布式事务科普——初识篇
-
分布式事务科普——终结篇
-
面试官居然问我Raft为什么会叫做Raft!
-
面试官给我挖坑:URI中的//有什么用
-
面试官给我挖坑:a[i][j]和a[j][i]有什么区别?
-
面试官给我挖坑:单机并发TCP连接数到底有多少?
-
网关Zuul科普
-
网关Spring Cloud Gateway科普
-
Nginx架构原理科普
-
OpenResty概要及原理科普
朕已阅
转载:https://blog.csdn.net/u013256816/article/details/105852273