大家好！我是"无敌码农"！前两天我在《分布式链路追踪，要怎么玩下?》这篇文章中给大家分享了关于分布式链路追踪的基本原理和SkyWalking的k8s部署玩法，如果还没来得及看的朋友可以点击上面链接回顾下！
今天要给大家分享是我们日常工作中最常见的一种场景，那就是部署在k8s环境下的Java微服务，要接入SkyWalking的具体玩法，通过这个过程咱们可以更深入的理解SkyWalking进行数据采集的逻辑，也能更深刻地从运维角度理解日常工作中所写的Java微服务被无侵入的方式接入分布式链路追踪系统的过程！
废话不多说，接下来就让我们开启干货模式吧！
Java微服务接入SkyWalking的方式
在上篇文章关于SkyWalking基本原理的内容中有讲过，SkyWalking的数据采集主要是通过业务探针(Agent)来实现的，针对不同的编程语言SkyWalking提供了对应的Agent实现。Java微服务接入SkyWalking可以使用“SkyWalking Java Agent”来上报监控数据。
这就需要Java微服务在部署启动的过程中需要获取"SkyWalking Java Agent"探针包，并在启动参数中通过“--javaagent:xxx”进行参数指定。而具体的集成方式大致有以下三种：
使用官方提供的基础镜像；
将agent包构建到已存在的基础镜像中；
通过sidecar 模式挂载agent；
其中前两种方式主要是通过在构建Docker镜像的过程中将Agent依赖打包集成到Java服务的Docker镜像中，而sidecar模式则是利用k8s的相关特性来实现在容器启动时挂载Agent相关依赖。
如果微服务是直接部署在Kubernetes集群，那么采用sidecar模式来使用SkyWalking Agent会更加方便，因为这种方式不需要修改原来的基础镜像，也不需要重新构建新的服务镜像，而是会以sidecar模式，通过共享的volume将agent所需的相关文件直接挂载到已经存在的服务镜像中。
构建SkyWalking Agent镜像
在开始以sidecar方式，将一个用Spring Cloud框架编写的Java微服务接入SkyWalking之前，我们需要构建SkyWalking Java Agent的公共镜像，具体步骤如下：
1)、下载SkyWalking官方发行包，并解压到指定目录
-
#下载skywalking
-8.3
.0
for es7版本的发布包，与部署的skywalking后端版本一致
-
$ wget https:
//mirror.bit.edu.cn/apache/skywalking/8.3.0/apache-skywalking-apm-es7-8.3.0.tar.gz
-
-
#将下载的发布包解压到当前目录
-
$ tar -zxvf apache-skywalking-apm-es7
-8.3
.0.tar.gz
2)、构建skywalking-agentsidecar镜像并push至hub私有镜像仓库
在前面步骤中解压的skywalking发行包的同级目录编写Dockerfile文件，具体内容如下：
-
FROM busybox:latest
-
ENV LANG=C.UTF
-8
-
RUN set -eux && mkdir -p /usr/skywalking/agent
-
add apache-skywalking-apm-bin-es7/agent /usr/skywalking/agent
-
WORKDIR
在上述Dockefile文件中使用是的bosybox镜像，而不是SkyWalking的发行镜像，这样可以确保构建出来的sidecar镜像保持最小。
完成Docker文件编写后，执行镜像构建命令：
-
#执行镜像构建命令
-
$ docker build . -t springcloud-action/skywalking-agent-sidecar:
8.3
.0
-
-
Sending build context to Docker daemon
556.5MB
-
Step
1/
5 : FROM busybox:latest
-
latest: Pulling from library/busybox
-
d60bca25ef07: Pull complete
-
Digest: sha256:
49dae530fd5fee674a6b0d3da89a380fc93746095e7eca0f1b70188a95fd5d71
-
Status: Downloaded newer image
for busybox:latest
-
---> a77dce18d0ec
-
Step
2/
5 : ENV LANG=C.UTF
-8
-
---> Running in e95b4c25ebf3
-
Removing intermediate container e95b4c25ebf3
-
--->
83f22bccb6f3
-
Step
3/
5 : RUN set -eux && mkdir -p /usr/skywalking/agent
-
---> Running in
49c2eac2b6ab
-
+ mkdir -p /usr/skywalking/agent
-
Removing intermediate container
49c2eac2b6ab
-
--->
89cf3ce8238e
-
Step
4/
5 : add apache-skywalking-apm-bin/agent /usr/skywalking/agent
-
--->
91fe5f06948f
-
Step
5/
5 : WORKDIR /
-
---> Running in
6a64553f1870
-
Removing intermediate container
6a64553f1870
-
--->
7e73ddba48bb
-
Successfully built
7e73ddba48bb
-
Successfully tagged springcloud-action/skywalking-agent-sidecar:
8.3
.0为了验证构建的镜像是否成功，可以通过命令查看本地构建的镜像，命令如下：
-
#查看本地镜像信息
-
$ docker images
-
REPOSITORY TAG IMAGE ID CREATED SIZE
-
springcloud-action/skywalking-agent-sidecar
8.3
.0
7e73ddba48bb
2 minutes ago
32.2MB
-
...
3)、将打包的镜像推送到harbor镜像仓库
为了便于后续微服务直接使用已经构建好的SkyWalking Agent SideCar镜像，我们可以将其push至私有Harbor镜像仓库中。具体命令如下：
-
#登录镜像仓库，输入用户名密码(admin/Harbor12345)
-
$ docker login http:
//10.211.55.2:8080
-
Username: admin
-
Password:
-
Login Succeeded
这里的Harbor私有镜像仓库一般公司都会自己搭建，在本公众号「Devops技术专栏」的相关文章中也有相应介绍。接下来我们对构建的镜像打tag并上传，具体如下：
-
#这里将原先构建的镜像安装{镜像仓库地址}/项目名称/镜像名称的方式打tag
-
$ docker tag springcloud-action/skywalking-agent-sidecar:
8.3
.0
10.211
.55
.2:
8080/springcloud-action/skywalking-agent-sidecar
之后可以具体查看已经打过tag镜像信息，命令如下：
-
$ docker images
-
REPOSITORY TAG IMAGE ID CREATED SIZE
-
springcloud-action/skywalking-agent-sidecar
8.3
.0 e21040c57e42
2 weeks ago
32.2MB
-
10.211
.55
.2:
8080/springcloud-action/skywalking-agent-sidecar latest e21040c57e42
2 weeks ago
32.2MB
-
...
接下来我们将打过tag的镜像推送至私有Harbor仓库，具体操作如下：
-
#将镜像推送到Harbor私有镜像仓库
-
$ docker push
10.211
.55
.2:
8080/springcloud-action/skywalking-agent-sidecar
-
The push refers to repository [
10.211
.55
.2:
8080/springcloud-action/skywalking-agent-sidecar]
-
e80d641c3ed9: Layer already exists
-
11fe582bd430: Layer already exists
-
1dad141bdb55: Layer already exists
-
latest: digest: sha256:b495c18c3ae35f563ad4db91c3db66f245e6038be0ced635d16d0e3d3f3bcb80 size:
946
完成后可以进入harbor仓库进行查看，如下图所示：
SideCar模式接入SkyWalking服务
上面我们通过手工构建的方式构建了SkyWalking Java Agent的公共Docker镜像，并将其Push到了我们的私有Harbor镜像仓库，接下来我们将演示如何通过编写Kubernetes服务发布文件，来将Java服务发布到K8s集群的过程中自动以SideCar的形式集成Agent、并接入SkyWalking服务。
而这个过程才是作为一个Java程序员最关心的步骤。在开始下面步骤前，你应该通过IDEA构建一个Spring Boot微服务工程，具体构建的过程就不掩饰了，但重点是你这个Spring Boot工程应该支持构建Docker镜像，以Maven为例，需要在pom.xml文件中添加打包插件，具体如下：
-
<!--添加将Java应用打包为Docker Image的Maven插件-->
-
<plugin>
-
<groupId>com.spotify</groupId>
-
<artifactId>dockerfile-maven-plugin</artifactId>
-
<version>
1.4
.13</version>
-
<executions>
-
<execution>
-
<id>build-image</id>
-
<phase>
package</phase>
-
<goals>
-
<goal>build</goal>
-
</goals>
-
</execution>
-
</executions>
-
<configuration>
-
<!--指定Dockerfile文件位置-->
-
<dockerfile>docker/Dockerfile</dockerfile>
-
<repository>${docker.repository}/springcloud-action/${app.name}</repository>
-
<!--<tag>${project.version}</tag>-->
-
<buildArgs>
-
<!--提供参数向Dockerfile传递-->
-
<JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE>
-
</buildArgs>
-
</configuration>
-
</plugin>
其中<configuration>标签中指定的Dockerfile文件内容如下：
-
FROM openjdk:
8u191-jre-alpine3
.9
-
ENTRYPOINT [
"/usr/bin/java",
"-jar",
"/app.jar"]
-
ARG JAR_FILE
-
ADD ${JAR_FILE} /app.jar
-
EXPOSE
8080
这就是一个简单的镜像构建文件，如果不采用sidecar方式，那么就需要在服务镜像构建文件中添加SkyWalking Agent的相关集成，但这里我们是sidecar方式，所以服务镜像构建文件就不用那么复杂了！
此外<configuration>标签中关于镜像仓库地址、应用名称的动态参数在pom.xml文件中的定义如下（把玩时以自己实际环境为准）：
-
<properties>
-
<!--定义Docker镜像仓库地址-->
-
<docker.repository>
10.211
.55
.2:
8080</docker.repository>
-
<!--定义项目名称作为镜像名称生成的组成部分-->
-
<app.name>chapter10-monitor-demo</app.name>
-
</properties>
接下来具体讲述接入步骤：
1）、将Java微服务工程打包成Docker镜像并Push到Harbor镜像仓库
-
# Maven项目构建，会自动根据pom.xml中的相关插件配置进行docker镜像构建
-
$ mvn clean install -X
查看本地新构建的镜像信息，具体如下：
-
$ docker images
-
REPOSITORY TAG IMAGE ID CREATED SIZE
-
10.211
.55
.2:
8080/springcloud-action/chapter10-monitor-demo latest
3ae132cdfeb7
12 seconds ago
121MB
-
10.211
.55
.2:
8080/springcloud-action/skywalking-agent-sidecar latest e21040c57e42
2 weeks ago
32.2MB
-
springcloud-action/skywalking-agent-sidecar
8.3
.0 e21040c57e42
2 weeks ago
32.2MB
-
...
将微服务镜像push到Harbor镜像仓库：
-
$ docker push
10.211
.55
.2:
8080/springcloud-action/chapter10-monitor-demo
-
The push refers to repository [
10.211
.55
.2:
8080/springcloud-action/chapter10-monitor-demo]
-
5f3427edfc10: Pushed
-
925523484e00: Layer already exists
-
344fb4b275b7: Layer already exists
-
bcf2f368fe23: Layer already exists
-
latest: digest: sha256:b424180c56b28a9a7704a1f6476f4247fad12cc27721c21fce32149a8f344dee size:
1159
3)、微服务Kubernetes发布文件集成SkyWalking Agent实现埋点
到这里你并没有发现为了将Java服务接入SkyWalking，你需要在Java微服务本身做任何动作，而接下来在k8s部署文件中的将演示，为什么要将这种方式称之为SideCar。
其主要原理是通过Kubernetes的初始化容器initContainers来实现的，initContainers是一种专用容器，可以在应用容器启动之前运行，可以用于完成应用启动前的必要初始化工作。具体的Kubernetes部署文件(deploy-skywalking.yml)内容如下：
-
apiVersion: apps/v1
-
kind: Deployment
-
metadata:
-
name: chapter10-monitor-demo
-
spec:
-
selector:
-
matchLabels:
-
app: chapter10-monitor-demo
-
replicas:
1
-
#设置滚动升级策略
-
#Kubernetes在等待设置的时间后才开始进行升级，例如
5秒
-
minReadySeconds:
5
-
strategy:
-
type: RollingUpdate
-
rollingUpdate:
-
#升级过程中最多可以比原先设置多出的Pod数量
-
maxSurge:
1
-
#升级过程中Deployment控制器最多可以删除多少个旧Pod，主要用于提供缓冲时间
-
maxUnavailable:
1
-
template:
-
metadata:
-
labels:
-
app: chapter10-monitor-demo
-
spec:
-
#构建初始化镜像(通过初始化镜像的方式集成SkyWalking Agent)
-
initContainers:
-
- image:
10.211
.55
.2:
8080/springcloud-action/skywalking-agent-sidecar:latest
-
name: sw-agent-sidecar
-
imagePullPolicy: IfNotPresent
-
command: [
"sh"]
-
args:
-
[
-
"-c",
-
"mkdir -p /skywalking/agent && cp -r /usr/skywalking/agent/* /skywalking/agent",
-
]
-
volumeMounts:
-
- mountPath: /skywalking/agent
-
name: sw-agent
-
containers:
-
- name: chapter10-devops-demo
-
image:
10.211
.55
.2:
8080/springcloud-action/chapter10-monitor-demo:latest
-
env:
-
#这里通过JAVA_TOOL_OPTIONS，而不是JAVA_OPTS可以实现不通过将agent命令加入到java应用jvm参数而实现agent的集成
-
- name: JAVA_TOOL_OPTIONS
-
value: -javaagent:/usr/skywalking/agent/skywalking-agent.jar
-
- name: SW_AGENT_NAME
-
value: chapter10-devops-demo
-
- name: SW_AGENT_COLLECTOR_BACKEND_SERVICES
-
# FQDN: servicename.namespacename.svc.cluster.local
-
value: oap.skywalking:
11800
-
- name: SERVER_PORT
-
value:
"8080"
-
- name: SPRING_PROFILES_ACTIVE
-
value: test
-
volumeMounts:
-
- mountPath: /usr/skywalking/agent
-
name: sw-agent
-
volumes:
-
- name: sw-agent
-
emptyDir: {}
-
---
-
apiVersion: v1
-
kind: Service
-
metadata:
-
name: chapter10-monitor-demo
-
labels:
-
svc: chapter10-monitor-demo
-
spec:
-
selector:
-
app: chapter10-monitor-demo
-
ports:
-
- name: http
-
port:
8080
-
nodePort:
30001
-
type: NodePort
以上是挂载sidecar的k8s发布文件，以微服务“chapter10-devops-demo”为例，主要是通过共享volume的方式挂载agent。其中initContainers通过skywalking-agent卷挂载了skywalking-agent-sidecar镜像中的/skywalking/agent，并将上面构建好的镜像中的agent目录cp到了/skywalking/agent目录，完成之后微服务容器启动时也挂载了skywalking-agent卷，并将其挂载到容器的/usr/skywalking/agent目录，这样就完成了共享过程。
这里有一个有意思的点，Java服务通过Agent接入SkyWalking一般情况下还需要在启动命令中加入JVM参数，例如：“-javaagent:/usr/skywalking/agent/skywalking-agent.jar”。这就需要我们在定义Java程序镜像打包的Dockerfile文件中通过“ENTRYPOINT”加入相关参数，例如：
ENTRYPOINT [ "sh", "-c", "java ${JAVA_OPTS} -javaagent:/app/agent/skywalking-agent.jar -Dskywalking.collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES} -Dskywalking.agent.service_name=${SW_AGENT_NAME} -Dskywalking.agent.instance_name=${HOSTNAME} -Djava.security.egd=file:/dev/./urandom -jar /app/app.jar $PROFILE"
但这种方式需要在Dockerfile文件中额外设置SkyWalking Agent相关的JVM参数，所以你可能没注意到，在上述k8s部署文件中我所使用的是“JAVA_TOOL_OPTIONS”这个参数，而不是最常见的“JAVA_OPTS”。这个点很多人都不知道，如果你耐心看到这里，恭喜你Get了一个新技能！至于二者的区别，感兴趣的朋友可以搜索下！
4)、部署启动微服务,并验证其是否已经正常接入SkyWalking监控
接下来我们进入部署文件所在目录，执行发布命令如下：
-
$ kubectl apply -f deploy-skywalking.yml
-
deployment.apps/chapter10-monitor-demo created
-
service/chapter10-monitor-demo created
之后查看相关Pod是否运行成功：
-
$ kubectl get pods
-
NAME READY STATUS RESTARTS AGE
-
chapter10-monitor-demo
-5767d54f5-vfqqf
1/
1 Running
0
96m
运行成功了！此时可以访问下服务的测试接口，多刷几次，之后通过SkyWalking UI查看是否有监控数据，如下图所示：
如上图所示，在访问微服务测试接口后可以看到SpringCloud微服务已经通过Agent像SkyWalking上报了APM监控数据！
后记
本文实验步骤比较多，也许你很难一次性看完，但是真正的技术都是要练的，所以有空的时候搭建环境后玩一玩是理解文章内容的关键！如果你能读到这里的文字，希望老铁们可以帮我点个赞！如果觉得有价值也请分享给其他热爱技术的朋友！
—————END—————
参考文档：
https://skywalking.apache.org/zh/2019-08-30-how-to-use-skywalking-agent/
转载：https://blog.csdn.net/weixin_44296862/article/details/114313404