• Envoy 作为前端代理
    • 快速开始
    • 运行 sandbox 测试
    • Front proxy
      • 路由
      • 负载均衡
      • admin 端点
    • 参考

    Envoy 作为前端代理

    注意:本书中的 Service Mesh 章节已不再维护,请转到 istio-handbook 中浏览。

    本文是使用 Envoy 作为前端代理的介绍,仅使用 docker 容器和 docker-compose 做编排在单机中运行,帮助我们从更底层了解 Envoy,当我们将 Envoy 作为 Istio Service Mesh 的 data panel 的时候将更加游刃有余。

    快速开始

    Envoy 中的所有规则配置跟 Kubernetes 一样都是通过 YAML 文件来完成的。在继续下面的步骤之前,首先克隆 Envoy 的 GitHub repo。

    1. git clone https://github.com/envoyproxy/envoy.git

    运行 sandbox 测试

    Envoy 官方提供了以下打包用例:

    • Front Proxy
    • Zipkin Tracing
    • Jaeger Tracing
    • gRPC Bridge

    全部可以使用 docker-compose 运行,代码可以在 https://github.com/envoyproxy/envoy/tree/master/examples 找到。

    Front proxy

    Envoy 在 envoymesh 的边缘做反向代理,详细使用方式见 https://www.envoyproxy.io/docs/envoy/latest/start/sandboxes/front_proxy,在此我将解说下以下问题:

    • Envoy 是如何作为进程外架构运行的?
    • 为何说 Envoy 是无侵入式架构?
    • Envoy 作为边缘反向代理能做什么?

    本示例的架构图如下所示,此时 Envoy 将作为一个反向代理,类似于 Nginx,但与 Nginx 不同的是它还会作为一个进程,伴随每个服务一起运行在同一个容器中(在 Kubernetes 中可以作为 Sidecar 与应用容器一起运行在同一个 Pod 中)。

    Front proxy 部署结构图(转自https://www.envoyproxy.io/docs/envoy/latest/start/sandboxes/front_proxy)

    在此示例中一共有 3 个服务,我们需要为其创建容器编排的 docker-compose.yml 文件。

    1. version: '2'
    2. services:
    3. front-envoy:
    4. build:
    5. context: .
    6. dockerfile: Dockerfile-frontenvoy
    7. volumes:
    8. - ./front-envoy.yaml:/etc/front-envoy.yaml
    9. networks:
    10. - envoymesh
    11. expose:
    12. - "80"
    13. - "8001"
    14. ports:
    15. - "8000:80"
    16. - "8001:8001"
    17. service1:
    18. build:
    19. context: .
    20. dockerfile: Dockerfile-service
    21. volumes:
    22. - ./service-envoy.yaml:/etc/service-envoy.yaml
    23. networks:
    24. envoymesh:
    25. aliases:
    26. - service1
    27. environment:
    28. - SERVICE_NAME=1
    29. expose:
    30. - "80"
    31. service2:
    32. build:
    33. context: .
    34. dockerfile: Dockerfile-service
    35. volumes:
    36. - ./service-envoy.yaml:/etc/service-envoy.yaml
    37. networks:
    38. envoymesh:
    39. aliases:
    40. - service2
    41. environment:
    42. - SERVICE_NAME=2
    43. expose:
    44. - "80"
    45. networks:
    46. envoymesh: {}

    使用 docker-compose 启动可以保证三个服务都在同一个网络内,即 frontproxy_envoymesh 网络中。

    其中 front-envoy 是前端(边缘)Envoy 服务,用来做反向代理,它使用的是 Dockerfile-frontenvoy 文件来构建镜像的,我们来看下该 Dockerfile 的内容。

    1. FROM envoyproxy/envoy:latest
    2. RUN apt-get update && apt-get -q install -y \
    3. curl
    4. CMD /usr/local/bin/envoy -c /etc/front-envoy.yaml --service-cluster front-proxy

    其中 /etc/front-envoy.yaml 是本地的 front-envoy.yaml 挂载进去的。我们看下该文件的内容。

    1. static_resources:
    2. listeners:
    3. - address:
    4. socket_address:
    5. address: 0.0.0.0
    6. port_value: 80
    7. filter_chains:
    8. - filters:
    9. - name: envoy.http_connection_manager
    10. config:
    11. codec_type: auto
    12. stat_prefix: ingress_http
    13. route_config:
    14. name: local_route
    15. virtual_hosts:
    16. - name: backend
    17. domains:
    18. - "*"
    19. routes:
    20. - match:
    21. prefix: "/service/1"
    22. route:
    23. cluster: service1
    24. - match:
    25. prefix: "/service/2"
    26. route:
    27. cluster: service2
    28. http_filters:
    29. - name: envoy.router
    30. config: {}
    31. clusters:
    32. - name: service1
    33. connect_timeout: 0.25s
    34. type: strict_dns
    35. lb_policy: round_robin
    36. http2_protocol_options: {}
    37. hosts:
    38. - socket_address:
    39. address: service1
    40. port_value: 80
    41. - name: service2
    42. connect_timeout: 0.25s
    43. type: strict_dns
    44. lb_policy: round_robin
    45. http2_protocol_options: {}
    46. hosts:
    47. - socket_address:
    48. address: service2
    49. port_value: 80
    50. admin:
    51. access_log_path: "/dev/null"
    52. address:
    53. socket_address:
    54. address: 0.0.0.0
    55. port_value: 8001

    我们看到其中包括了三大配置项:

    • static_resources:路由配置信息
    • cluster:envoymesh 的服务注册信息
    • admin:管理接口,可以通过访问 8001 端口的,访问 /stats 获取当前 envoymesh 的一些统计信息,访问 /server_info 获取 Envoy 的版本信息

    使用 docker-compose 启动三个容器。

    1. $ pwd
    2. envoy/examples/front-proxy
    3. $ docker-compose up --build -d
    4. $ docker-compose ps
    5. Name Command State Ports
    6. -------------------------------------------------------------------------------------------------------------
    7. example_service1_1 /bin/sh -c /usr/local/bin/ ... Up 80/tcp
    8. example_service2_1 /bin/sh -c /usr/local/bin/ ... Up 80/tcp
    9. example_front-envoy_1 /bin/sh -c /usr/local/bin/ ... Up 0.0.0.0:8000->80/tcp, 0.0.0.0:8001->8001/tcp

    我们下面将过一遍 Envoy 作为前端代理的所有功能,这些功能是通用功能。

    路由

    访问 service1 http://localhost:8000/service/1 将看到如下输出。

    1. $ curl -v localhost:8000/service/1
    2. *
    3. Trying ::1...
    4. * TCP_NODELAY set
    5. * Connected to localhost (::1) port 8000 (#0)
    6. > GET /service/1 HTTP/1.1
    7. > Host: localhost:8000
    8. > User-Agent: curl/7.54.0
    9. > Accept: */*
    10. >
    11. < HTTP/1.1 200 OK
    12. < content-type: text/html; charset=utf-8
    13. < content-length: 89
    14. < server: envoy
    15. < date: Fri, 20 Apr 2018 08:26:33 GMT
    16. < x-envoy-upstream-service-time: 14
    17. <
    18. Hello from behind Envoy (service 1)! hostname: a3e4185a9a49 resolvedhostname: 172.18.0.4
    19. * Connection #0 to host localhost left intact

    访问 service2 http://localhost:8000/service/2 将看到如下输出。

    1. * Trying ::1...
    2. * TCP_NODELAY set
    3. * Connected to localhost (::1) port 8000 (#0)
    4. > GET /service/2 HTTP/1.1
    5. > Host: localhost:8000
    6. > User-Agent: curl/7.54.0
    7. > Accept: */*
    8. >
    9. < HTTP/1.1 200 OK
    10. < content-type: text/html; charset=utf-8
    11. < content-length: 89
    12. < server: envoy
    13. < date: Fri, 20 Apr 2018 08:27:27 GMT
    14. < x-envoy-upstream-service-time: 10
    15. <
    16. Hello from behind Envoy (service 2)! hostname: f6650e1911a0 resolvedhostname: 172.18.0.3
    17. * Connection #0 to host localhost left intact

    我们看到访问请求被路由到了正确的服务后端。

    负载均衡

    增加 service1 的示例数。

    1. $ docker-compose scale service1=3
    2. WARNING: The scale command is deprecated. Use the up command with the --scale flag instead.
    3. Starting frontproxy_service1_1 ... done
    4. Creating frontproxy_service1_2 ... done
    5. Creating frontproxy_service1_3 ... done
    6. $ docker-compose ps
    7. Name Command State Ports
    8. ---------------------------------------------------------------------------------------------------------------------------
    9. frontproxy_front-envoy_1 /usr/bin/dumb-init -- /bin ... Up 10000/tcp, 0.0.0.0:8000->80/tcp, 0.0.0.0:8001->8001/tcp
    10. frontproxy_service1_1 /bin/sh -c /usr/local/bin/ ... Up 10000/tcp, 80/tcp
    11. frontproxy_service1_2 /bin/sh -c /usr/local/bin/ ... Up 10000/tcp, 80/tcp
    12. frontproxy_service1_3 /bin/sh -c /usr/local/bin/ ... Up 10000/tcp, 80/tcp
    13. frontproxy_service2_1 /bin/sh -c /usr/local/bin/ ... Up 10000/tcp, 80/tcp

    我们看到现在 service1 已经有了 3 个实例,现在再访问 service1 http://localhost:8000/service/1。

    1. $ while true;do curl localhost:8000/service/1;sleep 1;done
    2. Hello from behind Envoy (service 1)! hostname: a3e4185a9a49 resolvedhostname: 172.18.0.4
    3. Hello from behind Envoy (service 1)! hostname: fe44dba64122 resolvedhostname: 172.18.0.5
    4. Hello from behind Envoy (service 1)! hostname: c5b9f1289e0f resolvedhostname: 172.18.0.6
    5. Hello from behind Envoy (service 1)! hostname: a3e4185a9a49 resolvedhostname: 172.18.0.4
    6. Hello from behind Envoy (service 1)! hostname: fe44dba64122 resolvedhostname: 172.18.0.5
    7. Hello from behind Envoy (service 1)! hostname: c5b9f1289e0f resolvedhostname: 172.18.0.6

    我们看到对 service1 的已经有负载均衡了,使用的策略是 round_robin,这些都是在 front-envoy.yaml 文件中的 cluster 项下配置的。

    admin 端点

    访问 http://localhost:8001 可以看到 Envoy admin 提供以下管理 API 端点。

    命令 描述
    / Admin 主页
    /certs 打印机器上的 certs
    /clusters upstream cluster 状态
    /config_dump 输出当前的 Envoy 配置
    /cpuprofiler 开启/关闭 CPU profiler
    /healthcheck/fail 导致服务失败健康检查
    /healthcheck/ok 导致服务通过健康检查
    /help 打印管理命令的帮助信息
    /hot_restart_version 打印热重启兼容版本
    /listeners 打印 listener 地址
    /logging 查询/更改日志级别
    /quitquitquit 退出服务
    /reset_counters 将计数器重置为 1
    /runtime 打印运行时值
    /runtime_modify 修改运行时值
    /server_info 打印服务器版本/状态信息
    /stats 打印服务器状态统计信息
    /stats/prometheus 打印 prometheus 格式的服务器状态统计信息

    Envoy 提供了 API 管理端点,可以对 Envoy 进行动态配置,参考 v2 API reference。

    参考

    • Front proxy