流水理鱼

Vue前端应用容器化打包示例

2019-07-11 by wwek·0评论

副标
Dockerize your Vue Application
dockerfile Vue example
docker Vue example
Vue应用docker容器化打包

docker忽略文件

.dockerignore

node_modules

1 2	node_modules

www.conf

server {
    listen 80;
    listen [::]:80;
    # 接口服务的IP地址
    server_name localhost;
    charset utf-8;
    access_log off;
    # ElecManageSystem-应用文件夹名称 app-index.html页面所在文件夹
    root /var/www/html;
    index index.html;

    location / {
        try_files $uri $uri/ /index.html;
    }

    location /api {
        proxy_pass http://${API_HOST_BASE};
    }

    error_page 500 502 503 504 /50x.html;
    location = /50x.html {
        root html;
    }
}

server {

listen 80;

listen [::]:80;

# 接口服务的IP地址

server_name localhost;

charset utf-8;

access_log off;

# ElecManageSystem-应用文件夹名称 app-index.html页面所在文件夹

root /var/www/html;

index index.html;

location / {

try_files $uri $uri/ /index.html;

}

location /api {

proxy_pass http://${API_HOST_BASE};

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

Dockerfile

# 构建阶段 vue build stage
FROM node:10.16.0-alpine  AS build-stage-node

## 配置 apk包加速镜像为阿里
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

## 安装 一些基础包
RUN apk update \
  && apk upgrade \
  && apk add git \
  && apk add bash \
  #&& apk add nghttp2-dev \
  && apk add ca-certificates \
  && apk add wget \
  #&& apk add curl \
  #&& apk add tcpdump \
  && apk add iputils \
  && apk add iproute2 \
  && apk add libc6-compat \
  && apk add -U tzdata \
  && rm -rf /var/cache/apk/*

# ## 设置 操作系统时区
# RUN rm -rf /etc/localtime \
#   && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 设置 工作目录
ENV MY_HOME=/app
RUN mkdir -p $MY_HOME
WORKDIR $MY_HOME

## 安装 全局依赖
# RUN npm install -g express

# 安装 项目依赖
COPY package.json ./
RUN npm install

# 复制vue项目文件
COPY . .

# 构建
RUN npm run build:prod

RUN ls -lsah /app

# 打包应用
# 生产阶段 nginx
# 使用nginx镜像运行构建物
FROM nginx:stable-alpine
COPY --from=build-stage-node /app/dist /var/www/html
RUN ls -lsha /var/www/html
COPY ./www.conf /etc/nginx/conf.d/
RUN rm /etc/nginx/conf.d/default.conf
EXPOSE 80
CMD ["nginx","-g","daemon off;"]

# 构建阶段 vue build stage

FROM node:10.16.0-alpine AS build-stage-node

## 配置 apk包加速镜像为阿里

RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

## 安装一些基础包

RUN apk update \

&& apk upgrade \

&& apk add git \

&& apk add bash \

#&& apk add nghttp2-dev \

&& apk add ca-certificates \

&& apk add wget \

#&& apk add curl \

#&& apk add tcpdump \

&& apk add iputils \

&& apk add iproute2 \

&& apk add libc6-compat \

&& apk add -U tzdata \

&& rm -rf /var/cache/apk/*

# ## 设置操作系统时区

# RUN rm -rf /etc/localtime \

# && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 设置工作目录

ENV MY_HOME=/app

RUN mkdir -p $MY_HOME

WORKDIR $MY_HOME

## 安装全局依赖

# RUN npm install -g express

# 安装项目依赖

COPY package.json ./

RUN npm install

# 复制vue项目文件

COPY . .

# 构建

RUN npm run build:prod

RUN ls -lsah /app

# 打包应用

# 生产阶段 nginx

# 使用nginx镜像运行构建物

FROM nginx:stable-alpine

COPY --from=build-stage-node /app/dist /var/www/html

RUN ls -lsha /var/www/html

COPY ./www.conf /etc/nginx/conf.d/

RUN rm /etc/nginx/conf.d/default.conf

EXPOSE 80

CMD ["nginx","-g","daemon off;"]

Docker Golang应用容器化打包示例

2019-07-03 by wwek·0评论

副标
Dockerize your Golang Application
dockerfile Golang example
docker golang example
Go应用docker容器化打包

Dockerfile

基础镜像使用aline
使用docker的多阶段构建

Dockerfile

# 构建阶段 build stage
FROM golang:stretch AS build-env
ADD . /go/src
WORKDIR /go/src

ENV GO111MODULE=on
ENV APP_NAME="goappname"
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -mod=vendor -o ${APP_NAME}
RUN pwd && ls -lsa

# 构建物打包阶段 final stage
FROM alpine:latest

## 配置 apk包加速镜像为阿里
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

## 安装 一些基础包
RUN apk update \
    && apk upgrade \
    #&& apk add s6 \
    && apk add bash \
    #&& apk add nghttp2-dev \
    && apk add ca-certificates \
    && apk add wget \
    #&& apk add curl \
    #&& apk add tcpdump \
    && apk add iputils \
    && apk add iproute2 \
    && apk add libc6-compat \
    && apk add -U tzdata \
    && rm -rf /var/cache/apk/*

## 设置 操作系统时区
RUN rm -rf /etc/localtime \
 && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

## 打包 应用
ENV APP_NAME="goappname"
ENV APP_ROOT="/data/apps/"${APP_NAME}
RUN mkdir -p $APP_ROOT
WORKDIR $APP_ROOT

## 从构建阶段复制构建物
COPY --from=build-env /go/src/${APP_NAME}  $APP_ROOT/

## 增加 配置文件、其他依赖文件
COPY config/config.toml.tpl $APP_ROOT/config/
RUN  ls -lsah && pwd && mv ./config/config.toml.tpl ./config/config.toml && ls -lsah  $APP_ROOT/config && cat config/config.toml

## 配置 对外端口
EXPOSE 10000

# 设置启动时预期的命令参数, 可以被 docker run 的参数覆盖掉.
CMD $APP_ROOT/$APP_NAME

# 构建阶段 build stage

FROM golang:stretch AS build-env

ADD . /go/src

WORKDIR /go/src

ENV GO111MODULE=on

ENV APP_NAME="goappname"

RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -mod=vendor -o ${APP_NAME}

RUN pwd && ls -lsa

# 构建物打包阶段 final stage

FROM alpine:latest

## 配置 apk包加速镜像为阿里

RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

## 安装一些基础包

RUN apk update \

&& apk upgrade \

#&& apk add s6 \

&& apk add bash \

#&& apk add nghttp2-dev \

&& apk add ca-certificates \

&& apk add wget \

#&& apk add curl \

#&& apk add tcpdump \

&& apk add iputils \

&& apk add iproute2 \

&& apk add libc6-compat \

&& apk add -U tzdata \

&& rm -rf /var/cache/apk/*

## 设置操作系统时区

RUN rm -rf /etc/localtime \

&& ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

## 打包应用

ENV APP_NAME="goappname"

ENV APP_ROOT="/data/apps/"${APP_NAME}

RUN mkdir -p $APP_ROOT

WORKDIR $APP_ROOT

## 从构建阶段复制构建物

COPY --from=build-env /go/src/${APP_NAME} $APP_ROOT/

## 增加配置文件、其他依赖文件

COPY config/config.toml.tpl $APP_ROOT/config/

RUN ls -lsah && pwd && mv ./config/config.toml.tpl ./config/config.toml && ls -lsah $APP_ROOT/config && cat config/config.toml

## 配置对外端口

EXPOSE 10000

# 设置启动时预期的命令参数, 可以被 docker run 的参数覆盖掉.

CMD $APP_ROOT/$APP_NAME

docker-compose.yml

version: "3.1"
services:
  goappname:
    build: ./
    image: registry.cn-shanghai.aliyuncs.com/goappname/goappname
    container_name: goappname
    deploy:
      restart_policy:
        condition: on-failure
    ports:
      - "0.0.0.0:10000:10000"
    volumes:
      - "/data/apps/goappname/config/:/data/apps/goappname/goappname/config/"

version: "3.1"

services:

goappname:

build: ./

image: registry.cn-shanghai.aliyuncs.com/goappname/goappname

container_name: goappname

deploy:

restart_policy:

condition: on-failure

ports:

- "0.0.0.0:10000:10000"

volumes:

- "/data/apps/goappname/config/:/data/apps/goappname/goappname/config/"

Docker Python应用容器化打包示例

2019-07-03 by wwek·0评论

副标
Dockerize your Python Application
dockerfile python example
dockerfile python flask example

flask框架为例

Dockerfile

FROM alpine:latest

# 打标签
LABEL version="1.0" \
    description="alpine:latest" \
    maintainer="wwek<licoolgo@gmail.com>"

# 配置apk包加速镜像为阿里
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

# 安装一些基础包
RUN apk update \
    && apk upgrade \
    && apk add s6 \
    && apk add bash \
    # && apk add nghttp2-dev \
    && apk add ca-certificates \
    && apk add wget \
    # && apk add curl \
    # && apk add tcpdump \
    # && apk add bash-completion \
    && apk add iputils \
    && apk add iproute2 \
    && apk add libc6-compat \
    && apk add -U tzdata \
    && rm -rf /var/cache/apk/*

# 设置 操作系统时区
RUN rm -rf /etc/localtime \
 && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 设置时区变量
ENV TIME_ZONE Asia/Shanghai

# 安装 python3、升级pip、setuptools
RUN apk add --no-cache python3 \
    #&& apk add --no-cache python3-dev \
    && python3 -m ensurepip \
    && rm -r /usr/lib/python*/ensurepip \
    && pip3 install --default-timeout=100 --no-cache-dir --upgrade pip \
    && pip3 install --default-timeout=100 --no-cache-dir --upgrade setuptools \
    && if [ ! -e /usr/bin/pip ]; then ln -s pip3 /usr/bin/pip ; fi \
    && if [[ ! -e /usr/bin/python ]]; then ln -sf /usr/bin/python3 /usr/bin/python; fi \
    && rm -rf /var/cache/apk/* \
    && rm -rf ~/.cache/pip

# 设置 语言支持
ENV LANG=C.UTF-8

# 配置 应用工作目录
WORKDIR /data/apps/appdir

# 增加 项目文件
ADD appmain.py ./
ADD 你的py文件2.py ./
ADD 目录1 ./
ADD requirements.txt ./

# 安装 项目依赖包
RUN pip install -r requirements.txt

# 配置 对外端口
EXPOSE 11000

# 设置启动时预期的命令参数, 可以被 docker run 的参数覆盖掉.
CMD ["python", "appmain.py"]

FROM alpine:latest

# 打标签

LABEL version="1.0" \

description="alpine:latest" \

maintainer="wwek<licoolgo@gmail.com>"

# 配置apk包加速镜像为阿里

RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

# 安装一些基础包

RUN apk update \

&& apk upgrade \

&& apk add s6 \

&& apk add bash \

# && apk add nghttp2-dev \

&& apk add ca-certificates \

&& apk add wget \

# && apk add curl \

# && apk add tcpdump \

# && apk add bash-completion \

&& apk add iputils \

&& apk add iproute2 \

&& apk add libc6-compat \

&& apk add -U tzdata \

&& rm -rf /var/cache/apk/*

# 设置操作系统时区

RUN rm -rf /etc/localtime \

&& ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 设置时区变量

ENV TIME_ZONE Asia/Shanghai

# 安装 python3、升级pip、setuptools

RUN apk add --no-cache python3 \

#&& apk add --no-cache python3-dev \

&& python3 -m ensurepip \

&& rm -r /usr/lib/python*/ensurepip \

&& pip3 install --default-timeout=100 --no-cache-dir --upgrade pip \

&& pip3 install --default-timeout=100 --no-cache-dir --upgrade setuptools \

&& if [ ! -e /usr/bin/pip ]; then ln -s pip3 /usr/bin/pip ; fi \

&& if [[ ! -e /usr/bin/python ]]; then ln -sf /usr/bin/python3 /usr/bin/python; fi \

&& rm -rf /var/cache/apk/* \

&& rm -rf ~/.cache/pip

# 设置语言支持

ENV LANG=C.UTF-8

# 配置应用工作目录

WORKDIR /data/apps/appdir

# 增加项目文件

ADD appmain.py ./

ADD 你的py文件2.py ./

ADD 目录1 ./

ADD requirements.txt ./

# 安装项目依赖包

RUN pip install -r requirements.txt

# 配置对外端口

EXPOSE 11000

# 设置启动时预期的命令参数, 可以被 docker run 的参数覆盖掉.

CMD ["python", "appmain.py"]

1. CoreDNS 是什么

CoreDNS官网
 CoreDNS开源

CoreDNS是Golang编写的一个插件式DNS服务器，是Kubernetes 1.13 后所内置的默认DNS服务器
采用的开源协议为Apache License Version 2
CoreDNS也是CNCF孵化项目，目前已经从CNCF毕业。
CoreDNS 的目标是成为 Cloud Native（云原生）环境下的 DNS 服务器和服务发现解决方案。
你被爬虫啦，原文去https://www.iamle.com看
官方口号
CoreDNS: DNS and Service Discovery
DNS和服务发现

2. CoreDNS功能特性

2.1 插件化（Plugins）

CoreDNS插件链。每个插件都执行DNS功能，例如Kubernetes服务发现，Prometheus指标或重写查询。
还有非常多的其他插件，插件是CoreDNS核心理念就是插件化

简单（Simplicity）

努力把配置文件变得简单
采用了Caddy中的DSL配置方案，即 Corefile 形式的配置文件
一个最简单的配置文件可以为：

.{}

.{}

2.2 服务发现 (Service Discovery)

核心域名系统通过Kubernetes插件与Kubernetes集成，或者通过etcd插件直接与etcd集成。
还有redis插件等

快速和弹性（ Fast and Flexible）

我们的目标是使CoreDNS快速高效。它的插件也很灵活。您可以只使用所需的插件编译CoreDNS。

3. 配置一个内网自定义的服务化域名

假设需要在内网实现
sms.service A记录 10.6.6.2
search.service A记录 10.6.6.3
你被爬虫啦，原文去https://www.iamle.com看
我们为CoreDNS手动增加解析记录
那么Corefile配置文件为
/etc/coredns/Corefile

.:53 {
  # 绑定interface ip
  bind 127.0.0.1
  # 先走本机的hosts
  # https://coredns.io/plugins/hosts/
  hosts {
    # 自定义sms.service search.service 的解析
    # 因为解析的域名少我们这里直接用hosts插件即可完成需求
    # 如果有大量自定义域名解析那么建议用file插件使用 符合RFC 1035规范的DNS解析配置文件
    10.6.6.2 sms.service
    10.6.6.3 search.service
    # ttl
    ttl 60
    # 重载hosts配置
    reload 1m
    # 继续执行
    fallthrough
  }
  # file enables serving zone data from an RFC 1035-style master file.
  # https://coredns.io/plugins/file/
  # file service.signed service
  # 最后所有的都转发到系统配置的上游dns服务器去解析
  forward . /etc/resolv.conf
  # 缓存时间ttl
  cache 120
  # 自动加载配置文件的间隔时间
  reload 6s
  # 输出日志
  log
  # 输出错误
  errors
}

.:53 {

# 绑定interface ip

bind 127.0.0.1

# 先走本机的hosts

# https://coredns.io/plugins/hosts/

hosts {

# 自定义sms.service search.service 的解析

# 因为解析的域名少我们这里直接用hosts插件即可完成需求

# 如果有大量自定义域名解析那么建议用file插件使用符合RFC 1035规范的DNS解析配置文件

10.6.6.2 sms.service

10.6.6.3 search.service

# ttl

ttl 60

# 重载hosts配置

reload 1m

# 继续执行

fallthrough

}

# file enables serving zone data from an RFC 1035-style master file.

# https://coredns.io/plugins/file/

# file service.signed service

# 最后所有的都转发到系统配置的上游dns服务器去解析

forward . /etc/resolv.conf

# 缓存时间ttl

cache 120

# 自动加载配置文件的间隔时间

reload 6s

# 输出日志

log

# 输出错误

errors

}

运行CoreDNS

coredns -conf ./Corefile

1 2	coredns -conf ./Corefile

dig测试CoreDNS的自定义dns解析

dig @127.0.0.1  sms.service

; <<>> DiG 9.10.6 <<>> @127.0.0.1 sms.service
; (1 server found)
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 18343
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;sms.service.           IN  A

;; ANSWER SECTION:
sms.service.        120 IN  A   10.6.6.2

;; Query time: 0 msec
;; SERVER: 127.0.0.1#53(127.0.0.1)
;; WHEN: Wed May 01 22:23:51 CST 2019
;; MSG SIZE  rcvd: 67

dig @127.0.0.1 sms.service

; <<>> DiG 9.10.6 <<>> @127.0.0.1 sms.service

; (1 server found)

;; global options: +cmd

;; Got answer:

;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 18343

;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:

; EDNS: version: 0, flags:; udp: 4096

;; QUESTION SECTION:

;sms.service. IN A

;; ANSWER SECTION:

sms.service. 120 IN A 10.6.6.2

;; Query time: 0 msec

;; SERVER: 127.0.0.1#53(127.0.0.1)

;; WHEN: Wed May 01 22:23:51 CST 2019

;; MSG SIZE rcvd: 67

可以看到 sms.service 的A记录已经为10.6.6.2

更多配置探索参考CoreDNS官方手册

4. 部署

这里可以找到基于k8s，基于systemd的部署文件参考
CoreDNS部署参考

安装

wget https://github.com/coredns/coredns/releases/download/v1.5.0/coredns_1.5.0_linux_amd64.tgz
tar zxf coredns_1.5.0_linux_amd64.tgz -C /usr/bin/

wget https://github.com/coredns/coredns/releases/download/v1.5.0/coredns_1.5.0_linux_amd64.tgz

tar zxf coredns_1.5.0_linux_amd64.tgz -C /usr/bin/

增加运行账户

useradd coredns -s /sbin/nologin

1 2	useradd coredns -s /sbin/nologin

systemd的coredns配置文件
/usr/lib/systemd/system/coredns.service

[Unit]
Description=CoreDNS DNS server
Documentation=https://coredns.io
After=network.target

[Service]
PermissionsStartOnly=true
LimitNOFILE=1048576
LimitNPROC=512
CapabilityBoundingSet=CAP_NET_BIND_SERVICE
AmbientCapabilities=CAP_NET_BIND_SERVICE
NoNewPrivileges=true
User=coredns
WorkingDirectory=~
ExecStart=/usr/bin/coredns -conf=/etc/coredns/Corefile
ExecReload=/bin/kill -SIGUSR1 $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target

[Unit]

Description=CoreDNS DNS server

Documentation=https://coredns.io

After=network.target

[Service]

PermissionsStartOnly=true

LimitNOFILE=1048576

LimitNPROC=512

CapabilityBoundingSet=CAP_NET_BIND_SERVICE

AmbientCapabilities=CAP_NET_BIND_SERVICE

NoNewPrivileges=true

User=coredns

WorkingDirectory=~

ExecStart=/usr/bin/coredns -conf=/etc/coredns/Corefile

ExecReload=/bin/kill -SIGUSR1 $MAINPID

Restart=on-failure

[Install]

WantedBy=multi-user.target

systemctl enable coredns
systemctl start coredns
systemctl status coredns

systemctl enable coredns

systemctl start coredns

systemctl status coredns

实际上CoreDNS编译出来的是一个单二进制文件
二进制文件+配置文件就能跑了，部署起来非常简单

5. 参考

CoreDNS 使用与架构分析

[EFK]Filebeat采集多行日志文件

2019-04-26 by wwek·0评论

前言

不管是PHP各种框架的日志
还是java的 Java Stack Traces
他们都是多行日志模式
这个时候如果使用
filebeat + elasticsearch + kibana 做日志的采集,存储,展示那么就需要用到
filebeat的 multiline 配置
一词日志是多行记录，其实这种多行的日志会有日志分段的分隔符
写出对于的分隔符正则即可解决filebeat采集一次日志记录为多行的情况

配置示例

例如我们有日志文件

/var/www/a.iamle.com/runtime/log/201904/01.log
/var/www/b.iamle.com/Application/Runtime/Logs/201904/02.log
/var/www/c.iamle.com/runtime/log/201905/03.log
/var/www/d.iamle.com/Application/Runtime/Logs/201906/04.log

/var/www/a.iamle.com/runtime/log/201904/01.log

/var/www/b.iamle.com/Application/Runtime/Logs/201904/02.log

/var/www/c.iamle.com/runtime/log/201905/03.log

/var/www/d.iamle.com/Application/Runtime/Logs/201906/04.log

分析日志后得出某一次日志通过什么标识作为分隔符

# 标识方式1 63个"-"作为分割符 正则为 ^\-{63}
# ...
---------------------------------------------------------------
2019-04-08T13:58:19+08:00 192.168.0.1 GET a.iamle.com/v1/1?type_id=1
[运行时间：0.582681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：80]
[ err ] [ LANG ] /var/releases/balabala/20181227-101450/fw/lang/zh-cn.php
[ err ] [ ROUTE ] array (
  'rule' => 'v1',
  'route' => 'index/v1/1',
---------------------------------------------------------------
2019-04-08T13:58:19+08:00 192.168.0.1 GET b.iamle.com/v1/1?type_id=1
[运行时间：0.582681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：80]
[ err ] [ LANG ] /var/releases/balabala/20181227-101450/fw/lang/zh-cn.php
[ err ] [ ROUTE ] array (
  'rule' => 'v1',
  'route' => 'index/v1/1',
---------------------------------------------------------------
# ...

# 标识方式2 "[ 2019 作为分隔符 正则为 ^\[\s{1}\d{4}
# ...

[ 2019-04-09T13:58:19+08:00 ] 192.168.0.1 GET a.iamle.com/v2
[运行时间：0.681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：82]
[ err ] [ LANG ] /var/releases/balabala/20191227-101450/fw/lang/zh-cn.php
[ err ] [ ROUTE ] array (
  'rule' => 'v2',
  'route' => 'index/v2',

[ 2019-04-09T13:58:19+08:00 ] 192.168.0.1 GET b.iamle.com/v2/1
[运行时间：0.681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：81]
[ err ] [ LANG ] /var/releases/balabala/20191227-101450/fw/lang/zh-cn.php
[ err ] [ ROUTE ] array (
  'rule' => 'v2',
  'route' => 'index/v2',
# ...

# 标识方式1 63个"-"作为分割符正则为 ^\-{63}

# ...

---------------------------------------------------------------

2019-04-08T13:58:19+08:00 192.168.0.1 GET a.iamle.com/v1/1?type_id=1

[运行时间：0.582681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：80]

[ err ] [ LANG ] /var/releases/balabala/20181227-101450/fw/lang/zh-cn.php

[ err ] [ ROUTE ] array (

'rule' => 'v1',

'route' => 'index/v1/1',

---------------------------------------------------------------

2019-04-08T13:58:19+08:00 192.168.0.1 GET b.iamle.com/v1/1?type_id=1

[运行时间：0.582681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：80]

[ err ] [ LANG ] /var/releases/balabala/20181227-101450/fw/lang/zh-cn.php

[ err ] [ ROUTE ] array (

'rule' => 'v1',

'route' => 'index/v1/1',

---------------------------------------------------------------

# ...

# 标识方式2 "[ 2019 作为分隔符正则为 ^\[\s{1}\d{4}

# ...

[ 2019-04-09T13:58:19+08:00 ] 192.168.0.1 GET a.iamle.com/v2

[运行时间：0.681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：82]

[ err ] [ LANG ] /var/releases/balabala/20191227-101450/fw/lang/zh-cn.php

[ err ] [ ROUTE ] array (

'rule' => 'v2',

'route' => 'index/v2',

[ 2019-04-09T13:58:19+08:00 ] 192.168.0.1 GET b.iamle.com/v2/1

[运行时间：0.681s] [吞吐率：1.72req/s] [内存消耗：3,387.72kb] [文件加载：81]

[ err ] [ LANG ] /var/releases/balabala/20191227-101450/fw/lang/zh-cn.php

[ err ] [ ROUTE ] array (

'rule' => 'v2',

'route' => 'index/v2',

# ...

filebeat中配置文件
/etc/filebeat/filebeat.yml

# ...
- type: log
  enabled: true
  paths:
    - /var/www/*.iamle.com/runtime/log/*/*.log
    - /var/www/*.iamle.com/Application/Runtime/Logs/*/*.log
  # 正则需要支持2种不同的分隔符
  multiline.pattern: '^(\-{63}|\[\s{1}\d{4})'
  multiline.negate: true
  multiline.match: after

# ...

# ...

- type: log

enabled: true

paths:

- /var/www/*.iamle.com/runtime/log/*/*.log

- /var/www/*.iamle.com/Application/Runtime/Logs/*/*.log

# 正则需要支持2种不同的分隔符

multiline.pattern: '^(\-{63}|\[\s{1}\d{4})'

multiline.negate: true

multiline.match: after

# ...

# 检查filebeat是否配置正确
 filebeat test config
# 重启filebeat
 systemctl restart filebeat

# 检查filebeat是否配置正确

filebeat test config

# 重启filebeat

systemctl restart filebeat

写正则的时候推荐用正则可视化工具检查正则
例如本文的正则

扩展

这种非自己能定义的日志，思路是寻找多行日志分段规律写出对于的正则即可
那么自己打日志的情况下，不太推荐这种多行日志了，采用结构化的json日志，一行一条是比较推荐的方式
这样在后期的处理分析中将会便利太多太多

参考

Filebeat Reference [7.0] » Configuring Filebeat » Manage multiline messages

用Golang实现一个简单的HTTP/HTTPS代理服务器

2019-04-10 by wwek·0评论

前言

使用golang实现一个简单的http/https代理服务器
支持http代理
支持https代理（https代理为直通模式，直接原样转发）

全部代码

package main

import (
    "flag"
    "io"
    "log"
    "net"
    "net/http"
    "strings"
)

type Pxy struct {
    Cfg Cfg
}

// 设置type
type Cfg struct {
    Addr        string   // 监听地址
    Port        string   // 监听端口
    IsAnonymous bool     // 高匿名模式
    Debug       bool     // 调试模式
}

func main() {

    // 参数
    faddr := flag.String("addr","0.0.0.0","监听地址，默认0.0.0.0")
    fprot := flag.String("port","8080","监听端口，默认8080")
    fanonymous :=  flag.Bool("anonymous",true,"高匿名，默认高匿名")
    fdebug :=  flag.Bool("debug",false,"调试模式显示更多信息，默认关闭")
    flag.Parse()

    cfg := &Cfg{}
    cfg.Addr = *faddr
    cfg.Port = *fprot
    cfg.IsAnonymous = *fanonymous
    cfg.Debug = *fdebug
    // fmt.Println(cfg)
    Run(cfg)
}

func Run(cfg *Cfg) {
    pxy := NewPxy()
    pxy.SetPxyCfg(cfg)
    log.Printf("HttpPxoy is runing on %s:%s \n", cfg.Addr, cfg.Port)
    // http.Handle("/", pxy)
    bindAddr := cfg.Addr + ":" + cfg.Port
    log.Fatalln(http.ListenAndServe(bindAddr, pxy))
}


// 实例化
func NewPxy() *Pxy {
    return &Pxy{
        Cfg: Cfg{
            Addr:        "",
            Port:        "8081",
            IsAnonymous: true,
            Debug:       false,
        },
    }
}

// 配置参数
func (p *Pxy) SetPxyCfg(cfg *Cfg) {
    if cfg.Addr != "" {
        p.Cfg.Addr = cfg.Addr
    }
    if cfg.Port != "" {
        p.Cfg.Port = cfg.Port
    }
    if cfg.IsAnonymous != p.Cfg.IsAnonymous {
        p.Cfg.IsAnonymous = cfg.IsAnonymous
    }
    if cfg.Debug != p.Cfg.Debug {
        p.Cfg.Debug = cfg.Debug
    }

}

// 运行代理服务
func (p *Pxy) ServeHTTP(rw http.ResponseWriter, req *http.Request) {
    // debug
    if p.Cfg.Debug {
        log.Printf("Received request %s %s %s\n", req.Method, req.Host, req.RemoteAddr)
        // fmt.Println(req)
    }

    // http && https
    if req.Method != "CONNECT" {
        // 处理http
        p.HTTP(rw, req)
    } else {
        // 处理https
        // 直通模式不做任何中间处理
        p.HTTPS(rw, req)
    }

}

// http
func (p *Pxy) HTTP(rw http.ResponseWriter, req *http.Request) {

    transport := http.DefaultTransport

    // 新建一个请求outReq
    outReq := new(http.Request)
    // 复制客户端请求到outReq上
    *outReq = *req // 复制请求

    //  处理匿名代理
    if p.Cfg.IsAnonymous == false {
        if clientIP, _, err := net.SplitHostPort(req.RemoteAddr); err == nil {
            if prior, ok := outReq.Header["X-Forwarded-For"]; ok {
                clientIP = strings.Join(prior, ", ") + ", " + clientIP
            }
            outReq.Header.Set("X-Forwarded-For", clientIP)
        }
    }

    // outReq请求放到传送上
    res, err := transport.RoundTrip(outReq)
    if err != nil {
        rw.WriteHeader(http.StatusBadGateway)
        rw.Write([]byte(err.Error()))
        return
    }

    // 回写http头
    for key, value := range res.Header {
        for _, v := range value {
            rw.Header().Add(key, v)
        }
    }
    // 回写状态码
    rw.WriteHeader(res.StatusCode)
    // 回写body
    io.Copy(rw, res.Body)
    res.Body.Close()
}


// https
func (p *Pxy) HTTPS(rw http.ResponseWriter, req *http.Request) {

    // 拿出host
    host := req.URL.Host
    hij, ok := rw.(http.Hijacker)
    if !ok {
        log.Printf("HTTP Server does not support hijacking")
    }

    client, _, err := hij.Hijack()
    if err != nil {
        return
    }

    // 连接远程
    server, err := net.Dial("tcp", host)
    if err != nil {
        return
    }
    client.Write([]byte("HTTP/1.0 200 Connection Established\r\n\r\n"))

    // 直通双向复制
    go io.Copy(server, client)
    go io.Copy(client, server)
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

package main

import (

"flag"

"io"

"log"

"net"

"net/http"

"strings"

)

type Pxy struct {

Cfg Cfg

}

// 设置type

type Cfg struct {

Addr string // 监听地址

Port string // 监听端口

IsAnonymous bool // 高匿名模式

Debug bool // 调试模式

}

func main() {

// 参数

faddr := flag.String("addr","0.0.0.0","监听地址，默认0.0.0.0")

fprot := flag.String("port","8080","监听端口，默认8080")

fanonymous := flag.Bool("anonymous",true,"高匿名，默认高匿名")

fdebug := flag.Bool("debug",false,"调试模式显示更多信息，默认关闭")

flag.Parse()

cfg := &Cfg{}

cfg.Addr = *faddr

cfg.Port = *fprot

cfg.IsAnonymous = *fanonymous

cfg.Debug = *fdebug

// fmt.Println(cfg)

Run(cfg)

}

func Run(cfg *Cfg) {

pxy := NewPxy()

pxy.SetPxyCfg(cfg)

log.Printf("HttpPxoy is runing on %s:%s \n", cfg.Addr, cfg.Port)

// http.Handle("/", pxy)

bindAddr := cfg.Addr + ":" + cfg.Port

log.Fatalln(http.ListenAndServe(bindAddr, pxy))

}

// 实例化

func NewPxy() *Pxy {

return &Pxy{

Cfg: Cfg{

Addr: "",

Port: "8081",

IsAnonymous: true,

Debug: false,

}

// 配置参数

func (p *Pxy) SetPxyCfg(cfg *Cfg) {

if cfg.Addr != "" {

p.Cfg.Addr = cfg.Addr

}

if cfg.Port != "" {

p.Cfg.Port = cfg.Port

}

if cfg.IsAnonymous != p.Cfg.IsAnonymous {

p.Cfg.IsAnonymous = cfg.IsAnonymous

}

if cfg.Debug != p.Cfg.Debug {

p.Cfg.Debug = cfg.Debug

}

// 运行代理服务

func (p *Pxy) ServeHTTP(rw http.ResponseWriter, req *http.Request) {

// debug

if p.Cfg.Debug {

log.Printf("Received request %s %s %s\n", req.Method, req.Host, req.RemoteAddr)

// fmt.Println(req)

}

// http && https

if req.Method != "CONNECT" {

// 处理http

p.HTTP(rw, req)

} else {

// 处理https

// 直通模式不做任何中间处理

p.HTTPS(rw, req)

}

// http

func (p *Pxy) HTTP(rw http.ResponseWriter, req *http.Request) {

transport := http.DefaultTransport

// 新建一个请求outReq

outReq := new(http.Request)

// 复制客户端请求到outReq上

*outReq = *req // 复制请求

// 处理匿名代理

if p.Cfg.IsAnonymous == false {

if clientIP, _, err := net.SplitHostPort(req.RemoteAddr); err == nil {

if prior, ok := outReq.Header["X-Forwarded-For"]; ok {

clientIP = strings.Join(prior, ", ") + ", " + clientIP

}

outReq.Header.Set("X-Forwarded-For", clientIP)

}

// outReq请求放到传送上

res, err := transport.RoundTrip(outReq)

if err != nil {

rw.WriteHeader(http.StatusBadGateway)

rw.Write([]byte(err.Error()))

return

}

// 回写http头

for key, value := range res.Header {

for _, v := range value {

rw.Header().Add(key, v)

}

// 回写状态码

rw.WriteHeader(res.StatusCode)

// 回写body

io.Copy(rw, res.Body)

res.Body.Close()

}

// https

func (p *Pxy) HTTPS(rw http.ResponseWriter, req *http.Request) {

// 拿出host

host := req.URL.Host

hij, ok := rw.(http.Hijacker)

if !ok {

log.Printf("HTTP Server does not support hijacking")

}

client, _, err := hij.Hijack()

if err != nil {

return

}

// 连接远程

server, err := net.Dial("tcp", host)

if err != nil {

return

}

client.Write([]byte("HTTP/1.0 200 Connection Established\r\n\r\n"))

// 直通双向复制

go io.Copy(server, client)

go io.Copy(client, server)

}

curl验证

# https
$  curl -x http://127.0.0.1:8080/ -I https://www.baidu.com/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0   277    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0HTTP/1.0 200 Connection Established

HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
Connection: Keep-Alive
Content-Length: 277
Content-Type: text/html
Date: Tue, 09 Apr 2019 23:32:51 GMT
Etag: "575e1f7c-115"
Last-Modified: Mon, 13 Jun 2016 02:50:36 GMT
Pragma: no-cache
Server: bfe/1.0.8.18

# http
$  curl -x http://127.0.0.1:8080/ -I http://www.baidu.com/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0   277    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
Connection: Keep-Alive
Content-Length: 277
Content-Type: text/html
Date: Tue, 09 Apr 2019 23:35:33 GMT
Etag: "575e1f80-115"
Last-Modified: Mon, 13 Jun 2016 02:50:40 GMT
Pragma: no-cache
Server: bfe/1.0.8.18

# https

$ curl -x http://127.0.0.1:8080/ -I https://www.baidu.com/

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

0 277 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0HTTP/1.0 200 Connection Established

HTTP/1.1 200 OK

Accept-Ranges: bytes

Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform

Connection: Keep-Alive

Content-Length: 277

Content-Type: text/html

Date: Tue, 09 Apr 2019 23:32:51 GMT

Etag: "575e1f7c-115"

Last-Modified: Mon, 13 Jun 2016 02:50:36 GMT

Pragma: no-cache

Server: bfe/1.0.8.18

# http

$ curl -x http://127.0.0.1:8080/ -I http://www.baidu.com/

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

0 277 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0HTTP/1.1 200 OK

Accept-Ranges: bytes

Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform

Connection: Keep-Alive

Content-Length: 277

Content-Type: text/html

Date: Tue, 09 Apr 2019 23:35:33 GMT

Etag: "575e1f80-115"

Last-Modified: Mon, 13 Jun 2016 02:50:40 GMT

Pragma: no-cache

Server: bfe/1.0.8.18

流水理鱼（wwek）的博客

Vue前端应用容器化打包示例

docker忽略文件

www.conf

Dockerfile

Docker Golang应用容器化打包示例

Dockerfile

docker-compose.yml

Docker Python应用容器化打包示例

使用CoreDNS作为你的内网DNS服务器

1. CoreDNS 是什么

2. CoreDNS功能特性

2.1 插件化（Plugins）

简单（Simplicity）

2.2 服务发现 (Service Discovery)

快速和弹性（ Fast and Flexible）

3. 配置一个内网自定义的服务化域名

4. 部署

5. 参考

[EFK]Filebeat采集多行日志文件

前言

配置示例

扩展

参考

用Golang实现一个简单的HTTP/HTTPS代理服务器

前言

全部代码

curl验证

参考资料

docker忽略文件

www.conf

Dockerfile

Dockerfile

docker-compose.yml

1. CoreDNS 是什么

2. CoreDNS功能特性

2.1 插件化（Plugins）

简单（Simplicity）

2.2 服务发现 (Service Discovery)

快速和弹性 （ Fast and Flexible）

3. 配置一个内网自定义的服务化域名

4. 部署

5. 参考

前言

配置示例

扩展

参考

前言

全部代码

curl验证

参考资料

快速和弹性（ Fast and Flexible）