Dev's Logging

Welcome to my blog !


Golang init order

Published at October 18, 2019 ·  1 min read

在某项目中的文件结构如下,a,b,c,d,e 中均有使用 init 函数,其中 c 中的 init 函数负责将初始化其他几个文件中初始化相关的逻辑,但是在实际测试中发现,d,e 中的初始化已经运行,但其数据迟迟不能被加载,只有 c 前的 a,b 中的数据能够顺利被加载。在经过多次测试后推测,Go 中的 init 执行是存在先后顺序,于是将 c 名称改为 z ,排在 a,b,d,e 之后,则发现原本不能被加载的 d,e 中的数据成功加载。 ├── a.go ├── b.go ├── c.go ├── d.go └── e.go 建议之后有类似需求的项目,可以将 c 文件单独放到放置或将其放到 main 中。...

SSHException: not a valid RSA private key file

Published at September 26, 2019 ·  1 min read

在使用 paramiko 或 fabric2 通过 private key 连接服务器时会遇到 SSHException: not a valid RSA private key file 的报错,此类问题一般是 private key 的格式,在 macOS 可以使用 brew install puttygen centos/ubuntu 中使用 apt-get install putty-tools or yum install putty 安装 putty ,并通过 puttygen id_rsa -O private-openssh -o new.key 将其转换成 private-openssh 格式,即可按照常规方式使用。...

reactjs 在本地开发使用 proxy 遇到的问题

Published at September 25, 2019 ·  1 min read

在 Reactjs 写前端时遇到的奇葩问题,在 react-scripts start 在 docker 容器中启动,需要在 package.json 中指定 proxy 地址。地址需要保证在reactjs 的容器中能够访问,而非 127.0.0.1:8000 或 localhost:8000 等本地地址。 然而,前后端分离中,后端 API 则在另外一个容器中,所以这里的地址就需要填写对应的地址就需要访问到相应的后端 API。 两种解决方案:1. 在 macOS 的开发环境中可以通过 host.docker.internal 外加端口即可访问宿主机相应的端口服务,2. 通过在 docker-compose 中配置的容器名,即 container_name:port 访问对应的容器资源。...

A 6 Part Introductory OpenSSL Tutorial

Published at September 9, 2019 ·  1 min read

对 openssl 做简单的介绍,如何创建私钥,如何通过私钥生成共钥,如何通过私钥加密内容,如何生成私钥和证书为 web 服务提供 ssl 加密 A 6 Part Introductory OpenSSL Tutorial...

阅读 Sniper 源码实现,学习 Golang 中重载机制的实现

Published at August 31, 2019 ·  1 min read

Sniper 是 Bilibili 开源的一款轻量级业务框架,通过阅读其代码,可以学习到很多优秀的设计理念,这里学习的主要是其中 cmd/server/main.go 中关于停止、重载的设计,首先利用 viper.OnConfigChange 函数监听配置文件,发生更改后,则向 reload channel 发送消息,通过 signal.Notify(stop, syscall.SIGTERM, syscall.SIGINT, syscall.SIGHUP) 监听 syscall.SIGTERM, syscall.SIGINT, syscall.SIGHUP 三个信号,并将其发送给 stop channel。其后在 for loop 循环中,通过 select case 获取两个channel 中的消息,进行相应的重制、停止等操作。 func main() { reload := make(chan int, 1) stop := make(chan os.Signal, 1) conf.OnConfigChange(func() { reload <- 1 }) conf.WatchConfig() signal.Notify(stop, syscall.SIGTERM, syscall.SIGINT, syscall.SIGHUP) startServer() for { select { case <-reload: util.Reset() case sg := <-stop: stopServer() // 仿 nginx 使用 HUP 信号重载配置 if sg == syscall....

通过 Golang 学习 http 协议,如何用 Golang 实现 https 代理

Published at August 31, 2019 ·  1 min read

在 http.HandlerFunc 中检查 r.Method 为 Connect 后及将请求交给 handleTunneling,其中关键的是将 http.ResponseWriter 转换为 http.Hijacker 接管连接,并通过两个 goroutine transfer 复制请求。 func handleTunneling(w http.ResponseWriter, r *http.Request) { dst, err := net.DialTimeout("tcp", r.Host, 10*time.Second) if err != nil { http.Error(w, err.Error(), http.StatusServiceUnavailable) return } w.WriteHeader(http.StatusOK) hijacker, ok := w.(http.Hijacker) if !ok { http.Error(w, "Hijacking not supported", http.StatusInternalServerError) return } conn, _, err := hijacker.Hijack() if err != nil { http.Error(w, err.Error(), http.StatusServiceUnavailable) } go transfer(dst, conn) go transfer(conn, dst) } func transfer(dst io....

通过 Golang 学习 http,几行代码实现 http proxy

Published at August 30, 2019 ·  1 min read

这个 Github 作为通过 Golang 学习 http 中的其中一篇教程,非常简单明了。 其中关于 http proxy 代理用户校验部分代码如下,r.Header.Get("Proxy-Authorization") 从 request 的 header 中获取 ‘Proxy-Authorization’ 并将其通过 base64 解码获取用户名和密码进行校验。 若失败则直接将 http status code 通过 w.WriteHeader 返回给用户端。 func basicAuth(w http.ResponseWriter, r *http.Request, users []User) bool { var auth = r.Header.Get("Proxy-Authorization") if ms := strings.Split(auth, " "); len(ms) == 2 && ms[0] == "Basic" { // check user:password up, err := base64.StdEncoding.DecodeString(ms[1]) if err == nil { if ms := strings....

在长城宽带等某些垃圾宽带的网络环境下,通过 ssh 连接某些服务器经常会出现 timeout 的解决方法

Published at August 30, 2019 ·  1 min read

可在 .ssh/config 中配置以下命令,通过 ssh q 连接服务器。 HostName 为目标服务器 ip, -X 5 为 socks5 代理, localhost:6153 为 socks5 代理地址。 Host q HostName 47.240.33.24 User root ProxyCommand nc -X 5 -x localhost:6153 %h %p 与此方法类似的是,可以配置通过跳板机,在客户端直接访问内网服务器。jumper server 为跳板机,在正常情况下,处于内网环境的 target 服务器无法直接从客户端访问,需经过跳板机访问,此时,则可通过如下配置,在 Terminal 中运行 ssh target 访问跳板机后面的目标服务器。 Host target HostName 172.16.6.2 Port 35000 User root IdentityFile /Users/tonywang/target.key ProxyCommand ssh -q -W %h:%p jumperserver Host jumperserver HostName 192.168.1.2 Port 35000 IdentityFile /Users/tonywang/js.key User root ...

Essential Go Interview Questions

Published at August 16, 2019 ·  1 min read

Golang 基础的面试题,答案结合问题详细的解释 Golang 的技巧 Essential Go Interview Questions...

Go Defer Simplified with Practical Visuals

Published at August 15, 2019 ·  1 min read

详细的讲解了 defer 在 Golang 中的实现原理及各种特殊情况,当 defer 时,其传入的参数及被注册(运行),到程序结尾再执行 defer 中的代码。defer 按照 stack 的先进后出的原则,当有多个 defer 时,最开始的 defer 最后执行 Go Defer Simplified with Practical Visuals...

Tags

abcs accept acid activemq affinity algorithm allocation android array async aws b+tree b-tree backoff benchmark best-practices bfs big-o bigquery bind bitcount blog break broker bubble buffer cache cap cert cgroups channel citus class classmethod cluster concurrency config consumer container cookie cors crawler cronjob csrf ctr data-science data-structure database datadog dataflow datascience decorator defer dfs distributed django dns docker double-shipping drf ecosia elastic-search enumerate epoll extra fabric2 facebook-pixel financial-report flask flutter forward-proxy freelance frontend frp garbage-collector gc gcp generator get gil git golang goroutine graphql ha handbook haproxy hash hash-slot hashring hashtable hpa http http-auth http-proxy http_proxy https index init innodb instagram intergration interview ios javascript jinja2 jobboard jwt k8s kafka kibana kqueue label lambda layer4 layer7 lean levels.io linked-list linux list listen loadbalancer logs long-tail lru marketing master matplotlib memory merge metaclass metaprogramming metrics metrics-server microservices mitm model mq myisam mysql namespace nat netflix network-extension nginx nodejs nomad nosql npm oodesign openssl optimization orm pandas parallelism paramiko parkinglot patroni permission pg pipeline pixelme post postgresql postresql prefetch_related prerender private-key process proxy proxycommand put pvm python queue rabbitmq rbac react-native reactjs rebase redis redis-cluster replication resource rest restfulapi retargeting retry revenue reverse-proxy rocketmq rsa saas scaleable search-engine security select seo serverless service session set shadosocks shadowsocks shard sharding shell shopify sigint signal sigterm slack slave slow-query sniper sns socket socks5 source-code spa sql sqlalchemy sqs ssh ssl ssl-pinning stack startup state stateful stateless staticmethod string struct swift switch syscall system-design systemctl tcp tcp-proxy thread tmpreaper token traefik trustkit tunning type typeform udp variable vc vpn vuejs web web-development where yarn zset 削峰 宽索引 异步 窄索引 解耦 跨域 跳板机


Archives

2019 (141)