GitHub Pages 的妙用

本来是想好好工作的

最近换了新工作(后面找个时间好好说说),大量接触 k8s & docker,开始写了比较多的 yaml 和 Dockerfile;散落在电脑上的话,还是很不方便,有个仓库管理起来的话,就会很方便了,于是有了这个项目 samzong/k8s-yaml

k8s-yaml 一开始的定义就是 public,希望给更多其他的人提供帮助,索性就再增加了一个网页吧

一分钟快速搭建网站

git branch gh-pages
echo "## Hello gh-pages" > index.md
git push origin gh-pages

eeen…. 这样就 ok!

gh-pages 是每个 GitHub 仓库的默认 github pages 分支,当你创建这个分支并推动到 GitHub 时,会自动触发 Pages 的构建任务,大约 30s 左右,你就会得到一个网站

http://[github_username].github.io/[github_repo_name]

简单的配置

X4tbDt

上图简单指引了如何打开 GitHub Pages 的配置路径,下面对主要的几个模块进行说明:

  1. Source - 指定的 以那个分支作为 built 源和文件夹,默认是 gh-pages, 建议不动,统一认知
  2. Theme Chooser - 选择对应的博客主题,大概有 10 个,都比较普通,根据自己喜好来,可以自定义,这里不展开 (Google Jekyll themes 一大堆
  3. Custom Domain - 可以指定默认的特定的域名,需要配置 /CNAME,需要和这里的域名一致,同时域名解析需要配置好 CNAME
  4. Enforce HTTPS - 启用 HTTPS,默认不启动,建议启用

CNAME 配置,将指定的域名指向到 [github_username].github.io

经过简单的配置,这个仓库的网站,已经完成了你想要的;在 index.md 内修改为你想要的内容。

高级功能:结合 GitHub issue 的评论功能

这里采用的 评论组件是 utterances, 提供轻量级的博客评论功能,并且评论是直接创建 GitHub issue,方便管理

这里不赘述安装细节的,比较简单,直接去看下面几个网站即可

注意需要增加的文件

mkdir _layouts
wget https://raw.githubusercontent.com/SAMZONG/k8s-yaml/gh-pages/_layouts/post.html -o _layouts/post.html

index.md 增加 layout 参数,追加在最顶部

---
layout: post
---
git add _layouts/post.html
git add index.md

git commit -m "add comment module with utterances"
git push origin gh-pages

End

以上就是全部的部署内容了,可以去看下我的网站和项目

如果你觉得喜欢,求 fork,求 star


2022-04-22 Github

Kubernetes 部署错误解决汇总

1. kubeadm init失败,提示 kubelet 启动失败或 不健康

解决思路:

  • systemctl status kubelet 查看当前状态
  • 通过 journalctl -xeu kubelet 查看 启动时的错误原因,得到错误原因如下
root@master1:~# journalctl -xeu kubelet
-- Subject: A stop job for unit kubelet.service has finished
-- Defined-By: systemd
-- Support: http://www.ubuntu.com/support
--
-- A stop job for unit kubelet.service has finished.
--
-- The job identifier is 33099 and the job result is done.
Apr 21 00:55:30 master1 systemd[1]: Started kubelet: The Kubernetes Node Agent.
-- Subject: A start job for unit kubelet.service has finished successfully
-- Defined-By: systemd
-- Support: http://www.ubuntu.com/support
--
-- A start job for unit kubelet.service has finished successfully.
--
-- The job identifier is 33099.
Apr 21 00:55:30 master1 kubelet[13732]: Flag --network-plugin has been deprecated, will be removed along with dockershim.
Apr 21 00:55:30 master1 kubelet[13732]: Flag --network-plugin has been deprecated, will be removed along with dockershim.
Apr 21 00:55:30 master1 kubelet[13732]: I0421 00:55:30.937042   13732 server.go:446] "Kubelet version" kubeletVersion="v1.23.5"
Apr 21 00:55:30 master1 kubelet[13732]: I0421 00:55:30.937252   13732 server.go:874] "Client rotation is on, will bootstrap in background"
Apr 21 00:55:30 master1 kubelet[13732]: I0421 00:55:30.938245   13732 certificate_store.go:130] Loading cert/key pair from "/var/lib/kubelet/pki/kubelet-client-curr>
Apr 21 00:55:30 master1 kubelet[13732]: I0421 00:55:30.938707   13732 dynamic_cafile_content.go:156] "Starting controller" name="client-ca-bundle::/etc/kubernetes/p>
Apr 21 00:55:30 master1 kubelet[13732]: W0421 00:55:30.971257   13732 machine.go:65] Cannot read vendor id correctly, set empty.
Apr 21 00:55:30 master1 kubelet[13732]: I0421 00:55:30.971823   13732 server.go:693] "--cgroups-per-qos enabled, but --cgroup-root was not specified.  defaulting to>
Apr 21 00:55:30 master1 kubelet[13732]: E0421 00:55:30.971921   13732 server.go:302] "Failed to run kubelet" err="failed to run Kubelet: running with swap on is not>
Apr 21 00:55:30 master1 systemd[1]: kubelet.service: Main process exited, code=exited, status=1/FAILURE
-- Subject: Unit process exited
-- Defined-By: systemd
-- Support: http://www.ubuntu.com/support
--
-- An ExecStart= process belonging to unit kubelet.service has exited.
--
-- The process' exit code is 'exited' and its exit status is 1.

问题原因:注意看 **"Failed to run kubelet"** 后面的 err原因 : err=**"failed to run Kubelet: running with swap on is not>**

这里是因为 主机上的 swap 还是打开的,所以导致 kubelet 启动失败;原因是:在 Kubernetes 1.22 之前,节点不支持使用虚拟内存,如果在节点上检测到虚拟内存,kubelet 将默认无法启动。

知识扩展

  1. 什么是 swap memory?一般称为虚拟内存,虚拟内存的作用是

1. 多次使用 kubeadm init时报错,提示文件已存在,端口被占用

错误原因:

root@master1:~# kubeadm init
[init] Using Kubernetes version: v1.23.5
[preflight] Running pre-flight checks
error execution phase preflight: [preflight] Some fatal errors occurred:
 [ERROR Port-6443]: Port 6443 is in use
 [ERROR Port-10259]: Port 10259 is in use
 [ERROR Port-10257]: Port 10257 is in use
 [ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
 [ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
 [ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists
 [ERROR FileAvailable--etc-kubernetes-manifests-etcd.yaml]: /etc/kubernetes/manifests/etcd.yaml already exists
 [ERROR Port-10250]: Port 10250 is in use
 [ERROR Port-2379]: Port 2379 is in use
 [ERROR Port-2380]: Port 2380 is in use
 [ERROR DirAvailable--var-lib-etcd]: /var/lib/etcd is not empty
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher

解决方法

  • 需要将之前产生的文件进行清楚,一个简单的命令
kubeadm reset

2022-04-21 Kubernetes

需要了解的 K8s 发行版本

K8s 的发行版本

6ngC8v

开始学习喜欢的东西,上面的每一个都要了解


2022-04-19 竞品

CKA 考试准备

汇总

本来预计 4 月 10 号左右,可以开始准备 CKA 的考试了,因为疫情在家办公,再加上报名去做志愿者,所以这个时间耽搁到了现在才开始

时间成本

在这里记录下整个学习过程,也给大家预估下,不走培训机构,自学大概需要多久的时间

时间 事项 耗费时间
2022-04-16 了解什么是 CKA 和考试内容,捡起来 Docker 的知识,个人项目转为 Docker Image 并推送到 dockerhub 1d
2022-04-17 在个人电脑上成功运行起来 K8s 的环境,并完成个人项目部署 1d

体会

  • 有段时间没回过头来弄代码了,平时写比较多是项目上的小脚本,系统化把一个项目改造为 Docker image,再来了一遍,整个优化过程的感觉还是很舒服的

学习资料

培训机构的大纲

大致培训时间是 3 天,给自己预估的学习时间大概是 一周左右的时间

  • CKA 最新考纲解读与 Kubernetes 入门(Day 1/上午)
    • CKA 考试大纲解读
    • Kubernetes 基本概念与应用场景
    • Kubernetes 主要功能特性、集群架构与组件
    • 使用 kubeadm 安装集群与版本升级
    • etcd 数据备份与还原
    • kubectl 使用、shell 自动补
  • Kubernetes 工作负载、调度与 Helm(Day 1/下午)
    • Pod 基本操作、生命周期、回调与探针
    • 初始化与临时容器
    • 使用 Deployment 部署自修复无状态服务
    • 使用Deployment滚动更新/回滚/扩缩无状态服务
    • 使用 StatefulSet 部署有状态服务
    • 使用 DaemonSet 部署守护进程
    • 深入理解控制器工作原理
    • 使用 ConfigMaps 和 Secrets 配置应用程序
    • Kubernetes 调度策略实践
    • 资源限制如何影响 Pod 调度
    • 理解调度器工作原理
    • 各种调度策略使用场景总结
    • 使用Helm部署/升级/回滚/下线服务
    • Helm 回调与 Chart 编写
  • Kubernetes 服务与网络(Day 2/上午)
    • 定义 Service 与 Endpoint
    • Service Iptables 与 IPVS 代理模式
    • 通过 Service 名称与 ClusterIP 集群内互访
    • 通过 NodePort、Ingress、LoadBalancer 集群外访问
    • CoreDNS 原理介绍
    • 配置和使用 CoreDNS
    • 同Pod/同Node/跨Node/跨集群互通性
    • 常见网络接口插件工作原理与适用场景
    • 常见网络故障排查
  • Kubernetes 存储与安全(Day 2/下午)
    • Volume、PV、PVC、StorageClass
    • 卷模式、访问模式和卷回收策略
    • 理解持久容量声明原语
    • 了解如何配置具有持久性存储的应用程序
    • 认证、授权与鉴权
    • 管理基于角色的访问控制(RBAC)
    • Pod 和容器操作权限安全策略
    • Network Policy
  • Kubernetes 监控日志、故障排查(Day 3/上午)
    • 如何监控一个 Kubernetes 应用
    • 查看与管理集群和节点日志
    • 管理容器标准输出和标准错误日志
    • 如何解决应用程序故障
    • 对群集组件故障进行故障排除
    • Kubernetes 其他常见问题定位
  • CKA 考试注意事项与模拟演练(Day 3/下午)
    • CKA 真题演练与解析【重点】
    • CKA 考试注意事项及应试答疑

2022-04-18 CKA

Dockerfile Run at M1 processor build failed

Apple M1 processor

在使用了 Apple M1 的笔记本后,在 docker 使用遇到了一些问题,这里做些笔记记录下来

pull image error

Error “no matching manifest for linux/arm64/v8 in the manifest list entries”

在我尝试想要 pull 下来时,得到上面的一个错误;同样的问题,我在编写 Dockerfile 和 docker-compose.yml 都遇到这样的问题

docker-compose.yml

version: '3.9'

services:
  # Database
  db:
    image: mysql-server:5.7
    volumes:
      - db_data:/var/lib/mysql
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: pass
      MYSQL_DATABASE: wp
      MYSQL_USER: wp
      MYSQL_PASSWORD: wp
    networks:
      - wpsite    

解决思路

需要指定下 plaform ,当我运行在 Apple M1 上,变更部分如下:

services:
  # Database
  db:
    platform: linux/x86_64  # set platform
    image: mysql-server:5.7
    ...

如果只是在 docker pull 时,增加指定参数即可:

docker pull --plaform linux/x84_64 mysql-server:5.7

2022-04-17 Docker , Apple M1

python Request install pip error

…
socket.timeout: The read operation timed out
…
ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org’, port=443): Read timed out.

解决办法:

pip --default-timeout=200 install -U xxx_package_name


2022-04-17 Python

Metabase 上手 - 使用 Jar 运行

Metabase Documentation

这里主要是 metabase 的部署和使用方法,以及相关的组件的使用方法。

我正在打造一个中文环境下 Metabase 交互的社群,如果你有任何关于 Metabase 的问题,请联系我们:

Metabase 中文交流 https://t.me/metabase_zh

Installation

Metabase 的安装方式有三种:

  • 以 Jar 包的形式,在本地运行,只需要简单的步骤即可 (本文)
  • 以 Docker 容器的形式,部署到服务器上

以 Jar 的方式来运行相对简单,对环境依赖也是比较少,只要的电脑上有 JDK 就可以了。

检查 Java 环境

java -version

=> java version "1.8.0_311"
=> Java(TM) SE Runtime Environment (build 1.8.0_311-b11)
=> Java HotSpot(TM) 64-Bit Server VM (build 25.311-b11, mixed mode)

Metabase 要求 Java 8 及以上,如果你的环境不支持,请先升级

获取 Metabase 的 Jar 包

https://metabase.com/start/jar.html

通过上方这个链接,可以很快的获取到 Metabase 的最新版本的 Jar 包

启动 Metabase

java -jar metabase.jar

通过一个简单的命令,就可以启动 Metabase 了,这个命令会自动检查环境,如果环境没问题,就会自动启动 Metabase 了。

生产环境的 MetaBase 路径是 /data/product/metabase/

成功启动后,Metabase 会运行在 3000 端口

http://localhost:3000/

以后台方式运行 Metabase

nohup java -jar metabase.jar > metabase.log 2>&1 &

日志文件会保存在本地的 metabase.log 文件中,如果你想查看 Metabase 的日志,可以使用 tail -f metabase.log 来查看。

Configuration

配置 Metabase 的数据库

Metabase 默认的采用的是 H2 的作为数据库存储,会存放在程序运行目录下的 data 目录下;但对于在正式环境中启用 Metabase,我们建议使用 MySQL 来作为数据库存储。

而指定 Metabase 的数据库配置,可以很方便的加载到系统的默认环境中:


vim ~/.bashrc

# update metabase config at .bashrc
export MB_DB_TYPE=mysql
export MB_DB_DBNAME=metabase
export MB_DB_PORT=3306
export MB_DB_USER=
export MB_DB_PASS=
export MB_DB_HOST=
export MB_DB_CONNECTION_URI="mysql://MB_DB_HOST:MB_DB_PORT/MB_DB_DBNAME?user=MB_DB_USER&password=MB_DB_PASS"
export JAVA_TIMEZONE=Asia/Shanghai

配置 Metabase 的 Nginx

通过配置 Metabase 的 Nginx,可以让 Metabase 在网站上运行,这样可以开放外部服务给使用者

对 Nginx 的配置,比较简单,可以参考这个文档:

server {
 listen 443 ssl;
 server_name example.com;
 root /var/www/example.com/public;

 # reverse proxy
 location /mb/ {
  proxy_pass http://127.0.0.1:3000;
  proxy_set_header Host $Host;
 }
}

overseas-metabase 的 配置文件放在 /etc/nginx/config.d/leyan.core 下,在 80.conf 内 引用

配置 Metabase 的 ClickHouse 插件

Metabase 官方支持数据库 https://www.metabase.com/docs/latest/administration-guide/01-managing-databases.html#officially-supported-databases

Metabase 默认支持非常丰富数据库驱动,这些都会预置在 Jar 内,例如 MySQL、Oracle、SQL Server;但是 ClickHouse 不在其中,所以我们需要独立进行安装。

ClickHouse 驱动:https://github.com/enqueue/metabase-clickhouse-driver#readme=

  • 下载 合适的 驱动版本,放在 Metabase 的目录下的 plugin 文件夹下
  • 重新启动 Metabase 即可
  • 在 Metabase 的数据库管理中新增数据库,选择类型为 ClickHouse

更多三方驱动:https://www.metabase.com/docs/latest/developers-guide-drivers.html#how-to-use-a-community-built-driver

Tips

1. 如何重启 Metabase ?

直接杀掉进程即可,如果为了以后方便,可以将下述命令保存为 stop.sh 放在目录下,后续直接执行

APP_NAME="metabase"

ps aux | grep python | grep ${APP_NAME} | awk '{print $2}' | xargs kill -9

2022-04-15 Metabase

SQL 对时间整点的处理

需要取值整点时间

项目上需要取值上一个整点的数据查询处理,落表,然后实现按小时更新

ClickHouse

subtractHours(date_trunc('hour',now()),1)

MySQL

and auth_time >= DATE_SUB(DATE_FORMAT(now(),'%Y-%m-%d %H:00:00'),interval 1 hour)
and auth_time < DATE_FORMAT(now(),'%Y-%m-%d %H:00:00')

2022-04-15 ClickHouse

淘宝 Python SDK 优化支持 Python3

淘宝开放平台的 SDK,Python 的 SDK 是在 2012 年,仅支持 Python2.7 及以上,但不支持 Python3;二现在是 2102 年了,像我这样的新手都是直接从 Python3 开始的

Install & Usage

pip install taobao-openapi

import taobao-openapi as tbapi

持续补充 SDK 能力

淘宝开放平台后台下载获取到的 SDK 文件,会根据应用的权限生产对应的 SDK 包,所以你可能获取到的是几十个或者上百个

NOTE: 如果你有其他的 SDK 没有在文档中找到,可以反馈给我或者提 Pull requests,大家一起扩充 SDK

  • v1.0.6 fix 文档错误
  • v1.0.4 增加更多接口
  • v1.0.3 增加更多接口
  • v1.0.2 添加 Wdt QimenCloud-openapi
  • v1.0.1 适配 taobao-openapi

使用说明


import top.api
import json

app_key = 
app_secret = 
session_key = 

def trade_rates_get_request():
 req = top.api.TraderatesGetRequest()
 req.set_app_info(top.appinfo(app_key, app_secret))
 
 req.fields = "tid,oid,role,nick,result,created,rated_nick,item_title,item_price,content,reply,num_iid"
 req.rate_type = "get"
 req.role = "buyer"
 
 try:
  resp = req.getResponse(session_key)
 except Exception as e:
  print(e)


if __name__ == '__main__':
 result = trade_rates_get_request()
 print(result)

适配部分介绍

以下为了省时间,基本引用了 https://blog.csdn.net/starryhwj/article/details/103026402 补充了 8 同时感谢 @ymj4023

1. Python3 int 替代了 long

FROM: str(long(time.time() * 1000))

TO: P_TIMESTAMP: str(int(time.time() * 1000))

2. 用 items 替代 iteritems

FROM: for key, value in application_parameter.iteritems():

TO: for key, value in application_parameter.items():

3. dict 方法优化

查阅资料,发现有人说到 dict methods dict.keys(), dict.items() and dict.values() return“views”instead of lists.这样就显而易见知道怎么改了:

FROM: keys = keys.sort()

TO: keys = sorted(keys)

4. unicode 对象需要编码

英文意思很明确,unicode 对象在哈希之前必须进行编码转换,想起之前又看到过中文字符在 python 中是以 unicode 存在的,所以:

FROM: sign = hashlib.md5(parameters)).hexdigest().upper()

TO: sign = hashlib.md5(parameters.encode("utf-8")).hexdigest().upper()

5. soket.py HttpConnection

这是花费时间最长的一个错误。首先,直接看最后,错误在 soket.py 里,心凉了半截,难道这里的调用都不一样了,再网上看又是 python 3.X 的 http 模块,去百度了半天也没有发现类似的错误,只能自己硬着头皮去看模块,功夫不负有心人,其实也很简单,在类 HTTPConnection 的初始化函数是这样定义的:

FROM: connection = httplib.HTTPConnection(self.__domain, self.__port, False, timeout)

TO: connection = httplib.HTTPConnection(self.__domain, self.__port, timeout)

比较下参数发现,python 2 比 3 多了一个参数,去掉即可,这个错误主要是是报错的地方和修改的地方不在一起,所以很难插出原因。

6. urllib 方法升级

官方文档是这样解释的:urllib has been split up in Python 3. The urllib.urlencode() function is now urllib.parse.urlencode(), and the urllib.urlopen() function is now urllib.request.urlopen()

FROM: url = N_REST + "?" + urllib.parse.urlencode(sys_parameters)

TO: url = N_REST + "?" + urllib.urlencode(sys_parameters)

7. jsonobj 异常抛出

这个错误是在 API 调用出异常的时候暴露出来的。原因前面已经提到了,稍微查了下替代的方法:

if "error_response" in jsonobj:

if P_CODE in jsonobj["error_response"]:

8. is not 修改为 !=

在 if 需要使用反向时,应该是 != ,而不是使用 is not;这个也是 PyCharm 给的建议,所以在使用时,所以简单调整下就好了

FROM: if respone.status is not 200:

TO: if response.status != 200:

以上调整之后,基本就可以正常跑起来了,基本是可以支持 Python3 的使用,我试过了 Python3.6-3.9,都是 OK 的。

pypi HowTo

把你的库上传到 pypi 之前,主要依赖的是 setup.py,下方是对应的 demo

  • 打包 python3 steup.py sdist
  • twine upload dist/*

注意:需要先安装 setuptools twine

# /usr/bin/env python3
# -*- coding: utf-8 -*-

import setuptools
from distutils.core import setup
import codecs
import os
import sys

try:
 from setuptools import setup, find_packages
except:
 from distutils import setup

with open('README.md', 'r', encoding="utf-8") as fp:
 readme = fp.read()

VERSION = "1.0.0"
LICENSE = "MIT"

setup(
 name='taobao-openapi',
 version=VERSION,
 description=(
  '集合了淘宝开放平台的商铺 OPEN API,并适配了 Python3'
 ),
 long_description=readme,
 long_description_content_type='text/markdown',
 author='samzong.lu',
 author_email='samzong.lu@gmail.com',
 maintainer='samzong.lu',
 maintainer_email='samzong.lu@gmail.com',
 license=LICENSE,
 packages=find_packages(),
 platforms=["all"],
 url='https://github.com/SAMZONG/taobao-sdk-python3',
 install_requires=[
  "requests"
  ],
 classifiers=[
  'Development Status :: 4 - Beta',
  'Operating System :: OS Independent',
  'Intended Audience :: Developers',
  'License :: OSI Approved :: BSD License',
  'Programming Language :: Python',
  'Programming Language :: Python :: Implementation',
  'Programming Language :: Python :: 3',
  'Programming Language :: Python :: 3.4',
  'Programming Language :: Python :: 3.5',
  'Programming Language :: Python :: 3.6',
  'Programming Language :: Python :: 3.7',
  'Programming Language :: Python :: 3.8',
  'Programming Language :: Python :: 3.9',
  'Topic :: Software Development :: Libraries'
  ],
 )

2022-04-14 Python

Python Pip 国内加速

目前国内还是有比较多的镜像站,截止目前使用下比较稳定的只有下面这个 清华的镜像站了

安装特定包时加速


pip install pandas -i http://pypi.douban.com/simple

修改默认的 pip 源


# mkdir ~/.pip

# cat ~/.pip/pip.conf  <<EOF
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = pypi.tuna.tsinghua.edu.cn
EOF

文件保存后,pip 的源就更新成功了,使用 pip config list 确认下是否切换成功


2022-04-14 Python