简介

Zsim模拟器是

• 一个快速的x86-64多核模拟器，它利用英特尔Pin工具包收集进程的内存访问跟踪，并在zsim模拟器中重放跟踪。
• 一种基于 PIN 的二进制插桩工具，可以在运行时对指令进行插桩，并插入自定义的函数调用，用于模拟内存子系统的行为。
• 它最初是为了评估ZCache而编写的，但后来它扩展了其功能
• zsim的主要目标是快速，简单和准确，重点是模拟内存层次结构和大型异构系统

笔误改正

thefuck

Cheat sheet (命令行小抄/备忘录)

1
2

npm install -g tldr
pip3 install tldr

1
2
3
4
5

# install
cargo install tealdeer

# 使用
tdlr <>

1
2
3
4
5
6
7
8
9

# install
cargo install --locked navi

# download default cheatsheet
navi repo add denisidoro/cheats 

# 使用
navi
# 基于fzf寻找需要指令

SHELL

awesome-shell里多看看。

1
2
3
4
5
6

HOME=/home/t00906153
export SHELL=zsh
export HOME=$HOME
export HISTFILE=$HOME/.zsh_history
cd
zsh

1
2
3
4
5

HOME=/home/xxx
export SHELL=zsh
export PATH=$HOME/.local/bin:$PATH
export HISTFILE=$HOME/.zsh_history
zsh

1
2
3
4

# git clone https://github.com/Kirrito-k423/QuickStartLinux.git --depth=1
# cd QuickStartLinux/resources
wget https://raw.githubusercontent.com/Kirrito-k423/QuickStartLinux/main/resources/zsh.tar
tar xvf zsh.tar -C $HOME

1
2
3
4
5
6
7
8
9

HISTFILE=~/.zsh_history
SAVEHIST=30000 # 最多 10000 条命令的历史记录
setopt APPEND_HISTORY #  退出 zsh 会话时，命令不会被覆盖式地写入到历史文件，而是追加到该文件的末尾
setopt INC_APPEND_HISTORY # 会话进行中也会将命令追加到历史文件中
setopt SHARE_HISTORY # 所有会话中输入的命令保存到一个共享的历史列表中
export HIST_SAVE_FREQ=10  # 每10次命令保存一次
ulimit -c unlimited
echo '$HOME/core-%e.%p.%h.%t' > /proc/sys/kernel/core_pattern
cd ~

窗口管理器 tmux-like

1
2
3
4
5
6
7
8
9
10
11
12

## Install
cd
git clone https://github.com/gpakosz/.tmux.git
ln -s -f .tmux/.tmux.conf
cp .tmux/.tmux.conf.local .

# or
cd ~/resources
# wget https://gitee.com/shaojiemike/oh-my-tmux/repository/blazearchive/master.zip?Expires=1629202041&Signature=Iiolnv2jN6GZM0hBWY09QZAYYPizWCutAMAkhd%2Bwp%2Fo%3D
unzip  oh-my-tmux-master.zip -d ~/
ln -s -f ~/oh-my-tmux-master/.tmux.conf ~/.tmux.conf
cp ~/oh-my-tmux-master/.tmux.conf.local ~/.tmux.conf.local

开发编辑器 vim-like

1
2

git clone --depth=1 https://github.com/amix/vimrc.git ~/.vim_runtime
sh ~/.vim_runtime/install_awesome_vimrc.sh

1
2
3

add-apt-repository ppa:kelleyk/emacs
apt-get update
apt-get install emacs27

1
2
3
4

dpkg-deb: error: paste subprocess was killed by signal (Broken pipe)
Errors were encountered while processing:
/var/cache/apt/archives/emacs27-common_27.1~1.git86d8d76aa3-kk2+20.04_all.deb
E: Sub-process /usr/bin/dpkg returned an error code (1)

1
2
3
4
5
6
7

sudo apt --purge remove emacs27
sudo apt --purge remove emacs
sudo apt --purge remove emacs-common
sudo apt --fix-broken install
sudo apt autoremove
sudo apt install emacs27
emacs --version

1
2

git clone --depth 1 https://github.com/doomemacs/doomemacs ~/.emacs.d
~/.emacs.d/bin/doom install

常用命令的”Colorful”版本

cd

1
2
3
4
5

curl -R -O http://www.lua.org/ftp/lua-5.4.4.tar.gz       
tar zxf lua-5.4.4.tar.gz       
cd lua-5.4.4       
make all test       
sudo make install # usr/bin       

1
2
3
4
5
6
7
8
9
10

cd ~/github
git clone https://github.com/skywind3000/z.lua.git

# vim ~/.zshrc
alias zz='z -c' # 严格匹配当前路径的子路径
alias zi='z -i' # 使用交互式选择模式
alias zf='z -I' # 使用 fzf 对多个结果进行选择
alias zb='z -b' # 快速回到父目录
#eval "$(lua /path/to/z.lua  --init zsh)"    # ZSH 初始化
eval "$(lua ~/github/z.lua/z.lua  --init zsh)"

1
2
3
4
5
6
7
8
9
10
11
12

# 弹出栈顶 (cd 到上一次的老路径)，和 "z -0" 相同
$ z -

# 显示当前的 dir stack
$ z --

# 交互式
z -i foo    # 进入交互式选择模式，让你自己挑选去哪里（多个结果的话）
z -I foo    # 进入交互式选择模式，但是使用 fzf 来选择

# 匹配
z foo$

1
2
3
4
5
6
7
8
9
10

z foo       # 跳转到包含 foo 并且权重（Frecent）最高的路径       
z foo bar   # 跳转到同时包含 foo 和 bar 并且权重最高的路径       
z -r foo    # 跳转到包含 foo 并且访问次数最高的路径       
z -t foo    # 跳转到包含 foo 并且最近访问过的路径       
z -l foo    # 不跳转，只是列出所有匹配 foo 的路径       
z -c foo    # 跳转到包含 foo 并且是当前路径的子路径的权重最高的路径       
z -e foo    # 不跳转，只是打印出匹配 foo 并且权重最高的路径       
z -i foo    # 进入交互式选择模式，让你自己挑选去哪里（多个结果的话）       
z -I foo    # 进入交互式选择模式，但是使用 fzf 来选择       
z -b foo    # 跳转到父目录中名称以 foo 开头的那一级       

ls

1
2
3
4
5
6
7
8
9

# Manual installation from GitHub. Ubuntu 20.10才支持
wget https://github.com/ogham/exa/releases/download/v0.10.1/exa-linux-x86_64-musl-v0.10.1.zip
unzip exa-linux-x86_64-musl-v0.10.1.zip
mv bin/exa ~/.local/bin

# 使用
exa -l
# 文件夹大小
du -d 1 -h .

grep

rg （Fast & Good multi-platform compatibility） > ag > ack(ack-grep) 🔥

1
2

# 当前文件夹下查找 dlog关键字
find . -type f -exec awk '/dlog/ {print FILENAME, $0}' {} +

1
2
3
4
5
6

# ripgrep(rg) 但是readme说这样有bugs       
sudo apt-get install ripgrep       
# 可执行文件 （推荐）    
wget https://github.com/BurntSushi/ripgrep/releases/download/13.0.0/ripgrep-13.0.0-x86_64-unknown-linux-musl.tar.gz      
tar -zxvf ripgrep-13.0.0-x86_64-unknown-linux-musl.tar.gz       
mv ./ripgrep-13.0.0-x86_64-unknown-linux-musl/rg ~/.local/bin       

1
2
3
4

# ag 2020年就不维护了       
apt-get install silversearcher-ag       
# It ignores file patterns from your .gitignore and .hgignore.       
# use -u or -U option to reinclude these files to search scoop       

find

find . -name "*xxx*"

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# ubuntu
sudo apt install fzf

# GIT install
git clone --depth 1 https://github.com/junegunn/fzf.git ~/.fzf
~/.fzf/install
source ~/.zshrc
# Vim-plugin
Plug 'junegunn/fzf', { 'do': { -> fzf#install() } }

# 使用
fzf --preview 'less {}'

# 安装了bat
fzf --preview "batcat --style=numbers --color=always --line-range :500 {}"

1
2
3
4
5
6
7
8
9
10

# 先安装vim-plug
curl -fLo~/.vim/autoload/plug.vim --create-dirs \ https://raw.githubusercontent.com/junegunn/vim-plug/master/plug.vim
# 修改~/.vimrc
call plug#begin()
Plug 'nvim-lua/plenary.nvim'
Plug 'nvim-telescope/telescope.nvim'
call plug#end()

# 还需要 Neovim
to do

cat

1
2
3
4
5
6
7
8

# Install
sudo apt install bat

# 使用
batcat filename
# 指定行号
alias cat="batcat"
cat -r 35:42 /etc/hosts

git

1
2
3
4
5
6
7
8
9

# 建议Rust，三句命令，安装Rust，source，gitui
curl https://sh.rustup.rs -sSf | sh
source $HOME/.cargo/env
cargo install gitui

# 安装（由于还在开发中建议去官网 , 现在不支持armV7
wget https://github.com/extrawurst/gitui/releases/download/v0.20.1/gitui-linux-musl.tar.gz
tar -zxvf gitui-linux-musl.tar.gz
mv gitui ~/.local/bin

1
2
3
4
5
6

# install go
wget https://go.dev/dl/go1.18.1.linux-amd64.tar.gz

git clone https://github.com/jesseduffield/lazygit.git
cd lazygit
go install

docker

lazydocker

高亮终端输出/log文件

1
2
3
4
5

RED='\033[0;31m'       
NC='\033[0m' 
# No Color       
printf "I ${RED}love${NC} Stack Overflow\n"       
echo -e "\033[5;36m Orz 旧容器(镜像)已清理\033[0m"       

1
2
3
4
5

git clone https://github.com/mbornet-hl/hl       
make clean; 
make      
cp hl /usr/local/bin 
# move       

1
2
3

# 前面 123 是深浅 ， 4是下划线       
# 字母大写是背景色反转       
-r : red        -g : green        -y : yellow        -b : blue        -m : magenta        -c : cyan        -w : white        

1

cat exemple.log | hl -g start -r stop       

1
2
3
4
5
6
7

-e : extended regular expressions
-i : ignore case

hl -ei -g '(start(|ing|ed))' -r '(stop(|ping|ped))'

## ip 匹配
curl --trace-ascii - www.baidu.com|hl -ei -1R '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}'

1
2

export HL_CONF=/staff/shaojiemike/github/hl/config_files       
echo $HL_CONF       │/staff/shaojiemike/github/hl/config_files       

1
2

-%c : specifies the beginning of a range colorized in color 'c'       
-.  : specifies the end of the previous range       

1

hl -vop '*' | hl --hl_conf       

1
2
3
4
5

lD # ls by date       
lW # ls by week       
ifconfig -a | hl --ifconfig       
# ping tcpdump fdisk apt-get diff       
# ip ibstat iptables passwd       

1
2
3
4
5
6

export HL_CONF=/home/shaojiemike/github/hl/config_files       
function my_hl(){          hl -eg '\$\{?[A-Z_]+\}?' -ec ' ([A-Z_-]+) ' -eic '(nothing|note)' -eiy ' (-([a-z_-]+))' -eiy '0x[0-9a-z]+' --errors -eig '(yes)' -eir '((^| )no($| ))|(none)|(not)|(null)|(please)|( id )' -ir error -ir wrong -ib '(line)|(file)' -eiy '(warn(|ing))|(wait)|(idle)|(skip)' -im return -ic '(checking)' -eiy ' (__(.*)__) ' -ei1W '((\w*/[.A-Za-z0-9_/-]*[A-Za-z0-9_/-]*)("|$)?)|((\w*/[.A-Za-z0-9_/-]*[A-Za-z0-9_/-]*)(")? ) ' -3B '[0-9][0-9.]+' -3B ' ([0-9])|(#[0-9]+)' -eig '(start(|ing))' -eir '(end(|ing))'       }       
alias ifconfig='ifconfig | hl --ifconfig'       
alias ip='ip a|hl --ip '       
alias df='df -h |hl --df'       
alias ibstat='ibstat |hl --ibstat'       

系统信息

资源监控

1
2
3
4
5
6

# install
curl -LO https://github.com/ClementTsang/bottom/releases/download/0.6.8/bottom_0.6.8_amd64.deb
sudo dpkg -i bottom_0.6.8_amd64.deb

# 使用
btm

文件管理器

1
2
3

pip install ranger-fm

# renger直接使用，方向键或者hjkl，可以直接跳转到vim修改

参考文献

C 与 C++、java 的 区别

基础知识与坑

程序执行入口

The default program entry function is main, but can be changed in two situations:

1. use stupid #define xxx main in header file to replace the name which maybe ignored by silly search bar in VSCODE.
2. use -exxx compile flag

语句末尾的分号

• 在 C++ 中，是否需要在语句的末尾使用分号（;）取决于上下文。
• C++ 语法的基本规则是：分号用来标识一条语句的结束，而有些结构并不是严格的语句，因此不需要分号。

• 声明（变量、类、结构体、枚举、函数原型、类型别名）：都需要分号作为结束。
• 函数定义、控制语句（如 if, while, for）、复合语句（{}） 不需要分号。
• 预处理指令（如 #define, #include）：不需要分号，因为它们不是 C++ 语法层面的内容。
• 作用域结束的 } 不需要分号，但声明类或结构体时 } 后要加分号。

总结来说，分号用来结束语句，包括声明、表达式和执行体等，但当你定义一个复合结构（如函数定义、控制语句）时，不需要分号来结束复合结构的定义。

逗号运算符（Comma）

• 逗号运算符是一个序列点：从左到右计算每个逗号分隔表达式。结果具有右操作数的类型和值。.
• https://en.wikipedia.org/wiki/Comma_operator

重名变量的优先级

1
2
3
4
5
6
7
8
9
10

int getKthAncestor(int node, int k) {
    int node= getKthAncestor(saved[node],--k);  
    return node;
}
 //为什么第二行的node会提前被修改为0，导致传入函数getKthAncestor的saved[node]的node值为0
 //如下去掉int，也不会错。因为int node 会初始化node为0
 int getKthAncestor(int node, int k) {
    node= getKthAncestor(saved[node],--k);  
    return node;
}

根据C++的作用域规则，内层的局部变量会覆盖外层的同名变量。因此，在第二行的语句中，node引用的是函数参数中的node，而不是你想要的之前定义的node。

为了避免这个问题，你可以修改代码，避免重复定义变量名。例如，可以将第二行的变量名改为newNode或其他不同的名称，以避免与函数参数名冲突。

运算符优先级

运算符性质：

• 接受的操作数，
• 优先级，
  • 特殊：逻辑和(&&)先于逻辑或(||)、四则运算先于位运算
  • 位运算优先级低于判断符号，记得写括号。
  • 赋值(=)优先级最低
• 结合性，
  • 左结合性： 大部分运算(加减乘除)
  • 右结合性：赋值运算符。程序会先计算它右边的表达式的值，然后再计算它左边的表达式的值
• 返回值
  • 赋值运算符的返回值是赋值后左操作数的引用

变量类型以及Macro constants

https://en.cppreference.com/w/cpp/language/types

https://en.cppreference.com/w/cpp/types/integer

1
2
3
4
5
6
7
8

//返回与平台相关的数值类型的极值
std::numeric_limits<double>::max()
std::numeric_limits<int>::min()

#include<limits.h>
INT_MAX
FLT_MAX (or DBL_MAX ) 
-FLT_MAX (or -DBL_MAX ) 

关键词

1
2
3
4
5

extern 
const
constexpr //C++11引入的关键字，用于编译时的常量与常量函数。
volatile    //是指每次需要引用某个变量的数据时，都必须从内存原地址读取,而不是编译器优化后寄存器间接读取.(必须写回内存，为了多进程并发而设计的。)
inline 

static 关键字

static 作⽤：控制变量的存储⽅式和作用范围(可⻅性)。

1. 修饰局部变量
   • 存放位置：栈区 -> 静态数据区(data段或者bss段)
   • 生命周期：程序结束才会释放
   • 作用域：还是局部代码块
2. 修饰函数与全局变量
   • 使其作用范围由全工程文件可见变成了本文件可见

1
2
3
4
5
6

#ifndef GLOBALS_H
#define GLOBALS_H

extern bool encounteredAclops;

#endif // GLOBALS_H

1
2
3

#include "globals.h"

bool encounteredAclops = false;

1
2
3
4
5
6
7
8

#include "globals.h"

void someFunction() {
    if (!encounteredAclops) {
        // Do something
        encounteredAclops = true;
    }
}

1
2
3
4
5
6
7
8

static bool encounteredAclops = false;

void someFunction() {
    if (!encounteredAclops) {
        // Do something
        encounteredAclops = true;
    }
}

1
2
3
4
5
6
7
8
9

#ifndef ACLOPS_MANAGER_H
#define ACLOPS_MANAGER_H

class AclopsManager {
public:
    static bool encounteredAclops;
};

#endif // ACLOPS_MANAGER_H

1
2
3

#include "AclopsManager.h"

bool AclopsManager::encounteredAclops = false;

1
2
3
4
5
6
7
8

#include "AclopsManager.h"

void someFunction() {
    if (!AclopsManager::encounteredAclops) {
        // Do something
        AclopsManager::encounteredAclops = true;
    }
}

1. 修饰类内函数
   • 静态成员函数：使用”static”修饰的成员函数称为静态成员函数。静态成员函数与类的对象无关，可以在没有创建对象的情况下直接通过类名调用。这意味着它们不需要通过类的对象来访问，而是属于整个类的。举例
   • 静态成员函数没有隐式的this指针，因此不能直接访问非静态成员变量和非静态成员函数。静态成员函数可以访问类的静态成员变量和其他静态成员函数。
   • static 成员函数不能被 virtual 修饰， static 成员不属于任何对象或实例，所以加上 virtual没有任何实际意义；
     * 静态成员函数没有 this 指针，虚函数的实现是为每⼀个对象分配⼀个vptr 指针，⽽ vptr 是通过 this 指针调⽤的，所以不能为 virtual；虚函数的调⽤关系，this->vptr->ctable->virtual function。
2. 修饰类内的变量
   • 存放位置：栈区 -> 静态数据区(data段或者bss段)
   • 生命周期：程序结束才会释放
     • 意味着下一次调用函数时，静态局部变量将保持上一次调用时的值。
   • 由于不再属于某个类对象，可以直接通过类名初始化 int MyClass::staticVariable = 10;

1
2
3
4
5

static auto thread_core_map = GetCpuAffinityMap(device_id);
// 根据条件重新初始化
if (/* 条件 */) {
    thread_core_map = GetCpuAffinityMap(device_id);
}

1
2
3
4
5
6
7
8
9
10
11
12
13

#include <iostream>

class MyClass {
public:
    static void staticFunction() {
        std::cout << "This is a static member function." << std::endl;
    }
};

int main() {
    MyClass::staticFunction(); // 直接通过类名调用静态成员函数
    return 0;
}

const 关键字

当const修饰基本数据类型时，可以将其放置在类型说明符的前面或后面，效果是一样的。const关键字用于声明一个常量，即其值在声明后不可修改。

1
2

const int constantValue1 = 10; // const在类型说明符前
int const constantValue2 = 20; // const在类型说明符后

当const关键字位于指针变量或引用变量的左侧时，它用于修饰指针所指向的变量，即指针指向的内容为常量。当const关键字位于指针变量或引用变量的右侧时，它用于修饰指针或引用本身，即指针或引用本身是常量。

1. 修饰指针指向的变量, 它指向的值不能修改：

   1 2 3 4

   int x = 5; const int* ptr = &x; // 指向常量整数的指针 // *ptr = 10; // 错误：不能通过const指针修改值 x = 10; // 合法：可以修改变量本身的值

2. 修饰指针本身 ，它不能再指向别的变量，但指向（变量）的值可以修改。：

   1 2 3 4

   const int y = 10; int* const ptr = &y; // 常量指针指向整数 // ptr = &x; // 错误：不能修改指针本身 // *ptr = 5; // 合法：可以修改常量变量的值

3. const int *const p3; //指向整形常量 的 常量指针 。它既不能再指向别的常量，指向的值也不能修改。

explicit

在C++, explicit 是一个关键字，用于修饰单参数构造函数，用于禁止隐式类型转换。

当一个构造函数被声明为 explicit 时，它指示编译器在使用该构造函数进行类型转换时只能使用显式调用，而不允许隐式的类型转换发生。

通过使用 explicit 关键字，可以防止一些意外的类型转换，提高代码的清晰性和安全性。它通常用于防止不必要的类型转换，特别是在单参数构造函数可能引起歧义或产生意外结果的情况下。

preprocessor directive

• #include_next 的作用是
  在寻找头文件时的头文件搜索优先级里，去除该文件所在的当前目录，主要是为C++头文件的重名问题提供一种解决方案。
  • 正确的用法：代码b.cpp想使用
    自己拓展修改的stdlib.h, 那么在代码的目录下创建stdlib.h，并在该文件里#include_next "stdlib.h" 防止递归引用。

define、 const、 typedef、 inline

• define：
  • define是一个预处理器指令，用于创建宏定义。它在编译之前对源代码进行简单的文本替换。可以用来定义常量、函数宏和条件编译等。
  • 优势：灵活性上占优，特别是在需要获取文件名、行号或控制编译(不同平台编译)时行为的场景
  • 缺点：宏的调试和排错难度相对较高，因为宏的展开发生在编译前，出错时通常不容易直接定位到宏展开的具体代码。相比函数，宏的类型检查不严格，容易导致隐含的错误。
  • 例如：#define PI 3.14159，在代码中将PI替换为3.14159。

1
2

#define TO_STRING(x) #x
#define CONCAT_AND_PRINT(a, b) printf("Concatenation: %s\n", TO_STRING(a##b));

1
2
3
4
5
6
7
8
9

int main() {
    int HelloWorld = 42;

    // 使用字符串化操作
    printf("%s\n", TO_STRING(HelloWorld)); // 输出: HelloWorld

    // 使用标记粘贴操作和字符串化操作
    CONCAT_AND_PRINT(Hello, World);        // 输出: Concatenation: HelloWorld
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14

#define REGISTER_OPTION_CACHE(type, valueName, ...)                 \
    static thread_local type valueName##Value;                      \
    static thread_local bool valueName##Initialized = false;        \
    inline type GetWithCache##valueName() {                         \
        if (!valueName##Initialized) {                              \
            valueName##Value = __VA_ARGS__();                       \
            valueName##Initialized = true;                          \
        }                                                           \
        return valueName##Value;                                    \
    }                                                               \
    inline void SetWithCache##valueName(type value) {               \
        valueName##Value = value;                                   \
        valueName##Initialized = true;                              \
    }

1

REGISTER_OPTION_CACHE(int, MyValue, 42);

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

static thread_local int MyValueValue;
static thread_local bool MyValueInitialized = false;

inline int GetWithCacheMyValue() {
    if (!MyValueInitialized) {
        MyValueValue = 42;  // 使用了 __VA_ARGS__
        MyValueInitialized = true;
    }
    return MyValueValue;
}

inline void SetWithCacheMyValue(int value) {
    MyValueValue = value;
    MyValueInitialized = true;
}

• const：

  • const用于声明一个常量，指示标识符的值在程序执行期间不能被修改。
  • const可以用于变量、函数参数、函数返回类型和成员函数。使用const可以提高代码的可读性和安全性。
  • 例如：const int MAX_VALUE = 100;，声明一个名为MAX_VALUE的常量。

• typedef：

  • typedef用于为数据类型创建别名。它可以用于为复杂的数据类型提供更简洁的名称，增强代码的可读性和可维护性。
  • typedef创建的别名可以像原始类型一样使用，并且不会引入新的类型，只是为已有类型提供了一个新的名称。
  • 例如：typedef int Age;，为int类型创建了一个别名Age。

• inline：

  • inline用于声明内联函数，它是一种编译器的建议，用于将函数的定义直接插入到调用处，以避免函数调用的开销。
  • 内联函数通常在函数体较小且频繁调用的情况下使用，可以提高程序的执行效率。
  • inline关键字只是给编译器一个提示，编译器可以选择忽略该提示。在大多数情况下，编译器会自动进行内联优化。
  • 例如：inline int add(int a, int b) { return a + b; }，声明了一个内联函数add。

• define主要用于宏定义，const用于声明常量，typedef用于创建类型别名，inline用于内联函数的声明。

#ifndef & #pragma once

为了避免同一个文件被include多次，C/C++中有两种方式，一种是#ifndef方式，一种是#pragma once方式。在能够支持这两种方式的编译器上，二者并没有太大的区别，但是两者仍然还是有一些细微的区别。

new & delete

• new和delete 相对于 malloc/free 分配和释放堆空间。
  • 额外会执行构造函数和析构函数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

#include <iostream>

class MyClass {
public:
    MyClass() {
        std::cout << "Constructing MyClass" << std::endl;
    }

    ~MyClass() {
        std::cout << "Destructing MyClass" << std::endl;
    }
};

int main() {
    // 使用new动态分配内存，并调用构造函数
    MyClass* obj = new MyClass();

    // 执行一些操作...

    // 使用delete释放内存，并调用析构函数
    delete obj;

    return 0;
}

namespace

namespace 会影响 typedef 的作用范围，但不会直接限制 #define 宏的作用范围。

头文件

• 相互引用，前置声明
• include头文件其实就是将对应的头文件内容贴在include的位置

函数的特殊写法

函数传参

1. 值传递
2. 引用传递
3. 指针传递

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

//值传递
change1(n);
void change1(int n){
    n++;
}

//引用传递，操作地址就是实参地址 ，只是相当于实参的一个别名，在符号表里对应是同一个地址。对它的操作就是对实参的操作
    change2(n);
    void change2(int &n){
        n++;
    }
    //特殊对vector
    void change2(vector<int> &n)
    //特殊对数组
    void change2(int (&n)[1000])

//指针传递，其实是地址的值传递
change3(&n);
void change3(int *n){
    *n=*n+1;
}

引用传递和指针传递的区别：

• 引用被创建的同时必须被初始化（指针则可以在任何时候被初始化）。
• 不能有NULL引用，引用必须与合法的存储单元关联（指针则可以是NULL）。
• 一旦引用被初始化，就不能改变引用的关系（指针则可以随时改变所指的对象）。

指针传递和引用传递的使用情景：

1. 函数内部修改参数并且希望改动影响调用者。
2. 当一个函数实际需要返回多个值，而只能显式返回一个值时，可以将另外需要返回的变量以指针/引用传递

闭包、匿名函数

1
2
3
4
5
6
7
8

auto add = [](int x) {
    return [x](int y) {
        return x + y;
    };
};

auto add5 = add(5);
std::cout << add5(3); // 输出 8

• 匿名函数是一种没有被绑定标识符的函数
• lambda 是一种匿名函数
• lambda 可以表示闭包

• Lambda在C++中的实现方式

传参默认值

虽然理论上可以通过类似void f(bool x = true)来实现默认值。

1
2
3
4
5
6
7

// 函数声明
void bar(int a = 10);

// 函数定义
void bar(int a) {
    std::cout << "a: " << a << std::endl;
}

1
2
3
4
5
6
7
8
9
10
11
12

// hpp
void SetDeterministic();
void SetDeterministic(bool isOpapi = true);

//cpp
void SetDeterministic() {
    SetDeterministic(true);
}
void SetDeterministic(bool isOpapi)
{
    //xxx
}

类型变参模板

1
2
3
4
5
6
7
8

template<typename T>
void swap(T& t1, T& t2)
{
    T temp = t2;
    t2 = t1;
    t1 = temp;
}
swap<int>(a,b);

1
2
3
4
5
6
7
8
9
10

template <
    typename T,
    typename U = T,
    typename = typename std::enable_if<!std::is_same<U, VirtualGuardImpl>::value>::type>
class Wrapper {
public:
    void function() {
        // 实现
    }
};

个数变参模板

1
2
3
4
5
6
7
8

#include <stdarg.h>
void Error(const char* format, ...)
{
    va_list argptr;
    va_start(argptr, format);
    vfprintf(stderr, format, argptr);
    va_end(argptr);
}

VA_LIST 是在C语言中解决变参问题的一组宏，变参问题是指参数的个数不定，可以是传入一个参数也可以是多个;可变参数中的每个参数的类型可以不同,也可以相同;可变参数的每个参数并没有实际的名称与之相对应，用起来是很灵活。

1. 首先在函数里定义一具VA_LIST型的变量，这个变量是指向参数的指针；
2. 然后用VA_START宏初始化变量刚定义的VA_LIST变量；
3. 然后用VA_ARG返回可变的参数，VA_ARG的第二个参数是你要返回的参数的类型（如果函数有多个可变参数的，依次调用VA_ARG获取各个参数）；
4. 最后用VA_END宏结束可变参数的获取。

系统提供了vprintf系列格式化字符串的函数，用于编程人员封装自己的I/O函数。

1
2
3

int vprintf  / vscanf   (const char * format, va_list ap);                  // 从标准输入/输出格式化字符串 
int vfprintf / vfsacanf (FILE * stream, const char * format, va_list ap);   // 从文件流 
int vsprintf / vsscanf  (char * s, const char * format, va_list ap);        // 从字符串

返回多个数

使用结构体

1
2
3
4
5
6
7
8
9

struct RowAndCol { int row;int col; };

RowAndCol r(string fn) {
    /*...*/
    RowAndCol result;
    result.row = x;
    result.col = y;
    return result;
}

左值与右值

在 C++ 中，左值（lvalue） 和 右值（rvalue） 是两个重要的概念，用来描述表达式的值和内存的关系。它们帮助开发者理解变量的生命周期、赋值和对象管理，特别是在现代 C++ 中引入了右值引用后，优化了移动语义和资源管理。

1. 左值（lvalue）

左值（lvalue，locatable value） 是指在内存中有明确地址、可持久存在的对象，可以对其进行赋值操作。通俗地说，左值是能够取地址的值，可以出现在赋值操作符的左边。

特点：

• 左值具有持久的内存地址。
• 左值可以取地址（使用 & 运算符）。
• 左值通常表示已经存在的变量或对象。

1
2
3
4

int x = 10;   // x 是左值
int* p = &x;  // 可以取 x 的地址

x = 20;       // 可以对左值进行赋值

2. 右值（rvalue）

右值（rvalue，readable value） 是没有明确地址、临时存在的对象，不能对其进行赋值操作。它们通常是字面值常量或表达式的结果。右值只能出现在赋值操作符的右边，表示一个临时对象或数据。

特点：

• 右值是临时的，通常会在表达式结束时销毁。
• 右值不能取地址（即不能使用 & 获取右值的地址）。
• 右值表示表达式的计算结果或临时对象。

1
2

int y = 10;       // 10 是右值
int z = y + 5;    // y + 5 是右值表达式

3. 现代 C++ 中的右值引用（rvalue reference）

C++11 引入了 右值引用，即通过 && 符号表示。这使得右值也能通过引用进行操作，特别是在实现移动语义（move semantics）和避免不必要的拷贝时非常有用。右值引用允许我们通过右值管理资源，避免性能上的损失。

1
2
3
4
5
6
7
8
9
10
11
12

#include <iostream>
#include <vector>

int main() {
    std::vector<int> vec1 = {1, 2, 3};
    std::vector<int> vec2 = std::move(vec1);  // vec1 资源移动到 vec2

    std::cout << "vec1 size: " << vec1.size() << std::endl;
    std::cout << "vec2 size: " << vec2.size() << std::endl;

    return 0;
}

4. 区分左值与右值

通常，左值是表示持久存在的对象，可以通过取地址符 & 获取其地址，而右值是临时的、短暂存在的值，不能直接获取其地址。理解这两者对于编写高效的 C++ 代码和使用现代特性（如右值引用和移动语义）非常重要。

• 左值（lvalue） 是可以取地址的值，通常是变量或持久的对象。
• 右值（rvalue） 是临时值，通常是表达式的结果或字面量。
• 右值引用（&&）是 C++11 引入的新特性，用来优化资源管理和避免不必要的拷贝操作。

C++11: 花括号初始化列表

使用

在C++98/03中我们只能对普通数组和POD(plain old data，简单来说就是可以用memcpy复制的对象)类型可以使用列表初始化，如下：

1
2
3
4
5
6
7
8

//数组的初始化列表： 
int arr[3] = {1,2,3}
//POD类型的初始化列表：
struct A
{
 int x;
 int y;
}a = {1,2};

在C++11中初始化列表被适用性被放大，可以作用于任何类型对象的初始化。如下：

1
2
3
4
5
6
7
8
9

X x1 = X{1,2};
X x2 = {1,2}; // 此处的'='可有可⽆
X x3{1,2};
X* p = new X{1,2};

//列表初始化也可以用在函数的返回值上
std::vector<int> func() {
    return {};
}

变量类型的适用范围

聚合类型可以进行直接列表初始化

聚合类型包括

1. 普通数组，如int[5]，char[]，double[]等
2. 一个类，且满足以下条件：
   1. 没有用户声明的构造函数
   2. 没有用户提供的构造函数(允许显示预置或弃置的构造函数)
   3. 没有私有或保护的非静态数据成员
   4. 没有基类
   5. 没有虚函数
   6. 没有{}和=直接初始化的非静态数据成员
   7. 没有默认成员初始化器

原理

对于一个聚合类型，使用列表初始化相当于使用std::initializer_list对其中的相同类型T的每个元素分别赋值处理，类似下面示例代码；

1
2
3
4
5
6
7
8

struct CustomVec {
    std::vector<int> data;
    CustomVec(std::initializer_list<int> list) {
        for (auto iter = list.begin(); iter != list.end(); ++iter) {
            data.push_back(*iter);
        }
    }
};

优势

1. 方便，且基本上可以替代括号初始化
2. 可以使用初始化列表接受任意长度
3. 可以防止类型窄化，避免精度丢失的隐式类型转换

参考文献

1. https://zh.cppreference.com/

2. https://leetcode-cn.com/problems/path-with-maximum-gold/solution/huang-jin-kuang-gong-by-leetcode-solutio-f9gg/

3. https://blog.csdn.net/qq_33221533/article/details/82119031

4. ⼩贺 C++ ⼋股⽂ PDF 的作者，电⼦书的内容整理于公众号「herongwei」

5. https://blog.csdn.net/hailong0715/article/details/54018002

https://shaojiemike.notion.site/C-11-a94be53ca5a94d34b8c6972339e7538a

卡拉彼丘

• 信息差：发现分布以及落单对方，灵活跑动隐藏自身，干扰对方准备好时，对方换弹/倒地时补射。
  • 躲避对方多枪线，己方架多枪线，多路线包围
  • 一个位置偷一枪，就换位置。不要再露头。
  • 对枪注意弦化
  • 位置的选择:一要有掩体，二要有安全的退路通道和队友大部队汇合，不要被敌人包夹。
  • 不要急于补人，要观察有没有被敌人包
  • 进阶：时刻预瞄出人点，
    • 弦化靠左墙，预瞄靠左，因为向右出掩体，准星会被向右移动。
    • 学习弹道，反向压枪。
• 注意不要冲动，以身试陷（除非是突破位）

角色特点

1. 熊当掩体（带闪光弹，烟雾弹），熊会自动冲锋并结冰
2. 防守方
   1. 米雪儿：适合压制补枪，技能适合补枪。引诱敌方到背面炮台射程里
3. 进攻方：
   1. 明：侦察 + 干扰器，风场雷

地图，高空卡墙脚。

1. 欧拉港口/海湾图：复杂的短距离(掩体之间的距离)小路。适合白墨(带烟雾弹增加自身能力)和熊。白墨攻击走中间，抄底路偷对面的大狙。或者A点上上下下，适合近身跳散弹。
   1. 防守走A
2. 404基地/巨炮图：白墨可以中路强压。
   1. 防守方 熊，进攻方沙猫无敌B
3. 88区/古风图，大图远视野，适合大狙，大机枪。还有熊
   1. 禁止白墨。
4. 风曳镇：大狙和小画家
   1. 防守必选熊(AB滑)和信(传送)
   2. 禁止白墨。

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

上面回答部分来自ChatGPT-3.5，没有进行正确性的交叉校验。

无

解释性语言

解释型语言没有严格编译汇编过程，由解释器将代码块按需要变运行边翻译给机器执行。因此解释型语言一度存在运行效率底，重复解释的问题。但是通过对解释器的优化!可以提高解释型语言的运行效率。

Python 与大多数解释型语言一样，确实是将源代码编译为一组虚拟机指令，并且 Python 解释器是针对相应的虚拟机实现的。这种中间格式被称为 “字节码”。

Python 字节码

Python 以 .pyc 结尾的 “ 字节码(bytecode)” 文件(二进制文件)，一般位于__pycache__ 的子目录中，可以避免每次运行 Python 时去重新解析源代码。

1

python -m py_compile file.py  # 生成单个pyc文件

pyo优化文件

pyo文件是源代码文件经过优化编译后生成的文件，是pyc文件的优化版本。编译时需要使用-O和-OO选项来生成pyo文件。在Python3.5之后，不再使用.pyo文件名，而是生成文件名类似“test.opt-n.pyc的文件。

1

python -O -m py_compile test.py

Python 虚拟机

CPython 使用一个基于栈的虚拟机。（你可以 “推入” 一个东西到栈 “顶”，或者，从栈 “顶” 上 “弹出” 一个东西来）。

CPython 使用三种类型的栈：

1. 调用栈(call stack)。这是运行 Python 程序的主要结构。它为每个当前活动的函数调用使用了一个东西 —— “ 帧(frame)”
2. 在每个帧中，有一个 **计算栈(evaluation stack)**（也称为 数据栈(data stack)）。这个栈就是 Python 函数运行的地方，运行的 Python 代码大多数是由推入到这个栈中的东西组成的，操作它们，然后在返回后销毁它们。
3. 在每个帧中，还有一个**块栈(block stack)**。它被 Python 用于去跟踪某些类型的控制结构：循环、try / except 块、以及 with 块，全部推入到块栈中，当你退出这些控制结构时，块栈被销毁。

C vs Python

运行流程区别

python的传统运行执行模式：录入的源代码转换为字节码，之后字节码在python虚拟机中运行。代码自动被编译，之后再解释成机器码在CPU中执行。

c编译器直接把c源代码编译成机器码。过程比python执行过程少了字节码生成和虚拟机执行字节码过程。所以自然比python快。

深、浅拷贝

Python append() 与深拷贝、浅拷贝

python赋值只是引用，别名

1
2
3
4
5
6
7
8

list.append('Google')   ## 使用 append() 添加元素
alist.append( num ) # 浅拷贝 ，之后修改num 会影响alist内的值

import copy
alist.append( copy.deepcopy( num ) ) # 深拷贝

# delete
del list[2]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

original_list = [1, 2, 3]

for item in original_list:
    item *= 2 # 每个元素是不可变的

print(original_list) 

original_list = [[1,2,3], [2], [3]]

for item in original_list:
    item.append("xxx") # 每个元素是可变的

print(original_list) 

# [1, 2, 3]
# [[1, 2, 3, 'xxx'], [2, 'xxx'], [3, 'xxx']]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

def fun0(a):
    a = [0,0] # a在修改后，指向的地址发生改变，相当于新建了一个值为[0,0]

def fun(a):
    a[0] = [1,2]
    
def fun2(a):
    a[:] = [10,20]
    
b = [3,4]
fun0(b)
print(b)
fun(b)
print(b)
fun2(b)
print(b)

# [3, 4]
# [[1, 2], 4]
# [10, 20]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

def fun1(l):
    l.append("0")
    return l 

def fun2(l):
    return l

if __name__=="__main__":
    l = [1,2,3,4,5]

    rel2 = fun2(l)
    print(rel2)   
    rel1 = fun1(l)
    print(rel1)   
    print(rel2)   
 
# [1, 2, 3, 4, 5]
# [1, 2, 3, 4, 5, '0']
# [1, 2, 3, 4, 5, '0']

逻辑

setup

setup安装包的过程，请看pip package一文。

__init__.py

__init__.py文件在 Python 包结构中扮演着重要角色，但是否必须存在取决于你使用的 Python 版本和具体的使用场景。

1. Python 2：

   • __init__.py 是必需的。它标志着一个目录是一个 Python 包，允许该目录中的模块被导入。

2. Python 3：

   • 隐式命名空间包：从 Python 3.3 开始，__init__.py 不再是必需的。Python 3 支持隐式命名空间包（Implicit Namespace Packages），这意味着即使没有 __init__.py 文件，目录也可以被视为包并进行导入。
   • 显式初始化逻辑：尽管 __init__.py 不再是必需的，但它仍然是推荐的做法，特别是在需要执行包级别的初始化逻辑时。

1
2
3

# mindspeed_mm/__init__.py

print("Initializing mindspeed_mm package.")

1
2
3
4
5

# mindspeed_mm/models/__init__.py

from .internvl_model import InternVLModel

print("Initializing models package.")

1
2
3
4
5

# mindspeed_mm/models/internvl_model.py

class InternVLModel:
    def __init__(self):
        print("InternVLModel instance created.")

1
2
3
4
5

# pretrain_internvl.py

from mindspeed_mm.models import InternVLModel

model = InternVLModel()

import

命名空间（namespace）可以基本理解成每个文件是一个，通过import来使用

触发 __init__.py

• 当你导入一个包时，Python 会执行该包目录下的 __init__.py 文件。如果没有这个文件，Python 会认为这个目录不是一个包，因此 import 语句会失败。
• __init__.py 负责初始化这个包，可以定义一些包级别的变量、函数或导入包的其他子模块。

行为：

• 每次导入包时，__init__.py 文件只会在第一次导入时被执行一次。如果模块已经被导入到当前的命名空间，再次 import 不会重新执行 __init__.py，除非你强制重新加载（比如用 importlib.reload()）。
• import 的执行会触发模块的初始化，类似于 C++ 中构造函数的概念，但不是在对象级别，而是在模块级别。

1
2
3
4
5

# example/__init__.py
print("Initializing the package")

def hello():
    print("Hello from the package")

1
2
3
4

import example
# 输出 "Initializing the package"
example.hello()
# 输出 "Hello from the package"

绝对导入与相对导入

在 Python 中，import 语句是否使用点号（.）取决于你使用的是 相对导入 还是 绝对导入，以及代码所处的上下文环境。以下是详细的解释：

1
2
3
4
5
6

# 导入标准库（绝对路径）
import os
from datetime import datetime

# 导入项目根目录下的模块
from my_project.utils import helper

1
2
3
4
5
6
7
8

my_package/
├── __init__.py
├── utils/
│   ├── __init__.py
│   └── helper.py
└── core/
    ├── __init__.py
    └── main.py

1
2

# 相对导入（当前包内）
from ..utils import helper

关键点：

• 必须存在于包中（目录必须有 __init__.py）。
• 不能作为脚本直接运行（如 python main.py），否则会报错：

  1	ImportError: attempted relative import with no known parent package

• 适用于包内部的模块间引用，避免硬编码绝对路径。

入口

• 在Python中,if __name__ == "__main__"这种写法通常出现在模块中,它的作用是控制模块的执行流程。
• 当一个模块被导入时,Python解释器会自动将这个模块的__name__属性设置为模块名称。但是如果模块是被直接运行的,则__name__属性会被设置为字符串__main__。
• 所以if name == “main”可以用来区分模块是被导入运行还是被直接运行:
  • 如果模块是被导入的,if语句不会执行。因为模块的__name__不等于__main__。
  • 如果模块是被直接运行的,if语句会执行。因为模块的__name__等于__main__。

清理与释放

程序结束时的清理行为（类似析构函数的操作）

在 Python 中，并没有像 C++ 那样显式的析构函数。模块或对象的清理一般通过以下方式实现：

• 对象的析构：当一个 Python 对象的引用计数降为零时，Python 会自动调用该对象的 __del__ 方法进行资源清理。这个机制类似于 C++ 的析构函数，但触发时机取决于 Python 的垃圾回收机制。

1
2
3
4
5
6
7
8
9

class MyClass:
    def __init__(self):
        print("Object created")
    
    def __del__(self):
        print("Object destroyed")

obj = MyClass()
# 程序结束时，或者当 obj 的引用计数降为 0 时，触发 __del__()

• 模块的清理：当程序结束时，Python 会尝试清理已加载的模块。这个过程会调用模块内一些特殊的钩子函数来进行必要的清理工作。虽然 Python 没有直接为模块提供析构函数，但是你可以使用 atexit 模块来注册一个函数，确保在程序结束时执行。

示例：使用 atexit 实现模块级别的清理操作

1
2
3
4
5
6
7
8
9

import atexit

def cleanup():
    print("Cleaning up resources before program exit")

# 注册一个清理函数，在程序结束时自动调用
atexit.register(cleanup)

print("Program is running")

输出：

1
2

Program is running
Cleaning up resources before program exit

• atexit 模块允许你注册多个函数，它们会在解释器关闭之前按注册顺序依次执行。
• 这种机制相当于 C++ 中的全局或静态对象析构函数的功能，确保在程序结束时执行一些清理工作。

模块的生命周期总结

• 初始化：当模块被导入时，Python 会执行模块的顶层代码，包括 __init__.py 文件。这相当于模块的 “构造” 过程。
• 对象的析构：在 Python 中，通过垃圾回收机制和 __del__ 方法来管理对象的生命周期。通常情况下，当对象不再被引用时，会自动触发清理。
• 程序结束时的清理：Python 提供了 atexit 模块来执行程序结束时的资源清理操作。你可以在模块中注册一些函数，确保在程序退出时执行清理任务。

语法

常见运算符

以下是 Python 和 C++ 中一些常见的运算符及其差异：

基本算术运算符

位运算符

赋值运算符

逻辑运算符

成员运算符

身份运算符

装饰器 decorator

@能在最小改变函数的情况下，包装新的功能。^1

1
2
3
4
5
6
7
8
9
10
11
12

def use_logging(func):

    def wrapper():
        logging.warn("%s is running" % func.__name__)
        return func()
    return wrapper

@use_logging
def foo():
    print("i am foo")

foo()

• 问题：但是上面的代码会导致函数名被修改，所以不能再使用 foo.__name__变成了use_logging
• 解决办法：加上@wraps(func)

1
2
3
4
5
6
7

def use_logging(func):

    @wraps(func)
    def wrapper():
        logging.warn("%s is running" % func.__name__)
        return func()
    return wrapper

下划线

单下划线、双下划线、头尾双下划线说明：

• __foo__: 定义的是特殊方法，一般是系统定义名字 ，类似 init() 之类的。
• _foo: 以单下划线开头的表示的是 protected 类型的变量，即保护类型只能允许其本身与子类进行访问，不能用于 from module import *
• __foo: 双下划线的表示的是私有类型(private)的变量, 只能是允许这个类本身进行访问了。

函数传参

解包

• 解包是指将一个容器（如列表、元组或字典）的内容拆分并分配给多个变量或作为参数传递给函数。
• Python 提供了简洁的语法来实现这一点，使用 * 和 ** 分别解包可迭代对象和字典。

1
2
3
4
5
6
7
8
9
10

def __call__(self, *input, **kwargs):
    result = self.forward(*input, **kwargs)
    # 假设 kwargs 包含你传递的参数字典
    key1_value = kwargs.get('key1', None)  # 使用 get 方法安全地获取 key1 的值

    if key1_value is not None:
        # 在这里使用 key1 的值
        print(f"The value of key1 is: {key1_value}")
    else:
        print("key1 is not provided in the arguments.")

1
2
3
4
5
6

obj = SomeClass()
obj(1, 2, 3, key1='value1', key2='value2')

params = {'key1': value1, 'key2': value2}  # 示例参数字典
# 使用 ** 解包字典作为关键字参数传递给 __call__ 方法
obj(**params)

解包可迭代对象

1
2
3
4
5

def example_function(a, b, *args):
    print(f"a: {a}, b: {b}")
    print("Additional positional arguments:", args)

example_function(1, 2, 3, 4, 5)

1
2

a: 1, b: 2
Additional positional arguments: (3, 4, 5)

1
2
3
4
5
6
7
8

def another_function(a, b, *, x, y):
    print(f"a: {a}, b: {b}, x: {x}, y: {y}")

# 下面的调用会报错，因为 x 和 y 必须是关键字参数
# another_function(1, 2, 3, 4)

# 正确的调用方式
another_function(1, 2, x=3, y=4)

1

a: 1, b: 2, x: 3, y: 4

1
2
3
4
5
6

def sum_three_numbers(x, y, z):
    return x + y + z

numbers = [1, 2, 3]
result = sum_three_numbers(*numbers)
print(result)  # 输出：6

解包字典

• 在函数定义中，** 用于将传入的关键字参数打包成一个字典；
• 而在函数调用中，** 则用于将字典解包为关键字参数。

1
2
3
4
5

def example_function(a, b, **kwargs):
    print(f"a: {a}, b: {b}")
    print("Additional arguments:", kwargs)

example_function(1, 2, x=3, y=4)

1
2

a: 1, b: 2
Additional arguments: {'x': 3, 'y': 4}

1
2
3
4
5

def another_function(a, b, x, y):
    print(f"a: {a}, b: {b}, x: {x}, y: {y}")

args_dict = {'x': 3, 'y': 4}
another_function(1, 2, **args_dict)

1

a: 1, b: 2, x: 3, y: 4

DEBUG

breakpoint()

python 能很轻易的

段错误

1. 开启 Python 的调试模式：
   通过设置环境变量启用 Python 的调试信息，这有助于捕获异常和详细的堆栈信息。

   1	export PYTHONMALLOC=debug

2. 使用 faulthandler 模块：
   Python 提供了一个 faulthandler 模块，可以用来捕获段错误并打印堆栈信息。你可以在程序的开头添加以下代码来启用它：

   1 2	import faulthandler faulthandler.enable()

   这将会在段错误发生时输出堆栈跟踪。

3. 查看 Python 调试输出：
   启动 Python 程序时，通过 faulthandler 打印堆栈信息，或通过 GDB 调试 Python 解释器。如果 Python 解释器发生崩溃，faulthandler 会帮助你定位错误。

卡住任务

pstack remote pid , 虽然官方没说，但是可以pip install pystack 或者 pip install pstack安装

py-spy dump –pid 831568

INFO

torch.profiler

如果程序能正常运行，优先推荐profiling理解程序逻辑。

打印当前堆栈

traceback.print_stack()

VizTracer时间性能分析

1
2
3
4
5
6
7
8
9
10

from viztracer import VizTracer

tracer = VizTracer(max_stack_depth=2)  # 限制记录的调用栈深度为2，常用为 50和120
tracer.start()

# 你的代码
your_function()

tracer.stop()
tracer.save("result.json")

icecream for debug

1
2

from pprint import pprint
pprint(obj)

• 优雅打印对象：函数名，结构体
• 打印行号和栈（没用输入时
• 允许嵌套（会将输入传递到输出
• 允许带颜色ic.format(*args)获得ic打印的文本
• debug ic.disable()and ic.enable()
• 允许统一前缀 ic.configureOutput(prefix='Debug | ')
• 不用每个文件import

1
2
3
4
5
6
7

from icecream import ic
ic(STH)

from icecream import install
install()

ic.configureOutput(prefix='Debug -> ', outputFunction=yellowPrint)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import datetime
import inspect
from icecream import ic

def ic_with_timestamp(*args):
    # Get the current frame's information
    frame = inspect.currentframe().f_back  # Get the caller's frame
    filename = frame.f_code.co_filename  # File where the function is called
    lineno = frame.f_lineno  # Line number where the function is called

    timestamp = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

    # Format the output to include timestamp, file, and line number
    return '\n\n%s %s:%d shaojieLog >| ' % (timestamp, filename, lineno)

# Configure icecream to use this custom output function
ic.configureOutput(prefix=ic_with_timestamp)

# Example usage
ic("This is a test message.")

1
2
3
4
5

import datetime
def ic_with_timestamp(*args):
    return '\n\n%s shaojieLog >| ' % datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

ic.configureOutput(prefix=ic_with_timestamp)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import datetime
import inspect
from icecream import ic

# Initialize a variable to store the time of the last ic call
last_ic_time = None
initial_ic_time = datetime.datetime.now()  # Set the initial time when the script starts

# Define a custom function that prepends the time since the last ic call, file name, and line number
def ic_with_timestamp(*args):
    global last_ic_time
    current_time = datetime.datetime.now()

    # Calculate the time difference if there was a previous ic call
    if last_ic_time is not None:
        time_diff = current_time - last_ic_time
        time_diff_str = f" (+{time_diff.total_seconds():.2f}s)"
    else:
        time_diff_str = ""

    # Calculate the time since the initial call
    time_since_initial = current_time - initial_ic_time
    time_since_initial_str = f" [Total time: {time_since_initial.total_seconds():.2f}s]"

    # Update last_ic_time to the current time
    last_ic_time = current_time

    return f'\n\n{current_time.strftime("%Y-%m-%d %H:%M:%S")}{time_diff_str}{time_since_initial_str} shaojieLog |> '
ic.configureOutput(prefix=ic_with_timestamp)

1
2
3
4
5
6
7
8

# Disable icecream
ic.disable()

# This message will be hidden
ic("This message will NOT be shown")

# Re-enable icecream
ic.enable()

1
2
3
4

from icecream import ic
import sys

ic.configureOutput(outputFunction=sys.stdout.write)

1

python3.8 setup.py build bdist_wheel 2>&1 | tee compile.log

如果你只想捕获标准错误的输出，并将其保存到日志文件，可以使用以下命令：

1
python3.8 setup.py build bdist_wheel 1>&2 | tee compile.log


或将 `stderr` 和 `stdout` 单独重定向：

1
python3.8 setup.py build bdist_wheel 2>compile.log

性能优化 与 可视化

定位 Python 中 setup.py 脚本运行缓慢的 热点，可以通过多种方式进行性能分析，具体步骤取决于你想了解的性能细节。以下是几种常见的方法来定位性能瓶颈。

方法 1: 使用 cProfile 进行性能分析

cProfile 是 Python 标准库中用于进行性能分析的工具。你可以用它来跟踪 setup.py 执行时的函数调用并找到性能瓶颈。

cProfile + snakeviz + gprof2dot

1

./gprof2dot.py -f pstats Diff.status | dot -Tpng -o ./output/Diff.png

1.1 使用 cProfile 分析 setup.py

你可以通过 cProfile 运行 setup.py 并生成分析报告：

1

python -m cProfile -o setup.prof setup.py install

这将运行 setup.py 并将性能分析结果保存到 setup.prof 文件中。

1.2 可视化分析报告

使用 pstats 或者第三方工具 snakeviz 来分析 setup.prof：

1. 使用 pstats 来查看分析结果：

   1	python -m pstats setup.prof

   然后，你可以在 pstats 交互式界面中输入命令，比如：

   • sort cumtime 按总耗时排序。
   • stats 查看函数调用的分析结果。

2. 安装 snakeviz 来生成Web图形化报告：

   1	pip install snakeviz

   运行 snakeviz 来可视化分析结果：

   1	snakeviz setup.prof # deploy to 127.0.0.1:8080

   这样可以生成一个图形化的界面，显示每个函数的执行时间以及调用关系，让你更直观地看到性能瓶颈。

3. 使用 gprof2dot 生成调用关系图片：

   安装 gprof2dot 工具：pip install gprof2dot

   使用 gprof2dot 将 cProfile 生成的 output.prof 转换为 .dot 文件：gprof2dot -f pstats output.prof | dot -Tsvg -o output.svg

   这里的 -f pstats 表示输入的格式是 cProfile 生成的 pstats 文件。这个命令会将结果转换为 SVG 格式的火焰图，保存为 output.svg。

   打开生成的 SVG 文件，查看火焰图。

4. 生成火焰图： flameprof

   1. 正常的火焰图说明了上到下的调用关系，倒置火焰图说明了底层最耗时的元素。
   2. python flameprof.py input.prof > output.svg

5. 生成火焰图(有详细文件路径)： flamegraph

   1. flameprof --format=log requests.prof | xxx_path/flamegraph.pl > requests-flamegraph.svg

方法 3: 使用 line_profiler 进行逐行性能分析

如果你想深入了解 setup.py 的某个函数或一组函数的逐行性能，可以使用 line_profiler 工具来分析代码的逐行执行时间。

3.1 安装 line_profiler

1

pip install line_profiler

3.2 添加装饰器

首先，在 setup.py 中找到你想要分析的函数，添加 @profile 装饰器（在 line_profiler 中的分析模式下使用）：

1
2
3

@profile
def some_function():
    # Your function code

3.3 运行 line_profiler

你可以使用 kernprof.py 来运行 setup.py 并生成逐行性能报告：

1

kernprof -l -v setup.py install

这将运行 setup.py 并生成一份逐行性能分析报告，显示每一行代码的耗时。

方法 4: 使用 Py-Spy 进行实时性能分析(推荐!!!)

Py-Spy 是一个 Python 的取样分析器，它可以在不修改代码的情况下对 Python 程序进行性能分析，并生成实时的性能报告。

4.1 安装 Py-Spy

1

pip install py-spy

4.2 运行 Py-Spy 对 setup.py 进行分析

你可以在执行 setup.py 的同时运行 Py-Spy 进行取样分析：

1

py-spy top -- python setup.py install

这会生成一个实时的报告，类似于 top 命令，显示当前正在运行的 Python 函数以及其消耗的 CPU 时间。

4.3 生成火焰图

如果你希望生成一个更直观的火焰图，可以使用 py-spy 生成火焰图文件：

1

py-spy record -o profile.svg -- python setup.py install

然后你可以打开 profile.svg 文件，查看一个交互式的火焰图，清晰展示函数调用的时间分布。

方法 5: 使用 strace 分析系统调用

如果 setup.py 涉及大量的 I/O 操作（比如读写文件或安装依赖包），可能是这些操作导致了性能瓶颈。你可以使用 strace 来分析 setup.py 的系统调用，找到 I/O 操作的瓶颈。

1

strace -tt -T -o strace.log python setup.py install

• -tt 选项会显示每个系统调用的时间戳。
• -T 会显示每个系统调用耗时。
• -o 将结果输出到 strace.log 文件中。

通过查看 strace.log，你可以找出系统调用中哪些操作耗时过长。

总结

1. 使用 cProfile 或 Py-Spy 进行函数级别的性能分析，找出执行慢的函数。
2. 如果需要更细粒度的逐行分析，使用 line_profiler 来分析慢的部分。
3. 如果怀疑是 I/O 问题，用 strace 来检查系统调用。
4. 使用 time 在脚本中插入计时代码，快速定位长时间的执行步骤。

这些工具可以帮助你定位和修复 setup.py 运行缓慢的热点。

CI

doctest

函数的单元测试

虚拟环境venv

1
2
3
4
5
6
7
8

python3 -m venv name

#在Windows上，运行:
name\Scripts\activate.bat # poweshell运行activate.ps1
#在Unix或MacOS上，运行:
source name/bin/activate
#（这个脚本是为bash shell编写的。如果你使用 csh 或 fish shell，你应该改用 activate.csh 或 activate.fish 脚本。）
python3 setup.py install

实践

1. 并行调用shell命令，超时kill
2. 基于Pipe的自定义多进程进度条

数据快速写入和读取文件

任意变量使用pickle

1
2
3
4
5

# 使用二进制
with open('my_dict.json', 'wb') as f: 
    pickle.dump(my_dict, f)
with open('my_dict.json', 'rb') as f:
    loaded_dict = pickle.load(f)

可以序列化的使用json

1
2
3
4
5
6
7
8

import json
# 将 dict 保存为 JSON 格式
with open('my_dict.json', 'w') as f:
    json.dump(my_dict, f)

# 加载 dict
with open('my_dict.json', 'r') as f:
    loaded_dict = json.load(f)

多个变量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

# 将多个变量组织成字典或列表
data = {
    "scaAvgTime": scaAvgTime,
    "var2": var2,
    "var3": var3
}

result_file = "result.json"

# 将数据写入JSON文件
with open(result_file, "w") as f:
    json.dump(data, f)

# 读取JSON文件
with open(result_file, "r") as f:
    data = json.load(f)

# 获取保存的变量值
scaAvgTime = data["scaAvgTime"]
var2 = data["var2"]
var3 = data["var3"]