Pip Cache

导言

VeRL场景开发时,安装包特别多和复杂:

  1. CANN
  2. torch\torch_npu
  3. vllm\vllm_ascend
  4. MindSpeed\megatron
  5. transformer

开发时还要pip install -e . 还要修改代码。

传统的思路是docker镜像或者conda打大包,但是这种包一个就是20GB+,但是这是商发时的策略,开发时即使只是修改一行,但是还是要重新出一个20GB大包。

思路是借助并加速pip的原子化构建:

  • 在内网服务器上建立一个pip包缓存站,
  • 不仅能缓存官方包,
  • 自己修改的代码包也能提交。
  • 最终实现,除了CANN安装,其余pip包,一行pip intall -r requirements.txt就行。
Read more

Pip Package

导言

之前其实开发了自己的包,想写点轮子。但是那个时候并没有。按照对象编程的思想,打算重构并拓展常用内容 from PIA(uniPIM) Project。

Read more

pip

pip + 换源 ,能使用export http_proxy (:多试几次

pip install xxx -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com 或者设置文件

也可以通过环境变量

1
2
export PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple/
export PIP_TRUSTED_HOST=mirrors.aliyun.com
Read more