ERROR: Failed building wheel for vllm Failed to build vllm
这个错误表明在安装 vllm 包时，构建过程中的某个子进程失败了，具体是在编译过程中运行的 cmake 命令返回了非零的退出状态（即错误）。
以下是一些常见的解决方案，可能有助于解决问题：
1. 安装必备依赖
确保你有安装 cmake 和其他构建工具。这些工具可能是 vllm 安装所需要的：
sudo apt install build-essential cmake
2. 安装 Python 的开发库
某些 Python 包需要 Python 的头文件。你可以通过以下命令安装：
sudo apt install python3-dev
3. 检查 vllm 的依赖项
可能还有其他包依赖未安装。运行以下命令来安装编译所需的依赖：
sudo apt install libssl-dev libffi-dev
4. 尝试使用 --no-cache-dir
在某些情况下，pip 缓存可能会导致问题。你可以通过禁用缓存来避免：
pip install vllm --no-cache-dir
5. 降低并行编译线程数
构建过程尝试使用 -j=28 来同时编译多个目标，这可能会导致某些系统出现问题。可以尝试手动设置较少的线程数：
pip install vllm --no-binary :all:
如果这些方法未能解决问题，可以查看完整的错误日志，或直接查看 vllm 的 GitHub 仓库以确认是否存在已知问题。
ubuntu 安装python3
在 Ubuntu 上安装 Python 3 非常简单，通常 Python 3 是预装的。如果需要安装或更新它，可以按照以下步骤操作：
1. 更新包管理器
首先，确保你的系统软件包是最新的：
sudo apt update
sudo apt upgrade
2. 安装 Python 3
使用以下命令安装 Python 3：
sudo apt install python3
3. 安装 pip3（Python 3 的包管理工具）
为了安装 Python 包，可以安装 pip3：
sudo apt install python3-pip
4. 验证安装
检查 Python 和 pip 是否正确安装：
python3 --version
pip3 --version
5. 安装 Virtual Environment（可选）
要创建隔离的 Python 环境，安装 venv 模块：
sudo apt install python3-venv
这会允许你使用 venv 来创建虚拟环境。
安装完成后，Python 3 和 pip 就可以正常使用了。
要停用或退出当前的 Python 虚拟环境 (venv)，你可以在终端中输入以下命令：
deactivate
这会将你的终端会话从虚拟环境中退出，恢复到系统默认的 Python 环境。
VLLM是什么
VLLM 是一个开源的、高效的、可扩展的大语言模型推理系统。它旨在为研究人员和开发人员提供一个易于使用且灵活的平台，用于部署和使用大型语言模型。VLLM 的主要特点包括：
* **高效的推理：**VLLM 通过高效的内存管理和计算优化，可以实现快速的模型推理。
* **可扩展性：**VLLM 支持在多个 GPU 上进行分布式推理，以处理更大的模型和更大的数据量。
* **易于使用：**VLLM 提供了一个简单的 API，可以轻松地集成到各种应用程序中。
* **开源：**VLLM 是一个开源项目，这意味着任何人都可以自由地使用、修改和分发它。
VLLM 可以用于各种自然语言处理任务，例如文本生成、机器翻译、问答和代码生成。
Qwen/Qwen-7B-Chat 需要多大的显存？
Qwen/Qwen-7B-Chat 模型需要至少 16GB 的显存才能运行。如果使用较小的显存，模型可能无法正常加载或运行。建议使用至少 24GB 的显存，以获得更好的性能。
以下是不同显存大小对 Qwen/Qwen-7B-Chat 模型运行的影响：
显存大小
运行效果
< 16GB
无法加载模型
16GB - 24GB
可以运行，但性能可能较差
> 24GB
性能最佳
深度学习与人工智能的最新突破
近年来，深度学习在人工智能领域取得了显著的突破，推动了各个领域的快速发展。以下是一些值得关注的最新突破：
* 自然语言处理 (NLP) 的进展： 大语言模型（LLM）如 ChatGPT 和 Bard 的出现，展现了在文本生成、翻译、问答等任务上的惊人能力。
* 计算机视觉的进步： 深度学习在图像识别、目标检测、图像生成等方面取得了重大进展，例如 DALL-E 2 和 Stable Diffusion 等模型能够根据文本描述生成逼真的图像。
* 强化学习的新突破： 深度强化学习在游戏、机器人控制等领域取得了突破性进展，例如 AlphaGo 在围棋比赛中战胜人类顶尖棋手。
* 自动驾驶技术的成熟： 深度学习在自动驾驶感知、路径规划、决策等方面发挥着关键作用，推动了自动驾驶技术的快速发展。
* 医疗领域的应用： 深度学习在医疗影像诊断、疾病预测、药物研发等方面展现了巨大潜力，例如在癌症诊断和治疗方面取得了显著成果。
深度学习与人工智能技术的不断突破，为各行各业带来了巨大的机遇和挑战。未来，随着技术的进一步发展，我们期待人工智能能够在更多领域发挥更重要的作用，为人类社会带来更大的福祉。