使用亚马逊Amazon EC2实例部署Qwen-7B-Chat教程

随着DeepSeek在全球范围内的爆火，中国造大模型行业也呈现着一片欣欣向荣的景象，如阿里云通义千问大模型、腾讯云混元大模型、京东云言犀大模型、华为云盘古大模型等。目前，越来越多的国内国外服务器商也纷纷支持部署大模型服务，本文就以阿里云通义千问大模型为例，为大家介绍利用亚马逊Amazon EC2实例部署Qwen-7B-Chat的教程，仅供参考。

一、购买并配置亚马逊Amazon EC2实例

本文涉及到的亚马逊免费云服务：Amazon EC2

Amazon EC2即AWS云服务器，提供了最广泛、最深入的计算平台，可选择处理器、存储、联网、操作系统和购买模式。拥有最强大的针对机器学习培训和图形工作负载的GPU实例，以及云中每次推理成本最低的实例。

目前亚马逊云科技官网提供的免费Amazon EC2套餐配置为高频Intel Xeon处理器、1核1G、30GB SSD、多操作系统可选，可免费试用12个月。

新用户注册亚马逊云科技账户，即可免费使用Amazon EC2，长达12个月。

点击获取：亚马逊免费Amazon EC2

1、进入亚马逊云科技官网，注册并登录到亚马逊控制台。

相关推荐：《亚马逊云科技账号注册流程图解》

2、在网页的右上角选择区域，根据用户自身需求来选择。

3、在后台服务中找到“Amazon EC2”。

4、选择“快速启动AMI”，找到ubuntu20.04镜像。

5、配置Amazon EC2实例，如下：

实例类型：g4dn.12xlarge。

实例选择好后，配置相应的网络及安全组参数同时开放22端口的访问权限。

登录以后，可以看见下图所示：

也可以通过nvidia-smi命令看到该机器的硬件配置。

二、安装并配置Jupyter Notebook

Jupyter Notebook是一个交互式笔记本，本质是一个Web应用程序，便于创建和共享程序文档，支持运行40多种编程语言。

1、利用以下命令进行安装：

pip install jupyter

安装完成后，通过以下命令生成相应的配置文件：

upyter notebook–generate-config

如果需要对Jupyter Notebook设置密码，可以通过jupyter notebook password进行配置。

2、用户可以对Jupyter Notebook进行配置，如下：

.NotebookApp.ip=’*’#允许访问此服务器的IP，星号表示任意IP

c.NotebookApp.open_browser=False#运行时不打开本机浏览器

c.NotebookApp.port=8369#使用的端口，随意设置

c.NotebookApp.enable_mathjax=True#启用MathJax

c.NotebookApp.allow_remote_access=True#允许远程访问

c.NotebookApp.notebook_dir=’/home/work/’#设置默认工作目录

配置好以后，通过命令nohup jupyter notebook&启动jupyter notebook

3、SSH连接亚马逊云科技Amazon EC2实例（适用于Mac/Linux环境）

查找并复制实例的公共DNS。

在实例的描述页面下，复制AWS EC2实例的公共DNS（IPv4地址）。

打开命令行终端，在终端中，切换到存放安全密钥的目录，然后使用SSH命令连接到AWS EC2实例：

cd /Users/<your_username>/Downloads/
chmod 0400 <your .pem filename>
ssh -L localhost:8888:localhost:8888 -i <your .pem filename> ubuntu@<your instance DNS>

在继续之前，停止任何正在进行的系统更新，确保AWS可以顺利安装Docker：

sudo pkill -f “apt.systemd.daily”
sudo apt install docker.io

三、部署Qwen-7B-Chat模型

阿里通义千问Qwen-7B-Chat是由阿里云研发的一系列大语言模型中的一个，基于Transformer架构构建，该模型具有70亿参数规模，专门为理解和生成人类语言而设计。

点击进入：阿里云官网

1、登录到服务器，利用git命令下载千问的代码：

git clone https://github.com/QwenLM/Qwen.git

2、下载好代码后，进入到Qwen的目录，并利用pip install命令安装相关依赖：

cd Qwen/

pip install -r requirements.txt

注：transformer的版本可能会导致依赖下载失败，这里将master branch中的transformers版本改成了4.32.0，依赖可以正常下载。

transformers==4.32.0

accelerate

tiktoken

einops

transformers_stream_generator==0.0.4

scipy

3、下载Qwen-7B-Chat模型

进入魔塔社区，它是阿里云精心打造的AI模型开源平台，可以在此处下载模型文件，一般用两种下载方式：SDK下载+Git下载，本文选择SDK下载方式，模型文件默认下载到目录~.cachemodelscopehubqwen下。

#模型下载

from modelscope import snapshot_download

model_dir = snapshot_download(‘qwen/Qwen-7B-Chat’,cache_dir=’自己的地址’)

4、利用数据对模型进行微调

对模型进行定制时，所需的训练数据格式为JSON数据，具体如下，用户可以提供多条JSON本在一个jsonl文件中。注意每行仅包含一条JSON。

{“messages”: [{“role”: “system”, “content”: “You are a helpful assistant”}, {“role”: “user”, “content”: “用户的问题”}, {“role”: “assistant”, “content”: “模型的回答”}]}

Qwen微调的命令已经准备好了，在finetune目录下面。

因为g4dn.12xlarge具有4块卡，用户可以用多卡微调的脚本进行训练。本文以qwen 1.8B chat模型为例进行训练。