最近由 magic-quill 团队开源的 MagicQuill 项目十分引人瞩目。该项目通过定制的gradio客户端,针对不同的图像元素,通过提示词进行修改,从而生成新的图像。相比较其他项目,MagicQuill的优势在于其十分亲民。只需要20步迭代模型预测,预计 10秒钟即可获取图片的修改效果,但是代价是至少需要40个G左右的磁盘空间。
本文分享了在本地(Windows 11)上部署MagicQuill项目的详细步骤。
首先需要下载依赖的权重模型,压缩包地址如下:
https://hkustconnect-my.sharepoint.com/:u:/g/personal/zliucz_connect_ust_hk/EWlGF0WfawJIrJ1Hn85_-3gB0MtwImAnYeWXuleVQcukMg?e=Gcjugg&download=1
推荐使用某雷进行下载,速度会比较快一点。
注意,权重解压后大约需要30G的硬盘空间,请预留好相应的磁盘空间。
随后,克隆官方的最新代码:
git clone --recursive https://github.com/magic-quill/MagicQuill.git
cd MagicQuill
把解压后的models目录,放入的项目的根目录。
复制权重后的目录结构:
E:\work\MagicQuill-main>treee -L 1
MagicQuill-main
├── LICENSE
├── MagicQuill
├── README.md
├── check_env.py
├── docs
├── gradio_magicquill-0.0.1-py3-none-any.whl
├── gradio_run.py
├── hf_download
├── models
├── py311_cu118
├── pyproject.toml
├── requirements.txt
├── tf_download
├── 检测运行环境.bat
└── 运行.bat
随后确保本地已经安装好 python3.11,安装包可以去Python.org官网下载。当然也可以使用conda:
conda create -n MagicQuill python=3.11 -y
conda activate MagicQuill
官方推荐使用python3.10,但经过验证,python3.11也可以运行,且性能更好。
随后安装官方定制版本的gradio客户端:
pip install gradio_magicquill-0.0.1-py3-none-any.whl
由于项目依赖LLaVA,官方推荐使用pip安装:
(For Windows)
copy /Y pyproject.toml MagicQuill\LLaVA\
pip install -e MagicQuill\LLaVA\
直接去LLaVA的官方项目,直接克隆项目:
git clone https://github.com/haotian-liu/LLaVA.git
随后把项目内的llava目录拷贝到当前Python环境的Lib\site-packages目录下即可。
接着回到MagicQuill项目,安装基础依赖:
pip3 install -r requirements.txt
随后安装torch三件套:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
接着修改gradio_run.py文件,把给基础模型增加一个默认值的代码。
default_model = os.path.join('SD1.5', 'realisticVisionV60B1_v51VAE.safetensors')
ckpt_name = gr.Dropdown(
label="Base Model Name",
choices=folder_paths.get_filename_list("checkpoints"),
value=default_model,
interactive=True
)
设置一下环境变量:
set HF_ENDPOINT=https://hf-mirror.com
set CUDA_VISIBLE_DEVICES=0
最后运行命令启动服务:
python3 gradio_run.py
程序返回:
model_type EPS
Using pytorch attention in VAE
Using pytorch attention in VAE
...
说明部署成功。
访问:http://127.0.0.1:7860
如此,就可以在本地愉快地玩耍了。