lmstudio_zh

使用LM Studio进行聊天

LM Studio是一个多平台（macOS, Windows, Linux）的大模型聊天程序，能够加载GGUF格式（llama.cpp）的模型。接下来将简要介绍使用方法。其余用途请自行尝试和查阅官方手册进行了解。

Step1: 下载对应平台的应用程序

Step2: 整理模型目录

新建一个models目录，并按以下格式整理模型文件（可以复制，也可以设置软连接），与HuggingFace模型库中的命名类似。 例如：hfl/chinese-mixtral-instruct模型可以按以下目录形式设置，其中最后一层里放入GGUF模型。

- hfl
  - chinese-mixtral-instruct
    - ggml-model-q4_0.gguf

Step3: 打开程序，设置模型库地址

打开程序之后，点击最后一个文件夹图标的TAB。在Local models folder一栏，点击change，指向上一步新建的models目录。完成设置后将会列出所有识别出的模型。设置为Mistral Instruct指令模板。

注：目前Mixtral会被识别为LLaMA，并不影响模型的推理。

Step4: 开始聊天

点击第三个对话按钮，进入聊天程序。上方选择模型进行加载。右侧栏可设置系统指令、启用GPU、上下文窗口大小等内容。左侧栏可新建会话。