Ollama

　　1.主流模型一键拉取

　　内置模型仓库，支持 llama 3、deepseek、qwen、mistral、gemma 等主流大模型，一条命令即可下载并运行。

　　2.完全本地化运行

　　所有模型推理均在本机完成，数据不经过任何第三方服务器，彻底保护企业与个人的对话隐私，无网络连接也可正常使用。

　　3.rest api 轻松集成

　　提供兼容 openai 格式的 rest api，可与 open-webui、chatbox、langchain 等主流 ai 应用无缝集成，快速搭建私有 ai 助手。

　　4.gpu 加速高效推理

　　自动识别并调用 nvidia cuda 与 amd rocm 显卡加速，大幅提升推理速度;无独立显卡时自动切换 cpu 模式，兼容性极强。

　　1.主流模型一键拉取

　　内置模型仓库，支持 llama 3、deepseek、qwen、mistral、gemma 等主流大模型，一条命令即可下载并运行。

　　2.完全本地化运行

　　所有模型推理均在本机完成，数据不经过任何第三方服务器，彻底保护企业与个人的对话隐私，无网络连接也可正常使用。

　　3.rest api 轻松集成

　　提供兼容 openai 格式的 rest api，可与 open-webui、chatbox、langchain 等主流 ai 应用无缝集成，快速搭建私有 ai 助手。

　　4.gpu 加速高效推理

　　自动识别并调用 nvidia cuda 与 amd rocm 显卡加速，大幅提升推理速度;无独立显卡时自动切换 cpu 模式，兼容性极强。