Ollama是一个开源工具,旨在让用户最简单地在本地机器上运行和使用开源大语言模型(LLMs),同时保证数据隐私和安全。
核心产品功能描述
-
本地运行大语言模型(Local LLM Inference)
- 在你自己的电脑上直接下载、运行和管理开源LLM,无需依赖云服务。
- 数据完全本地处理,不上传到任何外部服务器,隐私性极强。
- 支持消费级硬件(包括GPU加速),通过量化技术(如4-bit)让70B甚至更大模型也能在普通显卡上运行。
-
极简安装与使用体验
- 一键安装(macOS、Windows、Linux均支持)。
- 命令行操作非常简单:
ollama pull <model>下载模型ollama run <model>直接聊天或使用
- 提供兼容 OpenAI Chat Completions API 的接口,可无缝接入现有工具和代码。
-
丰富的模型库
- 内置海量开源模型支持,包括但不限于:
- Meta Llama 系列(Llama 3.1、Llama 3.2 等 8B/70B/405B)
- DeepSeek-R1、Qwen3 系列(含Qwen3-Coder、Qwen3-VL)
- Gemma 3、Mistral、Mixtral、Phi-3、GLM-4、Kimi-K2 等
- 多模态模型(视觉+语言,如 LLaVA、Qwen-VL)
- 嵌入模型(embedding)、工具调用(tool calling)模型
- 模型可在 https://ollama.com/library 浏览和搜索。
- 内置海量开源模型支持,包括但不限于:
-
自定义与个性化模型(Modelfile)
- 通过 Modelfile 文件轻松创建自定义模型。
- 可以修改系统提示、温度、模板、绑定 LoRA 适配器、调整行为等。
- 支持微调后的模型导入和分享。
-
工具调用与智能体能力(Tool Calling & Agentic Features)
- 支持 function calling、structured output。
- 部分模型原生支持工具调用、思考链(chain-of-thought)、Python 执行等。
- 可结合社区工具实现 RAG(检索增强生成)、文档分析、智能自动化等。
-
多模态支持
- 支持视觉语言模型(vision/language),可以处理图片+文字任务。
- 正在扩展更多模态能力(未来可能包括语音、视频等)。
-
社区生态与集成
- 兼容大量第三方工具:OpenWebUI、LangChain、LlamaIndex、VS Code 插件等。
- 支持 RAG(文档知识库问答)、自动化脚本、代码助手等场景。
- GitHub 上有大量社区集成示例。