Ollama

让你一行命令就能在自己电脑上使用各种强大 LLM,同时数据完全不离设备

Ollama是一个开源工具,旨在让用户最简单地在本地机器上运行和使用开源大语言模型(LLMs),同时保证数据隐私和安全

核心产品功能描述

  1. 本地运行大语言模型(Local LLM Inference)

    • 在你自己的电脑上直接下载、运行和管理开源LLM,无需依赖云服务。
    • 数据完全本地处理,不上传到任何外部服务器,隐私性极强。
    • 支持消费级硬件(包括GPU加速),通过量化技术(如4-bit)让70B甚至更大模型也能在普通显卡上运行。
  2. 极简安装与使用体验

    • 一键安装(macOS、Windows、Linux均支持)。
    • 命令行操作非常简单:
      • ollama pull <model> 下载模型
      • ollama run <model> 直接聊天或使用
    • 提供兼容 OpenAI Chat Completions API 的接口,可无缝接入现有工具和代码。
  3. 丰富的模型库

    • 内置海量开源模型支持,包括但不限于:
      • Meta Llama 系列(Llama 3.1、Llama 3.2 等 8B/70B/405B)
      • DeepSeek-R1、Qwen3 系列(含Qwen3-Coder、Qwen3-VL)
      • Gemma 3、Mistral、Mixtral、Phi-3、GLM-4、Kimi-K2 等
      • 多模态模型(视觉+语言,如 LLaVA、Qwen-VL)
      • 嵌入模型(embedding)、工具调用(tool calling)模型
    • 模型可在 https://ollama.com/library 浏览和搜索。
  4. 自定义与个性化模型(Modelfile)

    • 通过 Modelfile 文件轻松创建自定义模型。
    • 可以修改系统提示、温度、模板、绑定 LoRA 适配器、调整行为等。
    • 支持微调后的模型导入和分享。
  5. 工具调用与智能体能力(Tool Calling & Agentic Features)

    • 支持 function calling、structured output。
    • 部分模型原生支持工具调用、思考链(chain-of-thought)、Python 执行等。
    • 可结合社区工具实现 RAG(检索增强生成)、文档分析、智能自动化等。
  6. 多模态支持

    • 支持视觉语言模型(vision/language),可以处理图片+文字任务。
    • 正在扩展更多模态能力(未来可能包括语音、视频等)。
  7. 社区生态与集成

    • 兼容大量第三方工具:OpenWebUI、LangChain、LlamaIndex、VS Code 插件等。
    • 支持 RAG(文档知识库问答)、自动化脚本、代码助手等场景。
    • GitHub 上有大量社区集成示例。