Ai之本地部署大模型超详细-实战1

发布时间：2025-03-13 18:04:06编辑：321阅读（43）

本地部署大模型的好处:


1.本地部署可以避免将敏感数据上传到云端，减少数据泄露的风险。对于医疗、金融和政府机构等持有大量敏感数据的行业，本地部署是确保数据安全和符合法规要求的解决方案。

2.降低使用成本‌：本地部署不需要支付云服务商的订阅费用或者按量计费，长期来看可以降低运营成本，实现成本效益的最大化。

3.提高使用灵活性‌：用户可以根据自己的需求定制大模型的功能和参数，实现更灵活的应用。

4.提高效率‌：本地部署不受网络延迟和稳定性的影响，能够提升响应速度和效率。

5.在一些网络基础设施不发达的地区，本地部署可以解决网络连接不稳定的问题，确保数据处理不受网络环境的影响。

6.不同国家和地区对数据的存储和处理有不同法律法规要求。本地部署可以确保数据存储在本地，符合法律法规。

7.企业可以通过本地部署保持对AI模型的自主控制权，根据自身需求进行定制化的开发和优化







基于ollama的本地大模型部署:

Ollama‌是一个开源的、简明易用的本地大模型运行框架，旨在简化大型语言模型（LLM）的部署和运行过程。其主要特点和功能包括：

主要特点

开源 Ollama是一个完全开放源代码的项目，任何人都可以查看、修改和贡献代码。

1. 易用性 项目旨在简化语言模型的训练和部署流程，使得没有深度学习背景的人也能轻松使用。

2. 高性能 支持高效地训练和运行大规模的语言模型，利用现代硬件加速计算。

3. 轻量级与可扩展 保持较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。

4. API支持 提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。

5. 预构建模型库 包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。

6. 跨平台支持 提供针对macOS、Windows（预览版）、Linux以及Docker的安装指南，确保用户能在多种操作系统环境下顺利部署和使用Ollama。

主要功能

1. 模型训练 提供工具和指南来训练自己的语言模型。

2. 模型部署 提供部署语言模型的工具，使其能够在生产环境中使用。

3. 模型管理 方便地下载和管理各种语言模型，用户能够根据自己的需求选择适合的模型。

4. 推理 在已训练的模型上进行输入处理，生成输出的过程。

5. 微调 用户可以使用自己的数据集对预训练模型进行微调，以定制模型的输出。

应用场景

1. 开源和测试 开发人员可以使用Ollama在本地快速搭建语言模型环境，用于开发新的语言相关的应用程序，如智能客服机器人等。

2. 个人学习和研究 对于研究自然语言处理的学者或对语言模型感兴趣的个人来说，Ollama提供了一个方便的实验平台，可以在本地加载不同的模型，对比它们的性能，研究模型的输出特性等。

3. 企业应用 企业内部有一些敏感的文档需要通过语言模型进行处理和分析时，使用Ollama在本地运行模型，可以避免数据传输到外部服务器带来的潜在风险。




ollama安装

官方地址:https://ollama.com/ 下载对应的系统版本安装即可


windows环境下

安装完成后进入cmd命令行界面

ollama --version

显示版本即可,如下



也可进入web界面，访问http://localhost:11434/ ，默认会开启11434端口

Ollama is running

运行成功,如下






选择模型

访问:https://ollama.com/search ,里面包含非常多的主流模型，选择查看对应的模型



模型安装

命令行界面对应的命令，模型名称:模型大小(根据自己电脑的配置即可)

ollama run deepseek-r1:1.5b

如下图






模型交互

cmd里面输入问题即可

如下图







命令行模式体验不太友好,可以使用chatbox来提升本地模型的使用体验和能力

chatbox

chatbox是一个多功能的AI助手和聊天工具，结合了人工智能技术和便捷的操作界面，帮助用户快速完成各种任务。它支持在多个平台上运行，包括iOS、macOS、Linux、Windows、Android以及网页端，并且支持云同步。

主要功能

Chatbox的核心功能包括：

1.文档、图片和代码处理‌：用户可以将文档、图片或代码发送给Chatbox，它会理解内容并提供智能响应，帮助提高生产力和创造力。

2.数据分析和辅助决策 上传数据表格后，Chatbox能够生成清晰的分析报告，并提供优化建议，帮助用户做出更明智的决策。

3.多模态沟通 支持Excel、Word、PDF、代码等多种文件格式的处理，用户只需将文件发送给Chatbox，它就能理解内容并提供相应的响应。

使用场景

Chatbox在生活和工作中有多种应用场景：

1.职场人士的效率神器 例如，市场部门负责人可以使用Chatbox进行季度报告的数据分析和优化建议生成。

2.日常生活中的得力助手 例如，旅行计划的设计，Chatbox可以提供详细的行程安排和优化建议

官网地址:https://chatboxai.app/zh#download 下载安装对应的版本即可

打开chatbox选择使用本地模型




选择使用ollama api



点击选择下载的deepseek-r1:1.5b模型，保存即可






然后就可以使用本地聊天框进行模型交互了






chatbox添加第三方模型

注册一个硅基流动的账号，网址:https://account.siliconflow.cn/zh/login

新建一个api密钥



点击模型广场选择合适的模型，这里选择阿里千问免费的模型



点一下，再点击api文档




把url: https://api.siliconflow.cn/v1/chat/completions, 模型名:Qwen/QwQ-32B  还有上面的api密钥 复制一下

设置chatbox，点击保存






返回chatbox，使用阿里千问模型提问






chatbox联网搜索






联网失败，这里推荐使用一个谷歌浏览器插件pageassist(google应用商店下载需要梯子，也可以在网上找别人下好的)

打开pageassist输入问题，注意下面小地球标志需要开启



可以看到答案正确，联网成功了.

关键字：