该公众号大部分文章来自作者日常学习笔记,未经授权,严禁转载,如需转载,联系洪椒攻防实验室公众号。请勿利用文章内的相关技术从事非法测试,如因此产生的一切不良后果与文章作者和本公众号无关。
这是不是正在和 Deepseek 对话时的你,半天没个回应。想让 DeepSeek 帮忙头脑风暴时,它却因为服务器繁忙,只留给你一句 “服务器繁忙,请稍后再试”,热情瞬间被泼了冷水。
DeepSeek的爆火带来了前所未有的关注度,却也带来了使用体验的断崖式下滑,这也正是为什么现在越来越多的人选择去使用本地部署。
部署过Deepseek模型的师傅应该都不会对Ollama陌生,Ollama 是一款专注于本地化运行大型语言模型(LLM)的开源工具,它提供了一个平台,允许用户在自己的电脑上部署和运行大型语言模型(如DeepSeek)。
这种方式避免了依赖云端API,提高了数据的安全性和隐私性。它完全离线、可定制,且支持私有化部署。
Ollama支持多种预训练语言模型,如 LLaMA、DeepSeek、Mistral 等,并提供了简单的命令行工具和 RESTful API。
相比于需要购买云服务的其他AI解决方案,Ollama和DeepSeek的组合提供了一种成本更低的选择,特别是对于只需要偶尔使用AI功能的用户。
目前Deepseek主流版本有两种:
V3: 对标OpenAI的GPT-4,采用混合专家(MoE)架构,专注于自然语言处理任务,适用于客服、文本摘要、内容生成等领域。 R1: 高级推理优化模型,利用强化学习技术显著提升推理能力,适合逻辑推理和问题求解等需要高精度推理服务的场景。这种使用比较多,下表为具体参数详情:
参数规模 | 适用场景 | 硬件门槛(最低) | 典型用户 |
---|---|---|---|
1.5B | 智能家居指令解析、工业传感器文本预处理 | 4核CPU/4GB显存 | 物联网开发者 |
7B-8B | 代码补全、文档生成、本地知识库问答 | RTX3060/12GB显存 | 个人开发者 |
14B-32B | 企业级合同分析、多轮对话系统、金融预测 | RTX4090/24GB显存 | 中小型企业 |
70B | 药物分子设计、气候建模、基因组分析 | 2xA100 80GB显卡 | 科研机构 |
671B | 国家级AI研究、通用人工智能探索 | 8xH100集群 | 超算中心/科技巨头 |
在Ollama安装完成以后,只需一条命令就能拉取 DeepSeek-R1 的模型文件并运行 DeepSeek-R1 的指定版本(官网的第一个模型即是DeepSeek-R1,点击进入,有不同版本(蒸馏版和满血版)):
ollama run deepseek-r1:1.5b
要注意的是,如果Ollama部署时候未设置身份验证和访问控制功能,其默认服务API接口http://XX.XX.XX.XX:11434
可能对公网暴露并且未授权情况下被调用,攻击者可远程访问该接口,调用大模型计算资源实现白嫖。
简单来说,Ollama 默认会开启一个 API 服务,监听特定端口如 11434。如果你的设备有公网 IP,并且没有限制访问权限,任何人都可以通过你的 IP 地址连接到这个服务。这也就是为什么我们需要对我们的大模型进行安全加固。
0X00 风险点
通过fofa指纹app="Ollama" && is_domain=false && country="CN" && port="11434"
找到 8000+部署在云服务器的ollama 模型,默认本地监听11434端口:
然后找个测试的地址,一般来说,访问默认端口11434。提示Ollama is running
可能存在未授权访问漏洞:
/api/tags
接口未授权查看下模型接口,诶嘿,满血版
接下来设置api域名添加http://xxx:11434/api/tags
,然后选择模型保存就可以了。
利用目前市面上有很多可以在本地与 AI 模型交互的客户端,如cherry studio,Chatbot这些。个人使用体验较好的是Chatbox,安装简单,界面简洁,交互友好,支持众多AI 模型和Ollama 在内的多种主流模型的 API 接入。
安装完成后首次进入界面时,要求用户选择配置AI模型提供方,本文是本地部署的模型,所以选择“使用自己的API Key或本地模型”。
其实关于Ollama安全风险早在去年Deepseek还没上线的时候就已经爆出多个漏洞参考https://www.freebuf.com/news/414559.html:
CVE-2024-39719(CVSS 评分:7.5):攻击者可以使用 /api/create 端点利用该漏洞来确定服务器中是否存在文件(已在版本 0.1.47 中修复) CVE-2024-39720(CVSS 评分:8.2):越界读取漏洞,可通过 /api/create 端点导致应用程序崩溃,从而导致 DoS 情况(已在 0.1.46 版本中修复) CVE-2024-39721(CVSS 分数:7.5):在将文件“/dev/random”作为输入传递时,重复调用 /api/create 端点时,会导致资源耗尽并最终导致 DoS 的漏洞(已在 0.1.34 版本中修复) CVE-2024-39722(CVSS 分数:7.5) :api/push 端点中的路径遍历漏洞,暴露了服务器上存在的文件以及部署 Ollama 的整个目录结构(已在 0.1.46 版本修复) 无 CVE 标识符,未修补 漏洞:可通过来自不受信任的来源的 /api/pull 终端节点导致模型中毒 无 CVE 标识符,未修补 漏洞: 可能导致通过 /api/push 终端节点向不受信任的目标进行模型盗窃
因此,作为一个合格的AI安全工程师,用AI提升效率的同时,一定也要做好安全防护加固。
0X01 风险自查
快速检测 Ollama 服务是否可能被公网访问:
打开你的本地大模型客户端软件(例如Chatbox 等)。 在客户端软件的 Ollama API设置,找到“API域名”或“连接设置”选项。 域名地址填写你的公网 IP 地址+端口号,如果能刷新出模型列表则表示你可能中招。
这意味着,理论上,知道你 IP 地址的人,有可能连接到你的 Ollama 服务,需要进一步进行加固。如果显示连接失败或其他错误,暂时不用过于担心。
2.检查服务器配置
检查Ollama的config配置文件"host":"0.0.0.0"
检查系统环境变量OLLAMA_HOST 0.0.0.0
以上2种若发现host为0.0.0.0
,即判定存在安全风险,需要做相关的安全加固。
0X02 安全加固
限制API服务访问范围
最有效的防护方法,就是限制 Ollama API 服务的访问范围,只允许本地访问 。就像给房子装上防盗门。
方法:修改 Ollama 启动参数,将 API 服务绑定到本地地址 127.0.0.1 或是192.168.**.** 等。
- 如果是用命令行启动 Ollama :在启动命令中加入 -H 127.0.0.1 参数。例如:
ollama serve -H 127.0.0.1(192.168.**.**)
- 如果是用 Docker 部署 Ollama :在 docker run 命令中,将端口映射改为 127.0.0.1:11434:11434。例如:
docker run -d -p 127.0.0.1(192.168.**.**):11434:11434 ollama/ollama
2.做好防火墙策略
仅允许特定IP或IP段访问Ollama端口(默认11434)。
- Windows操作系统 :
WIN+R:wf.msc →右键"入站规则" → "新建规则"选择"端口" → TCP → 特定本地端口:11434选择"阻止连接" → 应用到配置文件
- Debian Ubuntu Kali 操作系统:
# 使用 UFWsudo ufw deny 11434/tcp# 或使用 iptablessudo iptables -A INPUT -p tcp --dport 11434 -j DROPsudo iptables -A OUTPUT -p tcp --dport 11434 -j DROP
- RedHat CentOS 操作系统:
#使用 firewall-cmdsudo firewall-cmd --permanent --add-port=11434/tcp --zone=publicsudo firewall-cmd --permanent --remove-port=11434/tcp --zone=publicsudo firewall-cmd --reload
0X03 总结
说白了,想让你的DeepSeek模型安安稳稳地跑起来,光有性能可不够,安全才是重中之重。按照上面说的这些方法,给你的模型加把“安全锁”,就能大大降低被“黑”的风险,让它在一个更安全的环境里为你服务。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...