人工智能行业:DeepSeek应用与部署
| 领 涨 个 股 |
名称 | 相关 | 涨跌幅 |
|---|
| 资 金 流 入 |
名称 | 相关 | 净流入(万) |
|---|
AnythingLLM接入
下载安装·打开官网,根据自己的系统选择下载对应的版本。
安装文件,按照安装向导的提示进行操作,默认路径安装或修改默认安装路径都可以。安装完成后,点击完成自动跳转到AnythingLLM界面。
模型配置·LLMSelection(大语言模型选择):选择Ollama,如果本地已通过Ollama部署了DeepSeek等模型,AnythingLLM会自动检测。这意味着模型和聊天记录仅在运行Ollama模型的机器上可访问,保证了数据的安全性和隐私性。·EmbeddingPreference(嵌入偏好):使用AnythingLLMEmbedder嵌入工具,文档文本会在AnythingLLM的实例上私密嵌入,文本数据的处理和转换在本地进行,不会泄露给第三方。·VectorDatabase(向量数据库):使用LanceDB作为向量数据库,向量和文档文本都存储在AnythingLLM实例上,进一步确保数据的私密性和安全性。
接入DeepSeek模型·通过Ollama接入:先在本地通过Ollama部署DeepSeek模型,然后在AnythingLLM中选择Ollama作为语言模型推理后端,AnythingLLM会自动连接到本地Ollama服务中的DeepSeek模型。·通过DeepSeekR1API接入:在AnythingLLM工作区右侧点击设置,选择聊天设置,更改LLM模型为DeepSeek,输入APIKey并选择DeepSeekR1模型,点击更新工作区即可。
搭建本地知识库·在AnythingLLM左侧工作区找到上传按钮,选中要上传的文档,点击移动到工作区,再点击“SaveandEmbed”,对文档进行切分和词向量化。·完成后,点击图钉按钮,将文档设置为当前对话的背景文档,即可在聊天窗口基于上传的文档内容与模型进行对话。