当前位置:首页>全部工具>AI对话>CausalLM 7B – 本地AI对话大语言模型系统,未内容审查/无思想钢印,兼容GUP/CPU

CausalLM 7B – 本地AI对话大语言模型系统,未内容审查/无思想钢印,兼容GUP/CPU

该模型是根据Qwen的模型权重训练的(并且使用了LLaMA2,是的,用于计算一些初始权重),您可能还需要根据情况遵守这两个模型的商业使用限制。训练过程采用与 LLaMA2 相同的模型架构,使用与原始 MHA LLaMA2 模型相同的注意力计算方法,并且没有对旋转位置编码 (RoPE) 应用额外的缩放。

我们利用 Hugging Face 的开源数据集手动整理了 1.3B 代币的 SFT 数据集进行训练。对于大多数句子,我们进行了手动或综合重写,并使用更大的语言模型生成了替代语言版本。此外,我们还使用维基百科中精心挑选的条目、Fandom 中的精选条目和萌娘百科中过滤后的条目进行增强文本训练。为了在效率和质量之间取得平衡,训练所用的数据100%是合成数据,没有直接使用网络文本或公开数据集中的原始文本进行微调。

请注意,该模型是根据未经过滤的互联网数据进行训练的。由于我们没有能力审查所有内容,因此可能存在大量我们无法删除的令人反感的内容、色情、暴力和攻击性语言。因此,您仍然需要自己完成对模型安全性的检查并过滤输出中的关键字。由于计算资源的限制,我们目前无法出于模型的伦理和安全性而实施 RLHF,也无法对拒绝回答某些问题的 SFT 样本进行训练以进行限制性微调。

一、CausalLM 7B的开源地址:

https://github.com/LostRuins/koboldcpp

二、如何使用CausalLM 7B?

1、下载文件、并解压文件

解压到电脑D盘,最好不要有中文路径,会得到以下文件:

.gguf文件:大模型文件

.exe文件:分别对应CPU和GPU的运行文件

CausalLM 7B - 本地AI对话大语言模型系统,未内容审查/无思想钢印,兼容GUP/CPU

2、运行程序

1、以下以GPU版本为例,点击koboldcpp_GPU.exe文件,打开后,得到以下界面:

2、在该界面中,点击launch按钮启动程序。

3、选择模型文件:在弹出的窗口中,选择之前提到的.gguf模型文件。

4、选择模型后,软件会自动在浏览器中打开,可以开始正常使用。

CausalLM 7B - 本地AI对话大语言模型系统,未内容审查/无思想钢印,兼容GUP/CPU

下载权限
查看
  • 免费下载
    评论并刷新后下载
    登录后下载
  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
1、山鲸AI所有文章,如无特殊说明或标注,均为本站作者原创发布。
2、任何个人或组织,在未征得作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。
3、如若此作者内容侵犯了原著者的合法权益,可联系客服提交工单进行处理。
4、山鲸AI内用户所发表的所有内容及言论仅代表其本人,并不反映任何山鲸AI之意见及观点。
AI对话全部工具

NVIDIA Chat with RTX 一键部署私密的AI聊天机器人

2024-2-23 0:31:28

AI对话

川虎GPT🐯 - 本地开源AI对话客户端,速度优于ChatGPT,支持联网~

2024-3-6 4:00:02

!
你也想出现在这里? 立即联系
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
error: 您点击的内容受到保护~