分享一下自己训练的大模型

21次阅读

共计 604 个字符,预计需要花费 2 分钟才能阅读完成。

半年前出于兴趣开始整自己的大模型,对目前的版本还算满意。

主要基于 Qwen、Yi、Llama 这些不错的预训练模型做对齐,某些场景的效果甚至比官方的 Chat 对齐效果更好。

另外,训练数据也一并开源,方便大家用于复现和研究使用。


在线 Demo:https://blossom-chat.com/

GitHub:https://github.com/Azure99/BlossomLM

介绍:https://www.rainng.com/blossom-llm/

模型权重 / 训练数据


如果你想在本地部署,可以用 Ollama 一键启动。默认是 9B 4Bit 量化后的模型,速度和质量都不错,CPU 也跑得动。

ollama run azure99/blossom-v5

附上两个喜闻乐见的 ruozhiba 示例

Q: 鲁迅为什么要打周树人?A: 您的问题似乎包含了一个误解。鲁迅和周树人是同一个人。鲁迅是他的笔名,而周树人是他的原名。鲁迅是中国现代文学的著名作家和思想家,以其深刻的批判性和对社会现象的洞察力而著称。他并没有“打”周树人,因为这是同一个人。如果您有关于鲁迅或周树人的其他问题,比如他的作品、生平或者对中国文学的影响,我可以提供帮助。Q: 小明有 10 个苹果,他洗了 3 个后,他一共有几个苹果
A: 小明原来有 10 个苹果。当他洗了 3 个苹果之后,这 3 个苹果仍然是属于他的。所以,即使他把这 3 个苹果洗干净了,总数仍然保持不变。因此,小明一共有 10 个苹果。
正文完
 0