transformer是2017年写出来的

59次阅读

共计 710 个字符,预计需要花费 2 分钟才能阅读完成。

作者直到 2022 年才从 GOOGLE 离职
为啥 GOOGLE 没搞出比 CHATGPT 更 NB 的项目?

网友回复:

注册 我以为你说变形金刚

simonw 您好,这是 Bing。Transformer 是一种新颖的神经网络架构,用于自然语言理解任务,如语言建模、机器翻译和问答 1。它是由 Google 的研究人员在 2017 年提出的,其核心思想是使用注意力和自注意力机制,而不是循环神经网络 (RNN) 中的反馈循环 2。ChatGPT 是一个大型语言模型,由 OpenAI 开发,旨在解决对话生成的挑战。ChatGPT 也基于 Transformer 架构,并使用了一种称为 GPT- 3 的预训练技术,可以从大量文本中学习通用知识和语言规则 3。为什么 Google 没有开发出比 ChatGPT 更优秀的项目,这可能涉及到许多因素,如数据量、算力、研究方向、商业目标等。我无法给出一个确切的答案,但我可以帮助您搜索更多相关信息。

tomcb 你说的是 Andrej Karpathy 吧,Andrej Karpathy 之前也在 Open AI 团队,后来去 Google 了,Open AI 搞出来 chatgpt,他又想回来参与了。反正技术大佬钱早挣够了,就喜欢跳来跳去挑战智力吧大概。Google 很难说没人有曾经不想做,但是大公司又不是你说了算,通不过还不是常有的事儿

Sleepyhead Transformer 是基于自注意力机制的,Google 不发 Attention is all you need 这篇论文的话,早晚会有其他人发一篇类似的基于 Self-Attention 的论文

我的心是冰冰的 兄弟,基础理论离实际应用的距离吧,kalman 滤波 1960 年提出来的,现在电动汽车电池的状态估计都还没完全用上呢

正文完
 0