具有 130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过 GPT-3（ 参数量达1750 亿），而且可以在单块V100 GPU上运行。

从「YOU」到「ChatGPT」，只有短短的17年。

CUDA算法的效率总的来说，由存取效率和计算效率两类决定，一个好的CUDA算法必定会让两类效率都达到最优化，而其中任一类效率成为瓶颈，都会让算法的性能大打折扣。

模型预测和预期使用之间存在错位，不利于 CV 模型的部署，来自谷歌等机构的研究者用强化学习技术的奖励函数，从而改善了计算机视觉任务。

2023年了，还有人从头开始训模型吗？追踪一下从Bert以来的那些预训练模型。

本文提出了基于知识图谱的多模态类比推理任务，对此任务进行了形式化的定义并提供了一个多模态类比推理数据集 MARS 和多模态知识图谱数据集 MarKG。

ChatExcel 可以直接使用自然语言对表格中的数据信息进行查询、修改等操作，就像是一个精通 Excel 的助手。

近期爆火的 AI 聊天机器人 ChatGPT，以及文生图模型 Dall·E 2、Stable Diffusion 等，让生成式人工智能成功出圈。

ChatGPT 将加速通用人工智能的实现。—— 邱锡鹏

“现在Stable Diffusion已经能重建大脑视觉信号了！”

首先是数据增广的tricks

本文作者则整理分析了2018年到2022年初从GPT-1到Gopher的相关大型语言模型的所有数据集相关信息。

2022年流行“文生图”模型，那2023年流行什么？ 机器学习工程师Daniel Bourke的答案是：反过来！

作者从经济学切入，详细推导了类ChatGPT模型搜索的成本、训练GPT-3以及绘制LLM成本轨迹的通用框架。

为了应对现实世界的动态变化，智能体需要在其生命周期中增量地获取、更新、积累和利用知识。这种能力被称为持续学习，为人工智能系统自适应发展提供了基础。

今天这篇会先展开说一说ChatGPT，明白ChatGPT的技术原理，技术到底牛在哪里，ChatGPT可能的落地应用方向，AI产品经理在这波浪潮中可以做些什么。

来自斯坦福大学的华人小哥Kevin Liu就通过这一方法，把它的prompt全给钓了出来。

训练任务越多，真的意味着泛化能力越强吗？

ChatGPT爆火，Meta也坐不住了。

如果要我说，人生反正不是监督学习，更像是强化学习甚至无监督学习。当然，也可能人生就是随机挑战。