【 ChatGPT 】 写 代码 、 作 诗词 、 编 文章 ， 火爆 全网 的 它 真的 会 取代 打 工人 吗 ？ - YouTube (1) ||code|write|poetry|writing|Article 1|popular|the whole internet|||||replace workers||workers|| ChatGPT 】Writing code, composing poems and articles, will it really replace labourers? - YouTube (1) ChatGPT 】Writing code, composing poems and articles, will it really replace laborers? - YouTube (1) ChatGPT] Écrire du code, de la poésie et des articles, cela remplacera-t-il vraiment les travailleurs ? ChatGPT] Escrever código, poesia e artigos, será que vai mesmo substituir os trabalhadores?

2022 年 11 月份 |November 2022年11月份

注定 是 要 改变 人类 社会 的 日子 destined day|||change|||| 注定是要改变人类社会的日子

这个 月份 啊 这个月份啊

OpenAi 推出 了 他 的 聊天 性 人工智能 |launched||||chatbot|chatbot|chatbot AI OpenAi推出了他的聊天性人工智能

chatGPT 仅用 一个月 时间 |only use|a month| chatGPT仅用一个月时间

用户 就 达到 了 1 亿 用户 User 1||reached 100 million||hundred million|users 用户就达到了1亿用户

微软 为了 打赢 搜索 大战 Microsoft||win|search battle|search war 微软为了打赢搜索大战

他 把 chatGPT 接入 他 的 newbing 搜索引擎 中 |||integrate|||newbing|search engine| 他把chatGPT接入他的newbing搜索引擎中

但是 仅仅 公测 了 一周 后 |only|public test||one week| 但是仅仅公测了一周后

用户 就 发现 了 User 1||| 用户就发现了

许多 令人 不寒而栗 的 情况 啊 many|makes people shudder|shuddering with fear||situation 1| 许多令人不寒而栗的情况啊

chat GPT 居然 具有 主观 意识 ||actually|has|subjective consciousness|consciousness chat GPT居然具有主观意识

newBing 不仅 会 示爱 还会 PUA |not only||show affection||pick-up artist newBing不仅会示爱还会PUA

甚至 会 威胁 人类 even||threaten humanity| 甚至会威胁人类

这 不禁 令人 感到 害怕 |can't help||| 这不禁令人感到害怕

chatGPT 如果 再 这么 发展 下去 chatGPT如果再这么发展下去

是否 会 凌驾于 人类 的 意志 之上 ||supersede|||will|above humanity 是否会凌驾于人类的意志之上

甚至 反过来 诱导 甚至 统治 我们 人类 |Conversely|induce|even|dominate|| 甚至反过来诱导甚至统治我们人类

今天 呢 我们 就 来 讲讲 chatGPT |||||talk about| 今天呢我们就来讲讲chatGPT

大家 好 我 是 老克 ||||Old Ke 大家好我是老克

一个 永远 分不清 前后 鼻音 的 up 主 |forever|can't distinguish|before and after|nasal sound||| 一个永远分不清前后鼻音的up主

旁边 是 人工智能 AI 小仙 next to||||AI fairy 旁边是人工智能AI小仙

大家 好 哈哈哈 ||ha ha ha 大家好哈哈哈

今天 呢 我们 从 三个 方面 啊 今天呢我们从三个方面啊

让 大家 一个 视频 了解 完整 chatGPT |||||complete chatGPT| 让大家一个视频了解完整chatGPT

第一个 呢 the first| 第一个呢

就是 chatGPT 是 如何 发展 起来 的 |||how||| 就是chatGPT是如何发展起来的

它 又 是 如何 运作 的 |||how it|operates| 它又是如何运作的

第二个 就是 我们 中国 第二个就是我们中国

离 我们 自己 的 chatGPT 有多远 |||||how far 离我们自己的chatGPT有多远

第三个 呢 the third| 第三个呢

就是 我们 真的 会 被 chatGPT 所 取代 吗 ||||||by|replaced by| 就是我们真的会被chatGPT所取代吗

要说 清楚 chatGPT 啊 to say||| 要说清楚chatGPT啊

首先 就要 理 清楚 GPT 和 chatGPT ||understand|||| 首先就要理清楚GPT和chatGPT

我们 首先 说 chatGPT 啊 我们首先说chatGPT啊

chatGPT 是 在 GPT3.5 的 基础 上 |||||foundation| chatGPT是在GPT3.5的基础上

加 了 一些 互动 和 UI 设计 的 东西 |||interactive elements||||| 加了一些互动和UI设计的东西

让 它 呢 变成 一个 能 跟 人 聊天 的 AI 产品 让它呢变成一个能跟人聊天的AI产品

也就是说 啊 GPT 其实 是 chatGPT 的 大脑 也就是说啊GPT其实是chatGPT的大脑

而 chatGPT 呢 是 GPT 的 脸 而chatGPT呢是GPT的脸

而 其实 使用 GPT 这个 模型 的 产品 啊 而其实使用GPT这个模型的产品啊

不 只是 有 chatGPT 还有 很多 东西 不只是有chatGPT还有很多东西

比如说 啊 Checklist ||Checklist(1) 比如说啊Checklist

还有 Checkboat 还有 code grantion 等等 |Checkboat(1)|||code grantion| 还有Checkboat还有code grantion等等

在 网上 呢 在网上呢

差不多 能 找到 600 多个 差不多能找到600多个

使用 GPT 模型 开发 的 工具 使用GPT模型开发的工具

那 我 刚才 说 到 的 GPT 模型 又 是 啥 呢 |||||||GPT model|||| 那我刚才说到的GPT模型又是啥呢

GPT 啊 是 一个 学习型 语言 模型 ||||learning model|| GPT啊是一个学习型语言模型

它 是 属于 自然语言 模型 的 分支 ||belong to|Natural Language|||branch 它是属于自然语言模型的分支

GPT 的 全称 是 ||full name| GPT的全称是

中文 意思 是 生成式 预 训练 模型 |||Generative|pre-training|training|Model(1) 中文意思是生成式预训练模型

它 的 原理 啊 ||principle| 它的原理啊

是 先用 大量 的 文本 资料 来 进行 训练 |first use|large amount||text data|||| 是先用大量的文本资料来进行训练

然后 呢 根据 然后呢根据

前面 的 文字 来 猜测 后面 应该 接 什么 字 ||||guessing what follows||||| 前面的文字来猜测后面应该接什么字

我们 平时 用 的 输入法 就 我们平时用的输入法就

跟 这个 有点 相像 啊 |||similar| 跟这个有点相像啊

我们 打 一个 字 我们打一个字

他 就 会 提示 我们 后面 哎 |||reminder||| 他就会提示我们后面哎

可能 要 打 什么 字 可能要打什么字

但是 GPT 模型 比 输入法 可 就 牛 逼 多 了 ||||input method||||awesome|| 但是GPT模型比输入法可就牛逼多了

他 不 只能 猜测出 下 一个 字 |||guess||| 他不只能猜测出下一个字

还 能 猜出 下 一句 话 甚至 是 下 一段 故事 ||guess|||||||| 还能猜出下一句话甚至是下一段故事

举个 例子 啊 举个例子啊

如果 你 在 我们 现在 的 输入法 里面 输入 如果你在我们现在的输入法里面输入

老克 分不清 老克分不清

手机 输入法 可能 只能 根据 最后 的 清字 |||||||clear character 手机输入法可能只能根据最后的清字

给 你 一个 清楚 给你一个清楚

清除 清晰 哎 等等 相关 的 东西 clear|clear||||| 清除清晰哎等等相关的东西

但是 GPT 则 能 在 学习 我们 的 视频 之后 但是GPT则能在学习我们的视频之后

计算 出 哎 老克 分不清 计算出哎老克分不清

前后 鼻音 的 概率 是 30% before and after|nasal sound||probability| 前后鼻音的概率是30%

平 翘舌音 的 概率 是 20% |retroflex sound||probability| 平翘舌音的概率是20%

NL 的 概率 是 10% 10% probability||probability| NL的概率是10%

那 是 我 那是我

那 都 是 你 哈哈哈 那都是你哈哈哈

根据 各个 回答 的 概率 呢 给出 他 的 答案 ||||probability||||| 根据各个回答的概率呢给出他的答案

这 就是 为什么 每 一次 GPT 这就是为什么每一次GPT

回答 的 都 不 一样 的 原因 了 回答的都不一样的原因了

open Ai 在 给 GPT1 为了 大概 5G 的 文本 |||||||||text 1 open Ai在给GPT1为了大概5G的文本

1.17 亿 的 参数 相当于 7,000 本书 以后 啊 ||117 million|equivalent to|books|| 1.17亿的参数相当于7,000本书以后啊

基本上 基本上

GPT 就 能 生成 完整 且 合乎逻辑 的 |||generate||and|logical| GPT就能生成完整且合乎逻辑的

故事 了 短 故事 啊 故事了短故事啊

GPT1 虽然 很 厉害 但是 也 有 个 致命 的 弱点 ||||||||fatal flaw||weakness GPT1虽然很厉害但是也有个致命的弱点

就是 每 一次 做 新 的 任务 都 要 就是每一次做新的任务都要

重新 训练 一遍 重新训练一遍

啥 概念 啥概念

就是说 比如说 我 让 他 写 一个 故事 就是说比如说我让他写一个故事

写篇 小说 write a novel| 写篇小说

哎 你 要 拿 一堆 小说 让 他 训练 ||||a bunch|||| 哎你要拿一堆小说让他训练

哎 你 要 让 他 写 一段 Java 程序 |||||||Java program| 哎你要让他写一段Java程序

你 就要 拿 一堆 的 Java 程序 你就要拿一堆的Java程序

让 他 训练 一遍 让他训练一遍

每 一次 这样 做 一个 新 的 任务 每一次这样做一个新的任务

他 就要 训练 一遍 他就要训练一遍

写 散文 你 就要 丢 一堆 散文 进去 |prose||||a pile|essays| 写散文你就要丢一堆散文进去

这样 很 麻烦 也 很耗 资源 嘛 对 不 对 ||||resource-intensive||||| 这样很麻烦也很耗资源嘛对不对

OpenAi 呢 为了 解决 这个 问题 OpenAi呢为了解决这个问题

就 提出 了 一个 叫做 zero short 的 概念 就提出了一个叫做zero short的概念

然后 呢 他们 就 将 这个 zero short 然后呢他们就将这个zero short

整合 到 了 GPT1 里面 integrated into|||| 整合到了GPT1里面

开发 出 了 GPT2 开发出了GPT2

什么 是 zero short 什么是zero short

说白了 就是 在 机械学习 学会 推理 In simple terms|||Machine Learning||reasoning (1) 说白了就是在机械学习学会推理

学会 举一反三 learn to apply|learn by analogy 学会举一反三

在 GPT2 之前 啊 在GPT2之前啊

我们 要 让 AI 知道 什么 叫做 斑马 |||||||zebra 我们要让AI知道什么叫做斑马

那 就 只能 拿 各种各样 的 斑马 给 AI ||||||zebras|| 那就只能拿各种各样的斑马给AI

让 他 不停 的 训练 让他不停的训练

大量 的 训练 大量的训练

给 他 一张 他 从 没有 见 过 的 斑马 图片 给他一张他从没有见过的斑马图片

AI 就 可能 可以 把 AI就可能可以把

图片 中 的 斑马 给 认出来 |||zebra|| 图片中的斑马给认出来

或者 圈 出来 或者圈出来

但是 有 了 zero short,GPT 就 不同 了 但是有了zero short,GPT就不同了

我用 一个 例子 来 说明 我用一个例子来说明

假设 小明 和 爸爸 到 动物园 假设小明和爸爸到动物园

到 动物园 去 玩 看到 了 马 到动物园去玩看到了马

然后 爸爸 告诉 小明 然后爸爸告诉小明

这 叫做 马 这叫做马

之后 呢 又 看到 了 老虎 之后呢又看到了老虎

又 告诉 小明 又告诉小明

看 这种 身上 有条纹 的 动物 叫做 老虎 |||striped|||| 看这种身上有条纹的动物叫做老虎

最后 呢 又 去 看 了 熊猫 最后呢又去看了熊猫

对 他 说 你 看 这个 熊猫 是 黑白 的 对他说你看这个熊猫是黑白的

然后 呢 爸爸 给 小明 安排 了 个 任务 然后呢爸爸给小明安排了个任务

让 他 在 动物园 里 找 一种 他 从 没有 见 过 的 动物 让他在动物园里找一种他从没有见过的动物

叫 斑马 并 告诉 小明 啊 叫斑马并告诉小明啊

有关 斑马 的 信息 是 这样 的 有关斑马的信息是这样的

斑马 呢 有着 马 的 轮廓 |||||outline 斑马呢有着马的轮廓

身上 有 老虎 一样 的 条纹 |||||stripes 身上有老虎一样的条纹

而且 呢 他 像 熊猫 一样 是 黑 白色 而且呢他像熊猫一样是黑白色

最后 小明 根据 爸爸 的 提示 |||||hint 1 最后小明根据爸爸的提示

在 动物园 里面 找到 了 斑马 在动物园里面找到了斑马

这件 事情 的 关键点 是 有 两 |||key point||| 这件事情的关键点是有两

第一 小明 在此之前 是 没有 见过 斑马 的 ||before this||||zebra| 第一小明在此之前是没有见过斑马的

第二 第二

小明 是 根据 其中 几个 事物 的 特点 小明是根据其中几个事物的特点

进行 揉合 以后 |after blending| 进行揉合以后

辨认出 斑马 的 identify zebra|| 辨认出斑马的

这 就 叫做 推理 |||Inference 这就叫做推理

或者 这 就 叫做 zero short 或者这就叫做zero short

就是 这个 人工智能 就是这个人工智能

在 没有 经过 相应 的 训练 |||corresponding training|| 在没有经过相应的训练

甚至 没有 见过 之前 的 这个 任务 的 时候 甚至没有见过之前的这个任务的时候

也 能 完成 这个 任务 也能完成这个任务

这个 在 人工智能 领域 啊 这个在人工智能领域啊

就是 一次 非常 大 的 飞跃 |||||leap 就是一次非常大的飞跃

我们 人 和 机械学习 |||machine learning 我们人和机械学习

或者 我们 人 和 现在 的 人工智能 或者我们人和现在的人工智能

一个 巨大 的 区别 就 在于 啊 |||||is in| 一个巨大的区别就在于啊

我们 能够 根据 自己 以前 的 经验 我们能够根据自己以前的经验

去 创造 或者 认识 一些 之前 没有 的 东西 去创造或者认识一些之前没有的东西

这 叫 发明 这 叫 推理 |||||reasoning 这叫发明这叫推理

而 机械学习 是 不能 的 |machine learning||| 而机械学习是不能的

而 现在 而现在

AI 也 具有 了 我们 人类 的 一些 创造 能力 AI也具有了我们人类的一些创造能力

在 喂给 GPT2 约 四十 G 十五 亿 参数 之后 |fed to|||||||| 在喂给GPT2约四十G十五亿参数之后

GPT2 在 文本 生成 上 有 惊人 的 表现 啊 ||text(1)|text generation|||amazing performance||| GPT2在文本生成上有惊人的表现啊

其中 生成 的 文本 在 上下文 连贯性 和 情感 表达 上 |generated text||text(1)||context (1)|coherence||emotion|| 其中生成的文本在上下文连贯性和情感表达上

都 超越 了 人们 的 预期 |beyond expectations|||| 都超越了人们的预期

不过 呢 不过呢

GPT2 在 音乐 方面 和 长 文本 生成 方面 啊 GPT2在音乐方面和长文本生成方面啊

不是 那么 优秀 ||excellent 不是那么优秀

尤其 是 让 他 生成 一个 长 一点 的 故事 尤其是让他生成一个长一点的故事

很快 就 放飞 自我 了 ||let go|| 很快就放飞自我了

其实 这 一点 哈 其实这一点哈

到 现在 GPT3.5 也 没有 解决 到现在GPT3.5也没有解决

他们 是 怎么 放飞 自我 的 长 故事 他们是怎么放飞自我的长故事

简单 的 说 吧 简单的说吧

我 跟 你 这么 说 我跟你这么说

举个 例子 啊 举个例子啊

小明 有 一天 去 了 动物园 小明有一天去了动物园

他 看见 了 狮子 老虎 |||lion| 他看见了狮子老虎

他 觉得 方便面 很 好吃 ||instant noodles|| 他觉得方便面很好吃

吃 起来 方便面 有点 皱皱巴巴 的 ||||wrinkled| 吃起来方便面有点皱皱巴巴的

学差 了 这 是 学杂 了 呀 bad student||||school expenses|| 学差了这是学杂了呀

这 是 对 他 自己 根本 没有 办法 去 这是对他自己根本没有办法去

理解 这种 长 文本 是 吧 |||text 1|| 理解这种长文本是吧

逻辑 所以 现在 即 逻辑所以现在即

使 是 GPC3.5 他 也 限制 500 个 字 ||GPC(1)||||| 使是GPC3.5他也限制500个字

太长 的 他 是 没 办法 生成 的 ||||||generate it| 太长的他是没办法生成的

为啥 呢 其实 不是 他 不能 Why||||| 为啥呢其实不是他不能

而是 因为 太长 的 对 太 容易 乱 你 知道 吧 而是因为太长的对太容易乱你知道吧

容易 放飞 自我 |let go| 容易放飞自我

最后 导致 前言不搭后语 |resulted in|incoherent speech 最后导致前言不搭后语

其实 还有 一个 致命 的 问题 其实还有一个致命的问题

反而 是 来自 于 Zeroshot 这个 模式 啊 ||||Zeroshot model||| 反而是来自于Zeroshot这个模式啊

就是 还是 回到 刚才 那个 斑马 的 例子 啊 |||||zebra||| 就是还是回到刚才那个斑马的例子啊

如果 GPT2 识别 斑马 ||recognizes| 如果GPT2识别斑马

那 就 必须 每次 都 告诉 GPT2 哎 那就必须每次都告诉GPT2哎

那 是 马 那 是 老虎 那 是 熊猫 那是马那是老虎那是熊猫

哎 他们 混合 起来 叫 斑马 ||mixed||| 哎他们混合起来叫斑马

也 就是 每 一次 给 GPT2 解决 一个 问题 也就是每一次给GPT2解决一个问题

虽然 不用 再 对 他 进行 训练 了 虽然不用再对他进行训练了

但是 每 一次 都 必须 告诉 GPT2 但是每一次都必须告诉GPT2

那个 推理 的 前置 提示 |Inference (1)||premise 1|Hint (1) 那个推理的前置提示

比如说 上面 说 的 马 老虎 熊猫 比如说上面说的马老虎熊猫

如果 你 换成 了 马 老虎 豹子 就 不行 ||||||leopard|| 如果你换成了马老虎豹子就不行

为了 解决 这些 问题 呢 为了解决这些问题呢

研究 人员 做 了 两件事 研究人员做了两件事

第一件 事情 呢 是 引入 了 一个 新 的 模式 ||||introducing a new model||||| 第一件事情呢是引入了一个新的模式

叫做 few shot 叫做few shot

也 就是 少 样本 模式 也就是少样本模式

让 模型 能够 从 少量 的 标签 数据 中 ||||small amount|||| 让模型能够从少量的标签数据中

快速 的 适应 新 任务 快速的适应新任务

并且 呢 能够 处理 未见 过 的 类别 和 样本 ||||unseen class|||category 1||sample 1 并且呢能够处理未见过的类别和样本

就是 啥意思 呢 |What does it mean| 就是啥意思呢

就是 把 我们 上面 说 的 就是把我们上面说的

马 老虎 熊猫 这些 提示 也 变成 训练 |||||||training 马老虎熊猫这些提示也变成训练

给 到 AI 进行 训练 给到AI进行训练

同时 呢 同时呢

也 给 AI 一些 斑马 的 图片 进行 训练 也给AI一些斑马的图片进行训练

下次 遇到 类似 的 问题 啊 下次遇到类似的问题啊

我们 就 不用 每次 都 说 马 老虎 熊猫 我们就不用每次都说马老虎熊猫

而是 可以 使用 一些 类似 的 类比 ||||||analogy 而是可以使用一些类似的类比

比如说 马 豹子 黑白 棋子 ||||chess piece 比如说马豹子黑白棋子

合 起来 他 也 是 斑马 合起来他也是斑马

甚至 只要 说 黑白 条纹 的 马 ||||striped|| 甚至只要说黑白条纹的马

AI 也 能 推理 出 斑马 AI也能推理出斑马

在 引入 few-shot 的 这个 概念 之后 啊 在引入few-shot的这个概念之后啊

GBT3 也 就 诞生 了 GBT(1)3|||| GBT3也就诞生了

第二件 事 呢 第二件事呢

就是 乘 10 倍 100 倍 的 扩大 了 GPT3 的 训练 参数 |||||expansion||||| 就是乘10倍100倍的扩大了GPT3的训练参数

2020 年 5 月 2020年5月

GPT3 被 喂 了 约 45TB |||||TB GPT3被喂了约45TB

1,750 亿 参数 后 1,750亿参数后

GPT3 就 基本 做到 了 无所不知 |||||all-knowing GPT3就基本做到了无所不知

到 了 2022 年 3 月 到了2022年3月

GPT3 又 进行 了 多次 升级 和 训练 后 |||||upgrades||| GPT3又进行了多次升级和训练后

就 变成 了 我们 现在 看到 的 这个 就变成了我们现在看到的这个

强大 的 GPT3.5 强大的GPT3.5

他 的 知识 是 丰富 了 你 知道 吧 他的知识是丰富了你知道吧

相当 丰富 了 吗 quite rich||| 相当丰富了吗

这个 其实 我们 人 就算 你 天天 这个其实我们人就算你天天

对 我们 天天 看书 也 看 不了 那么 多 的 对我们天天看书也看不了那么多的

但是 同样 上身 的 还有 另外 一个 东西 ||upper body||||| 但是同样上身的还有另外一个东西

就是 花费 |cost 就是花费

GPT3.5 一次 训练 就 超过 了 1,200 万美元 GPT3.5一次训练就超过了1,200万美元

这 烧钱 的 速度 |burning money||burning speed 这烧钱的速度

只有 微软 能 扛得住 了 |Microsoft||can withstand| 只有微软能扛得住了

到 了 2022 年 就 加上 了 UI 交互 界面 |||||||UI interaction|UI interface 到了2022年就加上了UI交互界面

chat GPT 也 就 正式 诞生 了 |||||was born| chat GPT也就正式诞生了

和 正式 和 大家 见面 和正式和大家见面

后面 的 事情 呢 大家 都 知道 后面的事情呢大家都知道

其实 恰 的 GPD 的 诞生 啊 有 三个 关键点 |exactly||GPD(1) birth||birth|||| 其实恰的GPD的诞生啊有三个关键点

第一 是 GPT 模型 的 提出 第一是GPT模型的提出

第二则 是 few short 和 zero short 的 加入 Second rule|||||||| 第二则是few short和zero short的加入

第三 则 是 大量 的 数据 训练 第三则是大量的数据训练

这 三件 事 这三件事

共同 的 促使 了 我们 现在 看到 的 ||led to||||| 共同的促使了我们现在看到的

chart GPT 的 诞生 GPT's birth|||birth chart GPT的诞生

也 可能 这是 人类 的 一个 奇点 的 诞生 ||||||singularity||birth 也可能这是人类的一个奇点的诞生

中国 离 chatGPT 到底 有多远 中国离chatGPT到底有多远

有 的 人 说 不远 有的人说不远

因为 3 月 16 号 因为3月16号

百度 就 将 发布 他 的 百度 chatGPT 百度就将发布他的百度chatGPT

取名 文心 一 言 Naming|Wenxin|| 取名文心一言

其实 呢 其实呢

百度 的 文心 易言 并 不是 chatGPT |||Yiyan 1||| 百度的文心易言并不是chatGPT

推出 之后 推出之后

百度 才 赶鸭子上架 干 ||forced action| 百度才赶鸭子上架干

早 在 2019 年 早在2019年

百度 就 已经 在 研发 自己 的 文心 大 模型 了 ||||research and development|||||| 百度就已经在研发自己的文心大模型了

到 现在 呢 已经 有 4 年 的 历史 了 到现在呢已经有4年的历史了

具体 效果 怎么样 我们 只能 拭目以待 |effect||||wait and see 具体效果怎么样我们只能拭目以待

那 我们 到底 离 chatGPT 有多远 呢 那我们到底离chatGPT有多远呢

那 我们 就要 从 chatGPT 那我们就要从chatGPT

或者说 GPT 的 三大 要素 来 分析 了 ||||elements||| 或者说GPT的三大要素来分析了

第一个 要素 是 算法 |Element 1|| 第一个要素是算法

第二个 是 要素 是 算力 也 就是 芯片 ||||computing power||| 第二个是要素是算力也就是芯片

第三个 要素 就是 大 数据 第三个要素就是大数据

算法 我们 上面 已经 大致 讲过 了 ||||roughly|| 算法我们上面已经大致讲过了

基础 算法 基础算法

论文 和 方法 其实 在 网上 都 能 找 得到 paper 1||||||||| 论文和方法其实在网上都能找得到

而且 呢 而且呢

GPT3 以前 的 代码 都 已经 是 开源 的 了 |||||||open source|| GPT3以前的代码都已经是开源的了

所以 我 相信 所以我相信

在 我国 的 那些 天才 能力 面前 啊 在我国的那些天才能力面前啊

算法 应该 不是 什么 问题 算法应该不是什么问题

第二 部分 就是 算力 |||computing power 第二部分就是算力

这部分 啊 我 认为 是 差距 最大 最大 的 这部分啊我认为是差距最大最大的

为啥 呢 因为 2019 年 微软 投资 OpenAi 的 时候 Why|||||||| 为啥呢因为2019年微软投资OpenAi的时候

就 建设 了 一个 拥有 28.5 万个 CPU |construction||||| 就建设了一个拥有28.5万个CPU

1 万个 GPU 的 超算 中心 |||supercomputer| 1万个GPU的超算中心

专门 供 GPT 训练 使用 专门供GPT训练使用

而 之后 的 GPT 而之后的GPT

需要 的 算力 只会 越来越 多 需要的算力只会越来越多

这些 芯片 的 核心技术 |||core technology 这些芯片的核心技术

都 掌握 在 美国 手里 都掌握在美国手里

他们 正在 封锁 我们 啊 对 吧 ||blockade|||| 他们正在封锁我们啊对吧

而 高端 的 人工智能 芯片 比如说 TPU |high-end|||||TPU 而高端的人工智能芯片比如说TPU

就 更是 禁止 出口 的 啦 就更是禁止出口的啦

所以 这 就 成 了 所以这就成了

我们 我们

中国 在 人工智能 领域 里面 的 最大 短板 |||||||weakness 中国在人工智能领域里面的最大短板

如果 能 突破 芯片 的 阻碍 |||||obstacles 如果能突破芯片的阻碍

相信 我们 离 自己 的 chatGPT 相信我们离自己的chatGPT

甚至 超过 chatGPT 甚至超过chatGPT

应该 会进 一大步 |will make progress| 应该会进一大步

而 最后 说 的 就是 数据 |||||data 而最后说的就是数据

这个 点 呢 就 比较 玄妙 了 |||||mysterious| 这个点呢就比较玄妙了

因为 数据 是 整个 训练 的 核心 啊 因为数据是整个训练的核心啊

所谓 垃圾 进 垃圾 出 所谓垃圾进垃圾出

也 就是 英文 所说 的 garbage in garbage out 也就是英文所说的garbage in garbage out

如果 在 训练 中 存在 着 重复 内容 如果在训练中存在着重复内容

敏感 词 隐私 词汇 sensitive words||privacy| 敏感词隐私词汇

非 完整 句子 非完整句子

都 会 导致 训练 级 的 失真 ||causes distortion||||distortion 都会导致训练级的失真

最终 呢 导致 整个 训练 的 失败 ||caused|||| 最终呢导致整个训练的失败

如果 训练 集中 充斥 着 各种 广告 |||filled with||| 如果训练集中充斥着各种广告

各种 是 兄弟 就 来 砍 我 各种是兄弟就来砍我

那 哪怕 是 再 精妙 的 算法 ||||brilliant|| 那哪怕是再精妙的算法

再 强大 的 算力 都 是 白搭 的 |||computing power|||useless| 再强大的算力都是白搭的

但是 结合 百度 之前 的 所作所为 啊 但是结合百度之前的所作所为啊

在 这方面 我 是 着实 捏把汗 的 |||||sweating a bit| 在这方面我是着实捏把汗的

现在 我国 主流 的 AICG 模型 ||mainstream||AICG model| 现在我国主流的AICG模型

也 就是 类 chat GPT 模型 也就是类chat GPT模型