科技圈中X大未解之谜之一:谷歌BERT和百度ERNIE是什么关系


科技信息说我想在3天前分享

娱乐圈里有八卦,技术圈里有很多甜瓜。例如,我今天想与你讨论的那对技术圈。

说到美国动漫片中的BERT《芝麻街》,很多人自然会想到他的好朋友ERNIE,BERT和ERNIE在技术圈中经常同时提示.

有趣的是,旧的“好朋友”来自两个中美科技巨头。这种关系可以说是非常微妙的。

谷歌BERT,对于技术圈混合的过程当然并不陌生,如果你的研究领域只是NLP,你可能对BERT有了更深入的了解,它是谷歌去年发布的预培训模型,一旦进入机器阅读理解在顶级考试SQuAD1.1中表现出色。

今年3月,百度推出了知识增强语义表示模型ERNIE,简称英文“knowledge IntEgration中的增强表示”,自然语言推理中的自然语言处理,语义相似度,命名实体识别,情感分析,问答。匹配(NLP)各种中文任务超越了BERT。

现在,ERNIE再次进行了重大升级,发布了ERNIE 2.0,一个用于持续学习的语义学习框架,以及基于该框架的ERNIE 2.0预训练模型。在1.0之后,ERNIE在英语任务方面取得了新的突破。它在16个中英文任务中超越了BERT和XLNet,并取得了SOTA效果。它可谓中外,国内之光。

BERT和ERNIE在这种情况下相遇,只要媒体提到其中一个,另一个绝对是阴影。夸张地说,BERT和ERNIE就像一个天生的“八卦”体质。

BERT和ERNIE的原理与儿童通过语言练习学习语言的方式非常相似。 BERT通过做很多隐形练习来学习人类语言,而ERNIE则通过做更复杂和复杂的练习来强化语言。学习,例如,整理出扰乱的句子,判断两个句子之间的逻辑关系,判断两个句子是否表达相同的含义,等等。

BERT和ERNIE不仅是主要技术媒体的“宠儿”,而且还在今年中国和美国的两大科技活动中“命名”。

在上个月的百度AI开发者大会上,百度CTO王海峰博士也详细解释了ERNIE。作为一名真正的中国开发者,我为中国人工智能的进步感到自豪。另一方也认为BERT和ERNIE以这种方式对CP进行分组越来越有趣。

2019百度AI开发者大会百度CTO王海峰解释ERNIE

在5月份的早期Google I/O大会上,Google宣布了一种新的BERT语言学习模式,而Google AI Daniel Daniel Dean似乎也在BERT的新开发平台上。

2019年谷歌I/O大会谷歌甜点杰夫迪恩解释BERT

打开这么多BERT和ERNIE“爱与恨”。但实际上,百度ERNIE的表现确实令人惊叹,更新速度也快,看到论文还可以了解很多技术细节,百度在NLP领域颇具国际竞争力。

必须说中国人工智能发展的速度非常快。作为中国人工智能的代表公司之一,百度可以在ERNIE推出时与谷歌BERT竞争,并在许多中英文任务中超越BERT。我相信ERNIE和BERT将继续为我们带来NLP领域的更多惊喜,除了无尽的瓜,还有无尽的便利。烧它,人工智能的新时代!

收集报告投诉