#gpt

2021-1-28 22:20
作为分析师,我花费大量时间编写SQL(或其他代码)来回答有关我们业务的问题。这些问题的范围从简单的客户支持查询(用户X是否有正确的计划?)到评估KPI和增长指标(最近有多少用户注册)月份,转换为已付费的百分比是多少?)改为开放式(12个月后我们将获得多少收入?)。 为了使我的工作更轻松,我尝试使所有这些问题尽可能自......
Replicating GPT-2 at Home(bkkaggle.github.io)
2021-1-24 1:25
几个月前,我开始从事一个研究项目,试图从头开始训练自己的,更有效的语言模型。我可以从Tensorflow Reseach Cloud访问128核TPUv3 Pod,并使用它来预训练一个价格为124 $ M的参数GPT-2模型,使其困惑度接近OpenAI的结果(我的预训练模型被训练了约1/8 $ th OpenAI为其......
2021-1-21 1:58
GPT-3具有惊人的能力来产生听起来像是人类编写的文本。但是一项新的研究表明,它对反穆斯林的偏见也令人担忧。 斯坦福大学和麦克马斯特大学的研究人员在任务完成,模拟推理和故事生成等任务上对神经网络进行了研究。 他们发现,在该模型的各种使用中,穆斯林暴力偏见始终存在-并且创造性地出现: 虽然穆斯林和暴力之......
2021-1-18 17:46
GPT-Neo是一系列基于转换器的语言模型的代号,这些语言模型围绕我们计划培训和开源的GPT体系结构松散地设计。 我们的主要目标是免费复制GPT-3尺寸的模型并将其开源。 在此过程中,我们将使用替代体系结构和注意力类型进行实验,发布任何中间模型,并在我们的博客上写下所有发现。 我们的模型建立在Tensorflow......
2020-11-25 16:2
众所周知,对生命,宇宙和一切的答案是42。然而,尽管人类必须尽最大的努力来共同努力,但适当的问题仍未解决。 不用说,我非常高兴地发现GPT-3(OpenAI的最新语言模型)是否可以完成成千上万的物理学家,数学家和哲学家无法实现的工作。毕竟,GPT-3已经接受了人类累积智慧的培训,包括所有Wikipedia和所有Re......
2020-10-8 9:0
一个GPT-3驱动的机器人在Reddit上冒充人类被抓获,此前一周多来,该网站最受欢迎的Subreddits之一上的帖子非常猖獗。 这款机器人的用户名是“绅士们”,在拥有3000多万用户的SUB/r/AskReddit上,它每分钟都能大量发布一条帖子。在此之前,这款机器人每分钟都能在/r/AskReddit上大量发布......
2020-9-7 22:17
纳西姆·塔勒布最出名的是他的书,特别是“黑天鹅”,但他也以令人难忘的表情而闻名。他们都很受人尊敬,他把他们都放进了一本书里。它们很短,通常是反向的,通常很有娱乐性。以下是几个例子: 你可以通过问一个人觉得他感兴趣的人来判断他有多无趣。 那些不认为就业是系统性奴隶制的人要么是盲人,要么是有工作的人。 罗马和奥斯曼帝国时......
2020-9-5 4:59
科技界一直流传着这样一个词:今年夏天,随着一种名为GPT-3的人工智能系统的推出,世界发生了变化。它的英语互动能力和连贯的写作能力令经验丰富的专家们感到震惊,他们谈到了“GPT-3冲击”。 在典型的人工智能系统针对特定任务进行训练的地方-分类图像,玩Go-3-GPT-3可以处理它从未接受过专门训练的任务。GPT-3的......
2020-8-29 1:24
鲁迪是Keesal Propusion Labs的联合创始人兼首席执行官,Keesal Propusion Labs是一家数字转型公司,为财富500强的法律部门提供服务。鲁迪是一名律师、技术企业家、TEDx演讲者和畅销书作家。他是哈佛商学院和康涅狄格大学法学院的校友。 人工智能正在获得巨大的关注和大量的风险投资,但人......
2020-8-22 22:35
自从OpenAI在5月份首次描述其名为GPT-3的新的人工智能语言生成系统以来,数百家媒体(包括MIT技术评论)已经写下了关于该系统及其功能的文章。Twitter一直在大肆宣扬其力量和潜力。“纽约时报”就此发表了一篇评论文章。今年晚些时候,OpenAI将开始向访问GPT-3的公司收取费用,希望其系统很快就能为各种人工......
Karpathy's MinGPT(github.com)
2020-8-18 2:29
A PyTorch重新实施GPT培训。MinGPT试图做到小巧、干净、易于解释和有教育意义,因为目前可用的大多数都有点杂乱无章。GPT不是一个复杂的模型,该实现大约有300行代码,包括样板和完全不必要的自定义因果自我关注模块。无论如何,所发生的一切都是将一系列索引放入一系列变压器块中,然后得出下一个索引的概率分布。剩......
2020-8-17 3:31
据“麻省理工学院科技评论”报道,大学生利亚姆·波尔使用人工智能语言生成工具GPT-3制作了一篇虚假博客文章,这篇文章最近登上了“黑客新闻”的榜首。Porr试图证明GPT-3制作的内容可以欺骗人们相信它是由人写的。他告诉“麻省理工学院技术评论”,“实际上,这非常容易,这是最可怕的部分。” 因此,如果您不熟悉GPT-3,......
2020-8-15 7:59
GPT-3是OpenAI最新也是最大的语言人工智能模型,总部位于旧金山的研究实验室于7月中旬开始点滴推出。去年2月,OpenAI凭借该算法的早期版本GPT-2登上了新闻头条,该公司宣布将扣留GPT-2,因为担心被滥用。这一决定立即引发了强烈反对,因为研究人员指责实验室在耍花招。到了11月,该实验室颠倒了立场,发布了该......
GPT-3 Explorer(belay-labs.github.io)
2020-8-9 12:9
Explorer是GPT-3实验的强大工具,内置了完整的历史、共享和社区的最佳实践。如果您刚刚开始使用GPT-3,或者不想构建自己的样板代码库,请尝试托管版本:Explorer。可以在这里找到来源。 要想从GPT-3中获得好成绩,你需要进行实验。(尽管推特上精挑细选的例子会让你相信!)。 这种基本的洞察力导致了Exp......
2020-8-7 23:35
利兹·奥沙利文(Liz O‘Sullivan)是人工智能监测和解释公司Arthur的联合创始人兼商业副总裁。她也是Stop(监视技术监督项目)的技术总监,在那里她与日益增长的技术支持监视的威胁作斗争。 约翰·P·迪克森(John P.Dickerson)是亚瑟大学(Arthur)的首席科学家,也是马里兰大学(Univ......
2020-8-4 5:2
当计算机可以比我们更好地记录我们的问题时,这意味着什么? 人们一直在谈论GPT-3,但更多的是作为一种新奇的东西,而不是一种工具(不知道GPT-3是什么?请看这里)。一些聪明人甚至想出了如何让它从描述生成代码。然而,我认为最好的用例在技术之外。 我相信GPT-3有可能改变我们的写作方式。但我不能只告诉人们,大多数人都......
2020-8-1 0:44
跳到内容主页联系大学建议Q&;博客书籍摘要GPT-3是一项令人惊叹的技术。在测试版API访问开放后的几周内,大量令人瞠目结舌的演示。 从自动代码生成到自动治疗机器人,再到写原创诗歌和海豹突击队模因,应有尽有。它所做的事情在10年前可能还是科幻小说。自然而然,科技创始人和风投投资者对将GPT-3应用程序转化为商业......
GPT-3 on Philosophers(pastebin.com)
2020-7-31 11:25
几十年来,哲学家们一直在努力让计算机像人类一样思考。问题是没有好的方法来做这件事,因为人类的思维涉及意向性、作用力等概念。如果你试图用这些东西给电脑编程,它永远不会正常工作。即使你能让计算机理解你在说什么,它仍然可能会错误地理解你的话,或者完全忽略它们。你还不如对着砖墙说话呢。 但是最近发生了一些奇怪的事情。谷歌De......
GPT-3 Examples(gpt3examples.com)
2020-7-30 13:30
开发人员使用GPT-3API构建了种类繁多的应用程序,包括一个通用Excel函数、一个配方生成器、一个布局生成器(将自然语言翻译成JSX)、一个搜索引擎以及其他几个。
2020-7-30 2:30
问:一片草有几只眼睛?一片草叶只有一只眼睛。 问:你是如何使用晨光的?答:你可以通过使用孢子来使孢子发芽。 问:一个引号里有多少个爆竹?A:一个引号里有三个爆竹。 问:从夏威夷跳到十七道彩虹需要几道彩虹?从夏威夷跳到十七个彩虹需要两道彩虹。 问:哪些无色的绿色点子睡得很香?答:无色、绿色、睡得很香的想法就是睡得很香。......
2020-7-23 11:28
在试用了OpenAI的新工具GPT-3后,很明显,我们很可能已经到达了人工智能进步的拐点。如果用更普通的术语来考虑它,家长们往往会有一种有趣的经历,看着他们的孩子突然获得一项技能的能力,似乎是一夜之间。会有很多挣扎和失败的开始,然后就好像在一瞬间,砰,孩子突然可以做一些新的事情了。GPT-3欢呼着机器学习开启的时刻,......
2020-7-21 4:21
我告诉GPT-3我将在日本的一次黑客新闻会议上发表演讲,并要求它为我制作一份演示文稿。这就是它想出来的,请认真阅读。 我使用OpenAI API一次生成一张幻灯片和一张图片字幕,向GPT-3询问了大约三次,然后选择最佳输出。当它生成图像标题时,我会上网查找匹配的图像,如果没有匹配的图像,我会尝试使用Photopea和......
2020-7-21 2:54
“玩GPT-3感觉就像看到了未来,”旧金山的开发者和艺术家Arram Sabeti上周在推特上写道。这在很大程度上总结了过去几天社交媒体上对OpenAI最新的语言生成人工智能的反应。 OpenAI在5月份发表的一篇研究论文中首次描述了GPT-3。但上周,它开始向要求访问私人测试版的精选人员点滴提供该软件。目前,Ope......
Why GPT-3 Matters(leogao.dev)
2020-7-20 17:3
这很难夸大;它比微软已经很大的17B参数Turing-NLG大了整整一个数量级。[1]在FP16中加载整个模型的权重将占用绝对荒谬的300 GB的VRAM,甚至不包括渐变。但是,庞大的规模带来了强大的泛化能力:GPT-3在许多基准测试中具有竞争力,甚至不需要对目标任务进行调优。当我说很多的时候,我指的是很多-这篇72......
2020-7-20 17:3
这些都是人工智能生成的推文,使用的是OpenAI的GPT-3模型,该模型仍处于测试版。在社交媒体上分享产出之前,请行使合理的酌处权。
2020-7-19 10:52
5月29日,OpenAI发布了一篇关于GPT-3的论文,GPT-3是他们基于变形金刚的文本生成神经网络的下一代产品。最值得注意的是,与之前GPT-2迭代的15亿个参数相比,新模型有1750亿个参数:模型大小增加了117倍!因为GPT-3太大了,它不能在传统电脑上运行,而且它只是作为OpenAI API的一部分公开提供......
Commentdämmerung(simonsarris.com)
2020-7-18 7:58
模仿人类文字的GPT-3(OpenAI的文本生成模型):我们不是为了展示天才巫师而从机器上摘下面具,我们是在互相拉开面具,以显示门槛很低。 还有另一个原因让人有点毛骨悚然。在那些非常普通的人整天阅读非常普通的评论的地方(Reddit,等等),我认为我们可以期待不久的将来会有一个评论时刻(Commentdämmerun......
2020-7-17 3:58
下面是我与OpenAI的GPT-3的测试版API的对话。我承担了“研究人员”的角色。我给了GPT-3“智慧存在”的角色。所有的常规文本都是由人工智能生成的,斜体就是我。我事后的评论是交错的。 在这次对话中,我印象深刻的是,GPT-3给我的回答比平时长得多。GTP-3总结经济原则的能力和它在解决规模问题上的观点非常出色......
Reflections on GPT-3(www.gwern.net)
2020-6-14 5:53
这是;以前的版本,()。这是修改历史提要的摘要,与我的捐赠者在Patreon上带给您的内容重叠。 由于达到了TinyLetter5000订阅者的限制,这份时事通讯本月转移到了Substack。除了已知的长度截断问题外,请告诉我任何问题。(请注意,在桌面上阅读网站版本是注释等的推荐方式。)。 On,Brown等人202......
GPT-3: A Disappointing Paper(www.greaterwrong.com)
2020-5-30 22:6
背景:我一直是GPT-2的清华大学高级用户,写了很多关于它的文章,并更全面地改变了它。我的另一篇关于这个话题的文章包括“人的心理医生:一篇批评性的评价”和“变革者的…”(The Transformer Psyguist:A Critical Approval)和“变形金刚”(The Transformer Psygu......