bitpie冷钱包|10分钟定制一个「陈天奇GPT」,OpenAI新品大波实测来袭!Sam Altman降维打击,千家AI初创公司入土 -
bitpie冷钱包|10分钟定制一个「陈天奇GPT」,OpenAI新品大波实测来袭!Sam Altman降维打击,千家AI初创公司入土 -
OpenAI首届春晚,创业公司屠杀夜。
正如Sam Altman所言:「我们正在孕育新物种,它们正在迅速增殖。」
![](/uploads/allimg/231109/041952E26-0.jpg)
可以说,基于OpenAI接口构建创业公司,产品忽然就失去了意义。许多初创公司的产品,已经没有了护城河。
杜克大学教授陈怡然表示,照这个趋势,所有希望在细分领域依靠领域知识和OpenAI掰腕子的人,都是死路一条,至少在学术界和中小公司几乎不可能。
OpenAI只要找到一个合作方,或者在公开领域能找到相应的训练集,剩下的就是降维式打击。
![](/uploads/allimg/231109/0419525406-1.jpg)
不过,使用自己的数据集来训练一个定制版GPT-4可不便宜——起步价200-300万美元。
此外,如果想得到比较理想的效果,最好是拥有极其庞大的专有数据集(至少数十亿token)。
![](/uploads/allimg/231109/0419525C4-2.jpg)
随着OpenAI的史诗级发布,微软的股价连续上涨8个交易日,并在周二收盘时创下360.53美元的历史新高。
而1.12%的日涨幅也让其市值达到了约2.68万亿美元。
![](/uploads/allimg/231109/0419524230-3.jpg)
OpenAI说,这是我们梦寐以求的未来。如果说以前是「让你的钱为你工作」,现在就是「让你的AI为你工作。」
初创公司「一夜回到解放前」
OpenAI刚刚官宣进入Agent战场,所以,全球十家头部Agent初创公司接下来该做什么?
![](/uploads/allimg/231109/0419524633-4.jpg)
![](/uploads/allimg/231109/041952L25-5.jpg)
看完下面这批API演示,你就会明白,为什么说「OpenAI一更新,千家初创公司要倒闭」。
![](/uploads/allimg/231109/0419521A9-6.jpg)
曾经有人预测,ChatGPT,终将成为一个为集Midjourney、PDF Chat、Perplexity AI和高级数据分析于一体的「AI超级应用程序」
定制GPTs,但没全部开放
号称最最重磅的更新「GPTs」让人人都可以不用编程,仅通过对话聊天方式,就打造一个专属个性化的GPT,还可以通过「GPT商店」赚钱,果真有这么神奇?
Altman本人亲自在现场登台演示,几步操作就创建了一个「创业导师GPT」,用时才3分钟不到。
惊艳的是,「创业导师GPT」根据Altman本人的演讲风格,给出了回答。
![](/uploads/allimg/231109/0419522a7-7.jpg)
目前,「GPT商店」已经上线了由OpenAI开发的16个机器人,包括数学导师、创意写作教练、助理厨师等等。
![](/uploads/allimg/231109/041952CJ-8.jpg)
那些已经拿到内测资格的网友,已经开启了一大波应用。
英伟达高级系统软件工程师Bojan Tunguz用时10分钟,创建了一个ChatXGB——一站式XGBoost助手。
![](/uploads/allimg/231109/0419525262-9.jpg)
就比如,当你问它「XGBoost guy指的谁」?答:XGBoost guy就是陈天奇.....
ChatXGB给出100%正确的答案。
![](/uploads/allimg/231109/04195230B-10.jpg)
曾创建了火爆的BabyAGI的网友,这次又定制了一个世界首个自定义GPT智能体「Agi.zip」。
创建这个GPT时,他发现GPT-4-turbo不够快,还使用了添加了20个预构建的热键以加快速度。
![](/uploads/allimg/231109/0419523208-11.jpg)
现在,不用动手操作,只需动动嘴,真正的AGI来了...
还有创建「X Optimizer GPT」的网友,用其来优化X帖子。
它可以微调推文,并确定高峰发布时间,以便在X上获得最大的参与度。
![](/uploads/allimg/231109/041952H27-12.jpg)
![](/uploads/allimg/231109/0419525406-13.jpg)
![](/uploads/allimg/231109/0419523040-14.jpg)
OpenAI官方发布的「HotMods」——可以把你上传的图像改编成一种全新的画风,如下是网友体验的效果。
![](/uploads/allimg/231109/041952F40-15.jpg)
![](/uploads/allimg/231109/0419525P1-16.jpg)
不过,对于大多数人来说,ChatGPT依然是下面这个状态:「不好意思,我还没准备好」。
![](/uploads/allimg/231109/0419522T3-17.jpg)
API、TTS,网友脑洞大开
与此同时,随着海量新功能的发布,OpenAI创始人Greg Brockman也兴奋地转发了网友们各种脑洞大开的应用案例。
和GPT视频聊天
比如,使用OpenAI的vision API,我们就可以用网络摄像头和ChatGPT玩「你画我猜」了。
![](/uploads/allimg/231109/0419521346-18.jpg)
开启「视频」后,小哥问ChatGPT:你看到了什么?
它很流利地描述起摄像头里的画面:我看到一个留着短发的年轻男人坐在墙边,他直视着镜头,身穿一件黑色的T恤。
这位小哥拿起一副墨镜,向摄像头对面的ChatGPT展示了一下,然后问它:我拿着什么?
ChatGPT回答说:你拿着一副墨镜。
![](/uploads/allimg/231109/0419523037-19.jpg)
类似的,也有网友做出了差不多功能的应用。
![](/uploads/allimg/231109/0419523051-20.jpg)
对此,有网友表示,这种工具或许可以用来帮助盲人「看」到真实的世界。
![](/uploads/allimg/231109/0419521P8-21.jpg)
GPT-4V + TTS = AI解说员
而将OpenAI的视觉和语音API相结合,还可以直接让AI变身为足球解说员!
比如,把一场足球比赛视频的每一帧都传给了GPT-4-vision-preview,只给了它一些简单的提示,要求它生成旁白。
![](/uploads/allimg/231109/0419523J4-22.jpg)
GPT-4V完美地做到了,配合上TTS的解说,一场现成的体育解说视频就这样出炉了。这个视频完全没有编辑,是从模型中直出的。
这个视频总共有1131帧,每10帧选一张图发给GPT,总共花了30刀。
具体来说,首先提取视频帧,然后创建一个结构化提示,定义GPT请求的参数,包括模型、提示信息、API密钥、最大token限制,然后发送GPT请求、制作语音解说提示、生成语音解说脚本,向TTS API发送请求将脚本转换为音频,再将音频和视频结合就可以了。
![](/uploads/allimg/231109/0419523491-23.jpg)
有人表示:30刀替代一个体育解说员,这很疯狂。
![](/uploads/allimg/231109/0419521L0-24.jpg)
除了体育比赛外,还可以利用GPT-4 API识别画面进行游戏解说,比如英雄联盟。
网友点评:如果能让叙述速度加快,再加入一些感情,那看起来就跟真人解说相差无几!
![](/uploads/allimg/231109/0419523246-25.jpg)
「这是我迄今为止看到的GPT Vision的最佳用例。」
![](/uploads/allimg/231109/0419522253-26.jpg)
GPT版浏览器
网友将GPT-4V的能力与浏览器相结合,就可以随意圈图,获得解答。
![](/uploads/allimg/231109/0419521X0-27.jpg)
比如,它可以帮助你学习解剖学,数学、汽修等等。
![](/uploads/allimg/231109/0419525135-28.jpg)
而将上网功能与自定义GPTs结合,则可以从自己最喜欢的音乐人中创建音乐播放列表。
![](/uploads/allimg/231109/0419521308-29.jpg)
![](/uploads/allimg/231109/0419522N2-30.jpg)
GPT瑜伽教练
通过GPT-4V API可以让ChatGPT成为你的瑜伽教练。
不需要再付讲师费,也能做出标准的动作。
![](/uploads/allimg/231109/0419522252-31.jpg)
![](/uploads/allimg/231109/0419523D7-32.jpg)
简单勾勒,设计HTML
更厉害的是,通过GPT-4V API可以在5小时内将低保真度模拟与实际HTML的流程组合在一起。
![](/uploads/allimg/231109/04195224c-33.jpg)
假设你自己做一个全新的推特界面,就可以简单勾勒出结构,GPT-4V瞬间就做成了HTML。
![](/uploads/allimg/231109/0419525119-34.jpg)
GPT-4V加持的多模态RAG
LangChain平台认为,虽说一张图片胜过1000个字,但图像在RAG应用程序中通常是不可见的。
GPT-4V等多模态LLM恰恰解锁了使用图像的RAG应用程序。
使用新的GPT-4V API,LangChain将在本周发布模板和说明书,以重点介绍多模态RAG的几种方法:
![](/uploads/allimg/231109/0419523002-35.jpg)
这些方法可以对带有图像内容的文档(如教科书、财务报告、技术手册等)启用 RAG。
![](/uploads/allimg/231109/0419523627-36.jpg)
TTS普通话一级过了
国外小哥在HuggingFace上提交了一个个OpenAI新发布的TTS文字转语音,可以直接体验。
有5种男声和2种女声可以选择。
不如,咱们就用普通话等级考试中的练习题考考TTS的能力如何?
![](/uploads/allimg/231109/0419521Y0-37.jpg)
体验地址:https://huggingface.co/spaces/ysharma/OpenAI_TTS_New
更震撼的是,TTS模型还能精准把控标点符号的含义,生成语音的语气各不相同。
![](/uploads/allimg/231109/0419526242-38.jpg)
助手API
一位开发者使用了Assistants API构建了一个开源「GPTvsGPT」,只用了109行Python代码。
GPTvsGPT是一个有趣的应用程序,可以模拟2个个性鲜明的人工智能助理之间的对话。
令人兴奋的是能够通过检索、数据和自定义函数来扩展这些功能。
![](/uploads/allimg/231109/041952G30-39.jpg)
![](/uploads/allimg/231109/0419523442-40.jpg)
他还让DALL·E为此设计了一个LOGO。
![](/uploads/allimg/231109/041952L93-41.jpg)
另外一位开发者更是用了不到30行的代码创建了网站。
![](/uploads/allimg/231109/0419522257-42.jpg)
![](/uploads/allimg/231109/0419524116-43.jpg)
此外,用AI Assistants和GPT-4-1106还可以构建一个AI简历分析器和评分工具。
目标是,通过使用 AI 来评估候选人是否合适,从而节省宝贵的招聘时间。
![](/uploads/allimg/231109/0419523X7-44.jpg)
总有一天,人工智能只会为人们挑选工作......无需过滤简历。简历将成为过去......
![](/uploads/allimg/231109/04195212O-45.jpg)
不过,开发者想要利用OpenAI的Assiatant API,在自己的应用程序中构建个性化的Agent并不便宜——存储数据的成本高达0.20美元/GB/助手/天。
![](/uploads/allimg/231109/0419523503-46.jpg)
与每月每GB约0.023美元的S3相比,OpenAI的定价要高出260倍!
![](/uploads/allimg/231109/0419525350-47.jpg)
谷歌,现在到你了
面对OpenAI的挑战,英伟达高级科学家Jim Fan表示,DeepMind是时候重现2016年AlphaGo的辉煌了!
现在,大家对谷歌Gemini的期望高得离谱。
不过,它至少做到以下一点,并在2024年第一季度发布API,才能与GPT分庭抗礼:
- 文本能力达到GPT-4的120%;
- 水平能力达到GPT-4的100%,但成本只有turbo的一半或速度是turbo的2倍;
- 视觉能力达到GPT-4的100%;
- 本地支持长视频。
相比之下,Meta也只需开源Llama-3即可。
![](/uploads/allimg/231109/0419521Q8-48.jpg)
目前,谷歌已经对Bard进行了多次迭代。谷歌DeepMind也在内部开发了一些SOTA的基础模型,如UL2、PaLI、PaLM、Flamingo等。
所以,这理论上是有可能的。
![](/uploads/allimg/231109/041952I59-49.jpg)
参考资料:
https://twitter.com/gdb/status/1721972696412573956
https://twitter.com/gdb/status/1721709452011655467