文章转载自公众号AI科技大本营
整理 | 王轶群 责编 | 唐小引
相比谷歌、微软,苹果近两年在AI领域无所作为,如果本次重点在AI的WWDC没有打赢翻身仗,那么苹果将面临跌落神坛的命运。
在此次的WWDC上,苹果将AI集合在自己的软硬件生态中,让大模型与人工智能不再高高在上,从而变得触手可得。
苹果推出 Apple Intelligence 概念,库克直接把AI一词中原本的Artificial(人工的)劫持替换了,让AI摇身一变成了苹果智能。
与OpenAI强强联手,GPT-4o入驻苹果生态
本次WWDC的最大看点,在于苹果的AI伙伴的选择。
在发布会现场,OpenAI首席执行官Sam Altman频频现身,并与参会者合照,这无疑坐实了此前传出的苹果与OpenAI合作的消息。
正如此前爆料所言,苹果与OpenAI强强联手,GPT-4o入驻苹果生态。
Sam Altman在最新的官方博文中表示:“我们很高兴与Apple合作,以新的方式将ChatGPT带给他们的用户。Apple与我们一样致力于安全和创新,此次合作与OpenAI让每个人都能使用先进AI的使命相一致。与Apple一起,我们将让人们更轻松地从AI中受益。”
苹果在AI伙伴的选择中,“从其中最好的开始,即Open AI的先驱和市场领导者ChatGPT,由GPT-4o提供支持。”
苹果正在将ChatGPT集成到iOS、iPadOS和macOS的体验中,允许用户访问ChatGPT的功能(包括图像和文档理解),而无需在工具之间切换。
具体的合作及AI功能在体现在:
l 在Siri中内置ChatGPT,用户可以在Siri内调用ChatGPT的智能功能,如为为朋友制作一顿精致的饭菜的菜单等,还可以在问题中附上照片,Siri将确认是否可以与ChatGPT分享用户的照片并带回相关建议。“这是一个无缝集成。除了照片,用户还可以询问与文档、演示文稿或PDF相关的问题。” Siri会直接提供答案。
l 将ChatGPT与Compose集成到系统范围的写作工具中。用户可以使用ChatGPT创建任何内容,用户还可以利用 ChatGPT图像工具生成各种风格的图像,以补充他们所写的内容。假设用户想为喜欢蝴蝶和解谜的六岁孩子创建一个自定义睡前故事,输入初步想法并将其发送给ChatGPT,即可以获得孩子会喜欢的故事。Compose还可以帮助用户利用ChatGPT的图像功能,以各种样式生成图像来说明睡前故事。
l 在Siri和写作工具中访问ChatGPT 时,隐私保护功能已内置 — OpenAI 不会存储请求,并且用户的 IP 地址会被隐藏。用户还可以选择连接他们的 ChatGPT 账户,这意味着他们的数据偏好将受 ChatGPT 政策的约束。
l 由 GPT-4o 提供支持的 ChatGPT 集成将于今年晚些时候登陆 iOS、iPadOS 和 macOS。用户无需创建账户即可免费访问,ChatGPT 订阅者可以直接通过这些体验连接他们的账户并访问付费功能。
苹果表示:“我们还打算在未来增加对其他 AI 模型的支持。”这里也许就包括了此前透露出有合作消息的谷歌Gemini和百度文心一言。
Apple Intelligence 跨平台交互生成式AI体验,Siri 浴火重生
本次演讲的重头戏,在于苹果宣布推出“Apple Intelligence”:Apple Intelligence 在全文出现了61次,而AI仅出现了4次,artificial intelligence出现了3次。
“我们很高兴开启Apple创新的新篇章。Apple Intelligence将改变用户使用我们产品的方式,以及我们的产品能为用户做些什么,”苹果公司首席执行官Tim Cook表示。“最重要的是,它必须了解你,并扎根于你的个人背景,比如你的日常生活、你的人际关系、你的交流等等,”首席执行官蒂姆·库克指出。“当然,它必须从一开始就与隐私一起构建。所有这些都超越了人工智能。这是个人智能,也是苹果的下一个重大举措。”
高级副总裁Craig Federighi补充道:“Apple 智能以用户的个人数据和环境为基础。”该功能将有效地建立在用户输入日历和地图等应用程序的所有个人数据之上。
苹果称这是其“一大步”,是一段“新的旅程”!
Apple Intelligence功能可在iPhone、iPad 和 Mac上使用,并结合使用设备上和服务器驱动的生成式AI模型。Apple Intelligence的功能包括 iPhone上通知的个性化优先级排序、跨应用程序的生成写作工具、图像生成,等等。
苹果表示,其生成式人工智能脱颖而出,可以根据用户的个人情况进行个性化设置,同时保护个人隐私。例如,在阅读电子邮件时,Apple Intelligence可以查看电子邮件、找出相关联系人、给出指示并查找相关文件。该产品还将以深刻的方式开启多任务处理,实现某种跨应用兼容性。例如,这意味着用户无需在日历、邮件和地图之间不断切换来安排会议。
苹果还推出了一款名为Genmoji的全新自定义表情符号工具。当用户找不到合适的表情符号来表达自己想要表达的意思时,可以使用苹果的人工智能创建自己的表情符号。用户还可以创建与朋友一模一样的Genmoji。用户可以通过在键盘上输入描述来创建Genmoji。
Apple Intelligence主要由设备上的模型提供支持,与 iPhone 15 Pro上的A17 Pro以及M1及更高版本的Apple Silicon Mac兼容。
苹果正在推出可运行更复杂模型的服务器基础设施,称为私有云计算。苹果表示,这允许更强大的生成式人工智能模型处理用户的数据,而不会泄露任何隐私。苹果表示,使用私有云计算时,用户的数据永远不会被存储或让苹果访问。
13年前,苹果推出了语音助手Siri,如今Siri迎来重大变革。
Apple Intelligence还包含可能是Siri自十多年前发布以来最大的更新。该公司表示,该功能“更深入地融入”其操作系统。对于iOS来说,这意味着将熟悉的Siri图标换成使用时环绕桌面的蓝色发光边框。
Siri不再只是一个语音界面。Apple还增加了直接在系统中输入查询的功能,以访问其基于AI的生成智能。这承认了语音通常不是这些系统的最佳界面。
与此同时,App Intents能够将助手更直接地集成到不同的应用程序中。这将从第一方应用程序开始,但该公司还将向第三方开放访问权限。这一新增功能将大大改善Siri可以直接执行的操作。
第三方开发者还可以利用这些新功能,通过新的“应用意向框架(app intents framework)”来利用 Apple Intelligence,使某些操作与Siri兼容。
Siri将不再仅是语音激活的助手。苹果正在添加“Type to Siri”功能,使其更接近其他生成式人工智能聊天机器人的体验。本次重大革新还在于,Siri还将能够在应用程序内及跨应用程序执行操作。这些功能相当强大。比如,Siri可以执行找到驾照的照片、提取用户的身份证号码、并将其输入到网页表单中等一系列操作。
Apple Intelligence将推广到其操作系统的最新版本,包括iOS和iPadOS 18、macOS Sequoia和visionOS 2。这些更新可免费使用。
该功能将出现在iPhone 15 Pro 和 M1 Mac 和 iPad 设备上。标准版 iPhone 15 将不会获得该功能,可能是由于芯片的限制。
6大软件系统升级,皆添加AI功能
WWDC的前半段,苹果花费大量时间介绍了其6大软件平台的升级。这也是其AI功能如何触达用户的关键一环。
其中最受瞩目的是,AI功能加持下的 iOS 18。
本次WWDC上,iOS 18 已正式发布。
苹果公司全球营销高级副总裁 Greg Joswiak 介绍了 iPadOS 18 和全新的设计以及新的 Pencil 功能。其中的数学备忘录功能,配合新发布的 Apple Pencil,苹果可以识别手写的数学演算公式并给出答案,如果修改步骤,答案也会随之更新。
同时,用户还可以选择根据方程式创建图表的功能。
此次更新还包括新的主屏幕自定义、暗模式改进等。新的主屏幕定制:应用程序图标的新主题选项,用户可以将应用程序图标放置在任何位置,并使用暗模式自动为图标着色。经过改进的控制中心具有多页布局。还有一个新的“控件库”,它还将允许第三方开发人员为控制中心提供小部件。用户还可以将新控件交换到锁定屏幕上,替换手电筒和相机图标。iOS 18 支持使用 Face ID 锁定单个应用程序。iOS 18 将添加 RCS、日历中的提醒集成、使主屏幕图标更大的选项等。
在信息应用中,Tapbacks 已经重新设计,现在用户可以使用任意表情符号或贴纸点击返回。信息应用程序现在支持预定发送。支持文本效果和文本格式选项,如下划线、删除线等。通过卫星发送信息允许 iPhone 14 和 iPhone 15 用户在没有 Wi-Fi 或蜂窝服务的情况下发送 iMessage,也可以通过卫星发送短信。
除此之外,iOS 18 还包括邮件应用程序的功能升级:自动分类,完全在设备上处理。Apple Maps 增加了详细的地形图,包括离线支持。Apple Wallet 增加了 Apple Cash 的点击支付、新的 Apple Pay Online 平台以及对活动门票的改进支持。日志应用程序现在支持记录用户的心理状态和跟踪目标、新的 Insights 视图和搜索支持。游戏模式即将登陆 iPhone,它可以最大限度地减少后台活动以确保最高的帧速率。
对于照片应用,苹果表示,我们将进行有史以来最大的重新设计。旨在让照片库规模不断扩大,处理起来更加轻松。新增选项可轻松隐藏屏幕截图。新的“收藏”功能可帮助跟踪最近的照片和建议。照片应用程序现在可以将人们分组在一起。
visionOS 2 将提供由2D图像生成3D空间视图功能,以及只需看一眼就可通过眼动识别把Mac的屏幕投射到Vision Pro的 4K 虚拟显示屏的交互功能。
watchOS 11中引入了训练负荷,来衡量锻炼强度和持续时间,并在健康应用中加入了怀孕的检测场景,同时内置了机器翻译的大模型。
苹果还发布了最新版本的 MacOS:MacOS Sequoia。
其中引人注目的一项功能是 iPhone 镜像。用户通过 MacOS 的 Continuity 功能,可以镜像 iPhone 的屏幕,包括图标、主屏幕、应用程序等,并直接从 Mac 控制它。
在镜像功能下, iPhone 任何应用程序都可以直接从 Mac 打开,用户的 iPhone 音频、项目和文件都可以无缝拖放到 Mac。而此时并不需要担心 iPhone 的屏幕泄露隐私,其屏幕可以保持锁定状态,他人无法访问。
“25 年来,我们一直在Keychain上添加功能以便更轻松地登录账户。现在,我们推出了密码应用程序。”Craig 表示。
他介绍了一个新的专用密码应用程序,可让用户管理Wi-Fi密码、应用程序和网站密码、验证码等。密码可跨设备同步,macOS使用自动填充功能在密码应用程序中填充密码。用户可以在Mac、iPad、iPhone、Vision Pro 和Windows上找到该应用程序,并使用适用于Windows 的 iCloud应用程序。如果使用自动填充,所有密码都会在用户的个人设备之间安全同步。
颠覆性变革正在发生
本次发布会,苹果在前一个小时都在在阐述软件系统的升级,AI提及次数很少,与开发者也并无较大关联。届时,苹果自身股价一度下跌3%,直到库克提及 Apple Intelligence 时才有所回升。截至收盘,苹果股价下跌近2%,总市值2.96万亿,已跌破3万亿,并未反超英伟达。
但苹果的此次发布无疑是颠覆性变革的开始。前特斯拉AI总监、李飞飞高徒Karpathy发推文表示““这一定是一个非常激动人心的时刻,因为他们在整个操作系统之上添加了AI”,包括多模式输入/输出启用文本/音频/图像/视频、Agents、无缝衔接、模块化、隐私保护等突出功能。
Zoom 客户端工程师 Cyandev 表示:
智谱AI首席生态官刘江表示:Apple Intelligence 在教整个行业怎么做大模型产品。
“苹果一口气几乎把所有终端用户的AI工具在系统层全部做完了。”
“苹果不需要今天就把所有事情都做好,只需要证明自己有能力在未来几年内做好人工智能。现在的问题是苹果是否拥有人工智能的核心竞争力。相比之下,苹果在网络和苹果设备上的搜索并没有核心竞争力。”苹果分析师Gene Munster 发文表示,“相反,苹果在硬件、软件和服务方面都很强大。苹果有机会在人工智能领域做一些其他公司无法做到的事情;在硬件、软件和服务中注入人工智能体验。”
相比安卓这种开放的系统而言,苹果自己的生态更容易直接统一植入大模型。本次GPT-4o集成在苹果生态的举动,无疑将引发软件终端体验及开发方式的颠覆性变革。
参考链接:
https://9to5mac.com/2024/06/10/apple-ai-apple-intelligence-iphone-ipad-mac/
https://9to5mac.com/2024/06/10/ios-18-new-features-launch-release-date/
https://www.youtube.com/watch?v=RXeOiIDNNek
https://openai.com/index/openai-and-apple-announce-partnership/
文章转载自公众号AI科技大本营 整理|王轶群 责编|唐小引
文章链接:https://mp.weixin.qq.com/s/VDjz-4LhIIM1xxdOJNEX4g