打造智能体验

利用强大的设备端机器学习功能,为你的 App 和游戏打造智能功能,带来全新的体验。了解如何在 iPhone、iPad、Apple Vision Pro、Mac 和 Apple Watch 中构建、使用、训练和部署 AI 及机器学习模型。

Core AI Debugger App 界面,显示并排的模型比较,左侧是操作列表和相似度分数,中间是节点图,右侧是所选 Concat 操作的详情和张量输出。 Core AI Debugger App 界面,显示并排的模型比较,左侧是操作列表和相似度分数,中间是节点图,右侧是所选 Concat 操作的详情和张量输出。

了解相关技术

Image

Core AI

Core AI 旨在提供一种最佳方式,将设备端运行的 AI 模型整合到你的 App 中。它是专门针对 Apple 芯片打造的一整套技术,旨在实现卓越的性能、丰富的自定义,以及跨设备和模型规模的无缝扩展。完全不依赖服务器,也不产生词元费用。

Image

Foundation Models 框架

Foundation Models 框架 是原生 Swift API,可让你直接访问设备端和专用云计算* 中的 Apple Foundation Models,以及任何包含符合 Language Model 协议的 Swift 软件包的模型提供程序。

随后,多模态提示和设备端 Vision 框架工具让你的 App 能够对图文混合内容进行推断;而借助 Dynamic Profiles,你可以在连续会话中交换模型、工具和指令,使 App 智能能够实时调整。然后,你可以使用 Evaluations 框架来确保 AI 功能在动态条件下可靠地运行。

Vision

借助最新的计算机视觉 构建强大的图像和视频分析功能。点击分割功能可让你分离出图像中的对象,而 OCR、条形码扫描和你的自定义工具可以直接传递到 Apple Foundation Models,使你的 App 实现由 LLM 驱动的视觉理解功能。Vision 框架现在也已支持 watchOS,将图像分析能力扩展到所有 Apple 平台。

Speech

利用适用于多种语言的语音 识别和显著性功能。借助 SpeechAnalyzer,你可以将高级设备端转写功能引入到你的 App 中。

由机器学习支持的 API

仅用几行代码,即可在你的 App 中整合智能的设备端机器学习功能、自然语言 分析、翻译声音 分类等功能。

Image

Core ML

Core ML 可高效地将传统机器学习模型 (包括树集成模型、回归模型等) 集成到你的 App 和游戏中。你可以使用 Core ML 工具转换热门训练库中的模型,下载现成的 Core ML 模型,并直接在 Xcode 中预览。如果你有意将 LLM 和其他生成式 AI 模型引入你的 App 中,请查看 Core AI。

Image

Metal

Metal 让你能够轻松利用 Apple 自研 GPU 的先进功能,为高级图形工作负载提供强劲支持。借助 Metal 4,你现在可以利用 MetalFX 等机器学习功能、直接在着色器中运行推理网络,并实现最新的神经网络渲染技术。

Image

MLX 框架

MLX 是一个开源数组框架,可让你在 Apple 芯片上试验、训练、研究和微调生成式模型。它支持 Metal 4 和 GPU 神经网络加速器以实现最大性能,并能够通过“基于雷雳的 RDMA”功能在多台 Mac 之间扩展训练,使其成为在 Mac 上探索前沿机器学习创新的绝佳方式。