极大的数据集和机器学习

超大数据集上的机器学习

谷歌的这项专利是关于在超大数据集上执行机器学习的训练框架。 看起来它专注于 YouTube 上的视频。 LinkedIn 展示了该专利发明人在视觉和视频方面的工作。

该专利涉及基于 MapReduce 的训练框架，该框架利用数据并行性和模型并行性来实现对庞大数据集的学习。

在过去的十年中，机器学习和计算机视觉问题的一系列突破都归功于超大数据集的可用性。 随着数据集质量和数量的增加，模型的复杂性及其完成更复杂、高级任务的能力也随之提高，例如。

YouTube 中的视频分类领域

YouTube-8M 是目前视频分类领域最广泛的公 最新数据库 共数据集，包含超过 700 万个视频，4,716 个类别。 对从对象到活动等不同主题的数千个高级视频标签进行分类，需要可以扩展类别和视频数量的多标签分类模型。

由于有数百万个视频示例跨越数十万个视频小时，每个训练周期都涉及数十亿个逐帧视听特征。

得益于现代 GPU 和定制硬件加速器，训练这种规模的机器学习模型变得不再那么令人望而却步，包括复杂的模型，例如循环深度神经网络和逐帧时间聚合网络。

然而，即使是最广泛的公开海量数据集也远远落后于互联网上的公共视频量。 以 YouTube 为例，2017 年，带字幕的视频数量超过 10 亿个。此外，视频的增长速度前所未有，每分钟上传到 YouTube 的视频时间超过 500 小时。

共享特征提取点

本公开的一个示例涉及一种用于执行机器学 香港领先 习的计算机实现的方法。 该方法包括通过包括计算设备的计算系统获得描述机器学习模型的数据，该机器学习模型由被配置为接收和处理数据输入以产生中间特征表示的共享特征提取部分和多个预测头组成，该共享特征提取部分被配置为接收和处理数据输入以产生中间特征表示。 配置为接收并处理中间特征。