Home
以深度学习为核心的人工智能技术，过去的几年在语音识别、计算机视觉、自然语言处理等领域获得了巨大的成功，其中以GPU为代表的硬件计算力，以及优秀的开源深度学习框架起到了巨大的推动作用。尽管以TensorFlow、PyTorch、MxNet等为代表的开源框架已经取得了巨大的成功，但是当我们把深度学习技术应用在广告、推荐、搜索等大规模工业级场景时，发现这些框架并不能很好的满足我们的需求。矛盾点在于开源框架大都面向图像、语音等低维连续数据设计，而互联网的众多核心应用场景（如广告/推荐/搜索）往往面对的是高维稀疏离散的异构数据，参数的规模动辄百亿甚至千亿。进一步的，不少产品应用需要大规模深度模型的实时训练与更新，现有开源框架在分布式性能、计算效率、水平扩展能力以及实时系统适配性的等方面往往难以满足工业级生产应用的需求。 X-DeepLearning正是面向这样的场景设计与优化的工业级深度学习框架，经过阿里巴巴广告业务的锤炼，XDL在训练规模和性能、水平扩展能力上都表现出色，同时内置了大量的面向广告/推荐/搜索领域的工业级算法解决方案
- 为高维稀疏数据场景而生。支持千亿参数的超大规模深度模型训练，支持批学习、在线学习等模式。
- 工业级分布式训练能力。支持CPU/GPU的混合调度，具备完整的分布式容灾语义，系统的水平扩展能力优秀，可以轻松做到上千并发的训练。
- 高效的结构化压缩训练。针对互联网样本的数据特点，提出了结构化计算模式。典型场景下，相比传统的平铺样本训练方式，样本存储空间、样本IO效率、训练绝对计算量等方面都大幅下降，推荐等场景下整体训练效率最大可提升10倍以上。
- 成熟多后端支持。单机内部的稠密网络计算复用了成熟开源框架的能力，只需要少量的分布式驱动代码修改，就可以把TensorFlow/MxNet等的单机代码运行在XDL上，获得XDL分布式训练与高性能稀疏计算的能力。
- 点击率预估领域的最新算法，包括深度兴趣网络（Deep Interest Network, DIN），用户兴趣演化模型（Deep Interest Evolution Network, DIEN），跨媒介网络（Cross Media Network，CMN)。
- 点击率&转化率联合建模的全空间多任务模型（Entire Space Multi-task Model， ESMM）。
- 匹配召回领域的最新算法——深度树匹配模型（Tree-based Deep Match，TDM）。
- 轻量级通用模型压缩算法（Rocket Training）
- 深度兴趣网络：Deep Interest Network, DIN
- 用户兴趣演化模型：Deep Interest Evolution Network, DIEN
- 点击率&转化率联合建模的全空间多任务模型：Entire Space Multi-task Model， ESMM
- 匹配召回领域的最新算法——深度树匹配模型：Tree-based Deep Match，TDM
- 轻量级通用模型压缩算法：Rocket Training
- 图像联合训练算法：CrossMedia
欢迎对机器学习有兴趣的同仁一起贡献代码，提交Issues或者Pull Requests，请先查阅: XDL Contribution Guide
XDL使用Apache-2.0许可