您当前的位置:网站首页>pp视频,Facebook 开源高速大规模图嵌入东西 PBG,千叶豆腐

pp视频,Facebook 开源高速大规模图嵌入东西 PBG,千叶豆腐

2019-04-06 21:25:59 投稿作者:admin 围观人数:341 评论人数:0次

雷锋网 AI 科技谈论按:怎么有用处理大规划图画,关于推进人工智能研讨与运用的开展而言至关重要。这也是为何 Facebook官道之色戒 AI 挑选创立并开源 PyTorch-BigGraph(PBG)的原因—— 一款更快、更容易为大规划图画生成普罗旺斯图嵌入的东西,特别针对那些模型对内存来说过大的多联系图嵌入(multi-relation graph embeddings)。 PBG 比起一般的嵌入软件,体现更快,一起能产出与先进模型适当的嵌入质量。有了这个新东西,任何人都能运用单个或多个并行机器敏捷生成高质量的大规划图嵌入。雷锋网 AI 科技谈论将开源博文编译如下。

作为比方,咱们发布了首个包含 5000 万个维基百科概念的完好维基嵌入图,以供 AI 研讨社区运用。该嵌入图能够帮忙其他研讨人员履行依据维基数据概念的机器学习使命。

PBG 开源网址:https://githubpp视频,Facebook 开源高速大规划图嵌入东西 PBG,千叶豆腐.com/facebookresearch/PyTorch-BigGraph

维基嵌入图:https://dl.fbaipublicfiles.com/pp视频,Facebook 开源高速大规划图嵌入东西 PBG,千叶豆腐torchbiggraph/wikidata_translation_v1.tsv

因为 PBG 是选用 PyTorch 进行编写的,因而研讨人员和工程师能够容易替换丢失函数、模型以及更多其他组件,PBG 将自行核算梯度并进行扩展。

大规划图嵌入

当今的图画规划或许非常大,比方具有数十亿个节点与数万亿个边rs5缘。这时候,惯例的图嵌入办法无法很好地进行扩展以习惯大规划图画操作。总的来说,大规划图嵌入存在两种应战:首要,系统的速度有必要足够快,以满意实践科研与出产的用处。以现有的办法为例,练习一个具有万亿边际的图画或许需求消耗数妃嫔这工作周乃至数年时刻。第二个应战是内存。例如,要想嵌入具有 20 亿个节点、每个节点具有128个浮点参数的图画,陆一旗需求咱们具有高达 1TB 的参此情凝神数,这远远超出了商用服务器的内存容量。

而 PBG 经过对图画进行块分区(block partitioning),能够有用战胜图嵌入的内存问题。这些节点被随机划分为 P 个巨细适宜的分区,以习惯内存容量,然后再依据源节点与方针节点将边际划分为 P2buckets。

Facebook 开源高速大规划图嵌入东西 PBG

针对大规划图画的 PBG 分区计划。节点被划分为 P 成人小游戏个巨细适宜强奸幼女的分区。然后依据源节点与方针节点将边际划分为 buckets。在散布形式下,多个 bucksk2官网ets 的非堆叠分区将能被并行履行(如蓝色方块所示)。

把节点与边际进行分区后,咱们每次能够在一个 bucket 中进行练习。 在对 bucket(i,j)的练习过程中,只要分区 i 和 j 的嵌入会被存储到内存中。

PBG 供给两种办法以供进行分区图嵌入练习。在单个机器练习中,嵌入与边际一旦不被运用,就会被替换出磁盘;在散布式练习中,嵌入将散布在多台机器的内存里。

散布式练习

PBG 经过 PyTorch parallelization primitives 来完成散布式练习。 因为单模型分区每次只能被一台机器使油烟机用,因而一次最多能够在 P / 2 台机器上进行图嵌入练习。 只要机器需求切换至新的 bucket 时,才嘉善会传送模型数据。 为了确保散布式练习作用, PBG 经过经典参数服务器模型来表三国演义电视剧示不同类型边际的同享参数。

Facebook 开源高速大规划图嵌入东西 PBG

PBG 散布式练习的系统结构图。 机器经过 lock server 来和谐练习不相交的 buckets。 分区模型的参数经过火丰田大霸王片分区服务器进行交流,并同享经过火片参数服务器异步更新的参数。

PyTorch-BigGraph 评价效果

为了精确评价 PBG 的功能,咱们选用包含超越 1.2 亿个节点与 27 亿个边际的开源 Freebase 常识图。此外还选用较小的 Freebase 常识图子集——FB15k,它包含了 15,000个节点和600,000个边际,一般被用作多联系嵌入办法的基准。

PBG 依据 Freebase 常识图所练习的嵌入 pp视频,Facebook 开源高速大规划图嵌入东西 PBG,千叶豆腐t-SNE 图。如国家、数字和科学期刊之类的实体具有相似的嵌入状况。

论文中,咱们成功证明 PBG 与 FB15k 数据集最先进的嵌入办法作用适当。

各种嵌入办法在 FB15k 数据集链路猜测使命上的功能体现。 PBG 在 TransE 与 ComplEx 嵌入黄延秋事情pp视频,Facebook 开源高速大规划图嵌入东西 PBG,千叶豆腐模型的根底上达到了平等功能。咱们测量了链路猜测的均匀倒数等级(MRR)和 Hit@10 statistics。 Lacroix 经过非常大的嵌入维度成功完成更高的pp视频,Facebook 开源高速大规划图嵌入东西 PBG,千叶豆腐MRR,这个咱们也能经过 PBG 进行仿制,但不在这份陈述中出现。

接着,咱们运用 PBG 练习完好的 Freebase 图嵌入。该巨细的数据集能够习惯现代服务器,但 PBG 的分区与散布式履行能够有用削减内存运用与练习时刻。咱们发布了针对维基数据的首个嵌入图,这是同类数据的最新常识嵌入图。

PBG分区计划可在不下降模型质量状况下,将内存运用量有用削减 88%。运用多台并行机器能够削减更多练习时刻。

咱们还在论文中评价了 PBG 在几个揭露社交图数据集上的嵌入效果。咱们发现, PBG 优于同类办法,主要是分区与散布式履行有用削减了内存运用与练习时刻。对常识图而言,分区或散布式履行能陈柏融使练习模型关于超参数与建模的挑选变得愈加灵敏。不过咱们也发现,对社交图而言,嵌入质量关于分区与并行的挑选好像并不那么灵敏。

嵌入、散布式练习的优点

PBG 将答应咱们在无需消耗专门核算资源(如GPU或很多内存)的状况下,对大规划图嵌入(包含常识图表、股票交易图表、在线内容、生物数据等)进行练习。咱们期望 PBG 能够对那些具有大规划图形数据集,但缺少相应 ML 处理东西的小型公司或安排能有所协助。

尽管咱们挑选在 Freebase 这样的数据集上演示 PBbrushG,但 PBG 的终究目是想处理哪些10至100倍大的图画。咱们鼓舞从业者们在更大的琅琊数据集上进行试验。近期无论是核算机视觉(经过深度学习标签来改善图画识别pp视频,Facebook 开源高速大规划图嵌入东西 PBG,千叶豆腐质量)仍是自然语言处理(word2vec、Bert、Elmo)范畴所获得的打破,都是依据大规划数据集的使命无关预练习(task-agnos杨采妮老公tic pretraining)的效果。咱们期望依据大规划图形的无监督学pp视频,Facebook 开源高速大规划图嵌入东西 PBG,千叶豆腐习,终究能够发生更好的图形结构数据推理算法。

via https://ai.facebook.com/blog/open-sourcing-pytorch-biggraph-for-faster-embeddings-赛欧3of-extremely-large-graphs/

雷锋网 AI 科技谈论

the end
冻龄神颜+影后收割机,女生养成日记