论文阅读11——《Mutual Boost Network for Attributed Graph Clustering》


原文地址: 论文阅读11——《Mutual Boost Network for Attributed Graph Clustering》

作者:Xiaoqiang Yan, Xiangyu Yu, Shizhe Hu, Yangdong Ye

发表时间:预印本

论文地址:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4195979

代码地址:https://github.com/Xiaoqiang-Yan/MBN

创新

存在问题

  1. 现有区分表示的方法受到节点结构特征之间差异限制
  2. 如何保证由节点结构特征产生的聚类分配的一致性仍然是一个具有挑战性的问题,这往往会导致聚类性能下降。现有方法忽略了这个问题。

解决方案

  1. 提出一种新的双通道属性图聚类网络(MBN),它由自编码器图自编码器组成,可以相互学习交互,实现聚类性能相互提升
  2. 设计一种表示增强机制,以促进异构节点和结构特征的传播和融合。
  3. 首先提出一种新的表示增强模块,将来自节点结构特征的异构信息传播出去,用于学习综合表示。然后通过对比聚类分配,设计了一致性约束,提供了相互指导,使聚类分配趋于一致。最后在一个统一的框架下,以自监督的方式,同时优化表示学习和聚类分配过程。

观点

  1. 属性图聚类任务的关键前提是学习节点的判别表示。
  2. 现有的GCN虽然取得了很大的成功,但是由于过度依赖于邻居节点的信息集成,在拓扑节点特征融合方面并不理想,存在过平滑问题
  3. 自编码器和图自编码器学到的表示融合后是全面和可靠的,可以产生高置信度的辅助聚类分配。
  4. 现有的方法不能充分利用节点和拓扑结构来学习鉴别性的表示,他们不能保证由异构节点和结构特征产生的不同分配的聚类一致性,从而导致聚类性能不佳。

模型

在这里插入图片描述

自编码器模块

没啥好说的了,写了这么多篇论文阅读,都有自编码器模块,可以去前面的文章看。最终得到一个属性的重建损失,用于后面的模型训练。

图自编码器模块

与DFCN中IGAE模块类似,使用图卷积作为编码器部分,同时解码器部分也用图卷积:
Z ( l + 1 ) = φ ( A ~ Z ( l ) U e ( l ) ) Z ^ ( k + 1 ) = φ ( A ~ Z ( k ) U d ( k ) ) \begin{aligned} Z^{(l+1)}&=\varphi(\widetilde{A}Z^{(l)}U_e^{(l)}) \\ \hat{Z}^{(k+1)}&=\varphi(\widetilde{A}Z^{(k)}U_d^{(k)}) \end{aligned} Z(l+1)Z^(k+1)​=φ(A Z(l)Ue(l)​)=φ(A Z(k)Ud(k)​)​
重建邻接矩阵:
A ^ = σ ( Z Z ⊤ ) + σ ( Z ^ Z ^ ⊤ ) \hat{A}=\sigma(ZZ^\top)+\sigma(\hat{Z}\hat{Z}^\top) A^=σ(ZZ⊤)+σ(Z^Z^⊤)
最后通过以下损失函数进行训练:
L G A E = L f + δ L a L f = 1 2 N ∥ A ~ X − Z ^ ∥ 2 2 L a = 1 2 N ∥ A ~ − A ^ ∥ 2 2 \begin{aligned} &L_{GAE} =L_f+\delta L_a \\ &L_f = \frac{1}{2N}\|\widetilde{A}X-\hat{Z}\|_2^2 \\ &L_a = \frac{1}{2N}\|\widetilde{A}-\hat{A}\|_2^2 \end{aligned} ​LGAE​=Lf​+δLa​Lf​=2N1​∥A X−Z^∥22​La​=2N1​∥A −A^∥22​​
分别表示GAE的损失函数、特征表示Z的重建损失、邻接矩阵的重建损失。

表示增强模块

用于传播和融合异构节点和结构信息,以获得更全面、更有区分度的表示。该模块包括两个步骤:层间信息传播和结构信息融合。首先,为了从图数据中提取更多的鉴别信息,将节点的纯属性特征集成到GCN中进行结构表示学习,对具有结构信息的特征信息的传播,通过线性计算将AE中的特征注入到GAE模块对应的层,这里说这么多其实还是SDCN中的传递算子进行的操作,公式也不展示了。

为了进一步提高表示质量,利用一个类似图卷积的算子来从邻居中集成结构信息:
Z = A ~ ( Y ( L ) + Z ( L ) ) Z=\widetilde{A}(Y^{(L)}+Z^{(L)}) Z=A (Y(L)+Z(L))
其实就是用归一化拉普拉斯算子 A ~ \widetilde{A} A 对自编码器的最后一层嵌入表示 Y ( L ) Y^{(L)} Y(L)和图自编码器的最后一层嵌入表示 Z ( L ) Z^{(L)} Z(L)进行信息聚合的操作,所谓类似图卷积,就是将图卷积神经网络中的参数矩阵看作单位矩阵 I I I。

自监督模块

这里与之前模型不同的是,没有使用自编码器嵌入 Y Y Y的辅助分布,而是使用图自编码器嵌入 Z Z Z的目标分布 Q Z Q_Z QZ​和辅助分布 P Z P_Z PZ​,对应的损失函数为:
L c l u = K L ( P Z ∥ Q Z ) = ∑ i ∑ j p i j log ⁡ p i j q i j L c o n = K L ( Q Z ∥ Q Y ) = ∑ i ∑ j q i j log ⁡ q i j q i j ′ \begin{aligned} L_{clu}&=KL(P_Z\|Q_Z)=\sum\limits_i\sum\limits_jp_{ij}\log\frac{p_{ij}}{q_{ij}} \\ L_{con}&=KL(Q_Z\|Q_Y)=\sum\limits_i\sum\limits_jq_{ij}\log\frac{q_{ij}}{q_{ij}'} \end{aligned} Lclu​Lcon​​=KL(PZ​∥QZ​)=i∑​j∑​pij​logqij​pij​​=KL(QZ​∥QY​)=i∑​j∑​qij​logqij′​qij​​​
总的损失函数:
L = L r e c + α L c l u + β L c o n L r e c = L G A E + L A E \begin{aligned} &L=L_{rec}+\alpha L_{clu} + \beta L_{con} \\ &L_{rec}=L_{GAE}+L_{AE} \end{aligned} ​L=Lrec​+αLclu​+βLcon​Lrec​=LGAE​+LAE​​
最终的聚类结果使用自编码器嵌入 Y Y Y的目标分布 Q Y Q_Y QY​作为聚类结果:
r i = arg ⁡ max ⁡ j q i j r_i=\arg\max_jq_{ij} ri​=argjmax​qij​

实验

伪代码

在这里插入图片描述

实验结果

在这里插入图片描述

结论

提出一种新的双通道属性图聚类网络(MBN),该网络由自编码器和图自编码器组成,他们可以相互学习和交互。

MBN的优点:

  1. 利用所提出的表示增强模块,传播并融合来自节点特征和图结构的有价值的异构信息,用于识别图表示学习
  2. 提出一致性约束目标,以提高不同任务之间的聚类一致性。
  3. 设计了一个自监督模块,在一个统一的框架中同时优化图聚类性能和表示学习。

更多相关推荐


【斯坦福CS224N】笔记——深度自然语言处理Natural Language Processing with Deep Learning

发布时间:2022-11-22 自然语言处理 深度学习 人工智能
Lecture11.1词在计算机中的表达1.1.1WordNet一个包含同义词集和上位词(“isa”关系)的列表的辞典可以视作1个专家经验总结出来的词汇表缺点:忽略了词汇的细微差别如:例如“proficient”被列为“good”的同义词。这只在某些上下文中是正确的。缺少单词的新含义,如果有新含义需要人工维护,开销大因为是小部分专家构建的,有一定的主观性构建与调整都需要很多的人力成本无法定量计算出...

递归构造决策树

发布时间:2014-05-04 数据挖掘 决策树
递归构造决策树:准备函数:计算熵,用于选择最好的划分特征递归结束条件为1.决策树节点中只有一种结果,或2.决策树节点的所有属性都已经递归过 递归流程:1.将训练数据作为决策树的根节点2.对于节点数据集,计算所有未用特征熵3.选择最大的熵的特征作为划分数据的关键特征4.形成分支,每个特征值作为决策树的新节点(新的数据集合,标记已使用和未使用的特征值)5.新节点没有未使用特征,或所有数据都属于一个结果...

机器学习系列(1):决策树长啥样?

发布时间:2018-11-09 决策树 机器学习
0.前言在机器学习算法中,决策树可以说是思路最自然的一个门派了。也正因为思路自然,所以门派内部根据不同的问题,不断细化,形成了多种分支。比较出名的,有ID3,C4.5,CART等。这几种决策树算法,在之后的文章中都会说明。本文中,我们首先了解一下决策树的基本信息。最初始人们用决策树来辅助决策,用机器学习的行话来说,即用来做分类。那么,自然就属于监督学习的范畴了。决策树最开始只能处理离散值的特征。后...

数据挖掘3---决策树的构造

发布时间:2015-11-10 数据挖掘
今天学习了决策树算法中的ID3、c4.5、CART算法,记录如下:    决策树算法:顾名思义,以二分类问题为例,即利用自变量构造一颗二叉树,将目标变量区分出来,所有决策树算法的关键点如下:    1.分裂属性的选择。即选择哪个自变量作为树叉,也就是在n个自变量中,优先选择哪个自变量进行分叉。而采用何种计算方式选择树叉,决定了决策树算法的类型,即ID3、c4.5、CART三种决策树算法选择树叉的方...

2021-08-15

发布时间:2021-08-15 ROS 机器学习
前言提示:本文来源于ROS机器人操作系统学习记录,内容为维基教程抄录和自己的一些相关记录一、ROSserviceandparametersrosservice是节点之间通讯的另一种方式,主要是关于“逻辑”上的非数据的一些操作。rosparam可以对参数进行设置。二、相关命令1.ROSservice用于服务的命令:rosservicelist输出活跃服务的信息rosservicecall用给定的参数...

深度学习框架如何优雅的做算子对齐任务?

发布时间:2022-01-20 TENSORFLOW 深度学习 人工智能 PYTHON JAVA
0x0.前言之前回答过「如何为PyTorch做贡献的知乎问题」,原贴见:https://www.zhihu.com/question/502301777/answer/2248950419。回答提到了去年在OneFlow开发一些算子时,基于算子AutoTest框架找到了一些PyTorch算子的bug,并给PyTorch做出了反馈或修复。但这个回答没有介绍这个AutoTest框架长什么样子,以及它背...

图09 --- 最小费用最大流问题

💖💖感谢各位观看这篇文章,💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力!💖💖💖💖感谢你的阅读💖,专栏文章💖持续更新!💖关注不迷路!!💖图01—图的基本概念与模型_图02—存储结构:邻接矩阵,关联矩阵,权矩阵,邻接表,十字链表图03—图的遍历与实现图04—最小生成树与实现图05—最短路径问题...

强化深度学习中使用Dyna-Q算法和优先遍历算法在机器人实战中的对比分析(超详细 附源码)

需要源码和环境搭建请点赞关注收藏后评论区留言并且私信~~~一、优先遍历在随机环境中,值函数变化的大小以及状态-动作对更新的优先级都受迁移概率估计值的影响,可以根据紧急程度对其更新顺序进行优先级排序,这就是优先遍历。优先遍历是一种常用的提高规划效率的分布计算方法,在一定程度上,该方法可以避免随机选择状态和动作所导致的低效率问题,在使用优先遍历法时,用一个优先队列PQueue来存储值函数变化较大的状态...

机器学习初步(三):回归演示

发布时间:2022-10-14 回归 机器学习 PYTHON
这次跟着学习一个简单的回归模型的演示。首先是开始前的一些准备导入相关的包importmatplotlib.pyplotaspltimportnumpyasnpfrompylabimportmplplt.rcParams['font.sans-serif']=['Simhei']#解决中文乱码问题mpl.rcParams['axes.unicode_minus']=False#解决图像中‘-’显示为...

机器学习初步

发布时间:2022-10-19 机器学习 人工智能
2.1泛化能力泛化能力强,能够很好的使用于unseeninstance,例如,错误率低、精度高我们希望模型在未见样本上表现好,这一能力通常被称作模型的什么能力?指的是泛化能力在评价模型性能时,我们更希望它泛化能力强2.2过拟合和欠拟合泛化误差:在未来样本上的的误差经验误差:在训练集上的误差,亦称训练误差泛化误差越小越好?经验误差是否越小越好?错误。会出现“过拟合”拿树叶做训练的话过拟合(误以为树叶...

机器学习初步(四):误差分析和模型选择

发布时间:2022-10-13 深度学习 机器学习
误差分析Error=Bias+Variance我们可以这样理解,error是模型的总的误差,衡量了模型的好坏。而模型的好坏,可以从两个方面衡量:bias:偏差,即模型预测值与实际值的差值variance:方差,衡量模型本身的稳定度。引用一张图:模型比较简单的时候,也就相当于忽略了很多相关的潜在因素影响,这种情况下与真实值的偏差会比较大,出现欠拟合问题;如果模型比较复杂,相当于考虑了过多的影响因素,...

CAFFE2官方信息整理_入门教学

发布时间:2019-09-27 深度学习
caffe2概念您可以在下面了解有关Caffe2的主要概念的更多信息,这些概念对于理解和开发Caffe2模型至关重要。Blobs和Workspace,Tensors数据在caffe2中组成成为blobs,blobs是内存中的一个命名的块.大部分的blobs包含一个tensor(可以想成多维向量),在python中转换成为numpy数组.Workspace保存所有的blobs.下面的例子显示如何填入...

一位32岁中年人转行程序员的励志故事

本文是一位32岁中年大叔转行程序员的真实故事,希望其励志经历会大家想转行程序员热爱代码的学生会有所帮助!原文如下:个人觉得只要有计划有准备,而且新行业确实能解决之前的某些困境,是值得的。我32转行程序员成功,基于以下原因:早在02年左右,我就喜欢上编程,经常去附近书店看java等书籍,而且在开始厌学之前,学习成绩一直很不错,有智商基础。多年来虽然一直没系统学习和练习编程,但一直在尝试接触相关知识。...

机器学习(概率角度) 01简介

发布时间:2022-10-05 MACHINE LEARNING 机器学习
1简介1.1机器学习是什么,为什么需要机器学习?  现在我们进入了大数据时代,每天都会有大量的图片、视频等数据产生。然而,我们该如何从这海量的数据中获取我们需要的信息呢?显然靠人工操作是不可能的,所以需要一种自动化的数据分析方法,这就是机器学习主要功能。所以,机器学习到底是什么呢?  百度给的定义是:机器学习是一门多学科交叉专业,涵盖概率论知识,统计学知识,近似理论知识和复杂算法知识,使用计算机作...

从零开始的图像语义分割:FCN快速复现教程(Pytorch+CityScapes数据集)

前言摆了两周,突然觉得不能一直再颓废下去了,应该利用好时间,并且上个月就读了一些经典的图像分割论文比如FCN、UNet和MaskR-CNN,但仅仅只是读了论文并且大概了解了图像分割是在做什么任务的,于是今天就拉动手复现一下,因为只有代码运行起来了,才能进行接下来的代码阅读以及其他改进迁移等后续工作。本文着重在于代码的复现,其他相关知识会涉及得较少,需要读者自行了解。看完这篇文章,您将收获一个完整的...

【自然语言处理(NLP)】基于PaddleNLP的短文本相似度计算

【自然语言处理(NLP)】基于PaddleNLP的短文本相似度计算作者简介:在校大学生一枚,华为云享专家,阿里云专家博主,腾云先锋(TDP)成员,云曦智划项目总负责人,全国高等学校计算机教学与产业实践资源建设专家委员会(TIPCC)志愿者,以及编程爱好者,期待和大家一起学习,一起进步~.博客主页:ぃ灵彧が的学习日志.本文专栏:人工智能.专栏寄语:若你决定灿烂,山无遮,海无拦.前言(一)、任务描述短...

车辆轨迹预测

发布时间:2022-11-11 深度学习 人工智能
VectorNet:EncodingHDMapsandAgentDynamicsfromVectorizedRepresentation1.encoder第一个整合矢量化场景上下文和代理动态信息2.交互:采用 self-attention实现了交互作用 3.decoder采用mlp,这里可以改进...

YOLO V1学习总结

发布时间:2022-11-23 深度学习 目标检测 YOLO YOLO系列学习
图片大小:448*448—>7*7*(5*B+C)5:每个框的x,y,w,h,confidence;B=2:在7*7的feature上,每个cell会生成2个预测框;C:类别数。损失函数坐标中心误差和位置宽高的误差,其中1objijj表示第i个网格中的第j个预测框是否负责obj这个物体的预测,只有当某个预测框对某个物体负责的时候,才会对box的coordinateerror进行惩罚,而对哪个...

【生成模型】DDPM概率扩散模型(原理+代码)

发布时间:2022-12-01 深度学习 PYTHON 人工智能
前言AI作画从18年的DeepDream噩梦中惊醒过来,在2022年OpenAI的DALL·E2达到惊人效果,见图:AI+艺术涉及到Transformer、VAE、ELBO、DiffusionModel等一系列跟数学相关的知识。DiffusionModels跟VAE一样原理很复杂。扩散模型(论文:DDPM即DenoisingDiffusionProbabilisticModel)2020年发表以来...

安装pytorch的过程及所见问题

发布时间:2022-09-09 深度学习 PYTORCH PYTHON
1、安装anaconda点击前往anaconda官网:www.anaconda.com提示:建议下载最新版本的anaconda,不然容易出现如下报错:CondaError:Cannotlinkasourcethatdoesnotexist.C:\Anaconda3\Scripts\conda.exe,之后可能还要再重新下载anaconda。2、修改到清华源在c盘/用户下找个.condarc这个文件...

ML《决策树(一)ID3》

发布时间:2020-12-27 决策树 机器学习 ID3
今天做个回顾和记录,简单做个学习,也是梳理下知识点,决策树的学习。本文的学习,自己不想画图,因为觉得没有必要自己画图,所以文中一部分图片是截取其他人的分享,但是内容都会是自己写的。当然了,这里是浅析学习学习。一:ID3拿西瓜书里面的来举例子来说,我们去挑西瓜呗,西瓜的有纹理,色泽,触感等特征,怎么判断这是不是好瓜呢?有经验的人会告诉我们,纹理咋样的是好是坏,然后色泽咋样的时好时坏,等等一系列的类似...

通俗地说决策树算法(一)基础概念介绍

发布时间:2019-07-30 大数据 决策树 机器学习 PYTHON
决策树算是比较常见的数据挖掘算法了,最近也想写点算法的东西,就先写个决策树吧。一.什么是决策树决策树是什么,我们来“决策树”这个词进行分词,那么就会是决策/树。大家不妨思考一下,重点是决策还是树呢?其实啊,决策树的关键点在树上。我们平时写代码的那一串一串的IfElse其实就是决策树的思想了。看下面的图是不是觉得很熟悉呢?当然决策树算法比这复杂那么一丢丢,所以在说决策树之前,我们需要先了解一些基本知...

年龄大却还是想着转行学Python,行业内大牛告诉你究竟该怎么做!

首先我们要知道一点,那就是现在IT行业在职人员,基本上都是刚毕业或者工作三到五年左右的人员,比如想你这样的年龄在IT行业技术方面已经有大概5年左右的工作开发经验了。试想一下:1、如果和你同样年龄阶段的人一起面试,他是已经有5年左右的工作开发经验,而你却还是一个新手,如果你是老板你会选择谁?2、如果你和同样的技术水平的人一起面试,他是才刚刚毕业或者说才20岁出头,他比你更年轻、更有活力(加班更加不容...

【LeGO-LOAM论文阅读(二)--特征提取(三)】

发布时间:2022-10-24 SLAM笔记 算法 论文阅读 人工智能
本文主要讲的是特征提取中线面特征匹配以及优化的代码理解,因为上次代码看麻了·,这次静下心来又重新看了一遍。不想听我废话的,直接去最后参考链接部分自己去理解。面特征匹配(findCorrespondingSurfFeatures)找三个距离i点最近的三个点就不讲了,说明白了就是算一下距离,其中closestPointInd是通过kd树找的,另外两个都是根据到closestPointInd的最小距离找...

非极大值抑制(NMS)讲解

发布时间:2020-01-06 深度学习
非极大值抑制(Non-maximumsuppression,NMS)是一种去除非极大值的算法,常用于计算机视觉中的边缘检测、物体识别等。算法流程:给出一张图片和上面许多物体检测的候选框(即每个框可能都代表某种物体),但是这些框很可能有互相重叠的部分,我们要做的就是只保留最优的框。假设有N个框,每个框被分类器计算得到的分数为Si,1<=i<=N。0、建造一个存放待处理候选框的集合H,初始...

第零次作业

读后感想:大学学习必须脚踏实地,不能投机取巧。坚信宝剑锋从磨砺出,梅花香自苦寒来。其次,我们必须掌握自主学习这项技能。https://www.cnblogs.com/geniusalex/p/4928713.html问题1:你为什么选择计算机专业?你认为你的条件如何?和这些博主比呢?‌答:1个人比较喜欢计算机专业,就业前景还可以。想要利用计算机创业。2条件很次,不如博主,但会努力,通过努力将博主拍...

第三次作业

发布时间:2022-10-15 深度学习
一、绪论1.卷积神经网络的应用图片分类,检索,检测,分割人脸识别,遗传病识别,人脸表情识别图像生成,图像风格转化自动驾驶2.传统神经网络VS卷积神经网络深度学习的三部曲1.搭建神经网络结构2.找到一个合适的损失函数(交叉熵损失(crossentropyloss),均方误差(MSE)…)3.找到一个合适的优化函数,更新参数(反向传播(BP),随机梯度下降(SGD)…)传统VS卷积传统神经网络在全连接...

第二次作业:深度学习基础

发布时间:2022-10-09 深度学习 软件工程 PYTHON
要求【第一部分】视频学习心得及问题总结了解深度学习相关概念,深度学习与人工智能、机器学习间的关系,神经网络学习与实践应用。【第二部分】代码练习在谷歌Colab上完成pytorch代码练习中的2.1pytorch基础练习、2.2螺旋数据分类,关键步骤截图,并附一些自己的想法和解读。学习总结一、pytorch基础练习由此可见,使用torch.Tensor()创建的矩阵,默认数据类型是float,在做标...

恒源云(GPUSHARE)_CIFAR-10数据集实战:构建ResNet18神经网络

文章来源|恒源云社区原文地址|数据集实战原文作者|Mathor实不相瞒,小编我对平台社区内的大佬Mathor很崇拜!这不,今天又来给大家分享大佬论文笔记了,赶紧看看接下来的内容是否有你们需要的知识点吧!正文开始:如果不了解ResNet的同学可以先看我的这篇博客ResNet论文阅读首先实现一个ResidualBlockimporttorchfromtorchimportnnfromtorch.nni...

工业界目标检测类算法真实需求如何?15万+真实业务数据

一:真实业务算法需求:因商场门店需要统计客流情况,进行算法开发,对公司营销决策添加辅助信息。从而对进出门店的客流进行如下统计:进人数、出人数、总流量,剔除顾客徘徊的情况,根据工牌信息进行员工统计的去重(开关控制是否开启),并识别进店人员的年龄、性别。二:目标描述识别场景:室内/室外商场门店门口、地铁口识别对象:人员,工牌环境要求:白天或夜间光线良好的情况色彩要求:彩色画面三、算法内容算法输入:单个...

【大数据分析毕设之基于python爬虫的旅游大数据分析可视化系统】

【大数据分析毕设之基于python爬虫的旅游大数据分析可视化系统-哔哩哔哩】 https://b23.tv/z2OUTkpflaskweb框架,数据使用selenium模块爬取携程网获取数据,使用bs4模块解析数据,并且存入数据库。数据库使用sqlite数据库。使用flask_sqlalchemy模块做orm映射,直接操作数据库增删查改。使用flask-admin做后台管理,对数据表进行增删查改。...

【大数据分析专业毕设之基于python的手机销售大数据分析可视化系统】

【大数据分析专业毕设之基于python的手机销售大数据分析可视化系统】 https://b23.tv/FKuPbsvflaskweb框架,数据使用requests模块爬取https://www.jindong.com获取数据,使用bs4模块解析数据。数据库使用sqlite数据库。使用flask_sqlalchemy模块做orm映射,直接操作数据库增删查改。使用flask-admin做后台管理,对数...

【大数据分析专业毕设之基于python爬虫的电影票房大数据预测分析+大屏可视化分析

【大数据分析专业毕设之基于python爬虫的电影票房大数据预测分析+大屏可视化分析-哔哩哔哩https://b23.tv/saIKtBHflaskweb框架,数据使用requests模块爬取数据,使用bs4模块解析数据,并且存入数据库。数据库使用sqlite数据库。使用flask_sqlalchemy模块做orm映射,直接操作数据库增删查改。使用flask-admin做后台管理,对数据表进行增删查...

MMSegmentation使用心得(一)

大家好,这是本人的第一篇文章,打算做一些针对于语义分割框架MMSegmentation的使用心得,避免大家踩坑,欢迎交流。1MMSegmentation简介MMSegmentation是一个基于PyTorch的开源语义分割工具箱,是OpenMMLab项目的一部分。将语义分割框架分解为不同的组件,通过组合不同的模块,构建定制的语义分割框架。同时支持大部分流行语义分割模型,训练速度和精度上表现也很好。...

Yoshua Bengio对深度学习学习者的建议【随笔】

发布时间:2019-05-06 深度学习 推文
面向深度学习入门者的建议大量阅读亲自动手编程:即便效率不高,但是可以明白深度学习到底怎么回事,会有帮助使用便捷的开发工具,一定要明白工具在做些什么,不能停留在表层学习深度学习最好从基本原理入手多看别人的代码多做实验,尤其是科学研究层面,要明白自己做的每一件事情多问自己,我为什么要这么做,人们为什么要这么做,这也许能从书中读到看看这几年ICLR大会的论文集,能对该领域有个比较好的理解学好深度学习需要...

ORBSLAM中的卡方检验

发布时间:2022-10-31 机器学习 SLAM数学基础 人工智能
ORB2单目读代码笔记13--卡方检验原理及其在ORB-SLAM2中的用处_不能再吃了OvO的博客-CSDN博客_orbslam卡方检验  卡方检验详解分析与实例_bitcarmanlee的博客-CSDN博客_卡方检验例题与解析  cvlife3.2卡方检验为什么要引用卡方检验?以特定概率分布为某种情况建模时,事物长期结果较为稳定,能够清晰进行把握。比如抛硬币实验。但是期望与事实存在差异怎么办?偏...

腾讯T4级架构师用21个项目带你吃透379页深度学习TensorFlow实践pdf

发布时间:2022-11-24 TENSORFLOW 深度学习 PDF 开发语言 JAVA
前言有人调侃我们说:程序员不如送外卖。送外卖是搬运食物,自己是搬运代码,都不产出新的东西……透支体力,又消耗健康,可替代性极强,30岁之后就要面临被优化的危险……想跳槽,但是更高的平台难进,同级别的平台又是重复……想利用业余时间学习提升,但是自己能力有限,很难形成知识体系…这些其实都是初级程序员面临的困境,当你提高自身能力,登上更高的层级之后,无论薪资还是发展都会有很大的提升。那么问题来了,怎么才...

PPv3-OCR自定义数据从训练到部署

发布时间:2022-11-19 深度学习 机器学习 PYTHON
PPv3-OCR自定义数据从训练到部署一、配置Paddle环境创建虚拟环境condacreate--namepppython=3.7image-20220412070356738创建完成后激活环境condaactivateppimage-20220412070519667登录飞桨的官网下载最新的paddle,官网地址:飞桨PaddlePaddle-源于产业实践的开源深度学习平台选择合适的CUDA版...

机器学习模型优化

发布时间:2022-11-09 机器学习 PYTHON 人工智能
机器学习模型优化机器学习中的优化有模型参数优化和数据优化两个思路。模型参数优化包括网格搜索、随机搜索、遗传算法、粒子群优化、贝叶斯优化等方法,数据优化主要是处理样本不平衡。本工程采用网格搜索、贝叶斯优化和样本不平衡处理方法进行优化并进行结果对比。网格搜索指定参数范围中,得到参数的所有组合并逐个训练模型,从所有参数中找到验证集精度最高参数组合,是一个训练和比较的过程。需要计算量比较大defGrid_...

腾讯云GPU云服务器使用Docker 安装 TensorFlow 并设置 GPU/CPU 支持!

您可通过Docker快速在GPU实例上运行TensorFlow,且该方式仅需实例已安装NVIDIA®驱动程序,无需安装NVIDIA®CUDA®工具包。本文介绍如何在GPU云服务器上,使用Docker安装TensorFlow并设置GPU/CPU支持。说明事项本文操作步骤以Ubuntu20.04操作系统的GPU云服务器为例。您的GPU云服务器实例需已安装GPU驱动。说明建议使用公共镜像创建GPU云服务...

pandas操作多列计算

发布时间:2022-10-16 机器学习 PYTHON PANDAS
记录一下,用pandas操作多列计算,得到结果并形成一列新数据的时候,可以用apply来实现。df=pd.DataFrame({ 'a':[1,2,3,4], 'b':[5,6,7,8], })deffoo(x,y): returnx*ydf['c']=df.apply(lambdax:foo(x['a'],x['b']),axis=1)可对多列数据计算。...

DGL图神经网络库使用大全

发布时间:2022-12-04 深度学习 图论 PYTHON
第1章:图图表示实体(节点)和它们的关系(边),其中节点和边可以是有类型的(例如,“用户”和“物品”是两种不同类型的节点)。DGL通过其核心数据结构DGLGraph提供了一个以图为中心的编程抽象。DGLGraph提供了接口以处理图的结构、节点/边的特征,以及使用这些组件可以执行的计算。本章路线图本章首先简要介绍了图的定义(见1.1节),然后介绍了一些DGLGraph相关的核心概念:1.1关于图的基...

Ubuntu系统中使用pycharm远程训练pytorch模型。(服务器租用autodl)

发布时间:2022-09-09 深度学习 PYTORCH 神经网络 PYCHARM UBUNTU
1.安装pycharm专业版可以用学生邮箱申请pycharm专业版。具体可以参考https://zhuanlan.zhihu.com/p/1635212282.用filezilla上传数据集。不要用pycharm上传所有数据,pycharm上传慢而且容易失败。亲测3GB的数据集传了6个小时还没传好,还失败了一些文件。最好使用filezilla上传数据集。3.连接远程服务器这个可以看autodl的帮...

数据分类和聚类的区别

发布时间:2013-06-06 分类 聚类
简单地说,分类(CategorizationorClassification)就是按照某种标准给对象贴标签(label),再根据标签来区分归类。聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。 区别是,分类是事先定义好类别,类别数不变。分类器需要由人工标注的分类训练语料训练得到,属于有指导学习范畴。聚类则没有事先预定的类别,类别数不确定。聚类不需要人工标注和预先训练分类...

【异常轨迹检测】Online Anomalous Trajectory Detection with Deep Generative Sequence Modeling

发布时间:2022-11-20 深度学习 论文阅读笔记
论文简介现有的异常轨迹检测方法主要存在两方面的问题:无法处理复杂多变的轨迹数据;不支持以在线异常检测。本文提出了高斯混合变分序列自动编码器(GaussianMixtureVariationalSequenceAutoEncoder(GM-VSAE))异应对这些挑战,其优点主要有以下几方面:可以捕捉轨迹中的序列信息;从轨迹中挖掘不同类型的正常轨迹并将其映射到连续隐空间中;支持通过轨迹生成进行有效的在...

Virtual Data Augmentation: 虚拟数据扩增技术

发布时间:2022-11-16 深度学习 人工智能
听说过数据扩增(DataAugmentation),也听说过虚拟对抗训练(VirtualAdversarialTraning),但是我没想到会有人将其结合,谓之虚拟数据扩增(VirtualDataAugmentation)。这篇文章主要讲解EMNLP2021上的一篇论文VirtualDataAugmentation:ARobustandGeneralFrameworkforFine-tuningP...

理解 Vision Transformer - ViT

发布时间:2022-11-22 深度学习 TRANSFORMER 人工智能
引言如果要问过去一年CV领域什么工作最火,ViT绝对是其中之一,自AlexNet问世以来,卷积神经网络几乎一直是处理图像的主流框架,ViT的出现首次对该框架提出了挑战。1背景transformer起源于论文Attentionisallyouneed,本身是用于处理NLP领域相关问题的,它提出了一个非常有价值的思想——自注意力,当需要处理的句子变得很长时,先前模型无法很好利用相距很远单词之间的关系,...