“midas建模实例(midas树立桥梁模型)”

本篇文章1742字，读完约4分钟

雷锋。 com

原题:前言:最新的图形异常检测模型

原文-关闭-

雷锋字幕组

在机器学习中，车辆、gans、脸部识别等热点话题往往占媒体观察力的大部分。 但是，数据科学家正在努力处理另一个重要问题——异常检测。 从网络安全到金融诈骗，异常检测有助于保护公司、个人和在线社区。 为了改善异常检测，研究人员开发了一种叫做的新方法。

什么事？

在新加坡国立大学，博士生和他的团队开发了midas，开发了新的异常检测方法，在速度和准确性方面优于基线方法。

midas是一种基于微簇的边缘流异常检测器。 如前所述，midas可以检测出异常的微簇或突然出现的一组可疑的类似边缘。 midas的第一个优点是能够实时检测这些异常，比最先进的模型快很多倍。

简单地说，异常检测是寻找偏离数据集预想的模式和异常值的实践。 有助于发现和消除有害的拷贝。 席德说:“图形异常检测是在入侵检测、错误评级、金融诈骗等多个系统中发现可疑行为的重要问题。”

该技术有助于社会通讯互联网(如推特和脸书)检测垃圾邮件和网络钓鱼中使用的虚假个人数据。 也有助于调查人员查明网上性侵犯者。 “通过采用midas，可以在动态时间进化)图中找到不规则的边和节点。 在推特和脸书上，推特和新闻互联网可以看作是时间进化的图表。 通过在这些图中发现异常的边缘和节点，可以发现恶意消息和伪造的轮廓。 ”。

垃圾邮件过滤器

信用卡诈骗的检测

互联网安全技术

社交媒体

midas优于最先进的方法

“异常检测是一个经过仔细研究的问题，很多提案都集中在静态图上。 但是，多个现实世界的图表本质上是动态的，基于静态连接的方法可能会忽略图表和异常的时间特征。 ”。

midas处理了实时异常检测的指控，尽快开始恢复，减少了欺诈性信用卡购买等恶意活动的影响。

另外，说明了由于顶点的数量随着边缘流的解决而增加，所以需要在图形大小上采用一定内存的算法。 另外，多个应用程序中的欺诈和异常会在微集群或可疑的类似边缘群体突然到达时发生，如拒绝服务攻击或互联网流量数据中的锁定行走。

“midas通过采用粗略的假设检测框架提供了假阳性概率的理论极限，但早期的方法并未提供这一极限。”

西尔特和同事展示了midas在社会交流互联网安全和入侵检测任务中的潜力。

他们利用以下数据集进行了异常检测。

推特安全数据集(每年与安全相关的260万条推特)

推特世界杯数据集(世界杯期间170万条推特)

rhss

sedanspot

但是，由于rhss在darpa数据集上的auc仅为0.17，研究小组将其与sedanspot进行了比较，测量了其正确性、执行时间和实际比较有效性。

结果表明，midas检测微簇异常的精度高达48%，比目前的基线方法快644倍。

“根据我们的实验结果，midas的精度(在auc中)比基线方法高42%-48%，数据解决速度比基线方法快162-644倍。”

“我们将midas扩展到了移动流。 一种高速流多面组的异常检测。 ”席德说。 “在移动数据流中，利用分类属性和数值属性检测各种数据的异常”

席德和他的团队表示，m-stream在准确性和执行时间方面也优于基线。 这包括受欢迎的sklearn算法，如孤立森林和局部离群因素。 但是，他们关于移动流量的事业目前正在审查中。

“考虑到midas的性能，我们认为它将成为新的基线方法。 这对异常检测非常有用。 ”席德说。 另外，探索midas在其他应用中的实务方法也很有意思。”

如果对迈达斯的知识有所增加感到有趣的话，请参考席德的论文。 也可以在github上下载代码和数据集。

雷锋字幕组是由ai爱好者组成的翻译团队，聚集了500多名志愿者的力量，分享国外最新的ai新闻，并就人工智能技术行业领域的变化和技术创新交换意见。

小组成员包括大数据专家、算法工程师、图像解决工程师、产品经理、产品运营、it顾问、教师和学生。 志愿者来自avl的国际商用机械企业，

adobe、阿里、百度等国内外知名公司，北京大学、清华大学、香港大学、中国科学院、南卡罗来纳大学、早稻田大学等研究所。

如果你也是喜欢分享的ai爱好者的话。 欢迎学习新知识，与雷锋字幕组分享成长。

标签: #信息事件检测模型