9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

骗子也玩大数据?来自数据分析师的揭秘

数据分析作者:朝阳35处

本文由 SAS中文论坛 授权发布,版权所有归作者,转载请联系作者!

近年在很多揭露诈骗的报道中,常常出现老太太接到电话说孙子出事了、老板接到电话说税务局要查税等案例,为什么现在骗子“对号入座”的本事这么强?

其实,这与骗子们从“撒网式诈骗”向“精准诈骗”升级有着密切关系。这年头竞争这么激烈,有一批骗子已经进化为具有大数据工匠精神的大骗子。据了解,很多骗子在非法获取个人信息之后,会利用大数据方法进行分析,并根据用户信息的特点设计诈骗环节和故事,从而进行“精准式诈骗”。而“航班取消”、“二胎生育退费”、“推荐必涨股票”、“交通违章提醒”、“信用卡提额”等等,都成为骗子惯用的手法。

其实,这些伎俩在专业的数据分析员眼里,其实并非什么神奇的事情。

想要骗到你,骗子最需要以下三类数据

想要成为一个成功率高的大骗子,首先必须获得客户数据,无论这数据是通过广撒 “木马”搜集来的,还是在地下数据交易市场弄来的,在这各种类别的数据中,有三类是骗子们比较关注的:

一是身份类信息,最常见的是姓名与身份证号的表格,这种信息出货多,泄露渠道多样,市场上供大于求。还有些扩充了性别、年龄、工作单位、职级、年收入等,通常来源于收入调查与黑客拖库数据。

二是金融类信息,姓名、银行卡号、信用卡卡号、开卡行、手机、地址、信用额度等数据,此数据大部分来源于制卡邮寄等环节的信息泄露,制卡工厂、快递公司、邮局、物流点都有可能成为泄露点,另一小部分是内鬼数据,市场供不应求、价值极高。

三是金融账号密码,主要是各大银行登录类的,通常是黑客数据,来源于钓鱼、撞库等黑客行为,通过此类数据往往能获得更详细的金融数据,如详细交易流水。

数据欺诈

利用特征选择进行“精准欺诈”

一旦骗子拿到了上述这些数据,接下来他就要筛选出易骗人群进行“对号入座”。只要运用大数据的思维方式, “选择易骗人群”这个需求就变成了一个有监督的模型学习问题。而一般针对监督模型的特征选择有如下五种方法:

利用相关性对变量进行排序

自变量x1,x2,..xn,目标变量y,变量xi和y的相关性越高,则xi所包含的用于预测y的信息量越大,从而其排序越高。可以用Pearson相关系数来衡量两个变量的线性相关性:

利用Pearson相关系数来做变量排序有以下问题:

(1)只考虑单一变量的重要性,很多变量单独存在时没有用,但和其他变量结合在一起后则会起到显著作用;

(2)依赖于自变量和目标变量之间的线性假设。

(3)适用于回归问题,即,目标变量y是连续的,对于分类问题应用起来需要谨慎。

单变量分类器

如1里面提到的,对于分类问题,利用相关性对变量进行排序可能会出现问题。一个简单的将上述思路拓展到分类问题的方法是,构造一个单变量分类器,然后依据单个变量对y的预测能力进行排序。单变量的预测能力可以通过IV或者AUC等各种指标进行评估。除此之外,对于分类变量卡方检验也是常见的筛选特征的方法,基本思想是假设两个变量独立,利用列联表的数据计算实际频数与理论频数的差异,如有显著差异则拒绝原假设认为变量间是有相关关系,反之接受原假设。

单变量
信息增益

信息增益是一种有效的特征选择方法,它的公式:

信息增益
对于公式的解释为:原本分类的信息熵减去加入特征后分类的条件熵,两者的差值就是这个特征给分类带来的“净化”程度,如果信息增益越大,该特征对于分类来说就越有价值。其中熵表示不确定程度,分布越均匀,越不确定,熵越大。

逐步回归法

上述的三种方法都是对单变量进行排序,不能考虑这个变量在和其他变量结合在一起时的作用。为了解决这个问题,可以用forward selection、backward selection和stepwise selection的方法。

forward selection是从截距项开始依次按显著性水平将自变量一个一个地加入模型,直到没有满足显著性水平的变量可以加入为止。

backward selection一开始所有变量都在模型中,将不符合显著性水平的变量依次剔除,值得一提的是存在于某些情况多个变量各自对目标变量不显著,但组合起来能显著的提高模型的表现,这种情况在采用forward selection的情况下变量是进入不了模型的,而采用backward selection可以解决这个问题。

递归
如图1(a)所示X2变量(纵轴)能区分分类1、0,X1变量(横轴)完全是不显著的,如图1(b)将X2变量替换成X3变量,两个变量组合的区分能力要好于之前一个变量,完全不显著的变量可能与其他变量组合显著提高区分能力。

stepwise selection,依次按显著性水平将变量一个一个加入,同时对已加入的变量做显著性检验,如果原来变量因为新的变量加入而变得不再显著,那就将它剔除模型。stepwise的优势在于能保证方程中的变量全部显著,而方程外无显著性的变量。

流程图
Lasso回归

为进一步消除变量间共线性的问题,可以通过Lasso回归,其本质是通过在损失函数中加入惩罚函数项,在增加细微偏差的同时换取更小的预测方差,并使得模型变量更为精炼、解释性更强。回归

其中,使用惩罚约束来筛选拟合模型中的系数,当t值小到一定程度,估计参数的估值是0,这样就起到了变量筛选的作用。当t不断增大,选入模型的变量会增多,当t增大到某个值时所有变量都会进入,这是就相当于传统方法的参数估计。

正规
如图3,L1正规化的约束条件是图中坐标中心方形区域,而传统方法偏差最小的估计是以第一象限椭圆区域为中心向外扩散,故最优解是在两者的临界点,即对应方形与椭圆形的切点,此时对应的q1 为0,起到了变量筛选的作用。

大数据如何筛选出信用卡诈骗易骗人群

我们再以信用卡提额诈骗举例。就目前披露的数据显示,某一银行在短短的3个月时间内接到被骗客户投诉数突增6000多起,占到欺诈案件总数的48%以上。为何看似老套的欺诈手段,为什么还有这么多人上当受骗呢?

前面我们提到,特征选择剔除不显著的变量,能有效的提高模型的预测能力,降低模型的复杂度从而减少更多的预测方差,增强模型的可解释性。我们以信用卡申请人的一组信息为样本,模拟一下骗子的筛选过程。

特征选择

图4

见图4,经过对客户信息进行“特征选择”,可以看出“额度”、“年龄”、“发卡渠道”、“性别”、“婚姻状况”是最具有信息价值的变量,可以从这五个维度对名单进行筛选,从而进行“精准诈骗”。

维度分析

图5

那么,从选出的五个维度的特征来看,什么样的人最容易上当呢?通过网络申请数据,我们得到图5的结果,其中横坐标表示被欺骗的容易程度,取值越大,越容易被欺骗。从图可以看出:

1、信用卡额度较低但对资金需求量大的年轻人(18-25岁),提额对其诱惑较大,因此容易成为目标人群;

2、通过网络发卡的渠道可能更容易遇到信息泄漏;

3、单身的男性一般有易轻信、嫌麻烦、求助资源少的情况,容易被骗子利用。

老话说,“知己知彼,才能百战不殆”。只有深入的了解骗子们所使用的方法,才能更好的做好反欺诈工作,有针对性地去做一些数据上的深挖。另一方面,电话欺诈的根源仍然是数据泄露的问题,相关企业要加强信息安全方面的投入建设,咱们每个个人更要树立起对隐私数据保护的安全意识,为共同维护安全的信息生态圈而努力。

End.

转载请注明来自36大数据(36dsj.com):36大数据 » 骗子也玩大数据?来自数据分析师的揭秘

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:北京赛车pk拾评测  北京赛车pk拾改单  北京赛车pk拾遗漏  北京赛车pk拾后二  北京赛车pk拾投注技巧  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!