目标：
识别用户是否存在窃电行为 分析思路与流程：
识别用户是否存在窃电行为是预测模型中的分类问题，故采用分类模型
确定模型之后，需要根据模型的要求，归纳窃电用户的关键特征
关键特征的获取，可能需要对数据进行一定的清洗，探索分析及预处理 数据抽取 - 数据探索分析 - 数据预处理，包括清洗和处理缺失值等 - 数据指标构建 - 模型构建及评价 PS：由于数据隐私，本文着重讲 缺失值处理，模型构建和模型的评价，这也是挖掘模型的主要内容

---

一、数据抽取 二、数据探索分析
1 分布分析，分析不同用电类别窃电条形图，接下来的分析可以不考虑非居民类别的用电数据 2 周期性分析 正常用户用电量趋势。线形图，用点趋势较为平稳 窃电用户用电量趋势。随着时间持续下降，可以作为异常用电的电量指标特征 三、数据预处理
1 数据清洗。清除无关数据，清除居民用电数据，节假日用电数据
2 缺失值处理。利用拉格朗日插值法填补缺失值 用电量数据： 利用拉格朗日插值法，将缺失值补上。编写的拉格朗日插值函数，代码如下： def lag_range(x): from scipy.interpolate import lagrange for i in range(len(x)): if (x.isnull())[i]: x1 = x[list(range(i-5,i)) + list(range(i+1,i+6))] x2 = x1[x1.notnull()] x[i]=lagrange(list(x2.index),list(x2))(i) else: pass return x 最后，得到插值的结果，并将插值补上 四、构建数据指标，构建专家样本。共有三类指标：电量趋势下降指标、线损指标、告警类指标。通过这三类指标来判断用户是否窃电 总共有291条数据，通过3列指标判断用户是否窃电 五、构建模型 首先，将专家样本划分为训练集和测试集。将数据打散，将前80%的数据（232条）划分为训练集，后20%的数据（59条）划分为测试集。代码如下： from random import shuffle # 数据打散，建立训练样本和测试样本 m_d_a = d.as_matrix() shuffle(m_d_a) p = 0.8 train_a = m_d_a[:int(len(m_d_a)*p)] # 训练集 test_a = m_d_a[int(len(m_d_a)*p):] # 测试集 其次，构建神经网络模型，代码如下： from keras.models import Sequential from keras.layers import Dense,Activation # 导入神经网络层函数、激活函数 model = Sequential() model.add(Dense(input_dim=3, units=10)) # 输入层3个输入特征值，中间层10个中间节点 model.add(Activation('relu')) # 中间（隐藏）层使用 rule 函数，快速 model.add(Dense(input_dim=10, units=1)) # 10个中间节点，输出层1个节点 model.add(Activation('sigmoid')) # 输出层函数使用sigmoid函数， model.compile(loss='binary_crossentropy', optimizer='adam') # 编译模型，损失函数，求解方法 model.fit(train_a[:,0:3], train_a[:,3:], epochs = 1000, batch_size=30) # epochs训练次数，batch_size每批训练数据的大小 predict_result = model.predict_classes(train_a[:,0:3]) # 预测结果 最后，使用混淆矩阵，检验测试集的准确度，查看模型预测的效果，代码如下： def cm_plot(y, yp): # 混淆矩阵函数 from sklearn.metrics import confusion_matrix cm = confusion_matrix(y, yp) plt.matshow(cm, cmap=plt.cm.Greens) plt.colorbar() for x in range(len(cm)): for y in range(len(cm)): plt.annotate(cm[x,y], xy=(x, y), horizontalalignment='center', verticalalignment='center') cm_plot(test_a[:,3:], predict_result) # 显示混淆矩阵 可以看出，分类的准确率为（49+3）/59 = 88.13%，结果还行。其实神经网络的预测结果还可以更高，通过输入更多的训练集量，训练更多的次数，会得到更好的结果