电商网站开发多少钱,弄美团网站的一般一个做赚多少钱,ps毕业设计做网站界面,定制网站制作广州前言首先我们做数据分析#xff0c;想要得出最科学#xff0c;最真实的结论#xff0c;必须要有好的数据。而实际上我们一般面对的的都是复杂#xff0c;多变的数据#xff0c;所以必须要有强大的数据处理能力#xff0c;接下来#xff0c;我从我们面临的最真实的情况想要得出最科学最真实的结论必须要有好的数据。而实际上我们一般面对的的都是复杂多变的数据所以必须要有强大的数据处理能力接下来我从我们面临的最真实的情况一步一步教会大家如何做。1.数据的读取(1)读取模块Import pandas as pdImport numpy as np(2)读取表格的全部数据df pd.read_csv(.data/HR.csv)(3)读取你所需要的数据sl_sdf[sactisfaction_level]2. 数据的处理2.1.异常值(空值)处理2.1.1删除首先第一步是对空值的处理。有两种一种直接删除另一种指代。如果数据多想简单一点就直接删除方法都很简单。首先建立一个DataFrame表1.为了确定是否含有空值df.isnull() #如果含有空值返回True2.删除df.dropna() #去掉含空值的行如果想要删除某一个属性含空值的行就加入subset参数df.dropna(subset[B]) #去掉B属性含空值的行判断是否有重复的数据df.duplicated([A]) #A属性中重复的数据返回True删除A属性重复的行df.drop_duplicates([A])df.drop_duplicates([A],keepFalse) #删除A属性全部重复的行df.drop_duplicates([A],keepfirst) #删除A属性全部重复的行保留第一个df.drop_duplicates([A],keeplast) #删除A属性全部重复的行保留最后一个2.1.2指代有些数据非常重点不能删除那我们就选择指代也就是替换#含空值的数据被替换为“b*”df.fillna(b*)#E属性中的含空值的数据被替换成该属性的平均值df.fillna(df[E].mean())#插值替换如果含空值的元素为最后一个那么空值的数据替换成和上一个数据一样怎么含空值的元素为中间那么空值的数据被(上下)/2代替df[E].interpolate()#3次样条插值 order 参数就是几次样条插值df[E].interpolate(methodspline,order3)*函数(4)异常值分析(含有就返回True) --isnull()sl_s.isnull()主要表示没有空值(5)提取异常值的该属性信息sl_s[sl_s.isnull()](6)提取异常值的表格全部信息df[df[sactisfaction_level].isnull()](7)丢弃异常值 --dropna()sl_ssl_s.dropna()注删除为空的异常值可以利用where()把异常数据赋空然后利用dropna()删除(8)填充异常值 --fillna()sl_ssl_s.fillna()(9)平均值 --mean()sl_s.mean()(10)标准差 --std()Sl_s.std()(11)最大值 --max()sl_s.max()(12)最小值 --min()sl_s.min()(13)中位数 --median()sl_s.median()(14)下四分位数 --quantile(q0.25)sl_s.quantile(q0.25)(15)上四分位数 --quantile(q0.75)sl_s.quantile(q0.75)(16)偏度 --skew()sl_s.skew()分析小于0 是负偏 均值偏小大部分数是比他的均值大的大于 0 稍微有些振偏远大于0 是极度振偏均值要比他的大多数值大好多。(17)峰度 --kurt()sl_s.kurt()分析0 相比于正态分布他的趋势相对平缓远大于0 介绍他的形变是非常大的所以是不靠谱的(18)获得离散化的分布(numpy模块) --histogram()np.histogram(sl_s.values,bins np.arange(0.0,1.1,0.1))结果分析[195,1214,532,974,…][0.0,0.1,0.2,0.3,0.4…]代表0.0-0.1之间有195个数0.1-0.2之间有1214个数以此类推分布间隔为0.13.利用四分位数来去除异常值3.1.提取大于1的值le_s[le_s1]3.2 去除大于1的异常值le_s[le_s1]3.3 提取正常值(利用四分位数)3.3.1 下四分位q_lowle_s.quantile(q 0.25)3.3.2 上四分位q_highle_s.quantile(q0.75)3.3.3 四分位间距q_intervalq_high-q_low3.3.4 定义k的值K1.5~3之间如果k1.5,删除的异常值是中度异常如果k3.0删除的异常值是极度异常3.3.5 筛选le_sle_s[le_sq_low-k*q_interval]3.4 数据的个数 --len()len(le_s)3.5离散分布直方图(numpy模块)np.histogram(le_s.values,binsnp.arange(0.0,1.1,0.1))3.6回顾数据的平均值标准差中位数最大值最小值偏度峰度,确定数据的正常。4.静态结构分析4.1每个值出现的次数 --values_counts()np_s.value_counts()4.2获取该数据的构成和比例(每个值的频率)np_s.value_counts(normalizeTrue)4.3 排序np_s.value_counts(normalizeTrue).sort_index()5.数据分区间5.1把数据分成几份 --histogram()np.histogram(amh_s.values,bins10) 把数据分成10份5.2另一种方法 加了区间计算区间的频数(左闭右开的区间)Np.histogram(amh_s.values,bins np.arange(amh_s.min(),amh_s.max()10,10))(左开右闭的区间)amh_s.value_counts(binsnp.arange (amh_s.min(),amh_s.max()10,10))6.英文异常值数据的处理6.1 首先统计该数据的分布频数s_s.value_counts()6.2确定异常值的名字。6.3把异常值赋空(NaN) --where()s_s.where(s_s!name)意思是把”name”的数据赋空6.4把赋空的异常值删除 --dropna()删除异常值s_s.where(s_s!name).dropna()6.5 检查删除异常值的结果s_s.where(s_s!name).dropna().value_counts()7.对比分析7.1对表格中空值的行删除Df df.dropna(axis0,howany)axis 0 ,代表的是行删除how‘any 代表的是含有部分空值就执行行删除how‘all 代表的是一行全部是空值执行行删除7.2含有条件性的对异常值的删除dfdf[df[last_evaluation]1] [df[salary]!name][df[department ]!sale]7.3分组(比如把同一部门的人分为一组) --groupby()df.groupby(department)7.4对分组后的组取均值df.groupby(department).mean()7.5 取部分数据(切片) --loc()df.loc[:,[last_evaluation,department]] .groupby(department)7.6 取部分数据求平均df.loc[:,[last_evaluation,department]] .groupby(department).mean()7.7 取部分数据求极差 --apply()df.loc[:,[average_monthly_hours ,department]].groupby (department)[ average_monthly_hours]. apply(lambda x:x.max()-x.min())总结以上所述是小编给大家简介的python实现数据分析与建模 ,希望对大家有所帮助如果大家有任何疑问请给我留言小编会及时回复大家的。在此也非常感谢大家对乐购源码网址的支持如果你觉得本文对你有帮助欢迎转载烦请注明出处谢谢
