p2f网站系统,seoyoon,动漫设计与制作好学吗,石家庄今天最新新闻头条人生苦短#xff0c;我学python#xff01;python是目前最流行的编程语言#xff0c;功能十分强大#xff0c;在爬虫、数据分析、人工智能方面均得以广泛应用。本专辑主要分享两个数据分析库numpy和pandas在数据分析方面的基础知识和各种技能#xff0c;pandas的快、准、简… 人生苦短我学pythonpython是目前最流行的编程语言功能十分强大在爬虫、数据分析、人工智能方面均得以广泛应用。本专辑主要分享两个数据分析库numpy和pandas在数据分析方面的基础知识和各种技能pandas的快、准、简洁远非office的excel可比而且免费。本期开始将全面总结pandas在处理excel数据的方方面面的知识力争通过100期左右完成pandas和numpy相关知识的介绍及其配套数据可视化库matplotlib和seaborn的介绍。特别说明做这个专辑纯属爱好总结所学知识。pandas的强大谁用谁知道绝非打广告。我把她叫做超级excel。由于是笔记当然就是先从非常厉害的东东开始了所以没有依据由浅入深的顺序。知识的记录仍然按照知识点的方式进行所有代码均经过反复实践力争知识点没有错误。操作平台有Jupyter Notebook 、pycharm。安装非常简单。后期估计会记录一些他们的设置。本期共6547个字需要花费17分钟阅读。本期是第一期如果没人喜欢下期开始就设置权限了本来就是自己的学习小结错误在所难免对您有用就看看没用就绕道谢谢建议电脑查看手机查看格式可能会乱。知识点一批量打开多工作薄并快速进行合并具体步骤环境准备import pandas as pdimport os第一步新建文件夹(里需要合并的多个工作表)定义新建文件夹的路径imputdir rC:\Users\xiaobin\Desktop\111第一步新建一个空的DateFramedfepd.DataFrame(columns[姓名,2011年,2012年,2013年,2014年])第三步利用os库中的walk方法可以遍历文件夹的所有文件并读取文件的名字os.path.join能够将文件夹的路径和文件夹中的名字合并成每个文件完整路径。并将每个文件读取再与空的DateFrame合并.for parents,dirnames,filenames in os.walk(imputdir): for filename in filenames: dfpd.read_excel(os.path.join(parents,filename)) dfedfe.append(df,ignore_indexTrue)第四歩保存数据df_empty.to_excel(rC:\Users\xiaobin\Desktop\111\汇总表.xlsx,index_label序号)完整代码如下import pandas as pdimport osimputdir rC:\Users\xiaobin\Desktop\111dfepd.DataFrame(columns[姓名,2011年,2012年,2013年,2014年])for parents,dirnames,filenames in os.walk(imputdir): for filename in filenames: dfpd.read_excel(os.path.join(parents,filename)) dfedfe.append(df,ignore_indexTrue)df_empty.to_excel(rC:\Users\xiaobin\Desktop\111\汇总表.xlsx,index_label序号)知识点二保存多个工作表到同一工作薄环境安装import numpy as npimport pandas as pdpath要保存的路径with pd.ExcelWriter(path) as writer: df.to_excel(writer,sheet_name第一个文件的名字columns[需要保存的列名用逗号隔开]indexTrue,index_label行索引的名字) df.to_excel(writer,sheet_name第二个文件的名字columns[需要保存的列名用逗号隔开]indexTrue,index_label行索引的名字) df.to_excel(writer,sheet_name第一个文件的名字columns[需要保存的列名用逗号隔开]indexTrue,index_label行索引的名字) 非常简单就不赘述了。知识点三神器筛选直接上我操练的代码吧。筛选方法第一种通过索引筛选 filter函数In [1]:import numpy as npimport pandas as pdIn [139]:pathrC:\Users\xiaobin\Desktop\练习.xlsxdfpd.read_excel(path,index_col0)dfOut[139]:西瓜西红柿苦瓜南瓜马铃署地区张三82103615896康定李四144148856260乌鲁木齐王二麻子1217314256145常州李山1391191208694石家庄小李子931075583138唐山曾贤志1451116512666连云港黄山130123116132110苏州级别AAABABBBNaN对序列进行筛选,针对Series的序列In [140]:df.西瓜.filter(items[李四,李山])Out[140]:李四 144李山 139Name: 西瓜, dtype: objectIn [141]:df.西瓜.filter(like(李))Out[141]:李四 144李山 139小李子 93Name: 西瓜, dtype: objectIn [142]:df.西瓜.filter(regex(^李.$))Out[142]:李四 144李山 139Name: 西瓜, dtype: object针对DateFrame的index(行索引)columns(列索引)In [143]:df.filter(items[李四,李山],axis0) #行索引筛选axis0如果axis1针对列筛选Out[143]:西瓜西红柿苦瓜南瓜马铃署地区李四144148856260乌鲁木齐李山1391191208694石家庄In [144]:df.filter(items[李四,李山],axis1) #如果设置axis1啥都没有Out[144]:张三李四王二麻子李山小李子曾贤志黄山级别In [145]:df.filter(items[西瓜,苦瓜],axis1) #对列索引进行筛选Out[145]:西瓜苦瓜张三8261李四14485王二麻子121142李山139120小李子9355曾贤志14565黄山130116级别AABIn [146]:df.filter(items[西瓜,苦瓜],axiscolumns) #对列筛选columnsOut[146]:西瓜苦瓜张三8261李四14485王二麻子121142李山139120小李子9355曾贤志14565黄山130116级别AABIn [147]:df.filter(items[李四,李山],axisindex) #行索引筛选axisindex如果axis1针对列筛选Out[147]:西瓜西红柿苦瓜南瓜马铃署地区李四144148856260乌鲁木齐李山1391191208694石家庄In [148]:df.filter(like李,axisindex)Out[148]:西瓜西红柿苦瓜南瓜马铃署地区李四144148856260乌鲁木齐李山1391191208694石家庄小李子931075583138唐山In [149]:df.filter(like瓜,axiscolumns)Out[149]:西瓜苦瓜南瓜张三826158李四1448562王二麻子12114256李山13912086小李子935583曾贤志14565126黄山130116132级别AABABIn [150]:df.filter(regex瓜,axiscolumns)Out[150]:西瓜苦瓜南瓜张三826158李四1448562王二麻子12114256李山13912086小李子935583曾贤志14565126黄山130116132级别AABABIn [151]:df.filter(regex^..$,axiscolumns)Out[151]:西瓜苦瓜南瓜地区张三826158康定李四1448562乌鲁木齐王二麻子12114256常州李山13912086石家庄小李子935583唐山曾贤志14565126连云港黄山130116132苏州级别AABABNaNIn [152]:df.filter(regex^..$,axisindex)Out[152]:西瓜西红柿苦瓜南瓜马铃署地区张三82103615896康定李四144148856260乌鲁木齐李山1391191208694石家庄黄山130123116132110苏州级别AAABABBBNaNIn [153]:前面是针对Series和DateFrame的索引进行筛选下面针对DateFrame的数据行和列进行筛选原理是针对序列Series的str.match方法 File , line 1 前面是针对Series和DateFrame的索引进行筛选下面针对DateFrame的数据行和列进行筛选 In [154]:对 DataFrame 行或列进行筛选print(-----对 DataFrame 的正则筛选-------)print(df[df.地区.astype(str).str.match(^..$)])#对 df 的行筛选print(df.T[df.T.级别.astype(str).str.match([AB]{2})].T)#对 df 的列筛选In [155]:#筛选满足条件的某些列df.地区.str.match(^..$,naFalse) #含义是筛选出地区中只有两个字的地区的对应行内容。Out[155]:张三 True李四 False王二麻子 True李山 False小李子 True曾贤志 False黄山 True级别 FalseName: 地区, dtype: boolIn [156]:df[df.地区.str.match(^..$)] #此处出现错误主要是筛选字段地区中有错误值或者空值如何处理看下面,参数naFalse就是屏蔽掉错误值。--------------------------------------------------------------------------ValueError Traceback (most recent call last) in ---- 1 df[df.地区.str.match(^..$)] #此处出现错误主要是筛选字段地区中有错误值或者空值如何处理看下面,参数naFalse就是屏蔽调错误值d:\ProgramData\Anaconda3\lib\site-packages\pandas\core\frame.py in __getitem__(self, key) 2789 # Do we have a (boolean) 1d indexer?- 2790 if com.is_bool_indexer(key): 2791 return self._getitem_bool_array(key) 2792 d:\ProgramData\Anaconda3\lib\site-packages\pandas\core\common.py in is_bool_indexer(key) 134 na_msg Cannot mask with non-boolean array containing NA / NaN values 135 if isna(key).any():-- 136 raise ValueError(na_msg) 137 return False 138 return TrueValueError: Cannot mask with non-boolean array containing NA / NaN valuesIn [157]:df[df.地区.str.match(^..$,naFalse)] #看吧正确了不过还有其他方法处理错误值或者缺失值Out[157]:西瓜西红柿苦瓜南瓜马铃署地区张三82103615896康定王二麻子1217314256145常州小李子931075583138唐山黄山130123116132110苏州In [158]:df.地区.astype(str).str.match(^..$)#两者对比看一下空值转为字符串就变成false放入索引中就不会被选择。Out[158]:张三 True李四 False王二麻子 True李山 False小李子 True曾贤志 False黄山 True级别 FalseName: 地区, dtype: boolIn [159]:df.地区.str.match(^..$)Out[159]:张三 True李四 False王二麻子 True李山 False小李子 True曾贤志 False黄山 True级别 NaNName: 地区, dtype: object上面是对列字段的处理针对行字段的处理首先要把表格转置.T,看一下数据此次利用级别行来筛选In [160]:dfOut[160]:西瓜西红柿苦瓜南瓜马铃署地区张三82103615896康定李四144148856260乌鲁木齐王二麻子1217314256145常州李山1391191208694石家庄小李子931075583138唐山曾贤志1451116512666连云港黄山130123116132110苏州级别AAABABBBNaNIn [161]:df.T #第一步表格转置Out[161]:张三李四王二麻子李山小李子曾贤志黄山级别西瓜8214412113993145130AA西红柿10314873119107111123A苦瓜61851421205565116B南瓜5862568683126132AB马铃署96601459413866110BB地区康定乌鲁木齐常州石家庄唐山连云港苏州NaNIn [162]:df.values #df数据内容时ndarray二维数组Out[162]:array([[82, 103, 61, 58, 96, 康定], [144, 148, 85, 62, 60, 乌鲁木齐], [121, 73, 142, 56, 145, 常州], [139, 119, 120, 86, 94, 石家庄], [93, 107, 55, 83, 138, 唐山], [145, 111, 65, 126, 66, 连云港], [130, 123, 116, 132, 110, 苏州], [AA, A, B, AB, BB, nan]], dtypeobject)In [163]:df.T[df.T.级别.str.match([AB]{2},naFalse)] #任务完成不过与原表不一致咋整呢Out[163]:张三李四王二麻子李山小李子曾贤志黄山级别西瓜8214412113993145130AA南瓜5862568683126132AB马铃署96601459413866110BBIn [164]:df.T[df.T.级别.str.match([AB]{2},naFalse)].T #再次进行转置Out[164]:西瓜南瓜马铃署张三825896李四1446260王二麻子12156145李山1398694小李子9383138曾贤志14512666黄山130132110级别AAABBB编写排版太麻烦不喜欢也别喷。
