中国制造网官方网站入口,wordpress 首页预览,织梦网站自动跳转手机网站,北京市建设工程交易服务平台文章目录 一、不同格式数据读取及转换split data into X and y二、数据预处理1、去重2、删除某一列3、删除两行4、date转字符串5、修改类型6、修改日期类型7、修改字段名8、加年月9、 删除字段10、 查看数据中顶部10%的数据11、设置索引12、判断空值13、排序14、 模糊查询15、修… 文章目录 一、不同格式数据读取及转换split data into X and y二、数据预处理1、去重2、删除某一列3、删除两行4、date转字符串5、修改类型6、修改日期类型7、修改字段名8、加年月9、 删除字段10、 查看数据中顶部10%的数据11、设置索引12、判断空值13、排序14、 模糊查询15、修改字段类型16、修改数据17、保存数据库18、生成日期19、查看顶部10%数据分布 三、数据可视化1、折线图2、散点图 四、虚拟环境配置与安装1、 创建虚拟环境2、 进入虚拟环境3、退出虚拟环境4、 删除虚拟环境5、在jupyter notebook中添加虚拟环境6、在jupyter notebook里面添加虚拟环境cmd进入虚拟环境torch_envpip install ipykernel ipythonpython kernel install --user --name torch_env再次进入jupyter notebook在jupyter 中删除虚拟环境 7、pip install 镜像安装 五 、其他1、nohup command 2、找到进程PID(关闭在前面后台执行的进程的步骤首先找到其进程PID)3、kill掉进程 一、不同格式数据读取及转换
dataset pd.read_csv(SNP.csv,encodinggbk,index_col0)使用索引方式返回结果为DataFrame格式
X_features dataset.iloc[:,1:2050
y_label dataset.iloc[:, 0]将数据集分为特征矩阵X和目标变量y返回结果为numpy格式
X dataset.drop(LABEL, axis1)
y dataset[LABEL]另外一种将数据转化为numpy的格式为
features [x for x in dataset.columns if x not in [LABEL]]
# split data into X and y
Xf dataset[features].values
yf dataset[[LABEL]].values
feature_nameslist(features)split data into X and y
Xf dataset[features].values yf dataset[[‘LABEL’]].values feature_nameslist(features)
二、数据预处理
1、去重
df df.drop_duplicates().reset_index(dropTrue)2、删除某一列
df2df2.drop(cols,axis1) 3、删除两行
df.drop(index[0, 1])4、date转字符串
from datetime import datetime, date, time
d date.fromisoformat(2018-09-22)
t time.fromisoformat(16:28:22)
dt datetime.fromisoformat(2018-09-22)sdate pd.to_datetime(ds).strftime(%Y-%m-%d)
st 2019-01-20 00:00:00
dt datetime.datetime.strptime(st, %Y-%m-%d %H:%M:%S)
st 2019-01-20
dt datetime.datetime.strptime(st, %Y-%m-%d)
startpd.to_datetime(2017-01-01)5、修改类型
train[tf_status] t1[tf_status].astype(np.int64)6、修改日期类型
df[ds] pd.to_datetime(df[ds])7、修改字段名
df.rename(columns{#studentid:studentid}, inplace True)8、加年月
df[year]df.datetime.apply(lambda x: x.year)
df[month] df.datetime.apply(lambda x: x.month)
df[year] df[year].astype(np.int64)
df[month] df[month].astype(np.int64)
9、 删除字段
df.drop([‘#id’], axis1, inplaceTrue)
10、 查看数据中顶部10%的数据
print(df.weeks.quantile(np.arange(.9,1,.01)))
11、设置索引
df df.set_index([‘hetongdetailid’])
12、判断空值
print(“在 cat 列中总共有 %d 个空值.” % df[‘cat’].isnull().sum())
print(“在 review 列中总共有 %d 个空值.” % df[‘review’].isnull().sum())
df[df.isnull().valuesTrue]
df df[pd.notnull(df[‘review’])]
13、排序
df.sort_values(by“x1”,ascending False)
14、 模糊查询
df_remark_tf[df_remark_tf[“content_method”].str.contains(keystring)]
15、修改字段类型
df_appraise[‘deptid’] df_appraise[‘deptid’].astype(np.int64)
16、修改数据
(https://blog.csdn.net/zhangchuang601/article/details/79583551) df.loc[1,[‘name’,‘age’]] [‘bb’,11] df.iloc[1,2] 19#修改某一无 df.loc[df[df.htid.isin(ids)].index,“y”]1
17、保存数据库
df.to_sql(name‘predict’,conmysql_engine,if_exists ‘replace’)
18、生成日期
dt datetime.datetime(year, month, 1)
19、查看顶部10%数据分布
print(movie_rating_count[‘totalRatingCount’].quantile(np.arange(.9,1,.01)))
三、数据可视化
#-------plotly.express-------------------------
1、折线图
import plotly.express as px
fig px.line(df, x‘date’, y‘y_true’, labels{‘date’:‘日期’, ‘y_true’:‘话务量’}, markersTrue) fig.update_xaxes(tickformat “%Y-%m-%d”, hoverformat “%Y-%m-%d”) fig.update_layout(title_text“热线部门日业务量趋势图”, title_x0.5) fig.update_traces(markerdict(size3)) #控制点的大小 fig.show()
2、散点图
fig px.scatter(df, x“真实订单量”, y“真实金额”,hover_data[‘did’,‘日期’]) fig.update_traces(markerdict(size4)) #点的大小 fig.show()
四、虚拟环境配置与安装
------------------更新pip命令---------------------------------------- python -m pip install --upgrade pip
如果升级失败明明执行的就是pip升级命令但是最后一句提示用一样的代码升级。其实是权限问题小伙伴们按下面的代码升级即可在代码后面加上 --user表示信任
python-m pip install–upgrade pip --user
-------------搭建虚拟环境-----------------------------
1、 创建虚拟环境
conda create --name yourenvname python3.8
2、 进入虚拟环境
conda activate yourenvname
3、退出虚拟环境
conda deactivate
4、 删除虚拟环境
conda remove -n py39 --all
5、在jupyter notebook中添加虚拟环境
python -m ipykernel install --user --name yourenvname --display-name “display-name”
6、在jupyter notebook里面添加虚拟环境
cmd进入虚拟环境torch_env
activate torch_env
pip install ipykernel ipython
回车
python kernel install --user --name torch_env
回车
再次进入jupyter notebook
右上角new即可选择需要的虚拟环境。
5.另外如果需要在指定文件夹中打开jupyter notebook,只需要打开文件夹所在位置点击搜索框左边的位置框输入cmd,再输入jupyter notebook,即可将路径设为自己需要的。
在jupyter 中删除虚拟环境
jupyter kernelspec uninstall myenv
7、pip install 镜像安装
pip install package_name -i https://pypi.tuna.tsinghua.edu.cn/simple
五 、其他 1、nohup command
例如 nohup jupyter notebook
2、找到进程PID(关闭在前面后台执行的进程的步骤首先找到其进程PID)
ps -ef | grep xxxx ps -ef 查看本机所有的进程grep xxxx代表过滤找到条件xxxx的项目
3、kill掉进程
kill -9 具体的PID
-------------打开指定端口------------------------------------- firewall-cmd --zonepublic --add-port8504/tcp --permanent firewall-cmd --reload
netstat -ntlp //查看当前所有tcp端口· netstat -ntulp |grep 8888 //查看所有1935端口使用情况