给网站做伪静态,在服务器上安装wordpress,美容院顾客管理系统软件,网站怎么换空间9 月初#xff0c;我对 python 爬虫 燃起兴趣#xff0c;但爬取到的数据多通道实时同步读写用文件并不方便#xff0c;于是开始用起mysql。这篇笔记#xff0c;我将整理近一个月的实战中最常用到的 mysql 语句#xff0c;同时也将涉及到如何在python3中与 mysql 实现数据交…9 月初我对 python 爬虫 燃起兴趣但爬取到的数据多通道实时同步读写用文件并不方便于是开始用起mysql。这篇笔记我将整理近一个月的实战中最常用到的 mysql 语句同时也将涉及到如何在python3中与 mysql 实现数据交换。关于工具/库特别说明下1、我安装了 mysql 并直接采用管理员身份运行命令行提示符cmd查看 mysql并没有安装任何 mysql 的可视化图形界面工具。2、在 python 脚本中我采用 pymysql 和 sqlalchemy 这两个库与 mysql 建立连接用 pandas 来处理数据。一、建立连接与数据交互与 mysql 交互的方式我目前共使用 4 种。其中采用管理员身份运行命令行提示符cmd查看 mysql其操作图示可另写一篇。这里就不占篇幅了。mysql的可视化图形界面工具我目前并没有用到也没有迫切使用它的需要。另外 3 种方式都是通过 python 脚本进行。情境Apython 演算得出数据想要写入数据库python 脚本已得到表格类大量数据想要一次性写入数据库常用代码如下import pandas as pd
# 与 mysql 建立连接
from sqlalchemy import create_engine
conn_eng create_engine(mysqlpymysql://username:passwordlocalhost:3306/databasename,encodingutf8) # 调用 pandas 的方法数据写入mysql
pd.io.sql.to_sql(your_df, table_name, conn_eng, if_existsappend,indexFalse)表格类数据我用的是 pandas 的 dataframe 结构。pd.io.sql.to_sql() 的参数还有许多其它用途但上面这种是我个人使用最高频的。效果是无需自己提前建表将自动建新表。美中不足是表的列属性自动生成通常不合心意还需检查和修改。如果不想用 pd.io.sql.to_sql() 或者想更精细、复杂的操作则用到下面的情境C。情境Bpython 脚本想从 mysql 拿到数据如果已经存在某个表格想要向该表格提交某条指令需返回数据我用的是 pandas的read_sql () 返回的数据类型是 pandas 的 dataframe。sql 查询语句挺好写的具体总结在本文下方。import pymysql
# 与 mysql 建立连接
conn pymysql.connect(localhost,username,password,databasename)
# sql 语句定义为一个字符串
sql_search select question_id from topic_monitor where is_title0 ;
# 调用 pandas 的 read_sql() 方法拿到 dataframe 结构的数据
question_ids pd.read_sql(sql_search,conn)
# 关闭连接
conn.close()情境Cpython 脚本单方面向 mysql 发出指令无需拿到数据如果已经存在某个表格想要向该表格提交某条指令而无需返回数据时比如建表、对数据的增改删、对列的名称、列的属性修改等代码如下。import pymysql
# 与 mysql 建立连接
conn pymysql.connect(localhost,username,password,databasename)
cursor conn.cursor()
# sql 语句定义为一个字符串插入一行数据
sql_insert INSERT INTO questions(q_id,q_title,q_description,q_keywords,q_people,q_pageview,time) VALUES( str(quesition_id) , str(one[0]) , str(one[1]) , str(one[2]) , str(one[3]) , str(one[4]) , str(datetime.datetime.now()) );
# sql 语句定义为一个字符串修改某个数据另一个表格
sql_update update topic_monitor SET is_title1 where question_id str(quesition_id) ;
# 提交指令
cursor.execute(sql_insert)
cursor.execute(sql_update)
conn.commit()# 插入一行数据仅当该数据与表格已有数据不重复时才插入否则就不会插入
sql_insert INSERT INTO topic_monitor(question_id,is_title,q_type,topic_id,time) SELECT x[0] , 0, 0, str(topic_id) , str(now) FROM DUAL WHERE NOT EXISTS(SELECT question_id FROM topic_monitor WHERE question_id x[0] )
cursor.execute(sql_insert)
conn.commit()# 关闭连接
cursor.close()
conn.close()通过上面几种实用情况可以看到python 与 mysql 实现交互的过程通常分为建立连接、把sql语句定义为字符串提交指令、关闭连接。核心的技能在于 sql语句除了定义sql语句字符串其余3个处理都是固定的写法。我在最初一个月的实践中最常出现的错误有值的引用没有加上引号符号错乱多一个符号少一个符号值的类型不符合不管 mysql 表格中该值是数还是文本在定义 sql 语句的字符串时对每个值都需要转化为字符串拷贝自己的代码时忘记修改databasename。二、sql语句搜索查询搜索是指在数据库的某个表格中查询符合特定条件的数据并返回查询结果。其基本结构为SELECT 【范围】FROM table_name 【条件】; 其中范围是必须指定的而条件可有可无。变量A范围是指返回查询结果的范围。返回该表格的所有字段用 * 表达SELECT * FROM table_name ;仅返回该表格的某个字段SELECT column_name FROM table_name ;仅返回该表格的多个字段SELECT column_name_1,column_name_3,column_name_3 FROM table_name ;仅返回符合条件的数据个数SELECT count(*) FROM table_name ;变量B条件是指期望返回的数据满足哪些条件。不限定条件SELECT * FROM table_name ;数值类某个字段数值类型的比如double或者int数值比较的操作符都可以使用比如大于小于等于 大于等于 小于等于 SELECT * FROM table_name WHERE num_column_name 1;文本类某个字段字符串类型的比如chartextSELECT * FROM table_name WHERE str_column_name like “%your_str%”;也可以表达多个条件andor等可用于表达条件之间的关系SELECT * FROM table_name WHERE num_column_name_1 1 and str_column_name like “%your_str%” ;三、sql语句修改表属性横向的一整条数据叫做行竖向的一整条数据叫作列。列的名字叫做 column这是通用的知识点。这段时间的实战中我完全没有用到修改表的名称、重设index等知识点。最常用的就是对列进行操作。每个列具备列的名称、列的属性、列的数值。列的名称需要留心不使用保留词。我的技巧是尽量用一些_来表达该数据比如 article_titlepress_date 这种命名虽然稍长但易读也不会装上保留词。列的属性包括类型最大长度是否为空默认值是否重复是否为索引。通常直接通过 pandas 的 pd.io.sql.to_sql() 一次性创建表格并保存数据时列的默认属性并不合需求。要么提前自己定义表的结构设置好每列属性要么事后检查列属性并逐列修改。所以列的属性设定、修改是高频基础知识点。列的数值即除了列名称外的、该列其它值。修改某个值也是高频操作。不过我把这个知识点放到第四部分了。对列的名称、列的属性进行修改主要的关键词都是 ALTER具体又分为以下几种情况。情境A新增一列。关键词 ADD在你所指定的 column_name 后面定义列的属性。ALTER TABLE table_name ADD COLUMN column_name char(20);情境B修改某列的名称。关键词 CHANGE在修改列名的同时也可以重新指定列的属性。ALTER TABLE table_name CHANGE old_column_name new_column_name char(50);情境C修改某列的属性。关键词是 MODIFYALTER TABLE table_name MODIFY column_name char(100);四、sql语句数据的增改删通常提到数据库操作时四字以蔽之增删改查。查询请看第二部分。关键词是 SELECT。对数据所依赖的属性的增、改请看第三部分。关键词是 ALTER。数据的增加在第一部分的数据交互中也给出实例就不重复了。关键词是INSERT。数据的修改关键词是 UPDATE。数据甚至表格、库的删除关键词是DELETE。数据的修改副关键词是 set 。UPDATE table_name SET columns_name new_value 【条件】;新数值如果是数值类型的则直接写数值即可如果是文本类型的必须要加上双引号比如“your_new_value”。如果把【条件】部分不写就相当于修改整列的值想要修改特定范围就要用到条件表达式这和前面的查询部分是一致的就不再重复。数据的删除对于新手来说是必须警惕的操作。因为一旦误操作你将无力挽回。即便是职业程序员也可能犯下无疑删库的惨剧。其基本语句为DELETE FROM table_name【条件】;想要修改特定范围就要用到条件表达式这和前面的查询部分也是一致的稍微啰嗦两句不要对自己设定的条件太自信最好先用搜索语句检查一下然后再执行删除语句。删除单行数据添加能唯一标识该行数据的条件语句。删除多行数据添加能标识该范围的条件语句。删除整张表格你是认真的吗没有写错表格名字吧 做这项操作前必须确认清楚自己的意图毕竟一旦发生无可挽回。如果条件留空将保留表结构而删除所有数据行。想要删除整张表格什么都不留下则执行DELETE TABLE table_name;俗称的“删库”就是删掉整个数据库虽然实战中几乎不会用到但作为新手经常手误在练习阶段安全起见最好还是专门创建一个 database 用于练手练完直接删掉整个练习库DELETE DATABASE database_name;如果简单总结下过去一个月使用mysql的体验那就是除了mysql 的安装激活太麻烦数据的增删改查比操作文本方便太多了完全值得容忍安装激活的麻烦。另外 mysql 常用语法确实简单、非常有规律。希望我的总结带给你帮助。鼓励我继续分享那就请点个赞吧勘误请留言或挪步我的githubhttps://github.com/liujuanjuan1984/ucanuupnobb/issues
