关于做好网站建设的通知,涂料网站建设,官方网站建设哪家公司好,企业年金一般一个月交多少业务数据模拟/采集 2.2 业务数据模拟
2.2.1 连接MySQL
通过MySQL可视化客户端连接数据库。2.2.2 建表语句
1#xff09;通过SQLyog创建数据库2#xff09;设置数据库名称为gmall#xff0c;编码为utf-8#xff0c;排序规则为utf8_general_ci3#xff09;导入数据库结构脚本… 业务数据模拟/采集 2.2 业务数据模拟
2.2.1 连接MySQL
通过MySQL可视化客户端连接数据库。2.2.2 建表语句
1通过SQLyog创建数据库2设置数据库名称为gmall编码为utf-8排序规则为utf8_general_ci3导入数据库结构脚本gmall.sql注意完成后要记得右键刷新一下对象浏览器就可以看见数据库中的表了。
2.2.3 生成业务数据
1在hadoop102的/opt/module/目录下创建db_log文件夹
[atguiguhadoop102 module]$ mkdir db_log/
2把gmall2020-mock-db-2021-11-14.jar和application.properties上传到hadoop102的/opt/module/db_log路径上。
3根据需求修改application.properties相关配置
logging.level.rootinfospring.datasource.driver-class-namecom.mysql.jdbc.Driver
spring.datasource.urljdbc:mysql://hadoop102:3306/gmall?useUnicodetruecharacterEncodingutf-8useSSLfalseserverTimezoneGMT%2B8
spring.datasource.usernameroot
spring.datasource.password000000logging.pattern.console%m%nmybatis-plus.global-config.db-config.field-strategynot_null#业务日期
mock.date2020-06-14
#是否重置 注意第一次执行必须设置为1后续不需要重置不用设置为1
mock.clear1
#是否重置用户 注意第一次执行必须设置为1后续不需要重置不用设置为1
mock.clear.user1#生成新用户数量
mock.user.count100
#男性比例
mock.user.male-rate20
#用户数据变化概率
mock.user.update-rate:20#收藏取消比例
mock.favor.cancel-rate10
#收藏数量
mock.favor.count100#每个用户添加购物车的概率
mock.cart.user-rate50
#每次每个用户最多添加多少种商品进购物车
mock.cart.max-sku-count8
#每个商品最多买几个
mock.cart.max-sku-num3 #购物车来源 用户查询商品推广智能推荐, 促销活动
mock.cart.source-type-rate60:20:10:10#用户下单比例
mock.order.user-rate50
#用户从购物中购买商品比例
mock.order.sku-rate50
#是否参加活动
mock.order.join-activity1
#是否使用购物券
mock.order.use-coupon1
#购物券领取人数
mock.coupon.user-count100#支付比例
mock.payment.rate70
#支付方式 支付宝微信 银联
mock.payment.payment-type30:60:10#评价比例 好中差自动
mock.comment.appraise-rate30:10:10:50#退款原因比例质量问题 商品描述与实际描述不一致 缺货 号码不合适 拍错 不想买了 其他
mock.refund.reason-rate30:10:20:5:15:5:5
4并在该目录下执行如下命令生成2020-06-14日期数据
[atguiguhadoop102 db_log]$ java -jar gmall2020-mock-db-2021-11-14.jar
5查看gmall数据库观察是否有2020-06-14的数据出现
2.2.4 业务数据建模
可借助EZDML这款数据库设计工具来辅助我们梳理复杂的业务表关系。
1下载地址
http://www.ezdml.com/download_cn.html
2使用说明
1新建模型2命名模型3点击图标选中模型4导入数据库5配置数据库连接6选择导入的表标注红点的表不需要导入7建立表关系
第一步点击选中主表主键所在的表第二步点击连接按钮第三步点击从表配置连接条件第四步效果展示3使用技巧
1缩略图2热键
按住shift键用鼠标点击表进行多选可实现批量移动
按住ctrl键用鼠标圈选表也可进行多选实现批量移第3章 业务数据采
第3章 业务数据采集模块
3.1 采集通道3.2 采集工具3.3 采集通道Maxwell配置
1修改Maxwell配置文件config.properties
[atguiguhadoop102 maxwell]$ vim /opt/module/maxwell/config.properties
2配置参数如下
log_levelinfoproducerkafka
kafka.bootstrap.servershadoop102:9092,hadoop103:9092#kafka topic配置
kafka_topictopic_db# mysql login info
hosthadoop102
usermaxwell
passwordmaxwell
jdbc_optionsuseSSLfalseserverTimezoneAsia/Shanghai
3重新启动Maxwell
[atguiguhadoop102 bin]$ mxw.sh restart
4通道测试
1启动Zookeeper以及Kafka集群
2启动一个Kafka Console Consumer消费topic_db数据
[atguiguhadoop103 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topic_db
3生成模拟数据
[atguiguhadoop102 bin]$ cd /opt/module/db_log/
[atguiguhadoop102 db_log]$ java -jar gmall2020-mock-db-2021-11-14.jar
4观察Kafka消费者是否能消费到数据
{database:gmall,table:cart_info,type:update,ts:1592270938,xid:13090,xoffset:1573,data:{id:100924,user_id:93,sku_id:16,cart_price:4488.00,sku_num:1,img_url:http://47.93.148.192:8080/group1/M00/00/02/rBHu8l-sklaALrngAAHGDqdpFtU741.jpg,sku_name:华为 HUAWEI P40 麒麟990 5G SoC芯片 5000万超感知徕卡三摄 30倍数字变焦 8GB128GB亮黑色全网通5G手机,is_checked:null,create_time:2020-06-14 09:28:57,operate_time:null,is_ordered:1,order_time:2021-10-17 09:28:58,source_type:2401,source_id:null},old:{is_ordered:0,order_time:null}}
