2022年第五期-威尼斯5139手机版

课程模块：excel数据分析基础与实战、power bi数据分析与可视化

实战案例：财务分析在纳税评估中的应用(excel)、汽车大数据综合案例分析(power bi)、新零售无人智能售货机可视化项目(power bi)、学生校园卡消费行为分析(excel)

详见附件一：商务数据分析实战课程大纲

课程模块：、、pandas数据分析基础、python数据可视化、python网络爬虫实战

实战案例：python爬虫助力疫情数据追踪、某品牌手机的京东评论数据采集与分析、泰迪内推平台招聘信息采集分析

拓展自学篇：网站图像素材采集实战

详见附件二：数据采集与处理实战(python)课程大纲

课程模块：、、pandas数据分析基础、python数据可视化、python机器学习实战

实战案例：学生校园消费行为分析、运营商用户流失预测、百货商场用户画像描绘与价值分析、泰迪内推平台信息精准推荐应用(基于泰迪建模平台实现)

详见附件三：大数据分析与机器学习实战(python)课程大纲

课程模块：、、python机器学习实战、智能推荐算法、bp神经网络与tensorflow2实战、tensorflow2深度学习原理与实现

实战案例：o2o优惠券使用预测、教育平台的线上课程智能推荐策略、基于深度学习的推荐系统受众性别预测、泰迪内推平台信息精准推荐应用(基于泰迪建模平台实现)

详见附件四：深度学习推荐系统实战课程大纲

课程模块：、ai医疗概论、、python机器学习实战、bp神经网络与tensorflow2实战、tensorflow2深度学习原理与实现

实战案例：公众健康问句分类、脑pet图像分析和疾病预测、基于深度学习的肝脏肿瘤分割。

详见附件五：健康医疗大数据应用课程大纲

课程模块：linux操作系统基础、java编程基础、hadoop大数据基础、hive大数据仓库

综合实战：航空客户乘机数据预处理、hbase非关系型数据库、scala编程基础、

项目实战：广电大数据用户画像(hadoop spark hive)

拓展课程：zookeeper分布式服务框架、flume大数据采集与传输、kafka大数据流处理、flink大数据实时处理、商品实时推荐系统(flume kafka flink)

详见附件六： hadoop spark大数据技术应用实战课程大纲

课程模块：、、python机器学习算法原理与实现、tensorflow2实战、tensorflow2深度学习原理与实现、计算机视觉实战

图像处理实战：脑pet图像分析和疾病预测

计算机视觉实战：动态人脸智能识别

实战案例：基于gan的图像风格转换

详见附件七：人工智能实战(计算机视觉方向)课程大纲

课程模块：、、python机器学习算法原理与实现、tensorflow2实战、tensorflow2深度学习原理与实现、自然语言处理实战

文本处理实战：公众健康问句分类

综合实战：基于深度学习的推荐系统受众性别预测

实战案例：搭建一个属于自己的聊天机器人

详见附件八  人工智能实战(自然语言处理方向)课程大纲

课程模块：、、python机器学习算法原理与实现、tensorflow2实战、tensorflow2深度学习原理及实现、语音处理实战

实战案例：语音识别中的hmm声学模型、英文数字语音识别、中文语音识别

详见附件九  智能语音实战课程大纲

费用

威斯尼斯人0907官方网站的支付方式

联系人：曾老师   电话：13246821827        微信：antonia602501

2022年7月20日

18:30 - 22:00

主讲：郝志峰

主题内容：大数据视角下数字孪生与元宇宙的思考

2022年7月20日

18:30 - 22:00

1.1 认识数据分析

1.2 认识excel2016

2.1 获取文本数据

2.2 从数据库获取数据

3.1 排序

3.2 筛选

3.3 分类汇总

4.1 认识公式和函数

4.2 数组公式

4.3 日期和时间函数

4.4 数学函数

4.5 统计函数

4.6 文本函数

4.7 逻辑函数

5.1 透视表的创建和修改

5.2 透视表的操作

5.3 透视图的操作

操作演练

2022年7月21日

18:30 - 22:0

6.1 对比分析

6.2 趋势分析

6.3 饼图

6.4 散点图

6.5 雷达图

7.1 案例背景

7.2 数据预处理

8 商品销售分析

9 库存分析

10 用户分析

11 分析报告

2022年7月22日

18:30 - 22:00

1 数据分析与可视化概述

1.1 认识数据分析（power bi）

1.2 常用数据可视化软件

1.3 认识power bi

2 数据获取

2.1 获取数据的方式

2.2 数据获取

3 m语言数据建模与处理

3.1 编辑器和m语言

3.2 获取网络分页数据

3.3 清洗数据

3.4 数据集成

3.5 数据转换

3.6 规约数据

操作演练

2022年7月23日

08:30 - 22:00

4 dax语言数据处理

4.1 dax语言

4.2 dax语言处理表间关系

4.3 dax函数使用实例

4.4 数据查询操作

5 数据分析可视化

5.1 可视化

5.2 认识对比分析

5.3 对比分析图表绘制操作

2022年7月24日

18:30 - 22:00

5.4 认识结构分析

5.5 结构分析可视化操作

5.6 相关分析

5.7 相关分析可视化操作

5.8 描述性分析

5.9 描述性分析可视化操作

5.10 kpi图表分析

5.11 kpi分析可视化操作

6 数据分析报表

6.1 认识power bi报表

6.2 完整的分析报表：会员数据分析

6.3 完整分析报表的操作

7 power bi移动版数据部署

7.1 移动版发布一份分析报表

7.2 仪表板的使用

2022年7月25日

18:30 - 22:00

1 案例背景与目标

1.1 案例背景

2 获取和整理财务数据

2.1 创建财务分析和纳税评估文件

2.2 获取财务数据分析的指标数据

2.3 整理财务分析的指标数据

2.4 采购渠道提取

3 财务指标分析和税务评估

3.1 数据探索分析

3.2 共同比分析

3.3 趋势分析

3.4 财务比率分析

3.5 确定重点评估领域

3.6 重点评估领域审计

3.7 问题的发现及财务报表的调整

4 小结

2022年7月26日

18:30 - 22:00

1 了解汽车销售行业现状

2 数据预处理

2.1 数据清洗

2.2 数据规约

2.3 数据建模

3 数据分析可视化

3.1 区域汽车销售分析及可视化

3.2 各种类别的汽车销售分析及可视化

4 发布到web端

2022年7月27日

18:30 - 22:00

1 案例背景

2 数据预处理

2.1 数据读取和数据清洗

2.2 数据规约

2.3 数据建模

3 销售分析及可视化

4 库存分析和可视化

5 用户分析和可视化

6 数据部署

2022年7月28日

18: 30 - 22:00

1 案例背景与目标

1.1 案例背景解读

1.2 挖掘目标分析

2 数据预处理

2.1 预处理：读取数据和异常值

2.2 预处理：缺失值

2.3 预处理：重复值与合并数据

3 数据分析

3.1 食堂消费数据分析

3.2 学生消费行为分析

4 小结

2022年7月29日

19:00 - 21:00

1 准备工作

2 列表操作

3 程序流程控制语句

4 字符串操作

4.1 字符串及其索引&切片

4.2 字符串的常见方法

4.3 字典的创建及索引

4.4 字典常用操作

4.5 字典推导式

5 python文件读取操作

5.1 python读取文件

5.2 练习3：统计小说中的单词频次

6 函数

6.1 python函数自定义

6.2 练习4：自定义求序列偶数个数的函数

7 面向对象与模块

7.1 python方法与函数对比介绍

7.2 python面向对象示例

7.3 python模块使用

7.4 第三方库的安装与调用

8 注意事项

8.1 python工作路径说明

8.2 模块命名及存放路径的注意事项

8.3 结语

1 python数据分析概述

1.1 认识数据分析

1.2 熟悉python数据分析的工具

1.3 安装anaconda与启动jupyter notebook

1.4 掌握jupyter notebook常用功能

2 numpy数值计算基础

2.1 掌握numpy数组对象

2.1.1 numpy简介

2.1.2 数组创建及基础属性

2.1.3 初识数组的特点

2.1.4 创建常用数组

2.1.5 数组数据类型

2.1.6 生成随机数

2.1.7 一维数组的索引

2.1.8 逻辑型索引

2.1.9 多维数组的索引

2.1.10 求解距离矩阵

2.1.11 变化数组shape

2.2 掌握numpy矩阵与通用函数

2.2.1 numpy矩阵介绍

2.2.2 numpy通用函数介绍

2.2.3 通用函数的广播机制

2.3 利用numpy进行统计分析

2.3.1 numpy读写二进制文件

2.3.2 numpy读写txt文件

2.3.3 利用numpy对数据进行简单统计分析

2022年7月20日

18:30 - 22:00

主讲：郝志峰

主题内容：大数据视角下数字孪生与元宇宙的思考

2022年7月20日

18:30 - 22:00

1 pandas统计分析基础

1.1 pandas简介

1.2 读写不同数据源的数据

1.2.1 pandas读取文本数据

1.2.2 存储数据框

1.2.3 pandas读取excel文件

1.2.4 将数据框存储为excel文件

1.3 数据框与数据框元素

1.3.1 构建数据框

1.3.2 查看数据框的常用属性

1.3.3 按行列顺序访问数据框中的元素

1.3.4 按行列名称访问数据框中的元素

1.3.5 修改数据框中的元素

1.3.6 删除数据框中的元素

1.3.7 描述分析数据框中的元素

1.4 转换与处理时间序列数据

1.4.1 转换成时间类型数据

1.4.2 时间类型数据的常用操作

1.5 使用分组聚合进行组内计算

1.5.1 groupby分组操作

1.5.2 agg聚合操作

1.6 创建透视表与交叉表

1.6.1 生成透视表

1.6.2 生成交叉表

操作演练

2022年7月21日

18:30 - 22:00

2 使用pandas进行数据与预处理

2.1 合并数据

2.1.1 表堆叠

2.1.2 主键合并

2.1.3 重叠合并

2.2 清洗数据

2.2.1 检测与处理重复值

2.2.2 检测与处理缺失值

2.2.3 检测与处理异常值

2.3 标准化数据

2.4 转换数据

2.4.1 哑变量处理

2.4.2 离散化连续型数据

2022年7月22日

18:30 - 22:00

1.1 matplotlib绘制流程说明

1.2 添加文本和修改绘图风格

1.3 rc参数 

1.4 散点图

1.5 折线图

1.6 直方图和条形图

1.7 饼图

1.8 箱线图

1.9 人口特征间分布

1.10 人口各个特征分布

自行安排

2.1 seaborn基础介绍

2.2 seaborn简单绘图

2.3 seaborn绘图风格

2.4 调色板1

2.5 调色板2

2.6 关系图

2.7 分类图

2.8 分布图

2.9 回归图

2.10 矩阵图

2.11 网络图

3.1 pyecharts基础介绍

3.2 pyecharts绘制日历图

3.3 pyecharts绘制漏斗图

3.4 pyecharts绘制仪表图

3.5 pyecharts绘制水球图

3.6 pyecharts绘制关系图

3.7 pyecharts绘制直角坐标系图表

3.8 pyecharts绘制饼图

3.9 pyecharts绘制雷达图

3.10 pyecharts绘制词云图

3.11 pyecharts绘制柱状图

3.12 pyecharts绘制树形图

3.13 pyecharts绘制地理图表

2022年7月23日

18:30 - 22:00

1 python爬虫环境与爬虫简介

1.1 认识爬虫

1.1.1 常见网上冲浪过程

1.1.2 爬虫的概念

1.1.3 爬虫合法性

1.2 认识反爬虫

1.3 配置python爬虫环境

2 网页前端基础

2.1 认识网络信息传输过程

2.1.1 网络传输模型

2.1.2 网络信息传输过程

2.2 认识http

2.2.1 认识http

2.2.2 熟悉cookie

3 简单静态网页爬取

3.1 认识静态网页

3.2 实现http请求

3.2.1 创建工程

3.2.2 生成http请求

3.2.3 完善http请求

3.3 解析网页

3.3.1 为什么要解析网页

3.3.2 初识xpath

3.3.3 xpath相对路径及属性查找

3.3.4 使用beautifulsoup解析网页

3.3.5 网页解析小结

3.4 存储数据

3.4.1 认识chrome开发者工具

3.4.2 任务演练：爬取并存储泰迪科技威尼斯5139手机版官网威尼斯5139手机版首页数据

2022年7月24日

18:30 - 22:00

4 认识动态网页

4.1 认识动态网页

4.2 逆向分析爬取动态网页

4.2.1 通过网页源码追踪目标数据文件地址

4.2.2 通过开发者工具追踪目标数据文件地址

4.2.3 爬取数据并及进行保存

4.3 使用selenium库爬取动态网页

4.3.1 搭建selenium环境

4.3.2 利用selenium获取网页数据

4.3.3 利用selenium控制点击操作

5 模拟登录

5.1 使用表单登录方法实现模拟登录

5.1.1 模拟登录的过程

5.1.2 查找提交入口和表单数据

5.1.3 提交表单完成模拟登录

5.1.4 使用表单登录的注意事项

5.2 使用cookie登录方法实现模拟登录

5.3 使用selenium模拟登录

2022年7月25日

18:30 - 22:00

6 scrapy爬虫

6.1 认识scrapy

6.2 通过scrapy爬取基本页面信息

6.2.1 创建项目

6.2.2 指定字段及创建spiders

6.2.3 完成spiders编写

6.2.4 运行程序保存数据

6.3 通过scrapy抓取跳转页面数据

6.3.1 任务介绍及项目创建

6.3.2 获取所有页面的url

6.3.3 获取每个页面的新闻二次页面url

6.3.4 提取各新闻二次页面中的目标数据

6.3.5 运行程序保存数据

7 拓展：终端协议及爬取工具介绍

2022年7月26日

18:30 - 22:00

1 案例背景与挖掘目标

2 获取疫情数据

2.1 了解python获取网络数据方法

2.2 了解本案例数据获取的方法

2.3 获取实时疫情页面网页源码

2.4 解析json数据

2.5 爬取国内疫情数据

2.6 爬取国外疫情数据

2.7 单页数据整理

3 疫情数据分析

3.1 国内数据各地区对比

3.2 国内数据随时间对比

3.3 全国数据各地区对比

3.4 全国数据随时间对比

3.5 任务实现

3.5.1 特征处理

3.5.2 各国每日死亡率

3.5.3 各国每日治愈率

3.5.4 各国每日新增确诊案例

3.5.5 各国每日新增死亡案例

3.5.6 各国每日新增治愈案例

4 疫情数据可视化及前端部署

4.1 疫情数据接口整合

4.2 疫情可视化前端实现

4.3 疫情可视化后端实现及本地部署

4.4 不同评分数量与时间的关系

5 小结

2022年7月27日

18: 30 - 22:00

1 项目背景与挖掘目标

2.1 通过谷歌开发者工具获取url

2.2 发送http请求与转换成json数据

2.3 提取信息并保存到本地

2.4 循环采集数据：保存数据

2.5 循环采集数据：自定义函数

3.1 数据预处理

3.2 数据预处理实现

4.1 评论数据词云绘制

4.2 好评、差评词云绘制与分析

4.3 不同颜色商品购买比例分析

4.4 不同配置商品购买比例分析

4.5 销售数量和评论数量和日期的关系

4.6 销售数量和评论数量和时间的关系

4.7 购买与评论时间间隔统计分析

4.8 不同渠道的销售比例

2022年7月28日

18:30 - 22:00

1 背景和目标

2 数据采集

2.1 网页结构探索

2.2 定位一级页面数据地址

2.3 爬取及解析一级页面数据

2.4 提取一级页面字段

2.5 定位二级页面数据地址

2.6 爬取及解析二级页面数据

2.7 翻页爬取及数据保存

3 数据处理

3.1 读取已爬取完成的数据

3.2 数据预处理操作

4 分析与可视化

4.1 招聘岗位对学历要求分析

4.2 各行业的大数据招聘需求数量分析

4.3 不同类型公司的薪资待遇分析

4.4 小结

2022年7月29日

19:00 - 21:00

1 准备工作

2 列表操作

3 程序流程控制语句

4 字符串操作

4.1 字符串及其索引&切片

4.2 字符串的常见方法

4.3 字典的创建及索引

4.4 字典常用操作

4.5 字典推导式

5 python文件读取操作

5.1 python读取文件

5.2 练习3：统计小说中的单词频次

6 函数

6.1 python函数自定义

6.2 练习4：自定义求序列偶数个数的函数

7 面向对象与模块

7.1 python方法与函数对比介绍

7.2 python面向对象示例

7.3 python模块使用

7.4 第三方库的安装与调用

8 注意事项

8.1 python工作路径说明

8.2 模块命名及存放路径的注意事项

8.3 结语

1 python数据分析概述

1.1 认识数据分析

1.2 熟悉python数据分析的工具

1.3 安装anaconda与启动jupyter notebook

1.4 掌握jupyter notebook常用功能

2 numpy数值计算基础

2.1 掌握numpy数组对象

2.1.1 numpy简介

2.1.2 数组创建及基础属性

2.1.3 初识数组的特点

2.1.4 创建常用数组

2.1.5 数组数据类型

2.1.6 生成随机数

2.1.7 一维数组的索引

2.1.8 逻辑型索引

2.1.9 多维数组的索引

2.1.10 求解距离矩阵

2.1.11 变化数组shape

2.2 掌握numpy矩阵与通用函数

2.2.1 numpy矩阵介绍

2.2.2 numpy通用函数介绍

2.2.3 通用函数的广播机制

2.3 利用numpy进行统计分析

2.3.1 numpy读写二进制文件

2.3.2 numpy读写txt文件

2.3.3 利用numpy对数据进行简单统计分析

2022年7月20日

18:30 - 22:00

主讲：郝志峰

主题内容：大数据视角下数字孪生与元宇宙的思考

2022年7月20日

18:30 - 22:00

1 pandas统计分析基础

1.1 pandas简介

1.2 读写不同数据源的数据

1.2.1 pandas读取文本数据

1.2.2 存储数据框

1.2.3 pandas读取excel文件

1.2.4 将数据框存储为excel文件

1.3 数据框与数据框元素

1.3.1 构建数据框

1.3.2 查看数据框的常用属性

1.3.3 按行列顺序访问数据框中的元素

1.3.4 按行列名称访问数据框中的元素

1.3.5 修改数据框中的元素

1.3.6 删除数据框中的元素

1.3.7 描述分析数据框中的元素

1.4 转换与处理时间序列数据

1.4.1 转换成时间类型数据

1.4.2 时间类型数据的常用操作

1.5 使用分组聚合进行组内计算

1.5.1 groupby分组操作

1.5.2 agg聚合操作

1.6 创建透视表与交叉表

1.6.1 生成透视表

1.6.2 生成交叉表

2 使用pandas进行数据预处理

2.1 合并数据

2.1.1 表堆叠

2.1.2 主键合并

2.1.3 重叠合并

2.2 清洗数据

2.2.1 检测与处理重复值

2.2.2 检测与处理缺失值

2.2.3 检测与处理异常值

2.3 标准化数据

2.4 转换数据

2.4.1 哑变量处理

2.4.2 离散化连续型数据

2022年7月21日

18:30 - 22:00

1.1 matplotlib绘制流程说明

1.2 添加文本和修改绘图风格

1.3 rc参数 

1.4 散点图

1.5 折线图

1.6 直方图和条形图

1.7 饼图

1.8 箱线图

1.9 人口特征间分布

1.10 人口各个特征分布

2.1 seaborn基础介绍

2.2 seaborn简单绘图

2.3 seaborn绘图风格

2.4 调色板1

2.5 调色板2

2.6 关系图

2.7 分类图

2.8 分布图

2.9 回归图

2.10 矩阵图

2.11 网络图

3.1 pyecharts基础介绍

3.2 pyecharts绘制日历图

3.3 pyecharts绘制漏斗图

3.4 pyecharts绘制仪表图

3.5 pyecharts绘制水球图

3.6 pyecharts绘制关系图

3.7 pyecharts绘制直角坐标系图表

3.8 pyecharts绘制饼图

3.9 pyecharts绘制雷达图

3.10 pyecharts绘制词云图

3.11 pyecharts绘制柱状图

3.12 pyecharts绘制树形图

3.13 pyecharts绘制地理图表

2022年7月22日

18:30 - 22:00

1.1 引言

1.2 基本术语

1.3 假设空间&归纳偏好

2.1 经验误差与过拟合

2.2 评估方法

2.3 性能度量

2.4 性能度量python实现

3.1 线性回归基本形式

3.2 线性回归模型的python实现

3.3 波士顿房价预测的python实现

3.4 逻辑回归介绍

3.5 研究生入学录取预测的python实现

2022年7月23日

18:30 - 22:00

4.1 从女生相亲到决策树

4.2 明天适合打球吗？

4.3 决策树拆分属性选择

4.4 决策树算法家族

4.5 泰坦尼克号生还者预测-数据预处理

4.6 泰坦尼克号生还者预测-模型构建与预测

5.1 聚类分析概述

5.2 相似性度量

5.3 k-means聚类分析算法介绍

5.4 利用k-means算法对鸢尾花进行聚类

5.5 聚类结果的性能度量

5.6 调用scikit-learn实现聚类分析

2022年7月24日

18:30 - 22:00

6.1 单个神经元介绍

6.2 经典网络结构介绍

6.3 神经网络工作流程演示

6.4 如何修正网络参数-梯度下降法

6.5 网络工作原理推导

6.6 网络搭建准备

6.7 样本从输入层到隐层传输的python实现

6.8 网络输出的python实现

6.9 单样本网络训练的python实现

6.10 全样本网络训练的python实现

6.11 网络性能评价

6.12 调用scikit-learn实现神经网络算法

7 支持向量机

7.1 非洲人还是北美人

7.2 为什么有“朴素”二字

7.3 拉普拉斯修正

7.4 用高斯朴素贝叶斯算法解决鸢尾花分类问题

8 集成学习

8.1 集成学习基本概念

8.2 并行集成算法-bagging&randomforest

8.3 串行集成算法-boosting算法流程

8.4 串行集成算法-boosting代码实现

8.5 stacking算法流程

8.6 stacking代码实现

2022年7月25日

18:30 - 22:00

1.1 背景与目标

1.2 案例思路分析

2.1 数据探索

2.2 数据去重及删除无关属性

2.3 缺失值处理

2.4 异常值处理

2.5 数据合并

3 数据可视化分析

3.1 食堂就餐行为分析

3.2 学生早中晚餐就餐地点占比饼图

3.3 工作日和非工作日食堂就餐时间曲线图

3.4 不同专业、不同性别的学生消费分析

4 模型构建

4.1 构建聚类模型

4.2 模型性能评估

5 小结

2022年7月26日

18: 30 - 22:00

1.1 背景与目标

1.2 案例思路分析

2.1 数据探索

2.2 数据去重及删除无关属性

2.3 用户分组及标签构建

2.4 提取用户基本信息和在网时长

2.5 处理合约是否有效

2.6 处理合约计划到期时间

2.7 其余变量处理

2.8 特征拼接及缺失值处理

2.9 数据保存

3.1 特征选择介绍

3.2 皮尔逊特征选择

3.3 处理样本类别不均衡问题

4.1 模型性能评估介绍

4.2 模型构建及性能评估

2022年7月27日

18: 30 - 22:00

1.1 背景与分析目标

2.1 会员信息表处理

2.2 销售流水表处理

3.1 会员年龄分析

3.2 不同年龄的消费能力

3.3 不同性别的消费情况

3.4 会员和非会员消费情况

3.5 商场会员年消费趋势

3.6 不同月份的消费趋势

3.7 每年每月的消费金额趋势

3.8 不同时刻的消费情况

4.1 用户画像介绍

4.2 会员基本信息标签

4.3 会员消费特征标签

4.4 会员商品偏好标签

4.5 生成用户画像

5.1 会员细分介绍

5.2 k-means算法实现会员聚类

5.3 结果分析

2022年7月28日

18:30 - 22:00

1 背景与目标

2 目标分析

2.1 推荐思路分析

2.2 基于物品的协同过滤推荐介绍

3 工程实现

3.1 eb工具登录及简介

3.2 创建空白工程

3.3 导入数据

3.4 筛选正文数据

3.5 字符替换及记录去重

3.6 划分训练集用户和测试集用户

3.7 构造训练集和测试集数据

3.8 构建模型

3.9 推荐及性能评估

4 小结

2022年8月29日

19:00 - 21:00

1 准备工作

2 列表操作

3 程序流程控制语句

4 字符串操作

4.1 字符串及其索引&切片

4.2 字符串的常见方法

4.3 字典的创建及索引

4.5 字典推导式

5 python文件读取操作

5.1 python读取文件

5.2 练习3：统计小说中的单词频次

6 函数

6.1 python函数自定义

6.2 练习4：自定义求序列偶数个数的函数

7 面向对象与模块

7.1 python方法与函数对比介绍

7.2 python面向对象示例

7.3 python模块使用

7.4 第三方库的安装与调用

8 注意事项

8.1 python工作路径说明

8.2 模块命名及存放路径的注意事项

8.3 结语

1 python数据分析概述

1.1 认识数据分析

1.2 熟悉python数据分析的工具

1.3 安装anaconda与启动jupyter notebook

1.4 掌握jupyter notebook常用功能

2 numpy数值计算基础

2.1 掌握numpy数组对象

2.1.1 numpy简介

2.1.2 数组创建及基础属性

2.1.3 初识数组的特点

2.1.4 创建常用数组

2.1.5 数组数据类型

2.1.6 生成随机数

2.1.7 一维数组的索引

2.1.8 逻辑型索引

2.1.9 多维数组的索引

2.1.10 求解距离矩阵

2.1.11 变化数组shape

2.2 掌握numpy矩阵与通用函数

2.2.1 numpy矩阵介绍

2.2.2 numpy通用函数介绍

2.2.3 通用函数的广播机制

2.3 利用numpy进行统计分析

2.3.1 numpy读写二进制文件

2.3.2 numpy读写txt文件

2.3.3 利用numpy对数据进行简单统计分析

3 matplotlib数据可视化基础

3.1 掌握绘图基础语法与常用参数

3.1.1 matplotlib介绍

3.1.2 基础图形绘制

3.1.3 常用参数设置

3.2 分析特征间关系

3.2.1 绘制散点图

3.2.2 散点图参数设置

3.2.3 绘制折线图

3.3 分析特征内部数据分布与分散情况

3.3.1 绘制直方图

3.3.2 绘制饼图

3.3.3 绘制箱线图

4 pandas统计分析基础

4.1 pandas简介

4.2 读写不同数据源得数据

4.2.1 pandas读取文本数据

4.2.2 存储数据框

4.2.3 pandas读取excel文件

4.2.4 将数据框存储为excel文件

4.3 数据框与数据框元素

4.3.1 构建数据框

4.3.2 查看数据框得常用属性

4.3.3 按行列顺序访问数据框中的元素

4.3.4 按行列名称访问数据框中的元素

4.3.5 修改数据框中的元素

4.3.6 删除数据框中的元素

4.3.7 描述分析数据框中的元素

4.4 转换与处理时间序列数据

4.4.1 转换成时间类型数据

4.4.2 时间类型数据的常用操作

4.5 使用分组聚合进行组内计算

4.5.1 groupby分组操作

4.5.2 agg聚合操作

4.6 创建透视表与交叉表

4.6.1 生成透视表

4.6.2 生成交叉表

5 使用pandas进行数据预处理

5.1 合并数据

5.1.1 表堆叠

5.1.2 主键合并

5.1.3 重叠合并

5.2 清洗数据

5.2.1 检测与处理重复值

5.2.2 检测与处理缺失值

5.2.3 检测与处理异常值

5.3 标准化数据

5.4 转换数据

5.4.1 哑变量处理

5.4.2 离散化连续型数据

2022年7月20日

18:30 - 22:00

主讲：郝志峰

讲座主题：大数据视角下数字孪生与元宇宙的思考

2022年7月20日

18:30 - 22:00

1 机器学习绪论

1.1 引言

1.2 基本术语

1.3 假设空间&归纳偏好

2 模型评估与选择

2.1 经验误差与过拟合

2.2 评估方法

2.3 性能度量

2.4 性能度量python实现

操作演练

2022年7月21日

18:30 - 22:00

3 回归分析

3.1 线性回归基本形式

3.2 线性回归模型的python实现

3.3 波士顿房价预测的python实现

3.4 逻辑回归介绍

3.5 研究生入学录取预测的python实现

4.1 从女生相亲到决策树

4.2 明天适合打球吗？

4.3 决策树拆分属性选择

4.4 决策树算法家族

4.5 泰坦尼克号生还者预测-数据预处理

4.6 泰坦尼克号生还者预测-模型构建与预测

5.1 聚类分析概述

5.2 相似性度量

5.3 k-means聚类分析算法介绍

5.4 利用k-means算法对鸢尾花进行聚类

5.5 聚类结构的性能度量

5.6 调用sklearn实现聚类分析

6  集成学习

6.1 集成学习基本概念

6.2 并行集成算法-bagging&randomforest

6.3 串行集成算法-boosting算法流程

6.4 串行集成算法-boosting代码实现

6.5 stacking算法流程

6.6 stacking代码实现

2022年7月22日

18:30 - 22:00

1 智能推荐系统简介

1.1 智能推荐简介

1.2 基于内容的推荐

1.3 协同过滤推荐

1.4 基于深度学习的推荐&复合推荐

1.5 智能推荐系统性能度量

2 关联规则

2.1 关联规则简介

2.2 事务和项集

2.3 支持度与置信度

2.4 apriori算法流程

2.5 apriori算法实现

3 协同过滤

3.1 协同过滤推荐算法流程

3.2 新闻推荐数据介绍

3.3 数据准备

3.4 模型构建

3.5 构建测试集用户网址浏览字典

3.6 执行推荐操作

3.7 推荐结构评估

4 fm&ranking模型

操作演练

2022年7月23日

18:30 - 22:00

1 bp神经网络

1.1 单个神经元介绍

1.2 经典网络结构介绍

1.3 神经网络工作流程演示

1.4 如何修正网络参数、梯度下降

1.5 网络工作原理推导

1.6 网络搭建准备

1.7 样本从输入层到隐层传输的python实现

1.8 网络输出的python实现

1.9 单样本网络训练的python实现

1.10 全样本网络训练的python实现

1.11 网络性能评价

1.12 调用scikit-learn实现神经网络算法

2022年7月24日

18:30 - 22:00

2 任务1：构建一个线性模型

2.1 tensorflow2介绍

2.2 tensorflow2常用数据类型和操作

2.3 初始化模型

2.4 构建损失函数

2.5 模型训练及可视化

2.6 使用高阶api-keras

3 任务2：mnist手写数字识别

3.1 数据读取及探索

3.2 交叉熵

3.3 模型构建及训练

3.4 调用保存好的模型对新样本进行预测

2022年7月25日

18:30 - 22:00

1.1 深度神经网络-引言

2 卷积神经网络cnn

2.1 浅层神经网络的局限

2.2 卷积操作

2.3 卷积操作的优势

2.4 池化及全连接

2.5 高维输入及多filter卷积

2.6 实现卷积操作

2.7 实现池化操作

3 循环神经网络rnn

3.1 循环神经网络简介

3.2 循环神经网络的常见结构

2022年7月26日

18:30 - 22:00

1 背景与目标

2.1 线下训练集数据介绍

2.2 线上训练集数据介绍

2.3 测试数据介绍

2.4 项目流程介绍

3.1 构建正样本

3.2 构建负样本

3.3 构建样本标签

4.1 特征构建介绍

4.2 处理discount_rate列

4.3 特征1-折扣率

4.4 特征2-商户与用户之间的距离

5.1 建模前数据准备

5.2 初级模型构建

5.3 roc曲线与auc值

5.4 模型性能评估

5.5 训练函数封装

5.6 模型预测

5.7 预测函数封装

6.1 特征3-优惠券流行度

6.2 特征4-用户在商家中的消费次数

6.3 如何进行特征拼接

6.4 拼接训练集的特征

6.5 拼接测试集的特征

7.1 模型训练

7.2 预测

7.3 代码整理

7.4 结构提交

2022年7月27日

18:30 - 22:00

1 数据读取

2 数据探索与预处理

2.1 缺失值处理

2.2 异常值处理

2.3 重复值处理

3 统计分析与可视化

3.1 用户分布分析

3.2 用户活跃度分析

3.3 用户流失率分析

3.4 用户参与课程情况分析

3.5 用户选择课程情况分析

3.6 课程收费差异与用户学习进度相关性分析

4 智能推荐

4.1 线上课程智能推荐

4.2 线上管理决策建议

2022年7月28日

18:30 - 22:0

2022年7月29日

18:30 - 22:00

1 背景与目标

2 目标分析

2.1 推荐思路分析

2.2 基于物品的协同过滤推荐介绍

3 工程实现

3.1 eb工具登录及简介

3.2 创建空白工程

3.3 导入数据

3.4 筛选正文数据

3.5 字符替换及记录去重

3.6 划分训练集用户和测试集用户

3.7 构造训练集和测试集数据

3.8 构建模型

3.9 推荐及性能评估

4 小结

2022年7月30日

19:00 - 21:00

python编程基础

1 准备工作

2 列表操作

3 程序流程控制语句

4 字符串操作

4.1 字符串及其索引&切片

4.2 字符串的常见方法

4.3 字典的创建及索引

4.4 字典常用操作

4.5 字典推导式

5 python文件读取操作

5.1 python读取文件

5.2 练习3：统计小说中的单词频次

6 函数

6.1 python函数自定义

6.2 练习4：自定义求序列偶数个数的函数

7 面向对象与模块

7.1 python方法与函数对比介绍

7.2 python面向对象示例

7.3 python模块使用

7.4 第三方库的安装与调用

8 注意事项

8.1 python工作路径说明

8.2 模块命名及存放路径的注意事项

8.3 结语

2022年7月20日

18:30 - 22:00

主讲：郝志峰

讲座主题：大数据视角下数字孪生与元宇宙的思考

2022年7月20日

18:30 - 22:00

1 医疗人工智能行业相关概述

1.1 医疗人工智能基本介绍

1.1.1 医疗人工智能的诞生

1.1.2 医疗人工智能发展阶段

1.1.3 医疗人工智能的构成要素

1.2 医疗人工智能的价值分析

1.2.1 缓解漏诊误诊问题

1.2.2 弥补资源供需缺口

1.2.3 提供健康顾问服务

1.2.4 提升制药效率

1.2.5 提升外科手术精准度

1.3 医疗人工智能产业链分析

2022年7月21日

18:30 - 22:00

1 python数据分析概述

1.1 认识数据分析

1.2 熟悉python数据分析的工具

1.3 安装anaconda与启动jupyter notebook

1.4 掌握jupyter notebook常用功能

2 numpy数值计算基础

2.1 掌握numpy数组对象

2.1.1 numpy简介

2.1.2 数组创建及基础属性

2.1.3 初识数组的特点

2.1.4 创建常用数组

2.1.5 数组数据类型

2.1.6 生成随机数

2.1.7 一维数组的索引

2.1.8 逻辑型索引

2.1.9 多维数组的索引

2.1.10 求解距离矩阵

2.1.11 变化数组shape

2.2 掌握numpy矩阵与通用函数

2.2.1 numpy矩阵介绍

2.2.2 numpy通用函数介绍

2.2.3 通用函数的广播机制

2.3 利用numpy进行统计分析

2.3.1 numpy读写二进制文件

2.3.2 numpy读写txt文件

2.3.3 利用numpy对数据进行简单统计分析

2022年7月22日

18:30 - 22:00

3 matplotlib数据可视化基础

3.1 掌握绘图基础语法与常用参数

3.1.1 matplotlib介绍

3.1.2 基础图形绘制

3.1.3 常用参数设置

3.2 分析特征间关系

3.2.1 绘制散点图

3.2.2 散点图参数设置

3.2.3 绘制折线图

3.3.3 绘制箱线图

2022年07月23日

18:30 - 22:00

4 pandas统计分析基础

4.1 pandas简介

4.2 读写不同数据源得数据

4.2.1 pandas读取文本数据

4.2.2 存储数据框

4.2.3 pandas读取excel文件

4.2.4 将数据框存储为excel文件

4.3 数据框与数据框元素

4.3.1 构建数据框

4.3.2 查看数据框得常用属性

4.3.3 按行列顺序访问数据框中的元素

4.3.4 按行列名称访问数据框中的元素

4.3.5 修改数据框中的元素

4.3.6 删除数据框中的元素

4.3.7 描述分析数据框中的元素

2022年7月24日

18:30 - 22:00

1.1 引言

1.2 基本术语

1.3 假设空间&归纳偏好

2 模型评估与选择

2.1 经验误差与过拟合

2.2 评估方法

2.3 性能度量

2.4 性能度量python实现

2022年7月25日

18:30 - 22:00

3 回归分析

3.1 线性回归基本形式

3.2 线性回归模型的python实现

3.3 波士顿房价预测的python实现

3.4 逻辑回归介绍

3.5 研究生入学录取预测的python实现

4.1 从女生相亲到决策树

4.2 明天适合打球吗？

4.3 决策树拆分属性选择

4.4 决策树算法家族

4.5 泰坦尼克号生还者预测-数据预处理

4.6 泰坦尼克号生还者预测-模型构建与预测

5.1 聚类分析概述

5.2 相似性度量

5.3 k-means聚类分析算法介绍

5.4 利用k-means算法对鸢尾花进行聚类

5.5 聚类结构的性能度量

5.6 调用sklearn实现聚类分析

6  集成学习

6.1 集成学习基本概念

6.2 并行集成算法-bagging&randomforest

6.3 串行集成算法-boosting算法流程

6.4 串行集成算法-boosting代码实现

6.5 stacking算法流程

6.6 stacking代码实现

2022年7月26日

18:30 - 22:00

1 bp神经网络

1.1 单个神经元介绍

1.2 经典网络结构介绍

1.3 神经网络工作流程演示

1.4 如何修正网络参数、梯度下降

1.5 网络工作原理推导

1.6 网络搭建准备

1.7 样本从输入层到隐层传输的python实现

1.8 网络输出的python实现

1.9 单样本网络训练的python实现

1.10 全样本网络训练的python实现

1.11 网络性能评价

1.12 调用scikit-learn实现神经网络算法

2022年7月27日

18:30 - 22:0

2 任务1：构建一个线性模型

2.1 tensorflow2介绍

2.2 tensorflow2常用数据类型和操作

2.3 初始化模型

2.4 构建损失函数

2.5 模型训练及可视化

2.6 使用高阶api-keras

3 任务2：mnist手写数字识别

3.1 数据读取及探索

3.2 交叉熵

3.3 模型构建及训练

3.4 调用保存好的模型对新样本进行预测

2022年7月28日

18:30 - 22:00

1.1 深度神经网络-引言

2 卷积神经网络cnn

2.1 浅层神经网络的局限

2.2 卷积操作

2.3 卷积操作的优势

2.4 池化及全连接

2.5 高维输入及多filter卷积

2.6 实现卷积操作

2.7 实现池化操作

3 循环神经网络rnn

3.1 循环神经网络简介

3.2 循环神经网络的常见结构

2022年7月29日

18:30 - 22:00

1 背景与挖掘目标

2.1 数据探索

2.2 分词和去停用词

2.3 词序列化和长度对齐

3.1 预训练词向量

3.2 词向量矩阵

4.1 textcnn模型搭建

4.2 模型训练

4.3 模型评估和总结

2022年7月30日

18:30 - 22:00

1 背景与目标

2.1 图片统一规格

2.2 图片增强

3 图片批处理

4.1 alexnet网络介绍

4.2 搭建alexnet网络层(上)

4.3 搭建alexnet网络层(下)

4.4 训练及预测

5 模型验证及小结

2022年7月31日

18:30 - 22:0

1.1 案例背景

1.2 数据说明与目标

2.1.1 数据预处理流程介绍

2.1.2 打开工程文件

2.1.3 dicom医学图像数据加载

2.2.1 windowing方法介绍参数选择

2.2.2 windowing方法实现

2.3 ct对比增强：直方图均衡化

2.4 掩膜图像加载

2.5 自定义提取肿瘤掩膜图位置的函数

2.6 文件保存

2.7 循环操作20名病人ct图像

3.1 数据增强：定义图像生成器

3.2 数据增强：图像数据增强设置及可视化

3.3 数据增强：归一化与自定义增强函数

4.1.1 u-net网络结构介绍

4.1.2 u-net网络结构实现

4.2 模型编译

5.1 模型训练

5.2 模型训练结果展示

6 模型预测

7 拓展思考

2022年8月01日

19:00 - 21:00

linux操作系统基础

1 linux简介

1.1 linux简介与发展历程

1.2 linux常见版本

2 linux基本命令

2.1 linux文件系统树

2.2 创建与删除目录或文件

2.3 查看文件内容

2.4 创建硬连接和符合链接

2.5 帮助命令

2.6 重定向相关命令

2.7 用户及用户组

2.8 权限相关命令

2.9 用户、用户组及权限实践操作进程

3 linux vi编辑器

3.1 模式介绍与常见快捷命令

3.2 一般模式快捷键

3.3 编辑模式与指令模式快捷键

java编程基础

1 基础知识

1.1 java简介

1.2 java安装配置

1.3 java基础语法

1.4.1 java基本数据类型&引用数据类型

1.4.2 java变量

1.5 java string类

1.6.1 java运算符-赋值运算符&算术运算符

1.6.2 java运算符-关系、逻辑、其他运算符

1.7 循环、条件、循环中断

1.8 java数组

1.9 java函数

1.10.1 java集合简介

1.10.2 java集合之list

1.10.3 java集合之set

1.10.4 java集合之map

1.11 java泛型

2 面向对象

2.1 java类、对象

2.2.1 java类封装

2.2.2 java构造函数

2.2.3 java类继承

2.2.4 java类多态

2.3.1 java抽象类

2.3.2 java接口

3 线程及异常处理

3.1 java多线程

3.2 java包、异常

2022年8月01日

18:30 - 22:00

1 hadoop简介

1.1 大数据介绍

1.2 hadoop核心组件

1.3 hadoop生态环境

1.4 hadoop应用场景

2 hadoop集群安装与部署

2.1 安装虚拟机

2.2 安装java

2.3 hadoop集群部署模式

2.4 配置固定ip

2.5 配置ssh无密码登录

2022年8月02日

18:30 - 22:00

2 hadoop集群安装与部署

2.6 配置hadoop集群

2.7 hadoop配置配置参数

2.8 hadoop集群启动与监控

3 hadoop基础操作

3.1 hadoop安全模式

3.2 hadoop集群基本信息介绍

3.3 hdfs常用shell操作

3.4 mapreduce常用shell操作

3.5 mapreduce任务管理

3.6 yarn资源管理与任务调度

2022年8月03日

18:30 - 22:0

4 mapreduce开发入门

4.1 mapreduce框架与设计构思

4.2 mapreduce开发环境搭建

4.3 mapreduce  wordcount源码分析

4.4 mapreduce api分析

4.5 mapreduce 统计每天访问次数

4.6 mapreduce 统计用户访问次数排序

5 mapreduce编程进阶

5.1 mapreduce输出文件格式及序列化文件生成

5.2 mapreduce输入文件格式及读取序列化文件

5.3 mapreduce使用combiner

5.4 mapreduce使用partioner

5.5 mapreduce本地提交任务

2022年8月04日

18:30 - 22:00

1 hive简介

2 hive安装配置

2.1 hadoop集群介绍与mysql安装

2.2 hive安装配置

2.3 hive单词计数

3 hive应用

3.1 任务讲解与数据库定义

3.2 创建内表

3.3 创建外表

3.4 创建泰坦尼克号乘客信息表

3.5 创建静态分区表

3.6 创建动态分区表

3.7 创建带数据的表和桶表

3.8 从文件系统导入数据到hive

3.9 从其他表查询数据导入hive

2022年8月05日

18:30 - 22:00

3.10 导出表数据到文件系统

3.11 创建职工信息表

3.12 select查询入门

3.13 泰坦尼克号人员分布统计

3.14 select连接查询和子查询

3.15 分析影响生存率关系

3.16 hive语句执行顺序

4 hive开发

4.1 配置hive的java开发环境

4.2 创建订单表和物品类别表

4.3 统计顾客数和商品销量

4.4 统计各类型商品购买情况

4.5 统计销量排名前20的商品

4.6 统计各类型商品排名前10的热销商品

4.7 保存客户订单数据hdfs上

2022年8月06日

18:30 - 22:00

5 hive自定义函数

5.1 自定义函数简介

5.2 自定义udf

5.3 自定义udaf

5.4 自定义udtf

6 hive查询优化

6.1 视图

6.2 索引

6.3 存储格式

综合实战：航空客户乘机数据预处理

1 案例背景及挖掘目标介绍

2 数据探索分析

3 数据清洗

4 属性规约与数据变换

2022年8月07日

18:30 - 22:00

1 hbase简介

1.1 认识hbase

1.2 hbase适用场景

2 hbase安装配置

2.1 hbase集群拓扑简介

2.2 zookeeper集群安装配置

2.3 hbase安装配置

2.4 hbase监控界面讲解

3 hbase架构原理

3.1 hbase数据模型

3.2 hbase架构

3.3 hbase读写流程

4 hbase shell基本操作

4.1 命令空间操作

4.2 创建表

4.3 修改和删除表

4.4 插入数据到表中

4.5 查看表数据

4.6 删除表数据

2022年8月08日

18:30 - 22:00

5 hbase表的模式设计

5.1 hbase表设计

6 hbase java api应用

6.1 搭建hbase开发环境

6.2 建立与hbase数据库连接实例

6.3 创建或删除表应用实例

6.4 设置region分割点应用实例

6.5 修改表结构应用实例

6.6 写入数据应用实例

6.7 查看一行数据应用实例

6.8 扫描表数据应用实例

6.9 删除数据应用实例

6.10 创建职工信息表emp

6.11 写入数据到职工信息表

6.12 查找指定范围职工信息

2022年8月09日

18:30 - 22:00

1 scala简介

1.1 scala简介

2 scala安装配置

2.1 scala线上环境介绍

2.2 在windows上搭建scala

2.3 在linux上搭建scala

2.4 scala插件安装

2.5 创建第一个scala工程

3 scala基础语法

3.1 scala类型、变量、运算符

3.2 数组

3.3 if条件判断

3.4 循环语句

3.5 实现冒泡排序法

3.6 列表list

3.7 列表listbuffer

3.8 集合set

3.9 计算最大公约数和最小公倍数

3.10 映射map

3.11 元组tuple

2022年8月10日

18:30 - 22:00

4 函数

4.1 函数定义

4.2 匿名函数

4.3 高阶函数

4.4 集合中的高阶函数

4.5 递归与尾递归

5 面向对象编程

5.1 面向对象编程简介

5.2 类的定义

5.3 定义类实现有理数的运算

5.4 单例对象

5.5 样例类和模式匹配

6 文件读写

6.1 文件读写

6.2 手机号码段查询

2022年8月11日

18:30 - 22:00

1 spark入门

1.1 spark介绍

2 spark集群的安装配置

2.1 spark集群拓扑

2.2 spark安装配置

2.3 运行第一个spark程序

3 spark架构及原理

3.1 spark架构

3.2 spark rdd

4 spark shell应用

4.1 启动spark shell

4.2 创建rdd

4.3 读取学生成绩创建rdd

4.4 map与flatmap算子应用

4.5 sortby与filter算子应用

4.6 取出成绩排名前5的学生信息

4.7 交集与并集计算的算子应用

4.8 获取成绩100分的学生信息

4.9 键值对rdd常用算子

4.10 计算学生成绩总分和平均分

4.11 存储rdd

4.12 统计用户停留时间最长的基站

2022年8月12日

18:30 - 22:00

5 spark开发环境配置

5.1 配置spark开发环境

5.2 spark实现单词计数

5.3 使用本地模式运行spark程序

5.4 使用集群模式运行spark程序

5.5 设置应用程序使用的集群资源

6 spark sql应用

6.1 spark sql简介和环境配置

6.2 读取结构化文件创建dataframe

6.3 读取外部数据库数据创建dataframe

6.4 读取rdd创建dataframe

6.5 读取hive表数据创建rdd

6.6 读取学生成绩创建dataframe

6.7 常见dataframe api应用

6.8 通过dataframe api计算学生总分和平均分

6.9 保存dataframe为结构化文件

6.10 保存dataframe到外部数据库和hive数据库

6.11 保存学生成绩分析结果到hive

6.12 创建dataset

6.13 通过商品销售数据创建dataset

6.14 统计商品销售

2022年8月13日

18:30 - 22:00

1 项目背景与需求分析

1.1 广电大数据用户画像案例背景

1.2 广电大数据用户画像项目目标

1.3 系统架构与项目选型

2 数据存储

2.1 数据描述

2.2 数据存储

3 数据探索分析

3.1 数据探索分析

3.2 数据探索分析实战1

3.3 数据探索分析实战2

3.4 数据探索分析实战3

4 数据预处理

4.1 数据处理规则分析

4.2 数据预处理实战

2022年8月14日

18:30 - 22:00

5 用户画像标签计算

5.1 用户画像及规则简介

5.2 用户画像实战-消费内容计算

5.3 用户画像实战-消费水平计算

5.4 用户画像实战-销售品计算

5.5 用户画像实战-宽带产品带宽

5.6 用户画像实战-用户信息表标签计算

5.7 用户画像实战-地区偏好和语言偏好

6 svm预测用户是否挽留

6.1 svm模型简介

6.2 svm模型数据处理

6.3 svm模型构建与评估

1 zookeeper分布式服务框架

2 flume大数据采集与传输

3 kafka大数据流处理

4 flink大数据实时处理

5 商品实时推荐系统(flume kafka flink)

2022年8月15日

19:00 - 21:00

1 准备工作

2 列表操作

3 程序流程控制语句

4 字符串操作

4.1 字符串及其索引&切片

4.2 字符串的常见方法

4.3 字典的创建及索引

4.4 字典常用操作

4.5 字典推导式

5 python文件读取操作

5.1 python读取文件

5.2 练习3：统计小说中的单词频次

6 函数

6.1 python函数自定义

6.2 练习4：自定义求序列偶数个数的函数

7 面向对象与模块

7.1 python方法与函数对比介绍

7.2 python面向对象示例

7.3 python模块使用

7.4 第三方库的安装与调用

8 注意事项

8.1 python工作路径说明

8.2 模块命名及存放路径的注意事项

8.3 结语

1 python数据分析概述

1.1 认识数据分析

1.2 熟悉python数据分析的工具

1.3 安装anaconda与启动jupyter notebook

1.4 掌握jupyter notebook常用功能

2 numpy数值计算基础

2.1 掌握numpy数组对象

2.1.1 numpy简介

2.1.2 数组创建及基础属性

2.1.3 初识数组的特点

2.1.4 创建常用数组

2.1.5 数组数据类型

2.1.6 生成随机数

2.1.7 一维数组的索引

2.1.8 逻辑型索引

2.1.9 多维数组的索引

2.1.10 求解距离矩阵

2.1.11 变化数组shape

2.2 掌握numpy矩阵与通用函数

2.2.1 numpy矩阵介绍

2.2.2 numpy通用函数介绍

2.2.3 通用函数的广播机制

2.3 利用numpy进行统计分析

2.3.1 numpy读写二进制文件

2.3.2 numpy读写txt文件

2.3.3 利用numpy对数据进行简单统计分析

3 matplotlib数据可视化基础

3.1 掌握绘图基础语法与常用参数

3.1.1 matplotlib介绍

3.1.2 基础图形绘制

3.1.3 常用参数设置

3.2 分析特征间关系

3.2.1 绘制散点图

3.2.2 散点图参数设置

3.2.3 绘制折线图

3.3 分析特征内部数据分布与分散情况

3.3.1 绘制直方图

3.3.2 绘制饼图

3.3.3 绘制箱线图

4 pandas统计分析基础

4.1 pandas简介

4.2 读写不同数据源得数据

4.2.1 pandas读取文本数据

4.2.2 存储数据框

4.2.3 pandas读取excel文件

4.2.4 将数据框存储为excel文件

4.3 数据框与数据框元素

4.3.1 构建数据框

4.3.2 查看数据框得常用属性

4.3.3 按行列顺序访问数据框中的元素

4.3.4 按行列名称访问数据框中的元素

4.3.5 修改数据框中的元素

4.3.6 删除数据框中的元素

4.3.7 描述分析数据框中的元素

4.4 转换与处理时间序列数据

4.4.1 转换成时间类型数据

4.4.2 时间类型数据的常用操作

4.5 使用分组聚合进行组内计算

4.5.1 groupby分组操作

4.5.2 agg聚合操作

4.6 创建透视表与交叉表

4.6.1 生成透视表

4.6.2 生成交叉表

5 使用pandas进行数据预处理

5.1 合并数据

5.1.1 表堆叠

5.1.2 主键合并

5.1.3 重叠合并

5.2 清洗数据

5.2.1 检测与处理重复值

5.2.2 检测与处理缺失值

5.2.3 检测与处理异常值

5.3 标准化数据

5.4 转换数据

5.4.1 哑变量处理

5.4.2 离散化连续型数据

2022年8月01日

18:30 - 22:00

主讲：郝志峰

讲座主题：大数据视角下数字孪生与元宇宙的思考

2022年8月01日

18:30 - 22:00

1 机器学习绪论

1.1 引言

1.2 基本术语

1.3 假设空间&归纳偏好

2 模型评估与选择

2.1 经验误差与过拟合

2.2 评估方法

2.3 性能度量

2.4 性能度量python实现

2022年8月02日

18:30 - 22:00

3 回归分析

3.1 线性回归基本形式

3.2 线性回归模型的python实现

3.3 波士顿房价预测的python实现

3.4 逻辑回归介绍

3.5 研究生入学录取预测的python实现

4.1 单个神经元介绍

4.2 经典网络结构介绍

4.3 神经网络工作流程演示

4.4 如何修正网络参数-梯度下降法

4.5 网络工作原理推导

4.6 网络搭建准备

4.7 样本从输入层到隐层传输的python实现

4.8 网络输出的python实现

4.9 单样本网络训练的python实现

4.10 全样本网络训练的python实现

4.11 网络性能评价

4.12 调用sklearn实现神经网络算法

2022年8月03日

18:30 - 22:00

1 任务1：构建一个线性模型

1.1 tensorflow介绍

1.2 tensorflow2常用数据类型和操作

1.3 初始化模型

1.4 构建损失函数

1.5 模型训练及可视化

1.6 使用高阶api-keras

2 任务2：mnist手写数字识别

2.1 数据读取及探索

2.2 交叉熵

2.3 模型构建及训练

2.4 调用保存好的模型对新样本进行预测

2022年8月04日

18:30 - 22:00

1.1 深度神经网络-引言

2 卷积神经网络cnn

2.1 浅层神经网络的局限

2.2 卷积操作

2.3 卷积操作的优势

2.4 池化及全连接

2.5 高维输入及多filter卷积

2.6 实现卷积操作

2.7 实现池化操作

2.8 作业：使用cnn实现

3.1 生成对抗神经网络简介

3.2 生成对抗神经网络训练流程

3.3 生成手写数字照片-数据准备&定义生成器网络

3.4 生成手写数字照片-判别器网络结构

3.5 生成手写数字照片-网络传输及网络损失值

3.6 生成手写数字照片-模型训练及效果展示

自行安排

4 循环神经网络rnn

4.1 循环神经网络简介

4.2 循环神经网络的常见结构

5 长短时记忆网络lstm

5.1 lstm的三个门

5.2 lstm三个门的计算示例

5.3 利用rnn&lstm实现mnist手写数字识别

2022年8月05日

18:30 - 22:00

1 概述

2.1 图像基础

2.2 读写图像

3.1 几何变换-图像平移和旋转

3.2 几何变换-最近邻插值

3.3 几何变换-其他插值方法介绍

4.1 灰度处理-线性变换

4.2 灰度处理-非线性变换

2022年8月06日

18:30 - 22:00

4.3 灰度处理-直方图均衡化

4.4 图像二值化

5.1 图像平滑

5.2 图像锐化-sobel算子

5.3 图像锐化-其他算法

6 练习

2022年8月07日

18:30 - 22:0

7 图像批处理任务示例

8.1 opencv循环读取-批量获取图像路径

8.2 opencv循环读取-批量读取图片和标签

8.3 opencv循环读取-数据应用示例

9.1 图像文件读取-参数说明

9.2 图像文件读取-读取训练和测试数据

9.3 图像文件读取-查看数据情况

9.4 图像文件读取-数据应用示例

10.1 imagedatagenerator图像增强-方法介绍

10.2 imagedatagenerator图像增强-单张图像增强

10.3 imagedatagenerator图像增强-多张图像增强

10.4 imagedatagenerator图像增强-从文件夹读取图片并增强

10.5 imagedatagenerator图像增强-数据应用示例

2022年8月08日

18:30 - 22:00

1 背景与目标

2.1 图片统一规格

2.2 图片增强

3 图片批处理

4.1 alexnet网络介绍

4.2 搭建alexnet网络层(上)

4.3 搭建alexnet网络层(下)

4.4 训练及预测

5 模型验证及小结

2022年8月09日

18:30 - 22:00

1 背景与目标

2.1 调用电脑摄像头拍照

2.2 实现批量拍照

2.3 封装拍照操作的代码

3.1 人脸检测介绍

3.2 实现照片中人脸检测

3.3 过滤人脸不全的照片

3.4 人脸照片的灰度转换及存储

3.5 批量照片处理及存储

3.6 将拍照及数据处理代码封装成类

4.1 获取人名及对应文件夹路径

4.2 自定义独热编码函数

4.3 确认样本和标签对应关系

4.4 定义照片数据转数组数据的函数

4.5 将数据整理代码封装成类

2022年8月10日

18:30 - 22:00

5.1 建模介绍

5.1.1 模型训练代码实现

5.1.2 执行模型训练

5.1.3 模型性能调优

5.2 定义模型搭建所需的常用方法

5.3 搭建第一个卷积层结构

5.4 测试网络结构

5.5 搭建第二个和第三个卷积层

5.6 搭建一个全连接层

5.7 搭建网络输出层

5.8 定义模型训练的损失函数-交叉熵

5.9 模型训练准备

6.1 调用保存好的模型

6.2 模型性能评价结果

2022年8月11日

18:30 - 22:00

1 背景与目标

2 过程与步骤

2.1 数据读取

2.2 数据预处理

2.3 数据集整理

3 模型构建

3.1 gan网络搭建

3.2 定义gan损失函数

3.3 训练网络

3.4 结果分析

4 小结

2022年8月12日

19:00 - 21:00

1 准备工作

2 列表操作

3 程序流程控制语句

4 字符串操作

4.1 字符串及其索引&切片

4.2 字符串的常见方法

4.3 字典的创建及索引

4.4 字典常用操作

4.5 字典推导式

5 python文件读取操作

5.1 python读取文件

5.2 练习3：统计小说中的单词频次

6 函数

6.1 python函数自定义

6.2 练习4：自定义求序列偶数个数的函数

7 面向对象与模块

7.1 python方法与函数对比介绍

7.2 python面向对象示例

7.3 python模块使用

7.4 第三方库的安装与调用

8 注意事项

8.1 python工作路径说明

8.2 模块命名及存放路径的注意事项

8.3 结语

1 python数据分析概述

1.1 认识数据分析

1.2 熟悉python数据分析的工具

1.3 安装anaconda与启动jupyter notebook

1.4 掌握jupyter notebook常用功能

2 numpy数值计算基础

2.1 掌握numpy数组对象

2.1.1 numpy简介

2.1.2 数组创建及基础属性

2.1.3 初识数组的特点

2.1.4 创建常用数组

2.1.5 数组数据类型

2.1.6 生成随机数

2.1.7 一维数组的索引

2.1.8 逻辑型索引

2.1.9 多维数组的索引

2.1.10 求解距离矩阵

2.1.11 变化数组shape

2.2 掌握numpy矩阵与通用函数

2.2.1 numpy矩阵介绍

2.2.2 numpy通用函数介绍

2.2.3 通用函数的广播机制

2.3 利用numpy进行统计分析

2.3.1 numpy读写二进制文件

2.3.2 numpy读写txt文件

2.3.3 利用numpy对数据进行简单统计分析

3 matplotlib数据可视化基础

3.1 掌握绘图基础语法与常用参数

3.1.1 matplotlib介绍

3.1.2 基础图形绘制

3.1.3 常用参数设置

3.2 分析特征间关系

3.2.1 绘制散点图

3.2.2 散点图参数设置

3.2.3 绘制折线图

3.3 分析特征内部数据分布与分散情况

3.3.1 绘制直方图

3.3.2 绘制饼图

3.3.3 绘制箱线图

4 pandas统计分析基础

4.1 pandas简介

4.2 读写不同数据源得数据

4.2.1 pandas读取文本数据

4.2.2 存储数据框

4.2.3 pandas读取excel文件

4.2.4 将数据框存储为excel文件

4.3 数据框与数据框元素

4.3.1 构建数据框

4.3.2 查看数据框得常用属性

4.3.3 按行列顺序访问数据框中的元素

4.3.4 按行列名称访问数据框中的元素

4.3.5 修改数据框中的元素

4.3.6 删除数据框中的元素

4.3.7 描述分析数据框中的元素

4.4 转换与处理时间序列数据

4.4.1 转换成时间类型数据

4.4.2 时间类型数据的常用操作

4.5 使用分组聚合进行组内计算

4.5.1 groupby分组操作

4.5.2 agg聚合操作

4.6 创建透视表与交叉表

4.6.1 生成透视表

4.6.2 生成交叉表

5 使用pandas进行数据预处理

5.1 合并数据

5.1.1 表堆叠

5.1.2 主键合并

5.1.3 重叠合并

5.2 清洗数据

5.2.1 检测与处理重复值

5.2.2 检测与处理缺失值

5.2.3 检测与处理异常值

5.3 标准化数据

5.4 转换数据

5.4.1 哑变量处理

5.4.2 离散化连续型数据

2022年8月01日

18:30 - 22:00

主讲：郝志峰

讲座主题：大数据视角下数字孪生与元宇宙的思考

2022年8月01日

18:30 - 22:00

1 机器学习绪论

1.1 引言

1.2 基本术语

1.3 假设空间&归纳偏好

2 模型评估与选择

2.1 经验误差与过拟合

2.2 评估方法

2.3 性能度量

2.4 性能度量python实现

2022年8月02日

18:30 - 22:0

3 回归分析

3.1 线性回归基本形式

3.2 线性回归模型的python实现

3.3 波士顿房价预测的python实现

3.4 逻辑回归介绍

3.5 研究生入学录取预测的python实现

4.1 单个神经元介绍

4.2 经典网络结构介绍

4.3 神经网络工作流程演示

4.4 如何修正网络参数-梯度下降法

4.5 网络工作原理推导

4.6 网络搭建准备

4.7 样本从输入层到隐层传输的python实现

4.8 网络输出的python实现

4.9 单样本网络训练的python实现

4.10 全样本网络训练的python实现

4.11 网络性能评价

4.12 调用sklearn实现神经网络算法

2022年8月03日

18:30 - 22:00

1 任务1：构建一个线性模型

1.1 tensorflow介绍

1.2 tensorflow2常用数据类型和操作

1.3 初始化模型

1.4 构建损失函数

1.5 模型训练及可视化

1.6 使用高阶api-keras

2 任务2：mnist手写数字识别

2.1 数据读取及探索

2.2 交叉熵

2.3 模型构建及训练

2.4 调用保存好的模型对新样本进行预测

2022年8月04日

18:30 - 22:00

1.1 深度神经网络-引言

2 卷积神经网络cnn

2.1 浅层神经网络的局限

2.2 卷积操作

2.3 卷积操作的优势

2.4 池化及全连接

2.5 高维输入及多filter卷积

2.6 实现卷积操作

2.7 实现池化操作

2022年8月05日

18:30 - 22:0

3 循环神经网络rnn

3.1 循环神经网络简介

3.2 循环神经网络的常见结构

4 长短时记忆网络lstm

4.1 lstm的三个门

4.2 lstm三个门的计算示例

4.3 利用rnn&lstm实现mnist手写数字识别

5.1 生成对抗神经网络简介

5.2 生成对抗神经网络训练流程

5.3 生成手写数字照片-数据准备&定义生成器网络

5.4 生成手写数字照片-判别器网络结构

5.5 生成手写数字照片-网络传输及网络损失值

5.6 生成手写数字照片-模型训练及效果展示

2022年8月06日

18:30 - 22:00

1 自然语言处理概述

1.1 自然语言处理概述
2 nlp 基本流程

2.1 nlp 基本流程

2.2 语料字符处理
2.2.1 语料字符处理-字符串函数
2.2.2 正则表达式
2.2.3 正则表达式应用
2.3 分词和停用词处理

2.3.1 分词：正向最大匹配法

2.3.2 分词：正向最大匹配法实现

2.3.3 分词：逆向最大匹配法
2.4.1 n元语法模型
2.4.2 n元语法模型与分词

2.5.1 隐马尔可夫概述

2.5.2 隐马尔可夫实例

2.5.3 viterbi算法

2.5.4 viterbi算法应用

2022年8月07日

18:30 - 22:00

2.6 jieba分词

2.7 去停用词

3 文本向量化

3.1.1 向量化与独热编码

3.1.2 基于字典的one-hot实现

3.1.3 基于keras的one-hot表示

3.2 词袋模型

3.3 tf-idf

3.4.1 word2vec模型概述

3.4.2 word2vec模型训练

3.4.3 word2vec模型应用

3.5 doc2vec模型

2022年8月08日

18:30 - 22:00

1 背景与挖掘目标

2.1 数据探索

2.2 分词和去停用词

2.3 词序列化和长度对齐

3.1 预训练词向量

3.2 词向量矩阵

4.1 textcnn模型搭建

4.2 模型训练

4.3 模型评估和总结

第六课 ：案例实战：搭建一个属于自己的聊天机器人

2022年8月09日

18:30 - 22:00

1 案例背景与目标

1.1 背景与目标
1.2 流程介绍
2 语料库预处理
2.1 语料库介绍
2.2 工程和数据准备
2.3 语料分词处理
2.4 预处理结果保存
2.5 语料预处理代码整理
3 模型构建
3.1 模型介绍
3.2 构建哈希表
3.3 问答数据向量化
3.4 问答向量长度填充

2022年8月10日

18:30 - 22:00

2022年8月11日

18:30 - 22:00

1 任务1-了解背景与目标

2 数据探索

2.1 任务2说明-数据探索

2.2 项目文件结构及编辑环境介绍

2.3 数据获取与探索分析

3 获取用户单机流数据

3.1 任务3说明-获取用户单击流数据

3.2 理解用户单击流相关概念

3.3 获取用户的各单击流数据

4 实现词嵌入操作-1

4.1 任务4说明-实现词嵌入操作-1

4.2 对各单击流数据进行探索

5 实现词嵌入操作-2

5.1 任务5说明-实现词嵌入操作-2

5.2 对用户单击流数据进行预处理

5.3 进行词向量训练

5.4 对用户的单击流进行编码及padding操作

5.5 将词向量矩阵做相应排序并储存

5.6 将单击流数据转化为二维样本数据并存储

6 模型构建

6.1 任务6说明-模型构建

6.2 建模前数据整理

6.3 模型训练集性能评估

7 模型优化

7.1 任务7说明-模型优化

7.2 模型优化-并行网络结构介绍

7.3 模型优化

2022年81月12日

19:00 - 21:00

1 python 编程基础

1 准备工作

2 列表操作

3 程序流程控制语句

4 字符串操作

4.1 字符串及其索引&切片

4.2 字符串的常见方法

4.3 字典的创建及索引

4.4 字典常用操作

4.5 字典推导式

5 python 文件读取操作

5.1 python 读取文件

5.2 练习3：统计小说中的单词频次

6 函数

6.1python 函数自定义

6.2 练习4：自定义求序列偶数个数的函数

7 面向对象与模块

7.1 python 方法与函数对比介绍

7.2 python 面向对象示例

7.3 python 模块使用

7.4 第三方库的安装与调用

8 注意事项

8.1 python 工作路径说明

8.2 模块命名及存放路径的注意事项

8.3 结语

1 python数据分析概述

1.1 认识数据分析

1.2 熟悉python数据分析的工具

1.3 安装anaconda与启动jupyter notebook

1.4 掌握jupyter notebook常用功能

2 numpy数值计算基础

2.1 掌握numpy数组对象

2.1.1 numpy简介

2.1.2 数组创建及基础属性

2.1.3 初识数组的特点

2.1.4 创建常用数组

2.1.5 数组数据类型

2.1.6 生成随机数

2.1.7 一维数组的索引

2.1.8 逻辑型索引

2.1.9 多维数组的索引

2.1.10 求解距离矩阵

2.1.11 变化数组shape

2.2 掌握numpy矩阵与通用函数

2.2.1 numpy矩阵介绍

2.2.2 numpy通用函数介绍

2.2.3 通用函数的广播机制

2.3 利用numpy进行统计分析

2.3.1 numpy读写二进制文件

2.3.2 numpy读写txt文件

2.3.3 利用numpy对数据进行简单统计分析

3 matplotlib数据可视化基础

3.1 掌握绘图基础语法与常用参数

3.1.1 matplotlib介绍

3.1.2 基础图形绘制

3.1.3 常用参数设置

3.2 分析特征间关系

3.2.1 绘制散点图

3.2.2 散点图参数设置

3.2.3 绘制折线图

3.3 分析特征内部数据分布与分散情况

3.3.1 绘制直方图

3.3.2 绘制饼图

3.3.3 绘制箱线图

2022年8月01日

18:30 - 22:00

主讲：郝志峰

讲座主题：大数据视角下数字孪生与元宇宙的思考

2022年8月01日

18:30 - 22:00

1 机器学习绪论

1.1 引言

1.2 基本术语

1.3 假设空间&归纳偏好

2 模型评估与选择

2.1 经验误差与过拟合

2.2 评估方法

2.3 性能度量

2.4 性能度量python实现

2022年8月02日

18:30 - 22:0

3 回归分析

3.1 线性回归基本形式

3.2 线性回归模型的python实现

3.3 波士顿房价预测的python实现

3.4 逻辑回归介绍

3.5 研究生入学录取预测的python实现

4 聚类分析

4.1 聚类分析概述

4.2 相似性度量

4.3 k-means聚类分析算法介绍

4.4 利用k-means算法对鸢尾花进行聚类

4.5 聚类结果的性能度量

4.6 调用scikit-learn实现聚类分析

操作演练

2022年8月03日

18:30 - 22:00

1 任务1：构建一个线性模型

1.1 tensorflow介绍

1.2 tensorflow2常用数据类型和操作

1.3 初始化模型

1.4 构建损失函数

1.5 模型训练及可视化

1.6 使用高阶api-keras

2 任务2：mnist手写数字识别

2.1 数据读取及探索

2.2 交叉熵

2.3 模型构建及训练

2.4 调用保存好的模型对新样本进行预测

2022年8月04日

18:30 - 22:00

1.1 深度神经网络-引言

2 卷积神经网络cnn

2.1 浅层神经网络的局限

2.2 卷积操作

2.3 卷积操作的优势

2.4 池化及全连接

2.5 高维输入及多filter卷积

2.6 实现卷积操作

2.7 实现池化操作

3 循环神经网络rnn

3.1 循环神经网络简介

3.2 循环神经网络的常见结构

4 长短时记忆网络lstm

4.1 lstm 的三个门

4.2 lstm 三个门的计算示例

4.3 利用rnn&lstm 实现mnist 手写数字识别

2022年1月19日

18:30 - 22:00

2022年8月05日

18:30 - 22:00

1.1 语音识别的发展

1.2 语音识别的通用流程

2.1 语音信号参数

2.2 wave语音读取

2.3 wave语音保存

2.4 librosa读写音频

2.5 音频播放(拓展)

2.6 录音(拓展)

2.7 时域&频域

2.8 mel谱图

3.1 噪声

3.2 降噪处理

3.3 静音处理split

2022年8月06日

18:30 - 22:00

3.4 静音处理trim

3.5 预加重

3.6 分帧

3.7 加窗

3.8 傅里叶变换

3.9 mel滤波器组特征

3.10 log-mel滤波器组特征

3.11 mfcc特征

4.1 语音识别的一般过程

4.2 语音标注

4.3 声学模型

4.4 语言模型

4.5 端到端的语音识别

2022年8月07日

18:30 - 22:00

1 背景和思路

2 语音文件处理

3.1 批量提取mfcc特征

3.2 特征对齐

4.1 hmm模型

4.2 hmm模型训练

4.3 hmm模型预测

2022年8月08日

18:30 - 22:00

1 案例背景和挖掘目标
2.1 语音数据获取

2.2 数据划分

2.3 mfcc特征提取

2.4 mfcc特征处理

2.5 特征维度分析

2.6 标准化和数据保存

2.7 数据预处理总结

3.1 构架网络

3.2 模型编译

3.3 模型训练

3.4 模型训练过程

3.5 模型测试

3.6 课后拓展：模型应用

4 小结

2022年8月09日

18:30 - 22:00

1 背景与任务目标

2.1 音频读取

2.2 均方根去除静音

2.3 mfcc特征提取

2.4 特征归一化处理

2.5 特征对齐

2.6 语音标签和字典获取

2.7 特征对齐方法

3.1 ctc模型介绍

2022年8月10日

18:30 - 22:0

3.2 批次数据构造

3.3 ctc模型输入数据构造

3.4 数据集划分

4.1 双向gru模型

4.2 gru模型训练

4.3 wavenet模型

4.4 wavenet模型训练

5.1 模型预测

5.2 拓展和小结

2022年8月11日

19:00 - 21:00