主办单位： | 泰迪杯数据挖掘挑战赛组委会 |
| 广东泰迪智能科技股份有限公司 | |
| 承办单位： | 北京泰迪云智信息技术研究院 |
| 协办单位： | 人民邮电出版社有限公司 |
互联网、大数据、云计算、人工智能等现代信息技术深刻改变着人类的思维、生产、生活、学习方式，深刻展示了世界发展的前景。目前各院校的大数据专业教师匮乏、相关落地动手实战应用能力欠缺、授课过程中相关行业实战案例项目缺失等，为加快建设大数据、人工智能相关专业教师队伍，推动各院校建立人才培训体系和评价体系，特推出全国高校大数据与人工智能师资研修班，每年在全国范围内滚动开展，截止目前已在全国巡回举办50余场，参训教师近6000人次。2022年第七期全国高校大数据与人工智能师资研修班将开设六大专题方向，本期研修班以线上云课堂形式举办，现将有关安排通知如下：
一、课程特色
1、本研修班课程全程强调动手实操；内容以代码落地为主，通过讲解企业级案例，真正的让学员把所学内容和工作实际有效结合，更好地进行教育教学工作。
2、核心课程部分由讲师手把手一起进行实操演练，在具体应用场景中全面掌握相关技能，助力实训教学工作、实际动手的能力。视频制作精良，讲师真人出镜，全面解析专业必备技能，为相关课程开设和备课、应对科研和项目开发打下坚实基础。
3、课程没有答疑交流讨论群，培训期间助教全程辅助教学，每天提供10小时的实时在线答疑辅导，并进行答疑文档汇总，帮助学员更好地总结学习。
4、本课程配套有基础知识内容，即使零基础学员也能找到合适自己的学习内容和节奏，快速掌握课程知识和技能。
5、所有课程相关源代码、数据、ppt、案例素材全部提供下载，即学即用，教学更轻松！视频内容支持六个月内免费回看，以便复习和参考。
6、全面实践大数据/人工智能项目流程，包括数据采集、数据存储管理、数据探索、数据处理、特征工程、数据建模等课程，提供知识讲解，助力夯实理论基础，掌握核心技术。
7、参加线上课程学习的学员，如后续本人参加线下课程继续深造，持线上缴费凭证可享受一次免费学习机会（仅限参加同一培训专题方向的线下课程）。
二、课程安排
| 专题一 商务数据分析实战 | 学习时间：2022年11月20日 - 11月28日，共计72学时 |
| 证书颁发：大(高级)职业技术证书 | 费用：1980元(报名费、学习费、资料费、证书费等) |
课程模块：excel数据分析基础与实战、power bi数据分析与可视化 实战案例：上市企业财务指标及仪表盘综合分析(excel)、汽车大数据综合案例分析(power bi)、新零售智能售货机可视化项目(power bi)、广东采购数据分析(excel) 详见附件一：商务数据分析实战课程大纲 | |
| 专题二：数据采集与处理实战（python） | 学习时间：2022年11月20日 - 11月29日，共计80学时 |
| 证书颁发：python技术应用工程师（高级）职业技术证书 | 费用：1980元（报名费、学习费、资料费、证书费等） |
课程模块：、、pandas数据分析基础、python数据可视化、python网络爬虫实战 数据采集与处理实战：python爬虫助力疫情数据追踪、《红海行动》b站弹幕采集与分析、泰迪内推平台招聘信息采集与分析 拓展自学篇：网站图像素材采集实战 详见附件一：数据采集与处理实战(python)课程大纲 | |
| 专题三：大数据分析与机器学习实战(python) | 学习时间：2022年11月21日 - 12月01日，共计88学时 |
| 证书颁发：机器学习工程师(高级)职业技术证书 | 费用：1980元（报名费、学习费、资料费、证书费等） |
课程模块：、、pandas数据分析基础、python数据可视化、python机器学习实战 实战案例：运营商流失用户分析、百货商场用户画像描绘与价值分析、天猫用户重复购买预测、泰迪内推平台信息精准推荐应用(基于泰迪建模平台实现) 详见附件二： 大数据分析与机器学习实战（python）课程大纲 | |
| 专题四：深度学习实战(mindspore) | 学习时间：2022年11月21日 - 11月29日，共计72学时 |
| 证书颁发：大数据技术应用(高级)职业技术证书 | 费用：1980元（报名费、学习费、资料费、证书费等） |
课程模块：、、python机器学习算法原理与实现、mindspore框架基础实践、mindspore深度学习原理实现 实战案例：脑pet图像分析和疾病预测、基于深度学习的疫情期间网民情绪识别 综合实战：基于深度学习的问政留言分类 详见附件三：深度学习实战(mindspore)课程大纲 | |
| 专题五：计算机视觉实战(tensorflow2) | 学习时间：2022年11月21日 - 12月01日，共计88学时 |
| 证书颁发：大(高级)职业技术证书 | 费用：2480元（报名费、学习费、资料费、证书费等） |
课程模块：、、python机器学习算法原理与实现、tensorflow2实战、tensorflow2深度学习原理与实现、计算机视觉实战 实战案例：基于深度学习的肝脏肿瘤分割、基于facenet的人脸智能识别 详见附件四：计算机视觉实战(tensorflow2)课程大纲 | |
| 专题六：大数据技术应用实战(hadoop spark) | 学习时间：11月20日 - 12月04日，共计120学时 |
| 证书颁发：大数据技术应用(高级)职业技术证书 | 费用：2980元（报名费、学习费、资料费、证书费等） |
课程模块：linux操作系统基础、java编程基础、hadoop大数据基础、hive大数据仓库 综合实战：航空客货乘机数据预处理、hbase非关系数据库、scala编程基础、spark大数据技术应用 项目实战：广电大数据用户画像（hadoop spark hive） 拓展课程：zookeeper分布式服务框架、flume大数据采集与传输、kafka大数据流处理、flink大数据实时处理、商品实时推荐系统（flume kafka flink） 详见附件六：hadoop spark大数据技术应用实战课程大纲 | |
三、师资介绍
| 方海涛，中国科学院数学与系统科学研究院研究员，博士生导师，《控制理论与应用》杂志副主编，泰迪杯数据挖掘挑战赛专家组成员。主要研究方向包括：系统估计、优化与控制等。 | |
| 樊老师，广东泰迪智能科技股份有限公司特聘讲师，某国际银行大数据开发工程师，hortonworks授权apache hadoop开发者认证培训讲师，hadoop、mahout技术实践者和研究者；对hadoop的mapreduce编程模型有深刻理解，同时对mahout技术有较深认识，对mahout源码有深入研究，擅于mahout中数据挖掘的k均值聚类算法、贝叶斯分类算法、fp树关联规则算法的应用；主编《mahout算法解析与案例实战》、《hadoop数据分析与挖掘实战》、《》等图书专著；具有电信行业和银行业的项目经验和行业知识，主持中国电科院电力大数据平台、电能量数据挖掘与智能分析、客户服务智能分析系统等项目。 | |
| 张敏 广东泰迪智能科技股份有限公司、培训总监，从事用户数据分析和数据挖掘工作六年，具有丰富得大数据挖掘理论及实践培训经验，对数据具有较高的敏感度，根据数据对其进行全面得统计分析。精通python、r语言、matlab等多种数据挖掘工具。擅长市场发展情况监控、精确营销方面得数据挖掘工作。有为南方电网、珠江数码等大型企业长期提供实施服务得经验，主导了电子商务网站用户行为分析及网页智能推荐服务、中医证型关联规则挖掘、电信业务话单量预测、航空公司客户价值分析等多个项目。2017年"泰迪杯数据挖掘挑战赛教练员培训"主讲讲师，2018年广东省python与深度学习技术师资培训班主讲讲师、2018年第一/三/五期全国高校大数据核心技术与应用师资研修班主讲讲师、2019年第一/二/三期全国高校大数据与人工智能师资研修班主讲讲师，2019年国家电网大数据竞赛河北、湖南省、甘肃省电力系统培训班主讲讲师，先后负责过西安理工大学、广东工业大学、广西师范学院、广西科技大学、闽江学院、广东石油化工学院、上海健康医学院等高校实训课程及德生科技等企业内训和数据挖掘就业班的课程。组织、参与编写图书《》、《》、《r语言编程基础》等。 | |
| 律波 广东泰迪智能科技股份有限公司高级数据分析工程师，应用统计学硕士，有较强的统计学、数学、数据挖掘理论功底；精通r、python、power bi、excel等数据挖掘分析工具，具有丰富的培训和项目经验，擅长从数据中发掘规律，对数据具有较高的敏感度，逻辑思维能力强，擅长数据可视化，机器学习、深度学习等算法原理的实现，如神经网络、svm、决策树、贝叶斯等；负责"珠江数码大数据营销推荐应用"项目，完成标签库的构建及产品推荐模型；负责"京东电商产品评论情感分析"项目，完成了评论数据情感评价模型、lda主题模型的构建；通过项目案例的转换；负责多个本科类院校数据分析软件培训和毕业生数据分析培训，先后负责广西科技大学、闽江学院、广东石油化工、韩山师范学院、广西师范大学等数据分析软件培训及实训等。多次负责"泰迪杯"数据挖掘大赛题目的构思和实现、赛前培训。大数据专业系列图书编写委员会成员，负责《》、《python实训案例》、《excel可视化案例》等书籍编写工作。 | |
| 陈四德 广东泰迪智能科技股份有限公司高级，统计学专业，对数据统计分析和数据挖掘领域均有较强德理解和理论基础；有造价行业、游戏行业背景和丰富的项目经验，精通行业内的各种指标分析，擅于从多维度分析数据、逻辑性强；擅长python、r语言、mysql数据库等工具，能熟练对数据进行数据处理和分析，掌握常用的数据挖掘算法如分类、聚类等，以及深度学习tensorflow的使用。负责”网站会员流失预测“项目，完成数据处理，模型构建；负责”平台bi埋点数据入库及数据分析“项目，完成数据盘点、数据指标整理和把控；负责”游戏数据分析“项目，完成产出游戏生态日报、客户价值分群结果、用户流失的预警、用户画像指标的完善和维护，项目经验丰富。负责过西安交大城市学院、福建农林大学、国培师资培训、韩山师范学院数据分析就业班、湖南科技职业技术学院、武汉科技大学、广东机电职业技术学院国培、柳州城市职业技术学院第一届大数据职业技能竞赛指导、吉林大学珠海学院等培训项目，授课经验丰富。负责过”泰迪杯“数据挖掘挑战赛出题及赛题指导。大数据专业系列图书编写委员会成员，负责《keras与深度学习实战》、《python中文自然语言处理基础与实战》、《深度学习与计算机视觉实战》等书籍编写工作。 | |
| 焦正升，广东泰迪智能科技股份有限公司资深项目研发工程师、高级信息系统项目经理、高级软件开发工程师，拥有7年相关从业经验；致力于信息技术的应用与传播，信息系统产业的发展。精通java编程语言，熟悉spring boot、spring cloud等主流开发框架、mysql数据库、vue数据驱动渐进式框架等主流技术。参与《》、《》等图书的编写。拥有电力、电子政务、轻功环保、交通运输等多项领域的项目管理研发经验，项目团队为北京市信访办研发的”大数据助力智慧信访“系统获得第七届金铃奖-公共服务类”智能决策奖“。 | |
| 郑素铃，广东泰迪智能科技股份有限公司特聘讲师。从事大数据项目研发工作，对hadoop大数据技术有较深的研究，熟悉掌握hadoop环境部署和hadoop核心计算框架mapreduce的原理和应用。掌握spark原理机编程，熟悉使用spark的图计算graphx和算法库mllib。对非结构化数据hbase以及结构化数据库hive有深刻的了解。掌握数据挖掘和机器学习的常用算法，熟悉数据挖掘流程，具备项目开发经验，如”网站用户画像研究“和”法律服务智能推荐系统“项目，在推荐系统方面比较有研究。先后参与了《》、《》等图书编写工作。 | |
| 周津，广东泰迪智能科技股份有限公司高级大数据开发工程师，对hadoop生态圈技术有深入理解，熟悉掌握hadoop环境部署和hadoop核心计算框架mapreduce的原理和api应用，以及hdfs分布式文件系统存储结构。对hbase、hive数据库有深刻理解。掌握sparkcore、sparksql、sparkstreaming原理及编程，熟悉spark底层运行机制。曾深度参与江苏省纪委大数据平台与广东省公安厅电子数据取证大数据平台的开发和建设。 | |
| 吴嘉泳，广东泰迪智能科技股份有限公司大数据研发工程师，一线大数据研发工程师，对hadoop spark生态体系有深入研究，熟悉掌握hadoop环境部署和hadoop核心计算框架mapreduce的原理和应用。掌握spark原理及编程，熟悉使用spark的算法库mllib。对非结构化数据库hbase以及结构化数据库hive有深刻的了解。深度参与某电网公司内部客服优化系统开发，主要负责对系统中的海量文本数据进行处理和挖掘，利用spark hive和相应组件实现潜在规律地挖掘。参与编写1 x相关图书编写工作，参与《》、《》等图书编写。先后跟进负责第三期全国高校大数据与人工智能双师型骨干师资研修班和部分项目案例资源开发工作。 | |
| 叶丽凡，广东泰迪智能科技股份有限公司高级大数据开发工程师，对hadoop大数据技术有深入理解，熟悉hdfs分布式文件系统存储结构，熟练掌握hadoop环境部署和mapreduce计算框架编程。对hbase、hive数据库有深刻了解。掌握spark原理及编程，熟悉spark底层运行机制，冰熟练使用sparksql即使查询框架和sparkmllib算法库。深度参与过华南某广电公司大数据营销推荐系统开发，利用hadoop spark hive为其中的400多万用户生成用户画像。参与编写《》、《》等图书。跟进负责全国高校大数据与人工智能双师型骨干师资研修班、韩山师范学院等高校的大数据培训课程。 | |
| 温鼎，从事大数据研发工作，对hadoop生态圈相关组件技术有比较深的认识，掌握hadoop核心框架原理。熟练掌握hadoop、hive、flume等大数据核心组件的环境搭建和使用。同时对spark核心api core和sql&dataframe的使用有深刻的认识，掌握mllib算法库的应用。掌握数据挖掘和机器学习十大算法的应用。对数据有较强的敏感度，掌握常用机器学习算法原理。先后参与湖南商务职业技术学院hadoop模块考题开发，深圳职业计算学院pyspark大数据课程资源开发，广东技术师范大学hadoop大数据培训。 | |
| 陈晓枫，广东泰迪智能科技股份有限公司大数据研发工程师、大数据讲师。对hadoop生态圈相关组件技术有一定的理解，掌握hadoop核心框架原理。熟悉mapreduce编程，了解实时框架hbase、spark streaming和flink。参与《hadoop大数据应用（第2版）》、《（第2版）》、《大数据项目实战》等图书的编写和修改。曾参与多所院校教材资源开发工作。曾参与韩山师范学院3 1班等大数据培训课程。 |
四、证书颁发
学员经在线培训并考试合格后，可以获得本期专题相对应的职业技术证书。
五、报名须知
1、报名材料：报名申请表、身份证复印件、两寸近期正面免冠彩色半身证件照电子版(要求：白色背景底，14-20k大小的.jpg格式)。
2、本期研修班由广东泰迪智能科技股份有限公司收取费用并开具发票。
3、本期研修班两专题及以上联报者可享受九折优惠。
4、威斯尼斯人0907官方网站的联系方式
联系人：曾老师 电 话：13246821827
微 信：antonia602501 邮 箱：zengaizhi@tipdm.com
2022年第七期全国高校大数据与人工智能骨干师资研修班v1.5.pdf
全国高校大数据与人工智能师资研修班报名申请表
| 单位名称 | ||||||||
| 部门/院系 | ||||||||
| 通讯地址 | ||||||||
| 发票抬头 | 发票内容 | |||||||
| 纳税号 | 电子发票接收邮箱 | |||||||
| 联系人 | 电 话 | 邮 箱 | ||||||
| 以下表格中要求提供的信息为申报职业技术证书使用，请真实完整填写 | ||||||||
| 姓名 | 性别 | 职务 | 毕业院校 | 最高学历 | 手机号 | 身份证号 | 电子邮箱 | 专题选择 |
| 费用威斯尼斯人0907官方网站的支付方式 | 1、电汇到指定账户 2、扫描支付（报名后联系工作人员索要支付码） 3、付款时请注明”大数据研修班 单位或姓名“字样，方便查账备案 | |||||||
| 账号信息 | 账户名：广东泰迪智能科技股份有限公司 开户行：中国工商银行广州花城支行 账户名：3602 0285 0920 1663 221 | |||||||
| 备 注 | 请将报名表发送至邮箱：zengaizhi@tipdm.com 联系人：曾老师 13246821827 | |||||||
附件一 商务数据分析实战课程大纲
| 核心课程篇 | ||
| 时间 | 课程内容 | 学习平台 |
| 专题讲座 | ||
11月20日 18:30 - 22:00 | 主讲：方海涛 主题内容：随机最优控制与人工智能 | 泰迪云课堂 |
| 第一课 excel数据分析基础与实战 | ||
11月20日 18:30 - 22:00 | 1.1 认识数据分析 1.2 认识excel2016 2.1 获取文本数据 2.2 从数据库获取数据 3.1 排序 3.2 筛选 3.3 分类汇总 4.1 认识公式和函数 4.2 数组公式 4.3 日期和时间函数 4.4 数学函数 4.5 统计函数 4.6 文本函数 4.7 逻辑函数 5.1 透视表的创建和修改 5.2 透视表的操作 5.3 透视图的操作 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
11月21日 18:30 - 22:00 | 6.1 对比分析 6.2 趋势分析 6.3 饼图 6.4 散点图 6.5 雷达图 7.1 案例背景 7.2 数据预处理 8 商品销售分析 9 库存分析 10 用户分析 11 分析报告 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第二课 power bi数据分析与可视化 | ||
11月22日 18:30 - 22:00 | 1 数据分析与可视化概述 1.1 认识数据分析（power bi） 1.2 常用数据可视化软件 1.3 认识power bi 2 数据获取 2.1 获取数据的方式 2.2 数据获取 3 m语言数据建模与处理 3.1 编辑器和m语言 3.2 获取网络分页数据 3.3 清洗数据 3.4 数据集成 3.5 数据转换 3.6 规约数据 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
11月23日 18:30 - 22:00 | 4 dax语言数据处理 4.1 dax语言 4.2 dax语言处理表间关系 4.3 dax函数使用实例 4.4 数据查询操作 5 数据分析可视化 5.1 可视化 5.2 认识对比分析 5.3 对比分析图表绘制操作 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
11月24日 18:30 - 22:00 | 5.4 认识结构分析 5.5 结构分析可视化操作 5.6 相关分析 5.7 相关分析可视化操作 5.8 描述性分析 5.9 描述性分析可视化操作 5.10 kpi图表分析 5.11 kpi分析可视化操作 6 数据分析报表 6.1 认识power bi报表 6.2 完整的分析报表：会员数据分析 6.3 完整分析报表的操作 7 power bi移动版数据部署 7.1 移动版发布一份分析报表 7.2 仪表板的使用 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第三课 上市企业财务指标及仪表盘综合分析(excel) | ||
11月25日 18:30 - 22:00 | 1 案例背景和分析目标及流程 2 获取综合分析指标数据 3 筛选综合分析指标数据 4 财务指标及仪表盘综合分析 4.1 资产结构和每股指标分析 4.2 财务风险分析 4.3 盈利能力分析 4.4 营运能力分析 4.5 成长能力和其他综合指标分析 4.6 财务指标分析仪表盘制作 5 分析报告 5.1 背景和目的 5.2 分析方法及结果 5.3 综合分析 5.4 总结和建议 6 小结 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第四课 实战案例：汽车大数据综合案例分析(power bi) | ||
11月26日 18:30 - 22:00 | 1 背景介绍 2 分析目标 3 数据分析可视化 3.1 读取数据 3.2 数据预处理 3.3 了解数据基础情况 3.4 统计年度销量和环比增长率 3.5 年度销量和环比增长数据可视化 3.6 构建不同车类销量透视表 3.7 不同车类销量数据可视化 3.8 不同车类&级别数据可视化结果解读 3.9 统计年度销量规模和环比增长率 3.10 年度销售规模和环比增长率数据可视化 3.11 不同价位车辆销售数据可视化 3.12 不同价位车辆销量占比分析 3.13 不同车系销量可视化分析 3.14 热销品牌top5统计 4 图表整理与小结 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第五课 实战案例：新零售智能售货机可视化项目（power bi） | ||
11月27日 18:30 - 22:00 | 1 案例背景 2 数据预处理 2.1 数据读取与数据清洗 2.2 数据规约 2.3 数据建模 3 销售分析及可视化 4 库存分析和可视化 5 用户分析和可视化 6 数据部署 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第六课 实战案例：广东采购数据分析(excel) | ||
11月28日 18:30 - 22:00 | 1 背景与挖掘目标 2.1 数据读取、合并 2.2 数据筛选、缺失值处理、数据排序 2.3 采购渠道、时间、数据保存 3.1.1 渠道内部构成分析 3.1.2 渠道外部构成分析 3.2 行业内外部构成分析 3.3.1 各行业不同渠道采购额随年份的变化趋势 3.3.2 各行业不同渠道采购额随月份、季度的变化趋势 4 小结 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第七课 在线考试 | ||
11月29日 19:00 - 21:00 | 高级大职业技术证书在线考试 | 泰迪云课堂 |
附件二 数据采集与处理实战（python）课程大纲
| 基础篇（报名成功后即可开始学习） | ||||
| 时间 | 课程内容 | 学习平台 | ||
| 正式培训前 | 1.1 认识python 2.1.1 编写第一个python程序 2.1.2 缩进代码 2.2.1 字符串基本操作 2.2.2 字符串的索引及切片操作 2.2.3 任务实现-字符串与数值处理 2.3.1 python常用运算符介绍 2.3.2 任务实现-计算圆形的各参数 3.1 认识python数据结构 3.2.1 创建列表 3.2.2 列表索引及切片操作 3.2.3 为列表添加元素 3.2.4 列表元素的删除及修改操作 3.2.5 列表推导式 3.2.6 任务实现-求解曲边图形面积 3.3.1 创建字典 3.3.2 字典的增删改查操作 3.3.3 任务实现-单词词频统计 4.1.1 考试成绩等级划分-任务描述 4.1.2 条件判断及分支语句 4.1.3 try-except语句 4.1.4 任务实现-考试成绩等级划分 4.2.1 循环语句 4.2.2 任务实现-实现一组数的连加与连乘操作 4.3 冒泡排序法排序 5.1.1 使用def定义函数 5.1.2 任务实现-自定义求列表均值的函数 5.2 使用lambda创建匿名函数 5.3 存储并导入函数模块 6.1 认识面向对象 6.2.1 创建human类 6.2.2 创建对象 7.1.1 读取文件数据 7.1.2 任务实现-文件数据读取及词频统计 7.2 将数据写入文件 8 模块和第三方库 | 泰迪云课堂 | ||
| 正式培训前 | 1 python数据分析概述 1.1 认识数据分析 1.2 熟悉python数据分析的工具 1.3 安装anaconda与掌握jupyter notebook常用功能 2 numpy数值计算 2.1 掌握numpy数组对象 2.1.1 numpy简介 2.1.2 数组创建及基础属性 2.1.3 初识数组的特点 2.1.4 创建常用数组 2.1.5 数组数据类型 2.1.6 生成随机数 2.1.7 一维数组的索引 2.1.8 逻辑型索引 2.1.9 多维数组的索引 2.1.10 求解距离矩阵 2.1.11 变化数据shape 2.2 掌握numpy矩阵与通用函数 2.2.1 numpy矩阵介绍 2.2.2 numpy通用函数介绍 2.2.3 通用函数的广播机制 2.3 利用numpy进行统计分析 2.3.1 numpy读写二进制文件 2.3.2 numpy读写txt文件 2.3.3 利用numpy对数据进行简单统计分析 | 泰迪云课堂 | ||
| 核心课程篇 | ||||
| 时间 | 课程内容 | 学习平台 | ||
| 专题讲座 | ||||
11月20日 18:30 - 22:00 | 主讲：方海涛 主题内容：随机最优控制与人工智能 | 泰迪云课堂 | ||
| 第一课 pandas数据分析基础 | ||||
11月20日 18:30 - 22:00 | 1 pandas统计分析基础 1.1 pandas简介 1.2 读写不同数据源的数据 1.2.1 pandas读取文本数据 1.2.2 存储数据框 1.2.3 pandas 读取 excel 文件 1.2.4 将数据框存储为 excel 文件 1.3 数据框与数据框元素 1.3.1 构建数据框 1.3.2 查看数据框的常用属性 1.3.3 按行列顺序访问数据框中的元素 1.3.4 按行列名称访问数据框中的元素 1.3.5 修改数据框中的元素 1.3.6 删除数据框中的元素 1.3.7 描述分析数据框中的元素 1.4 转换成时间类型数据 1.4.2 时间类型数据发常用操作 1.5 使用分组聚合进行组内计算 1.5.1 groupby 分组操作 1.5.2 agg 聚合操作 1.6 创建透视表与交叉表 1.6.1 生成透视表 1.6.2 生成交叉表 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月21日 18:30 - 22:00 | 2 使用pandas进行数据预处理 2.1 合并数据 2.1.1 表堆叠 2.1.2 主键合并 2.1.3 重叠合并 2.2 清洗数据 2.2.1 检测与处理重复值 2.2.2 检测与处理缺失值 2.2.3 检测与处理异常值 2.3 标准化数据 2.4 转换数据 2.4.1 哑变量处理 2.4.2 离散化连续型数据 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第二课 python数据可视化 | ||||
11月22日 18:30 - 22:00 | 1.1 matplotlib 绘制流程说明 1.2 添加文本和修改绘图风格 1.3 rc 参数 1.4 散点图 1.5 折线图 1.6 直方图和条形图 1.7 饼图 1.8 箱型图 1.9 人口特征间分布 1.10 人口各个特征分布 2.1 pyecharts 基础介绍 2.2 pyecharts 绘制日历图 2.3 pyecharts 绘制漏斗图 2.4 pyecharts 绘制仪表盘 2.5 pyecharts 绘制水球图 2.6 pyecharts 绘制关系图 2.7 pyecharts 绘制直角坐标系图表 2.8 pyecharts 绘制饼图 2.9 pyecharts 绘制雷达图 2.10 pyecharts 绘制词云图 2.11 pyecharts 绘制柱状图 2.12 pyecharts 绘制树形图 2.13 pyecharts 绘制地理图表 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 拓展自学篇 | ||||
| 自行安排 | 3.1 seaborn 基础介绍 3.2 seaborn 简单绘图 3.3 seaborn 绘图风格 3.4 调色板 1 3.5 调色板 2 3.6 关系图 3.7 分类图 3.8 分布图 3.9 回归图 3.10 矩阵图 3.11 网格图 | 泰迪云课堂 | ||
| 第三课 python网络爬虫实战 | ||||
11月23日 18:30 - 22:00 | 1 python 爬虫环境与爬虫简介 1.1 认识爬虫 1.1.1 常见网上冲浪过程 1.1.2 爬虫的概念 1.1.3 爬虫的合法性 1.2 认识反爬虫 1.3 配置 python 爬虫环境 2 网页前端基础 2.1 认识网格信息传输过程 2.1.1 网络传输模型 2.1.2 网络信息传输过程 2.2 认识 http 2.2.1 认识 http 2.2.2 熟悉cookie 3 简单静态网页爬取 3.1 认识静态网页 3.2 实现http请求 3.2.1 创建工程 2.2.2 生成http请求 3.2.3 完善http请求 3.3 解析网页 3.3.1 为什么要解析网页 3.3.2 初识xpath 3.3.3 xpath 相对路径及属性查找 3.3.4 使用 beautifulsoup 解析网页 3.3.5 网页解析小结 3.4 存储数据 3.4.1 认识 chrome 开发者工具 3.4.2 任务演练：爬取并存储泰迪科技威尼斯5139手机版官网威尼斯5139手机版首页数据 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月24日 18:30 - 22:00 | 4 认识动态网页 4.1 认识动态网页 4.2 逆向分析爬取动态网页 4.2.1 通过网页源码追踪目标数据文件地址 4.2.2 通过开发者工具追踪目标数据文件地址 4.2.3 爬取数据并进行保存 4.3 使用 selenium 库爬取动态网页 4.3.1 搭建 selenium 环境 4.3.2 利用 selenium 获取网页数据 4.3.3 利用 selenium 控制点击操作 5 模拟登录 5.1 使用表单登录方法实现模拟登录 5.1.1 模拟登录的过程 5.1.2 查找提交入口和表单数据 5.1.3 提交表单完成模拟登录 5.1.4 使用表单登录的注意事项 5.2 使用cookie 登录方法实现模拟登录 5.3 使用 selenium 模拟登录 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月25日 18:30 - 22:00 | 6 scrapy 爬虫 6.1 认识 scrapy 6.2 通过 scrapy 爬取基本页面信息 6.2.1 创建项目 6.2.2 指定字段及创建 spiders 6.2.3 完成 spiders 编写 6.2.4 运行程序保存数据 6.3 通过 scrapy 抓取跳转页面数据 6.3.1 任务介绍及项目创建 6.3.2 获取所有页面的 url 6.3.3 获取每个页面的新闻二次页面 url 6.3.4 提取各新闻二次页面中的目标数据 6.3.5 运行程序保存数据 7. 拓展：终端协议及爬取工具介绍 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第四课 数据采集与处理实战： python爬虫助力疫情数据追踪 | ||||
11月26日 18:30 - 22:00 | 1 背景与目标 2 数据爬取 2.1 数据来源介绍 2.2 定位国内疫情数据位置 2.3 爬取国内疫情数据 3 数据处理 3.1 解析各省数据 3.2 解析各城市数据 3.3 存储国内疫情数据 3.4 获取并保存海外疫情数据 4 数据可视化 4.1 国内疫情数据可视化准备 4.2 绘制大陆地区新增确诊人数分布图 4.3 绘制风险地区数量分布图 4.4 绘制交互图 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第五课 数据采集与处理实战：《红海行动》b站弹幕采集与分析 | ||||
11月27日 18:30 - 22:00 | 1 背景与目标 2 数据采集 2.1 定位弹幕数据文件的位置 2.2 采集弹幕数据 2.3 解析及保存弹幕数据 2.4 弹幕数据采集小结 3 数据处理与分析 3.1 对弹幕内容进行分词 3.2 去除停用词 3.3 统计词频 3.4 绘制词云图 3.5 处理弹幕发送时间数据 3.6 弹幕发布数量分布图 3.7 弹幕发布数量随日期变化图 3.8 其它图形绘制 3.9 从弹幕数量变化看影片情节特点 4 总结 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第六课 数据采集与处理实战：泰迪内推平台招聘信息采集与分析 | ||||
11月28日 18:30 - 22:00 | 1 背景与目标 2 数据采集 2.1 网页结构探索 2.2 定位一级页面数据地址 2.3 爬取及解析一级页面数据 2.4 提取一级页面字段 2.5 定位二级页面数据地址 2.6 爬取及解析二级页面数据 2.7 翻页爬取及数据保存 3 数据处理 3.1 读取已爬取完成的数据 3.2 数据预处理操作 4 分析与可视化 4.1 招聘岗位对学历要求分析 4.2 各行业的大数据招聘需求数量分析 4.3 不同类型公司的薪资待遇分析 4.4 小结 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 拓展自学篇：网站图像素材采集实战 | ||||
| 自行安排 | 1 思路介绍 2 单个图片文件爬取 3 获取一个页面所有图片网址 4 保存所有图片 5 翻页爬取更多数据 6 pdf 文件规律及问题 7 pdf 翻页刷新的网址规律 8 获取当前页所有图片网址 9 翻页刷新爬取所有图片 10 图片拼接成 pdf 文件 | 泰迪云课堂 | ||
| 第七课 在线考试 | ||||
11月29日 19:00 - 21:00 | 高级python技术应用工程师职业技术在线考试 | 泰迪云课堂 | ||
附件三 大数据分析与机器学习实战（python）课程大纲
| 基础篇（报名成功后即可开始学习） | ||||
| 时间 | 课程内容 | 学习平台 | ||
| 正式培训前 | 1.1 认识python 2.1.1 编写第一个python程序 2.1.2 缩进代码 2.2.1 字符串基本操作 2.2.2 字符串的索引及切片操作 2.2.3 任务实现-字符串与数值处理 2.3.1 python常用运算符介绍 2.3.2 任务实现-计算圆形的各参数 3.1 认识python数据结构 3.2.1 创建列表 3.2.2 列表索引及切片操作 3.2.3 为列表添加元素 3.2.4 列表元素的删除及修改操作 3.2.5 列表推导式 3.2.6 任务实现-求解曲边图形面积 3.3.1 创建字典 3.3.2 字典的增删改查操作 3.3.3 任务实现-单词词频统计 4.1.1 考试成绩等级划分-任务描述 4.1.2 条件判断及分支语句 4.1.3 try-except语句 4.1.4 任务实现-考试成绩等级划分 4.2.1 循环语句 4.2.2 任务实现-实现一组数的连加与连乘操作 4.3 冒泡排序法排序 5.1.1 使用def定义函数 5.1.2 任务实现-自定义求列表均值的函数 5.2 使用lambda创建匿名函数 5.3 存储并导入函数模块 6.1 认识面向对象 6.2.1 创建human类 6.2.2 创建对象 7.1.1 读取文件数据 7.1.2 任务实现-文件数据读取及词频统计 7.2 将数据写入文件 8 模块和第三方库 | 泰迪云课堂 | ||
| 正式培训前 | 1 python数据分析概述 1.1 认识数据分析 1.2 熟悉python数据分析的工具 1.3 安装anaconda与掌握jupyter notebook常用功能 2 numpy数值计算 2.1 掌握numpy数组对象 2.1.1 numpy简介 2.1.2 数组创建及基础属性 2.1.3 处师数组的特点 2.1.4 常见常用数组 2.1.5 数组数据类型 2.1.6 生成随机数 2.1.7 一维数组的索引 2.1.8 逻辑型索引 2.1.9 多维数组的索引 2.1.10 求解距离矩阵 2.1.11 变化数据shape 2.2 掌握numpy矩阵与通用函数 2.2.1 numpy矩阵介绍 2.2.2 numpy通用函数介绍 2.2.3 通用函数的广播机制 2.3 利用numpy进行统计分析 2.3.1 numpy读写二进制文件 2.3.2 numpy读写txt文件 2.3.3 利用numpy对数据进行简单统计分析 | 泰迪云课堂 | ||
| 核心课程篇 | ||||
| 时间 | 课程内容 | 学习平台 | ||
| 专题讲座 | ||||
11月21日 18:30 - 22:00 | 主讲：方海涛 主题内容：随机最优控制人工智能 | 泰迪云课堂 | ||
| 第一课 pandas数据分析基础 | ||||
11月21日 18:30 - 22:00 | 1 pandas 统计分析基础 1.1 pandas 简介 1.2 读写不同数据源的数据 1.2.1 pandas 读取文本数据 1.2.2 存储数据框 1.2.3 pandas 读取 excel 文件 1.2.4 将数据框存储为 excel 文件 1.3 数据框与数据框元素 1.3.1 构建数据框 1.3.2 查看数据框的常用属性 1.3.3 按行列顺序访问数据框中的元素 1.3.4 按行列名称访问数据框中的元素 1.3.5 修改数据框中的元素 1.3.6 删除数据框中的元素 1.3.7 描述分析数据框中的元素 1.4 转换与处理时间序列数据 1.4.1 转换成时间类型数据 1.4.2 时间类型数据的常用操作 1.5 使用分组聚合进行组内计算 1.5.1 groupby 分组操作 1.5.2 agg 聚合操作 1.6 创建透视表与交叉表 1.6.1 生成透视表 1.6.2 生成交叉表 2 使用 pandas 进行数据预处理 2.1 合并数据 2.1.1 表堆叠 2.1.2 主键合并 2.1.3 重叠合并 2.2 清洗数据 2.2.1 检测与处理重复值 2.2.2 检测与处理缺失值 2.2.3 检测与处理异常值 2.3 标准化数据 2.4 转换数据 2.4.1 哑变量处理 2.4.2 离散化连续型数据 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第二课 python数据可视化 | ||||
11月22日 18:30 - 22:00 | 1.1 matplotlib 绘制流程说明 1.2 添加文本和修改绘图风格 1.3 rc 参数 1.4 散点图 1.5 折线图 1.6 直方图和条形图 1.7 饼图 1.8 箱线图 1.9 人口特征间分布 1.10 人口各个特征分布 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 拓展自学篇 | ||||
| 自行安排 | 2.1 pyecharts 基础介绍 2.2 pyecharts 绘制日历图 2.3 pyecharts 绘制漏斗图 2.4 pyecharts 绘制仪表盘 2.5 pyecharts 绘制水球图 2.6 pyecharts 绘制关系图 2.7 pyecharts 绘制直角坐标系图表 2.8 pyecharts 绘制饼图 2.9 pyecharts 绘制雷达图 2.10 pyecharts 绘制词云图 2.11 pyecharts 绘制柱状图 2.12 pyecharts 绘制树形图 2.13 pyecharts 绘制地理图表 3.1 seaborn 基础介绍 3.2 seaborn 简单绘图 3.3 seaborn 绘图风格 3.4 调色板 1 3.5 调色板 2 3.6 关系图 3.7 分类图 3.8 分布图 3.9 回归图 3.10 矩阵图 3.11 网格图 | 泰迪云课堂 | ||
| 第三课 python机器学习算法原理与实现 | ||||
11月23日 18:30 - 22:00 | 1 机器学习绪论 1.1 引言 1.2 基本术语 1.3 假设空间&归纳偏好 2 模型评估与选择 2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 性能度量python实现 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月24日 18:30 - 22:00 | 3 回归分析 3.1 线性回归基本形式 3.2 线性回归模型的python实现 3.3 波士顿房价预测的python实现 3.4 逻辑回归介绍 3.5 研究生入学录取预测的python实现 4 决策树 4.1 从女生相亲到决策树 4.2 明天适合打球吗 4.3 决策树拆分属性选择 4.4 决策树算法家族 4.5 泰坦尼克号生还者预测—数据预处理 4.6 泰坦尼克号生还者预测—模型构建与预测 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月25日 18:30 - 22:00 | 5 人工神经网络 5.1 单个神经元介绍 5.2 经典网络结构接收 5.3 神经网络工作流程演示 5.4 如何修正网络参数-梯度下降法 5.5 网格工作原理推导 5.6 网络搭建准备 5.7 样本从输入层到隐层传输的python实现 5.8 网络输出的python实现 5.9 单样本网络训练的python实现 5.10 全样本网络训练的python实现 5.11 网络性能评价 5.12 调用 sklearn 实现神经网络算法 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月26日 18:30 - 22:00 | 6 最近邻算法（knn） 6.1 knn 算法介绍 6.2 knn 算法解决鸢尾花分类问题 7 朴素贝叶斯 7.1 非洲人还是北美人 7.2 为什么有“朴素”二字 7.3 拉普拉斯修正 7.4 用高斯朴素贝叶斯算法解决鸢尾花分类问题 8 聚类分析 8.1 聚类分析概述 8.2 相似性度量 8.3 k-means 聚类分析算法介绍 8.4 利用k-means 算法对鸢尾花进行聚类 8.5 聚类结果的性能度量 8.6 调用 sklearn 实现聚类分析 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 拓展自学篇 | ||||
| 自行安排 | 9 支持向量机 9.1 间隔与支持向量 9.2 对偶问题 9.3 核函数 9.4 软间隔与正则化 9.5 支持向量机算法的python实现 10 集成学习 10.1 集成学习基本概念 10.2 并行集成算法-bagging&randomforest 10.3 串行集成算法-boosting 算法流程 10.4 串行集成算法-boosting 代码实现 10.5 stacking 算法流程 10.6 stacking 代码实现 | 泰迪云课堂 | ||
| 第四课 实战案例：运营商流失用户分析 | ||||
11月27日 18:30 - 22:00 | 1.1 背景与目标 1.2 案例思路分析 2.1 数据探索 2.2 数据去重及删除无关属性 2.3 用户分组及标签构建 2.4 提取用户基本信息和在网时长 2.5 处理合约是否有效 2.6 处理合约计划到期时间 2.7 其余变量处理 2.8 特征拼接及缺失值处理 2.9 数据保存 3.1 特征选择介绍 3.2 皮尔逊特征选择 3.3 处理样本类别不均衡问题 4.1 模型性能评估介绍 4.2 模型构建及性能评估 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第五课 实战案例：网络入侵用户自动识别 | ||||
11月28日 18:30 - 22:00 | 1 背景与分析目标 2 数据预处理 2.1 数据探索 2.2 数据抽取 2.3 数据预处理 3 构建特征 3.1 数据划分 3.2 决策树模型 3.2.1 模型介绍 3.2.2 模型训练及预测 3.3 随机森林树模型 3.3.1 模型介绍 3.3.2 模型训练及预测 3.4 集成学习 3.4.1 集成学习介绍 3.4.2 集成学习的训练及预测 4 模型评价 4.1 混淆矩阵 4.2 f1值 5 小结 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第六课 综合实战：o2o优惠券使用预测 | ||||
11月29日 18:30 - 22:00 | 1 背景与目标 2.1 线下训练集数据介绍 2.2 线上训练集数据介绍 2.3 测试数据介绍 2.4 项目流程介绍 3.1 构建正样本 3.2 构架负样本 3.3 构建样本标签 4.1 特征构建介绍 4.2 处理discount_rate列 4.3 特征1-折扣率 4.4 特征2-商户与用户之间的距离 5.1 建模前数据准备 5.2 初级模型构建 5.3 roc曲线与auc值 5.4 模型性能评估 5.5 训练函数封装 5.6 模型预测 5.7 预测函数封装 6.1 特征3-优惠券流行度 6.2 特征4-用户在商家中的消费次数 6.3 如何进行特征拼接 6.4 拼接训练集的特征3&4 6.5 拼接测试及的特征3&4 7.1 模型训练 7.2 预测 7.3 代码整理 7.4 结果提交 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第七课 泰迪内推平台信息精准推荐应用（基于泰迪建模平台实现） | ||||
11月30日 18:30 - 22:00 | 1 背景与目标 2 目标分析 2.1 推荐思路分析 2.2 基于物品的协同过滤推荐介绍 3 工程实现 3.1 eb工具登录及简介 3.2 创建空白工程 3.3 导入数据 3.4 筛选正文数据 3.5 字符替换及记录去重 3.6 划分训练集用户和测试集用户 3.7 构造训练集和测试集数据 3.8 构建模型 3.9 推荐集性能评估 4 小结 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第八课 在线考试 | ||||
12月01日 19:00 - 21:00 | 高级机器学习工程师职业技术在线考试 | 泰迪云课堂 | ||
附件四 深度学习（mindspore）课程大纲
| 基础篇（报名成功后即可开始学习） | ||||
| 时间 | 课程内容 | 学习平台 | ||
| 正式培训前 | 1.1 认识python 2.1.1 编写第一个python程序 2.1.2 缩进代码 2.2.1 字符串基本操作 2.2.2 字符串的索引及切片操作 2.2.3 任务实现-字符串与数值处理 2.3.1 python常用运算符介绍 2.3.2 任务实现-计算圆形的各参数 3.1 认识python数据结构 3.2.1 创建列表 3.2.2 列表索引及切片操作 3.2.3 为列表添加元素 3.2.4 列表元素的删除及修改操作 3.2.5 列表推导式 3.2.6 任务实现-求解曲边图形面积 3.3.1 创建字典 3.3.2 字典的增删改查操作 3.3.3 任务实现-单词词频统计 4.1.1 考试成绩等级划分-任务描述 4.1.2 条件判断及分支语句 4.1.3 try-except语句 4.1.4 任务实现-考试成绩等级划分 4.2.1 循环语句 4.2.2 任务实现-实现一组数的连加与连乘操作 4.3 冒泡排序法排序 5.1.1 使用def定义函数 5.1.2 任务实现-自定义求列表均值的函数 5.2 使用lambda创建匿名函数 5.3 存储并导入函数模块 6.1 认识面向对象 6.2.1 创建human类 6.2.2 创建对象 7.1.1 读取文件数据 7.1.2 任务实现-文件数据读取及词频统计 7.2 将数据写入文件 8 模块和第三方库 | 泰迪云课堂 | ||
| 正式培训前 | 1 python数据分析概述 1.1 认识数据分析 1.2 熟悉python数据分析的工具 1.3 安装anaconda与掌握jupyter notebook常用功能 2 numpy数值计算 2.1 掌握numpy数组对象 2.1.1 numpy简介 2.1.2 数组创建及基础属性 2.1.3 处师数组的特点 2.1.4 常见常用数组 2.1.5 数组数据类型 2.1.6 生成随机数 2.1.7 一维数组的索引 2.1.8 逻辑型索引 2.1.9 多维数组的索引 2.1.10 求解距离矩阵 2.1.11 变化数据shape 2.2 掌握numpy矩阵与通用函数 2.2.1 numpy矩阵介绍 2.2.2 numpy通用函数介绍 2.2.3 通用函数的广播机制 2.3 利用numpy进行统计分析 2.3.1 numpy读写二进制文件 2.3.2 numpy读写txt文件 2.3.3 利用numpy对数据进行简单统计分析 3 pandas统计分析基础 3.1 读写不同数据源的数据 3.2.1 pandas读取文本数据 3.2.2 存储数据框 3.2.3 pandas读取excel文件 3.2.4 将数据框存储为excel文件 3.3 数据框与数据框元素 3.3.1 构建数据框 3.3.2 查看数据框的常用属性 3.3.3 按行列顺序访问数据框中的元素 3.3.4 按行列名称访问数据框中的元素 3.3.5 修改数据框中的元素 3.3.6 删除数据框中的元素 3.3.7 描述分析数据框中的元素 3.4 转换与处理时间序列数据 3.4.1 转换成时间类型数据 3.4.2 时间类型数据的常用操作 4.5 使用分组聚合进行组内计算 4.5.1 groupby分组操作 4.5.2 agg聚合操作 4.6 创建透视表与交叉表 4.6.1 生成透视表 4.6.2 生成交叉表 5 使用pandas进行数据预处理 5.1 合并数据 5.1.1 表堆叠 5.1.2 主键合并 5.1.3 重叠合并 5.2 清洗数据 5.2.1 检测与处理重复值 5.2.2 检测与处理缺失值 5.2.3 检测与处理异常值 5.3 标准化数据 5.4 转换数据 5.4.1 哑变量处理 5.4.2 离散化连续型数据 | 泰迪云课堂 | ||
| 核心课程篇 | ||||
| 时间 | 课程内容 | 学习平台 | ||
| 专题讲座 | ||||
11月21日 18:30 - 22:00 | 主讲：方海涛 主题内容：随机最优控制与人工智能 | 泰迪云课堂 | ||
| 第一课 python机器学习算法原理与实现 | ||||
11月21日 18:30 - 22:00 | 1 机器学习绪论 1.1 引言 1.2 基本术语 1.3 假设空间&归纳偏好 2 模型评估与选择 2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 性能度量 python 实现 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月22日 18:30 - 22:00 | 3 回归分析 3.1 线性回归基本形式 3.2 线性回归模型的 python 实现 3.3 波士顿房价预测的 python 实现 3.4 逻辑回归介绍 3.5 研究生入学录取预测的 python 实现 4.1 单个神经元介绍 4.2 经典网络结构介绍 4.3 神经网络工作流程演示 4.4 如何修正网络参数-梯度下降法 4.5 网络工作原理推导 4.6 网络搭建准备 4.7 样本从输入层到隐层传输的 python 实现 4.8 网络输出的 python 实现 4.9 单样本网络训练的 python 实现 4.10 全样本网络训练的 python 实现 4.11 网络性能评价 4.12 调用 sklearn 实现神经网络算法 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第二课 mindspore框架基础实战 | ||||
11月23日 18:30 - 22:00 | 1 任务1：构建一个线性模型 1.1 mindspore介绍 1.2 mindspore常用数据类型和操作 1.3 初始化模型 1.4 构建损失函数 1.5 模型训练及可视化 1.6 使用高阶 api-keras 2 任务2：mindspore手写数字识别 2.1 数据读取及探索 2.2 数据预处理 2.3 模型构建 2.4 模型训练与保存 2.5 模型调用及推理 | 泰迪云课堂 | ||
| 操作演练 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第三课 mindspore深度学习原理与实现 | ||||
11月24日 18:30 - 22:00 | 1.1 深度神经网络-引言 2 卷积神经网络cnn 2.1 浅层神经网络的局限 2.2 卷积操作 2.3 卷积操作的优势 2.4 池化及全连接 2.5 高维输入及多 filter 卷积 2.6 实现卷积操作 2.7 实现池化操作 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
11月25日 18:30 - 22:00 | 3 循环神经网络 rnn 3.1 循环神经网络简介 3.2 循环神经网络的常见结构 4 长短时记忆网络 lstm 4.1 lstm 的三个门 4.2 lstm 三个门的计算示例 4.3 实现 mnist 手写数字识别 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第四课 案例实战：脑pet图像分析和疾病预测 | ||||
11月26日 18:30 - 22:00 | 1 背景与目标 2 数据处理 2.1 图像读取及尺寸调整 2.2 图像增强之翻转操作 2.3 图像增强之旋转缩放 2.4 获取所有照片路径 2.5 批量获取照片数据 2.6 将数据处理过程封装成函数 3 模型构建 3.1 模型介绍 3.2 搭建第一次卷积结构 3.3 完成模型搭建 3.4 模型训练 4 模型性能评估 4.1 模型性能评估及预测 4.2 小结 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第五课 案例实战：新冠疫情期间网民情绪识别 | ||||
11月27日 18:30 - 22:00 | 1 背景与目标 2 数据准备 2.1 数据基本介绍 2.2 词嵌入介绍 2.3 进行词向量训练 2.4 构建词向量矩阵 2.5 获取编码后的语料库 2.6 对各样本执行padding操作 2.7 拆分数据并将其转为模型所需格式 3 构建模型 3.1 定义embedding层算子 3.2 定义lstm层算子 3.3 定义全链接层算子 3.4 定义网络计算流程 3.5 创建rnn网络并进行相应配置 4 模型训练与性能评估 5 小结 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第六课 案例实战：基于深度学习的问政留言分类 | ||||
11月28日 18:30 - 22:00 | 1 了解网络问政的背景与识别方法 2 问政留言的文本预处理 2.1 数据探索分析 2.2 数据整理 2.3 数据清洗与合并 3 文本词向量提取 3.1 分词和去停用词 3.2 各类样本的词云图 3.3 词向量提取 4 构建基于深度学习的文本分类模型 4.1 模型介绍 4.2 模型构建 4.3 模型评估 5 小结 | 泰迪云课堂 | ||
| 操作演练/作业 | 个人pc | |||
| 在线答疑 | 微信群 | |||
| 第七课 在线考试 | ||||
11月29日 19:00 - 21:00 | 高级大数据技术应用职业技术在线考试 | 泰迪云课堂 | ||
附件五 计算机视觉实战（tensorflow2）课程大纲
| 基础篇(报名成功后即可开始学习) | ||
| 时间 | 课程内容 | 学习平台 |
| 正式培训前 | 1.1 认识python 2.1.1 编写第一个python程序 2.1.2 缩进代码 2.2.1 字符串基本操作 2.2.2 字符串的索引及切片操作 2.2.3 任务实现-字符串与数值处理 2.3.1 python常用运算符介绍 2.3.2 任务实现-计算圆形的各参数 3.1 认识python数据结构 3.2.1 创建列表 3.2.2 列表索引及切片操作 3.2.3 为列表添加元素 3.2.4 列表元素的删除及修改操作 3.2.5 列表推导式 3.2.6 任务实现-求解曲边图形面积 3.3.1 创建字典 3.3.2 字典的增删改查操作 3.3.3 任务实现-单词词频统计 4.1.1 考试成绩等级划分-任务描述 4.1.2 条件判断及分支语句 4.1.3 try-except语句 4.1.4 任务实现-考试成绩等级划分 4.2.1 循环语句 4.2.2 任务实现-实现一组数的连加与连乘操作 4.3 冒泡排序法排序 5.1.1 使用def定义函数 5.1.2 任务实现-自定义求列表均值的函数 5.2 使用lambda创建匿名函数 5.3 存储并导入函数模块 6.1 认识面向对象 6.2.1 创建human类 6.2.2 创建对象 7.1.1 读取文件数据 7.1.2 任务实现-文件数据读取及词频统计 7.2 将数据写入文件 8 模块和第三方库 | 泰迪云课堂 |
| 正式培训前 | 1 python数据分析概述 1.1 认识数据分析 1.2 熟悉python数据分析的工具 1.3 安装anaconda与掌握jupyter notebook常用功能 2 numpy数值计算 2.1 掌握numpy数组对象 2.1.1 numpy简介 2.1.2 数组创建及基础属性 2.1.3 处师数组的特点 2.1.4 常见常用数组 2.1.5 数组数据类型 2.1.6 生成随机数 2.1.7 一维数组的索引 2.1.8 逻辑型索引 2.1.9 多维数组的索引 2.1.10 求解距离矩阵 2.1.11 变化数据shape 2.2 掌握numpy矩阵与通用函数 2.2.1 numpy矩阵介绍 2.2.2 numpy通用函数介绍 2.2.3 通用函数的广播机制 2.3 利用numpy进行统计分析 2.3.1 numpy读写二进制文件 2.3.2 numpy读写txt文件 2.3.3 利用numpy对数据进行简单统计分析 3 matplotlib数据可视化基础 3.1 掌握绘图基础语法与常用参数 3.1.1 matplotlib介绍 3.1.2 基础图形绘制 3.1.3 常用参数设置 3.2 分析特征间关系 3.2.1 绘制散点图 3.2.2 散点图参数设置 3.2.3 绘制折线图 3.3 分析特征内部数据分布与分散情况 3.3.1 绘制饼图 3.3.2 绘制箱线图 4 pandas统计分析基础 4.1 pandas简介 4.2 读写不同数据源的数据 4.2.1 pandas读取文本数据 4.2.2 存储数据框 4.2.3 pandas读取excel文件 4.2.4 将数据狂存储为excel文件 4.3 数据框与数据元素 4.3.1 构建数据框 4.3.2 查看数据框的常用属性 4.3.3 按行列顺序访问数据框中的元素 4.3.4 按行列名称访问数据框中的元素 4.3.5 修改数据框中的元素 4.3.6 删除数据框中的元素 4.3.7 描述分析数据框中的元素 4.4 转换与处理时间序列数据 4.4.1 转换成时间类型数据 4.4.2 时间类型数据的常用操作 4.5 使用分子聚合进行组内计算 4.5.1 groupby分组操作 4.5.2 agg聚合操作 4.6 创建透视表与交叉表 4.6.1 生成透视表 4.6.2 生成交叉表 5 使用pandas进行数据预处理 5.1 合并数据 5.1.1 表堆叠 5.1.2 主键合并 5.1.3 重叠合并 5.2 清洗数据 5.2.1 检测与处理重复值 5.2.2 检测与处理缺失值 5.2.3 检测与处理异常值 5.3 标准化数据 5.4 转换数据 5.4.1 哑变量处理 5.4.2 离散化连续型数据 | 泰迪云课堂 |
| 核心课程篇 | ||
| 时间 | 课程内容 | 学习地点 |
| 专题讲座 | ||
11月21日 18:30 - 22：00 | 主讲：方海涛 主题内容：随机最优控制与人工智能 | 泰迪云课堂 |
| 第一课 python机器学习算法原理与实现 | ||
11月21日 18:30 - 22:00 | 1 机器学习绪论 1.1 引言 1.2 基本术语 1.3 假设空间&归纳偏好 2 模型评估与选择 2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 性能度量python实现 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
11月22日 18:30 - 22:00 | 3 回归分析 3.1 线性回归基本形式 3.2 线性回归模型的python实现 3.3 波士顿房价预测的python实现 3.4 逻辑回归介绍 3.5 研究生入学录取预测的python实现 4.1 单个神经元介绍 4.2 经典网络工作流程演示 4.3 神经网络工作流程演示 4.4 如何修正网络参数-梯度下降法 4.5 网络工作原理推导 4.6 网络搭建准备 4.7 样本从输入层到隐层传输的python实现 4.8 网络输出的python实现 4.9 单样本网络训练的python实现 4.10 全样本网络训练的python实现 4.11 网络性能评价 4.12 调用sklearn实现神经网络算法 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第二课 tensorflow2实战 | ||
11月23日 18:30 - 22:00 | 1 任务1：构建一个线性模型 1.1 tensorflow介绍 1.2 tensorflow2常用数据类型和操作 1.3 初始化模型 1.4 构建损失函数 1.5 模型训练及可视化 1.6 使用高阶api-keras 2 任务2：mnist手写数字识别 2.1 数据读取及探索 2.2 交叉熵 2.3 模型构建及训练 2.4 调用保存好的模型对新样本进行预测 | 泰迪云课堂 |
| 操作演练 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第三课 tensorflow2深度学习原理与实现 | ||
11月24日 18:30 - 22:00 | 1.1 深度神经网络-引言 2 卷积神经网络 cnn 2.1 浅层神经网络的局限 2.2 卷积操作 2.3 卷积操作的优势 2.4 池化及全连接 2.5 高维输入及 filter 卷积 2.6 实现卷积操作 2.7 实现池化操作 3 循环神经网络rnn 3.1 循环神经网络简介 3.2 循环神经网络的常见结构 4 长短时记忆网络lstm 4.1 lstm的三个门 4.2 lstm三个门的计算示例 4.3 利用rnn/lstm实现mnist手写数字识别 | 泰迪云课堂 |
| 操作演练/作业 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第四课 计算机视觉实战 | ||
11月25日 18: 30 - 22:00 | 1 概述 2.1 图像基础 2.2 读写图像 3.1 几何变换-图像平移和旋转 3.2 几何变换-最近邻插值 3.3 几何变换-其他插值方法介绍 | 泰迪云课堂 |
| 操作演练/作业 | 个人pc | |
| 在线答疑 | 微信群 | |
11月26日 18:30 - 22:00 | 4.1 灰度处理-线性变换 4.2 灰度处理-非线性变换 4.3 灰度处理-直方图均衡化 4.4 图像二值化 5.1 图像平滑 5.2 图像锐化-sobel 算子 5.3 图像锐化-其他算法 6 练习 | 泰迪云课堂 |
| 操作演练/作业 | 个人pc | |
| 在线答疑 | 微信群 | |
11月27日 18:30 - 22:00 | 7 图像批处理任务示例 8.1 opencv 循环读取-批量获取图像路径 8.2 opencv 循环读取-批量读取图片和标签 8.3 opencv 循环读取-数据应用示例 9.1 图像文件读取-参数说明 9.2 图像文件读取-读取训练和测试数据 9.3 图像文件读取-查看数据情况 9.4 图像文件读取-数据应用示例 10.1 imagedategenerator 图像增强-方法介绍 10.2 imagedategenerator 图像增强-单张图像增强 10.3 imagedategenerator 图像增强-多张图像增强 10.4 imagedategenerator 图像增强-从文件夹读取图片并增强 10.5 imagedategenerator 图像增强-数据应用示例 | 泰迪云课堂 |
| 操作演练/作业 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第五课 计算机视觉实战：基于深度学习的肝脏肿瘤分割 | ||
11月28日 18:30 - 22:00 | 1.1 案例背景介绍 1.2 数据介绍及案例目标 2.1 数据预处理步骤 2.2 数据读取 2.3 windowing方法的介绍 2.4 windowing方法实现 2.5 直方图均衡化 2.6 肿瘤部位的提取 2.7 保存数据 2.8 对所有病人数据做处理 | 泰迪云课堂 |
| 操作演练/作业 | 个人pc | |
| 在线答疑 | 微信群 | |
11月29日 18:30 - 22:00 | 3.1 定义图片生成器 3.2 图片增强实现 3.3 图片归一化 4.1 模型原理 4.2 模型搭建 4.3 模型编译 4.4 模型训练 5 模型评估与优化 | 泰迪云课堂 |
| 操作演练/作业 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第六课 实战案例：脑pet图像分析和疾病预测 | ||
11月30日 18:30 - 22:00 | 1 背景与目标 2 数据处理 2.1 图像读取及尺寸调整 2.2 图像增强之翻转操作 2.3 图像增强之旋转缩放 2.4 获取所有照片路径 2.5 批量获取照片数据 2.6 将数据处理过程封装成函数 3 模型构建（alexnet） 3.1 alexnet介绍 3.2 搭建第一次卷积结构 3.3 完成alexnet搭建 3.4 模型训练 4 模型性能评估 4.1 模型性能评估及预测 4.2 小结 | 泰迪云课堂 |
| 操作演练/作业 | 个人pc | |
| 在线答疑 | 微信群 | |
| 第七课 在线考试 | ||
12月01日 19:00 - 21:00 | 高级大职业技术在线考试 | 泰迪云课堂 |
附件六 hadoop spark大数据计算应用实战课程大纲
| 基础篇(报名成功即可开始学习) | ||
| 时间 | 课程内容 | 学习平台 |
| 正式培训前 | linux操作系统基础 1 linux概述 1.1 linux简介与发展历程 1.2 linux常见版本 2 linux基本命令 2.1 linux文件系统树 2.2 创建与删除目录或文件 2.3 查看文件内容 2.4 创建硬链接和符号链接 2.5 帮助命令 2.6 重定向相关命令 2.7 用户及用户组 2.8 权限相关命令 2.9 用户、用户组及权限实践操作进程 3 linux vi编辑器 3.1 模式介绍与常见快捷命令 3.2 一般模式快捷键 3.3 编辑模式与指令模式快捷键 | 泰迪云课堂 |
| 正式培训前 | java编辑基础 1 基础知识 1.1 java简介 1.2 java安装配置 1.3 java基础语法 1.4.1 java基本数据类型&引用数据类型 1.4.2 java变量 1.5 java string类 1.6.1 java运算符-赋值运算&算术运算符 1.6.2 java运算符-关系、逻辑、其他运算符 1.7 循环、条件、循环中断 1.8 java数组 1.9.1 函数-修饰符用法 1.9.2 函数的定义 1.9.3 函数重载 1.10.1 java集合简介 1.10.2 java集合之list 1.10.3 java集合之set 1.10.4 java集合之map 1.10.5 java集合实例 1.11 java泛型 2 面向对象 2.1 类和实例 2.2.1 类封装 2.2.2 类继承 2.2.3 类多态 2.2.4 类多态实战 2.3.1 抽象类、接口 2.3.2 抽象类、接口实战 3 线程及异常处理 3.1.1 多线程-1 3.1.2 多线程-2 3.1.3 多线程-练习 3.2.1 包、异常-1 3.2.2 包、异常-2 | 泰迪云课堂 |
| 核心课程篇 | ||
| 时间 | 课程内容 | 学习平台 |
| 专题讲座 | ||
11月20日 18:30 - 22:00 | 主讲：方海涛 主题内容：随机最优控制与人工智能 | 泰迪云课堂 |
| 第一课 hadoop大数据基础 | ||
11月20日 18:30 - 22:00 | 1 认识hadoop 1.1 认识大数据 1.2 hadoop简介和发展简史 1.3 hadoop特性与生态环境 2 hadoop集群的安装配置 2.1 安装虚拟机 2.2 配置固定ip 2.3 克隆虚拟机并修改配置 2.4 配置ssh无密码登录 2.5 配置时间同步服务 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
11月21日 18:30 - 22:00 | 2.6 安装java 2.7 hadoop集群架构 2.8 hadoop集群安装与配置 2.9 hadoop集群启动与监控界面介绍 3 hdfs基本操作 3.1 hdfs简介及架构 3.2 hdfs数据读写流程 3.3 hdfs管理命令 3.4 hdfs目录基本操作 3.5 hdfs文件基本操作 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
11月22日 18:30 - 22:00 | 4 mapreduce原理与架构 4.1 mapreduce思想与设计构思 4.2 mapreduce框架结构 5 mapreduce入门编程 5.1 mapreduce单词计数原理 5.2 mapreduce单词计数源码分析 5.3 搭建mapreduce开发环境 5.4 mapreduce单词计数编程实现 5.5 mapreduce实现xx与yy连接 5.6 mapreduce实现单词统计次数排序 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
| 第二课 hive大数据仓库 | ||
11月23日 18:30 - 22:00 | 1 hive简介 2 hive安装配置 2.1 hadoop集群介绍与mysql安装 2.2 hive安装配置 2.3 hive单词计数 3 hive应用 3.1 任务讲解与数据库定义 3.2 创建内表 3.3 创建外表 3.4 创建泰坦尼克号乘客信息表 3.5 创建静态分区表 3.6 创建动态分区表 3.7 创建带数据的表和桶表 3.8 从文件系统导入数据到hive 3.9 从其他表查询数据导入hive | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
11月24日 18:30 - 22:00 | 3 hive应用 3.10 导出表数据到文件系统 3.11 创建职工信息表 3.12 select查询入门 3.13 泰坦尼克号人员分布统计 3.14 select连接查询和子查询 3.15 分析影响生存率关系 3.16 hive语句执行顺序 4 hive开发 4.1 配置hive的java开发环境 4.2 创建订单表和物品类别表 4.3 统计顾客数和商品销量 4.4 统计各类型商品购买情况 4.5 统计销量排名前20的商品 4.6 统计各类型商品排名前10的热销商品 4.7 保存客户订单数据到hdfs | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
11月25日 18:30 - 22:00 | 5 hive自定义函数 5.1 自定义函数简介 5.2 自定义udf 5.3 自定义udaf 5.4 自定义udtf 6 hive查询优化 6.1 视图 6.2 索引 6.3 存储格式 综合案例：航空客户乘机数据预处理 1 案例背景及挖掘目标介绍 2 数据探索分析 3 数据清洗 4 属性规约与数据变换 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
| 第三课 hbase非关系型数据库 | ||
11月26日 18:30 - 22:00 | 1 hbase简介 1.1 认识hbase 1.2 hbase适用场景 2 hbase安装配置 2.1 hbase集群拓扑简介 2.2 zookeeper集群安装配置 2.3 hbase安装配置 2.4 hbase监控界面讲解 3 hbase架构原理 3.1 hbase数据模型 3.2 hbase架构 3.3 hbase读写流程 4 hbase shell基本操作 4.1 命令空间操作 4.2 创建表 4.3 修改和删除表 4.4 插入数据到表中 4.5 查看表数据 4.6 删除表数据 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
11月27日 18:30 - 22:00 | 5 hbase表的模式设计 5.1 hbase表设计 6 hbase java api应用 6.1 搭建hbase开发环境 6.2 建立于hbase数据库链接实例 6.3 创建或删除表应用实例 6.4 设置region分割点应用实例 6.5 修改表结构应用实例 6.6 写入数据应用实例 6.7 查看一行数据应用实例 6.8 扫描表数据应用实例 6.9 删除数据应用实例 6.10 创建职工信息表emp 6.11 写入数据到职工信息表 6.12 查找指定范围职工信息 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
| 第四课 scala编程基础 | ||
11月28日 18:30 - 22:00 | 1 scala简介 1.1 scala简介 2 scala安装配置 2.1 scala线上环境介绍 2.2 在windows上搭建scala 2.3 在linux上搭建scala 2.4 scala插入安装 2.5 创建第一个scala工程 3 scala基础语法 3.1 scala类型、变量、运算符 3.2 数组 3.3 if条件判断 3.4 循环语句 3.5 实现冒泡排序法 3.6 列表list 3.7 列表listbuffer 3.8 集合set 3.9 计算最大公约数和最小公倍数 3.10 映射map 3.11 元组tuple | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
11月29日 18:30 - 22:00 | 4 函数 4.1 函数定义 4.2 匿名函数 4.3 高阶函数 4.4 集合中的高阶函数 4.5 递归与尾递归 5 面向对象编程 5.1 面向对象编程简介 5.2 类的定义 5.3 定义类实现有理数的运算 5.4 单例对象 6 文件读写 6.1 文件读写 6.2 手机号码段查询 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
| 第五课 | ||
11月30日 18:30 - 22:00 | 1 spark入门 1.1 spark介绍 2 spark集群的安装配置 2.1 spark集群拓扑 2.2 spark安装配置 2.3 运行第一个spark程序 3 spark架构及原理 3.1 spark架构 3.2 spark rdd 4 spark shell应用 4.1 启动spark shell 4.2 创建rdd 4.3 读取学生成绩创建rdd 4.4 map与flatmap算子应用 4.5 sortby与filter算子应用 4.6 取出成绩排名前5的学生信息 4.7 交集与并集计算的算子应用 4.8 获取成绩100分的学生信息 4.9 键值对rdd常用算子 4.10 计算学生成绩总分和平均分 4.11 存储rdd 4.12 统计用户停留时间最长的基站 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
12月01日 18:30 - 22:00 | 5 spark开发环境配置 5.1 配置spark开发环境 5.2 spark实现单词计数 5.3 使用本地模式运行spark程序 5.4 使用集群模式运行spark程序 5.5 设置应用程序使用的集群资源 6 spark sql应用 6.1 spark sql简介和环境配置 6.2 读取结构化文件创建dataframe 6.3 读取外部数据库数据创建dataframe 6.4 读取rdd创建dataframe 6.5 读取hive表数据创建rdd 6.6 读取学生成绩创建dataframe 6.7 常见dataframe api应用 6.8 通过dataframe api计算学生总分和平均分 6.9 保存dataframe为结构化文件 6.10 保存dataframe到外部数据库和hive数据库 6.11 保存学生成绩分析结构到hive 6.12 创建dataset 6.13 通过商品销售数据创建dataset 6.14 统计商品销量 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
| 第六课 项目实战：广电大数据用户画像（hadoop spark hive） | ||
12月02日 18:30 - 22:00 | 1 项目背景与需求分析 1.1 广电大数据用户画像案例背景 1.2 广电大数据用户画像项目目标 1.3 系统架构与项目选型 2 数据存储 2.1 数据描述 2.2 数据存储 3 数据探索分析 3.1 数据探索分析 3.2 数据探索分析实战1 3.3 数据探索分析实战2 3.4 数据探索分析实战3 4 数据预处理 4.1 数据处理规则分析 4.2 数据预处理实战 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
12月03日 18:30 - 22:00 | 5 用户画像标签计算 5.1 用户画像及规则简介 5.2 用户画像实战-消费内容计算 5.3 用户画像实战-消费水平计算 5.4 用户画像实战-销售品计算 5.5 用户画像实战-宽带产品带宽 5.6 用户画像实战-用户信息表标签计算 5.7 用户画像实战-地区偏好和语言偏好 6 svm预测用户是否挽留 6.1 svm模型简介 6.2 svm模型数据处理 6.3 svm模型构建与评估 | 泰迪云课堂 |
| 操作演练/作业 | 泰迪大数据编程实训平台 | |
| 在线答疑 | 微信群 | |
| 拓展自学篇 | ||
| 自行安排 | 1 zookeeper分布式服务框架 2 flume大数据采集与传输 3 kafka大数据流处理 4 flink大数据实时处理 5 商品实时推荐系统（flume kafka flink) | 泰迪云课堂 |
| 第七课 在线考试 | ||
12月04日 19:00 - 21:00 | 大数据技术应用(高级)职业技术证书在线考试 | 泰迪云课堂 |