TA的每日心情 | 衰 2024-3-16 01:35 |
---|
签到天数: 848 天 [LV.10]以吧为家
|
Spark+ES+ClickHouse 构建DMP用户画像
https://coding.imooc.com/class/513.html
第1章 DMP用户画像项目介绍
本章将向大家介绍什么是DMP,并辅以行业数据说明DMP的重要性和行业前景,并介绍课程讲解项目所会使用到的大数据技术,框架、版本以及推荐得学习方法。
第2章 项目环境搭建
本章将带领大家一起来学习,如何用 docker 一键部署开发环境;如何实现 Hive 数仓的数据导入;实用工具类的代码编写等,完成开发前得准备工作。
第3章 DMP和用户画像
本章会介绍,用户画像的生成流程,画像的标签维度,用户画像和特征工程的关系。带领大家了解什么样的画像才是高质量的用户画像,以及DMP用户画像的使用场景。
第4章 用户画像搭建之特征工程
本章会详细的讲解数值型特征,类别型特征,文本型特征的特征处理,以及特征交叉的算法 FM,特征筛选的算法 gbdt 和 xgboost。并会带领大家应用 Spark 代码实现商品评论的情感提取,以及基于 xgboost 的特征筛选。
[color=rgb(149, 150, 151) !important]第5章 用户画像搭建之标签体系构建
本章会详细的讲解,如何通过TF-IDF生成标签的权重;用户行为偏好标签的计算;标签在Hbase的存储格式;以及如何使用ES存储Hbase的索引,进而提高复杂组合标签的查询效率。
|
|