摘 要
在互联网软件快速发展的背景下，用户数据的采集与挖掘展示出了巨大的应用价值。用户画像作为勾画目标用户、联系用户诉求与设计方向的有效工具，它将具体信息抽象成标签，通过标签来描述用户特征。目前，针对于用户画像分析，用户标签单一往往导致用户分析不精确，大数据计算复杂，消耗时间长，并且针对不同的软件应用来说，用户的数据差异较大，不能采用统一的方式进行统计和计算。
本文针对短视频应用，分析特定用户数据，使用基础属性、设备属性、行为属性等来分类用户，使用数据引擎来优化大数据查询和计算，最终使得该系统更加精确和高效。首先，对用户画像背景和研究现状深入调研，总结以往系统的特点和不足，了解用户画像适用的场景和用途。接着，针对该系统进行详细的需求分析，分析总结系统的功能需求。根据系统需求进行设计，将系统分为四大功能模块，分别为分析看板、人群洞察、作者类目和画像查询。分析看板模块通过在线和离线的方式分析用户数据；人群洞察模块将一组用户划分为人群，提供人群的创建和管理；作者类目模块分析发布短视频用户的信息。之后，基于 Spring 实现各功能模块，并使用Click House 为数据引擎优化实时计算速度，采用多种数据库方式存储。开发完成后，对系统做充分的测试，包括系统性能测试。结果表明，本文设计实现的用户画像系统运行稳定，在业务方面权限分明、功能完整。在系统设计方面，各个模块之间相互独立，为后期的开发和维护提供了便捷。
关键词 ： 用户画像；标签；短视频；Spring 。
Abstract
With the development of the software applications. The collection and mining of user datahas great value for application. User profile is an effective tool for delineating target users. Itlinks user requirement and design directions. User profile abstracts specific information intolabels and user labels to describe user characteristics. At present, in the analysis of user profile,the simplification of user labels often leads to inaccurate user analysis. Big data calculation iscomplicated and takes a long time. Besides, the large differences in user information make itimpossible to use a method for statistics and calculations.
For short video applications, this article analyzes specific user data. It uses basic features,device features and behavior features to classify users, uses data engines to optimize big dataqueries and calculations. The result is that the system is more accurate and efficient. First,investigate the background and status of user profile. Summarizes the characteristics andshortcomings of the previous system and analyzes applicable scenarios and uses of user profile.
Then conduct a detailed demand analysis for the user profile of the short video application andanalyze the functional requirements of the system. According to the system requirements, it isdivided into five functional modules, namely, the analysis board module, the crowd insightmodule, the author category module and search user profile module. The analysis board moduleis used to analyze user data online and offline. The crowd insight module is used to divide usersinto groups and provide crowd creation and management. The author category module is usedto analyze the information data of users who publish short videos. After that, implement thefunctions of each module based on Spring. Use Click House to optimize the online calculationspeed for the data engine and use a variety of database. After the development, test the overallfunction module and system performance. The results show that the user profile systemdesigned and implemented in this paper runs stably. In terms of business, the authority is clear,the functions are complete. In the design of system, each module is independent of each other. Itprovides convenience for the development and maintenance of the system later.
Key Words ： User Profile; Label; Short Video; Spring 。
1、绪论
1.1、 课题研究背景与意义 。
科学技术革命改变人们的生活方式，互联网的出现和发展影响着人们日常生活的各个方面，已经成为人们生活中息息相关不可缺少的一部分。如今互联网已经成为整个社会经济的基本架构，互联网应用不仅仅颠覆了旧的媒体企业的发展还对各行各业的变革产生着巨大的影响。在 2020 年新冠肺炎的全球化影响的情况下，互联网发挥着它更大的作用，也推动着特殊时期中经济发展和社会的安定。各行各业都依托于互联网，云经济、云计算、在线教育、在线办公、视频会议等慢慢地渗透到人们的生活，互联网涉及到购物、工作、娱乐的生活等各个方面，潜移默化地影响着人们的生活习惯，人们生活中的形形色色都可以在互联网中得以解决。而在互联网发展的大潮流下，各种功能新颖吸引人们眼球的软件和应用平台应运而生，相似功能的软件和平台层出不穷，人们根据自己的需求和偏好进行主观的选择。因此在各个行业企业中如何争取到更多的用户，如何更好地为用户提供服务使其有更好的体验成为了大家的核心目的和企业之间竞争的要素。在这个互联网下的流量时代，如何获得更大的流量吸引更多的用户成为一个公司的生存要素，因此分析用户从而更好地服务于用户是一项意义重大且必不可缺的工作。
身处于大数据的时代，各个软件应用功能与应用之间的交互都可以理解为数据之间的传递，在大数据的计算与存储作为基础的情况下，软件应用中用户数据的收集与挖掘展示出了更大的作用与价值。对应用中用户的行为和数据进行记录，从而建立大数据网络模型来精确地来描述用户的属性标签，分析用户的类别，根据清晰的生产数据来预测用户的需求和期望。最终能够以数据为中心，为用户提供更好的服务并解决问题，了解用户真正的需求。
软件行业起步之初，人们可以通过手动给用户分类，分析用户喜好来使用户标签化。可随着用户量的增加和用户行为的复杂，人为地标记用户愈发困难。用户画像平台在大数据分析的基础上通过抽象用户的具体信息，使信息标签化最终通过标签来刻画用户特征，联系用户需求从而为用户提供针对性具体化的服务。通过使用用户画像平台，找到产品正确的出发点和立足点，真切的感受用户的需求，从需求出发来剖析需求，去除团队内部产品人员代表用户的伪需求，从而提高决策效率，为用户提供更加符合预期的产品。同时，一些用户标签可以评估用户重要性从而更好且专项地为用户提供特制服务，优化用户体验。如今，在花样百出的软件应用市场中，用户是各平台之间竞争的重要资源，用户画像平台通过数据化的方式精确地分析用户了解用户才能更好地服务于用户，固化本平台的现有用户，通过用户分析能够了解竞争者的弱点，吸引资源吸引流量从而使平台能够更好的发展，在软件应用市场中占有一席之地。
【由于本篇文章为硕士论文，如需全文请点击底部下载全文链接】
1.2、国 内外研究现状分析
1.3、 论文主要工作.
1.4、 论文组织结构.
2、关键技术研.
2.1、软件工程的面向对象方法
2.2 、Spring 架构介绍
2.2.1、 Spring 核心功能.
2.2.2、 Spring MVC框架
2.3、 React 架构介绍
2.3.1、 React 的优势.
2.3.2、 React 核心概念介绍.
2.4、 ClickHouse 列式数据库管理系统
2.5、本章小结
3、需求分析 .
3.1、系 统目标用户分析.
3.2、系统可行性分析.
3.2.1、经济 可行性.
3.2.2、技术可行性
3.3、系 统功能需求分析.
3.3.1、分析看板功能
3.3.2、人 群洞察功能
3.3.3、作者类目功能
3.3.4、画像查询功能
3.4、系统非功能需求分析
3.4.1、数据 隐私
3.4.2、数据库安全性
3.5 、本章小结
4、系统设计.
4.1、系统总 体架构设计.
4.2、系统功能架构
4.3、子功能模块设计.
4.3.1、登录模块
4.3.2、分析看板模块
4.3.3、人群洞察 模块
4.3.4、作者类目 模块
4.3.5、画像查询模块
4.4、数据库设计.
4.4.1、 Hive 数据库设计
4.4.2、 MySQL 数据库设计.
4.5、本章小结
5、系统实现
5.1、登录模块实现
5.2、权限相关实现.
5.3、分析看板模块实现.
5.3.1、实时 人群分析
5.3.2、离线人群分析.
5.3.3、地域 分析.
5.4、人群洞察模块实现.
5.5、作者类目模块实现.
5.5.1、作者 排行.
5.5.2、作者 查询
5.5.3、我的 分组
5.6、画像查询模块实现.
5.7、本章小结
6、系统测试.
6.1、 功能测试
6.2、性能测试.
6.3、本章小结.
结 论
本系统基于用户画像分析的国内外现状，重点研究短视频用户画像系统的设计与实现，使用Spring MVC框架进行系统开发，结合Click House和Flink为数据引擎，对于大数据的实时分析任务进行优化，保证用户的秒级的页面响应。将系统功能按模块划分，每个模块独立运行、互不干扰，为系统的迭代升级提供便利。
从业务需求分析的场景下，本系统主要分为分析看板、人群洞察、作者类目和画像查询四个模块，分析看板提供在线数据分析、离线数据分析和地域分析服务，人群洞察来管理和新建人群包，作者类目用来做用户作者的数据分析，画像查询提供用户画像信息。对于系统访问和功能使用严格控制用户权限，来保证系统中数据信息安全性。在系统中丰富用户标签，使用不同的维度划分和查找用户。
对于系统中的功能模块进行了详细的测试，对四大功能模块进行功能性测试、除此之外进行页面跳转测试、权限测试和边界测试。测试结果显示对于系统设计功能实现完成并且能过滤用户操作权限，页面之间跳转正常。同时；对于系统性能进行测试，使用Apache JMeter对于系统中重要性能要求的功能接口进行测试，包括实时人群分析、离线分析和画像查询，接口的压力测试都能在几秒内响应，符合预期性能要求。
另外，系统中还有一些不足之处，在开发过程中，每个功能模块独立开发，这导致系统中存在一些重复冗余代码，后期将考虑将重复部分整理成公共模块，这样更加方便整个工程管理和开发维护，提高代码的简洁性和优雅性。
参考文献
[1] C00PER A, ROBERT REIMANN R, CRONIN D. About Face 3:The Essentials of Int eract ionDesign [M] . New Jersey: Wiley Publishing Inc, 2007.
[2]范小春.智慧校园环境下高校大数据治理及应用策略[J].金陵科技学院学报,2018,34(4):48-51. .
[3]徐芳,应洁茹.因内外用户画像研究综述[J].图书馆学研究,2020(12):7-16.
[4]赵曙光.高转化率的社交媒体用户画像:基于500用户的深访研究[J].现代传播(中国传媒大学学报), 2014 (36):115-120.
[5] 吴剑云，胥明珠.基于用户画像和视频兴趣标签的个性化推荐[J].情报科学，2021, 39(1):128-134.
[6] 王正友,张海迪.大数据时代基于用户画像的视频精准推荐[J].电子商务, 2019(10) :62-65.
[7]林燕霞,谢湘生.基于社会认同理论的微博群体用户画像[].情报理论与实践,2018,41(3):142-148. .
[8]房金龙。大数据与机器学习构建动态企业级画像系统[J].科技风, 2021(15) : 101-103.
[9]李宝.基于用户画像的高校图书馆个性化资源推荐服务设计[J].新世纪图书馆,2021(4):68-75.
[10]姚学润,张琦，倪明昊等.用户画像技术在新媒体广告效果监测中的应用[J].现代电视技术2021(4):109-112.
[11] 张玉洁,董政,孟祥武.个性化广告推荐系统及其应用研究[J].计算机学报, 2021, 44(3):531-563.
[12] 赵璟博,朱欣娟.基于行为数据采集加权的用户兴趣预测[J].国外电子测量技术，2021,40(3): 123-129. .
[13] ADOMAVIVIUS G, IUZHILIN A. Using Dat a Mining Methods to Build Cust omer Profiles [J]. Comput er, 2001, 34(2): 74-82.
[14] BHAITACHARYYA P, GARG A, WU S F. Analysis of User Keyword Similarity in 0rline Social Networks [J]. Social Network Analysis and Mining, 2011, 1 (3):143- 158.
[15] PAZZANI M J，BILsus D. Content-Based recommendat ion system [M] . Heidelberg:Springer, 2007.
[16] LIX, GUO L, ZHAO YE. Tag-Based Social Int erest Discovery [C] . Beijing: Proceeding of the 17th Int ernat ional Conference on World Wide Web, 2008.
[17] HAWALAH A, FASLI M. Dynamic User Profiles for Web Personalization[J]. Expert Syst ems With Applicat ions, 2015, 42(5):2547 - 2569.
[18] LEROUGE C，MA J，SNEHA S，et al. User Profiles and Personas in the Design and Development of Consumer Health Technologies[J]. Int emat ional Journal of Medical Irf ormatics, 2013, 82(11) :251-268.
[19] 马鲁宁. JAVA语言面向对象程序设计的特点[J].黑龙江科技信息，2007(2):52.
[20]石锋. 基于MVC模式的JavaWeb开发与应用[J].电子技术，2021, 50(5):16-17.
[21]崔敏,昊才聪，庞爱平等.农机购置补贴信息公开系统的功能设计与实现[J].中国农机化学 报, 2020, 41(10):153-157.
[22]文绪源.基于Spring技术的政府机关文档管理系统的设计与实现[D].成都:电子科技大学，2020.
[23]陈平.基于Spring的轻量级Web框架的研究与设计D].镇江:江苏大学,2005..
[24]朱运乔.基于Spring+Spr ingMVC+hibernate框架的Web系统设计与实现[J].电脑知识与技术，2018, 14(26) : 66-68.
[25]张瑞.基于大数据的多端用户行为分析云服务系统的设计与实现[D].北京:北京交通大学,2020.
[26]张迎.支持多终端的页面搭建平台的设计与实现D].北京:北京交通大学,2020..
[27]薛峰,梁锋,徐书勋等.基于Spring mVC框架的Web研究与应用[J].合肥工业大学学报(自然科学版), 2012, 35 (3) :337-340. .
[28]戴志诚,程劲草.基于虚拟DOM的Web前端性能优化研究[J].计算机应用与软件,2017,34(12) :21-25.
[29]王鑫.面向移动营销的建站系统的设计与实现[D].南京:南京大学, 2018.
[30]张仪.跨平台统-大数据智能化SQL查询系统研究与实现[D].南京:南京大学, 2020.
[31]张宇耀.基于大数据的企业用户数据分析平台的设计与实现[D].北京:北京交通大学,2019.
[32]赵新诚.用户原创内容分析系统设计与实现[D].大连:大连理工大学,2020.
