灵猫动态 大数据系统设计分析

大数据系统设计分析

2019.11.12

日益增长的日志数据给国内外的互联网公司带来了巨大的挑战。如何快速、有效地处理和分析这些测井数据成为他们面临的首要问题。以中国的互联网公司百度为例。


每天大约有700gb的日志数据。在假期期间,日志数据量可能达到TB级别。面对如此庞大的测井数据,传统的测井分析方法明显薄弱。目前,更流行的分布式计算分析框架Hadoop和spark已经逐渐成熟。利用分布式技术分析日志已成为各企业的研究热点。


为了解决日益增多的游戏日志分析问题,分布式计算技术的日志处理方案,即游戏日志大数据分析系统的设计与实现。通过网络资源和图书馆资源,查阅大量相关资料和文献进行大数据分析,对Hadoop框架、hive数据仓库和实时大数据分析处理工具spark、Kafka进行分析研究。


数据库选择MySQL 5.6。根据软件工程的方法,首先对系统进行需求分析,包括功能需求分析和性能需求分析,并使用Microsoft的Visio绘图工具绘制一些用例图,然后对系统架构、系统数据库、系统数据收集、系统数据存储、设计了系统数据分析和系统数据显示,系统通过简单友好的用户界面显示游戏日志分析数据。


为系统管理员提供用户管理、系统菜单管理和用户菜单权限管理。更重要的是,该系统为集成研发部门使用大数据分析游戏日志,以及未来相关大数据的发展提供了一定的经验。

BLUED视频免费观看_最近免费字幕中文大全在线观看_丰满人妻跪趴高撅肥臀_9L国产精品久久久久尤物