-
做为一名大数据新手,应该通过这篇文章了解大数据
一、大数据是什么? 大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。 这句话至少传递两种信息: 1、大数据是海量的数据 2、大数据处理无捷径,对分析处理技术提出了更高的要求 二、大数据的处理流程 下图是数据处理流程: 1、底层是数以千亿计的数据源,数据源可以是SCM(供应···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
10年大数据平台经验,总结出这份数据建设干货(内含多张架构图)
在业务增长过程中,每个企业不知不觉积累积累了一些数据。无论数据是多是少,企业都希望让“数据说话”,通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。 由此,大数据平台、数据中台等新鲜的概念就真的落地了,其实数据类的概念都是相同的:报表、BI、数据仓库...少了一个都玩不转,只有每一个都做到极致,企业的数据价值才能得到提高。 先来说说背景吧,搭建大···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
「MySQL系列」索引设计原则、索引失效场景、Limit 、Order By、Group By 等常···
一 索引使用 1.1 概述 1. 定义 索引帮助MySQL高效获取数据的数据结构(按照一定规则)。 2. 定义解释 MySQL在存储数据之外,数据库系统还维护者满足特定查找算法的 数据结构,这些数据结构以某种方式引用(指向)数据, 这样就 可以在这些数据结构上实现高级查找算法,这种数据结构就是索引。 3. 优缺点 优点 提高数据检索效率,降低数据库IO成本···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
Redis Sentinel-深入浅出原理和实战
本文转载自微信公众号「SH的全栈笔记」,作者SH 。转载本文请联系SH的全栈笔记公众号。 本篇博客会简单的介绍Redis的Sentinel相关的原理,同时也会在最后的文章给出「硬核的」实战教程,让你在了解原理之后,能够实际上手的体验整个过程。 之前的文章聊到了Redis的主从复制,聊到了其相关的原理和缺点,具体的建议可以看看我之前写的文章Redis的主从复···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
「生产事故」MongoDB复合索引引发的灾难
前情提要 11月末我司商品服务的MongoDB主库曾出现过严重抖动、频繁锁库等情况。 由于诸多业务存在插入MongoDB、然后立即查询等逻辑,因此项目并未开启读写分离。 最终定位问题是由于:服务器自身磁盘 + 大量慢查询导致 基于上述情况,运维同学后续着重增强了对MongoDB慢查询的监控和告警 幸运的一点:在出事故之前刚好完成了缓存过期时间的升级且过期时···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
说实话,Hibernate和MyBatis哪个更好用?
前言 由于编程思想与数据库的设计模式不同,生出了一些ORM框架。核心都是将关系型数据库和数据转成对象型。当前流行的方案有Hibernate与myBatis。两者各有优劣。竞争激烈,其中一个比较重要的考虑的地方就是性能。因此笔者通过各种实验,测出两个在相同情景下的性能相关的指数,供大家参考。 测试目标 以下测试需要确定几点内容: 性能差异的场景; 性能不在同···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
导致MySQL索引失效的几种常见写法
最近一直忙着处理原来老项目遗留的一些SQL优化问题,由于当初表的设计以及字段设计的问题,随着业务的增长,出现了大量的慢SQL,导致MySQL的CPU资源飙升,基于此,给大家简单分享下这些比较使用的易于学习和使用的经验。 这次的话简单说下如何防止你的索引失效。 再说之前我先根据我最近的经验说下我对索引的看法,我觉得并不是所以的表都需要去建立索引,对于一些业务···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
实战分享 | 你知道这个死锁是怎么产生的吗?
Part1 背景 锁作为 MySQL 知识体系的主要部分之一,是每个 DBA 都需要学习和掌握的知识。锁保证了数据库在并发的场景下数据的一致性,同时锁冲突也是影响数据库性能的因素之一。而锁冲突中,有一类很经典的场景经常会拿出来讨论:死锁。最近刚好也遇到了一个典型的死锁案例,本文会基于这个案例,做一次详细的分析与拆解。 Part2 问题 由于innodb e···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
连MySQL大表怎么DDL变更都不懂
本文转载自微信公众号「三太子敖丙」,作者三太子敖丙 。转载本文请联系三太子敖丙公众号。 前言 随着业务的发展,用户对系统需求变得越来越多,这就要求系统能够快速更新迭代以满足业务需求,通常系统版本发布时,都要先执行数据库的DDL变更,包括创建表、添加字段、添加索引、修改字段属性等。 在数据量大不大的情况下,执行DDL都很快,对业务基本没啥影响,但是数据量大的···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
一套简单实用的SQL脚本,总有你需要的
本文转载自微信公众号「SQL数据库开发」,作者丶平凡世界。转载本文请联系SQL数据库开发公众号。 1、行转列的用法PIVOTCREATEtabletest(idint,namenvarchar(20),quarterint,numberint)insertintotestvalues(1,N苹果,1,1000)insertintotestvalues(1,···
- 发布时间:2025-05-14
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])