新闻资讯
行业资讯
海量数据和高并发解决方案
2019-11-05 17:13:10
摘要:    数据传输的本质就是按照晶振震动周期 或者 其整数倍来传输代表0/1的高低电平,传输过程中最核心就是各种传输协议。对直接连接的硬件来说就是各种总线协议,对网络传输来说就是网络协议,解决速度问题的核心主要就是解决海量数据操作问题和高并发问题。

数据传输的本质就是按照晶振震动周期 或者 其整数倍来传输代表0/1的高低电平,传输过程中最核心就是各种传输协议。对直接连接的硬件来说就是各种总线协议,对网络传输来说就是网络协议,解决速度问题的核心主要就是解决海量数据操作问题和高并发问题。


海量数据的解决方案


海量数据的解决方案


1、缓存和页面静态化


缓存主要用于数据变化不是很频繁的情况,跟缓存相似的另外一种技术叫页面静态化。缓存是将数据保存起来,页面静态化是将程序最后生成的页面保存起来,使用页面静态化后就不需要每次调用都重新生成页面了,这样不但不需要查询数据库,而且连应用程序处理都省了,所以页面静态化对数据量大和并发量高两大问题都有好处


2、数据库优化


要解决数据量大的问题,是避不开数据库优化的,包括:结构优化、SQL语句优化、索引优化、使用存储过程代替直接操作、分离活跃数据等。


3、批量读取和延迟修改


批量读取和延迟修改的原理是通过减少操作的次数来提高效率,如果使用得恰当,效率将会呈数量级提升。延迟修改主要针对高并发而且频繁修改(包括新增)的数据。如一些统计数据,这种情况可以先将需要修改的数据暂时保存在缓存中,然后定时将缓存中的数据保存到数据库中


4、读写分离


读写分离的本质是对数据库进行集群,这样就可以在高并发的情况下将数据库的操作分配到多个数据库服务器去处理从而降低单台服务器的压力


不过由于数据特殊性–每台服务器所保存的数据都需要一致,所以数据同步就成了数据库集群中最核心的问题。如果多台服务器都可以写数据那么数据同步将变得非常复杂,所以一般情况下是将写操作交给专门的一台服务器处理,这台专门负责写的服务器叫做主服务器。当主服务器写入(增删改)数据后从底层同步到别的服务器(从服务器)

网站高并发

5、主服务器向从服务器同步数据时,如果从服务器数量多,那么可以让主服务器先向其中一部分从服务器同步数据,第一部分从服务器接收到数据后再向另外一部分同步


简单的数据同步方式可以采用数据库的热备份功能,高级的方式需要使用专门的软硬件配合,另外既然是集群就涉及负载均衡问题,负载均衡和读写分离的操作一般采用专门程序处理,而且对应用系统来说是透明的


6.分布式数据库


分布式数据库是将不同的表存放到不同的数据库中然后再放到不同的服务器。这样在处理请求时,如果需要调用多个表,则可以让多台服务器同时处理,从而提高处理速度


数据库集群(读写分离)的作用是将多个请求分配到不同的服务器处理,从而减轻单台服务器的压力,而分布式数据库是解决单个请求本身就非常复杂的问题,它可以将单个请求分配到多个服务器处理,使用分布式后的每个节点还可以同时使用读写分离,从而组成多个节点群。


对于更新频繁度不高的数据,APP、PC浏览器,可以缓存数据到本地,然后每次请求接口的时候上传当前缓存数据的版本号,服务端接收到版本号判断版本号与最新数据版本号是否一致,如果不一样就进行最新数据的查询并返回最新数据和最新版本号,如果一样就返回状态码告知数据已经是最新。减少服务器压力:资源、带宽。

海外服务器免费测试http://www.755800.com/


USA-IDC为您提供免备案服务器 0元试用
立即联系在线客服,即可申请免费产品试用服务
立即申请