Memcache的简介

By | 05月19日
Advertisement

简介:

Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像视频文件以及数据库检索的结果等。简单的说就是将数数据调用到内存中,然后从内存中读取,从而大大提高读取速度。

Memcachedanga的一个项目,最早是LiveJournal服务的,最初为了加速 LiveJournal 访问速度而开发的,后来被很多大型的网站采用。

Memcached是以守护程序方式运行于一个或多个服务器中,随时会接收客户端的连接和操作。

工作原理:

Memcached 是以守护程序方式运行于一个或多个服务器中,随时接受客户端的连接操作,客户端可以由各种语言编写,目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。客户端首先与 Memcached 服务建立连接,然后存取对象。每个被存取的对象都有一个唯一的标识符 key,存取操作均通过这个 key 进行,保存的时候还可以设置有效期。保存在 Memcached 中的对象实际上是放置在内存中的,而不是在硬盘上。Memcached 进程运行之后,会预申请一块较大的内存空间,自己进行管理,用完之后再申请一块,而不是每次需要的时候去向操作系统申请。Memcached将对象保存在一个巨大的Hash表中,它还使用NewHash算法来管理Hash表,从而获得进一步的性能提升。所以当分配给Memcached的内存足够大的时候, Memcached的时间消耗基本上只是网络Socket连接了。
Memcached按照LRU方式调度数据。LRU是LeastRecently Used的缩写,即最近最少使用页面置换算法,是为虚拟页式存储管理服务的。

Memcached特征:
协议简单
它是基于文本行的协议,直接通过telnet在memcached服务器上可进行存取数据操作
基于libevent事件处理
Libevent是一套利用C开发的程序库,它将BSD系统的kqueue,Linux系统的epoll等事件处理功能封装成一个接口,与传统的select相比,提高了性能。
内置的内存管理方式
所有数据都保存在内存中,存取数据比硬盘快,当内存满后,通过LRU算法自动删除不使用的缓存,但没有考虑数据的容灾问题,重启服务,所有数据会丢失。
分布式
各个memcached服务器之间互不通信,各自独立存取数据,不共享任何信息。服务器并不具有分布式功能,分布式部署取决于memcache客户端。

Memcached的内存算法:
Memcached利用slaballocation机制来分配和管理内存,它按照预先规定的大小,将分配的内存分割成特定长度的内存块,再把尺寸相同的内存块分成组,数据在存放时,根据键值大小去匹配slab大小,找就近的slab存放,所以存在空间浪费现象。
传统的内存管理方式是,使用完通过malloc分配的内存后通过free来回收内存,这种方式容易产生内存碎片并降低操作系统对内存的管理效率。

Memcache的简介

Memcached的缓存策略:
Memcached的缓存策略是LRU(最近最少使用)加上到期失效策略。当你在memcached内存储数据项时,你有可能会指定它在缓存的失效时间,默认为永久。当memcached服务器用完分配的内时,失效的数据被首先替换,然后也是最近未使用的数据。在LRU中,memcached使用的是一种LazyExpiration策略,自己不会监控存入的key/vlue对是否过期,而是在获取key值时查看记录的时间戳,检查key/value对空间是否过期,这样可减轻服务器的负载。

Memcached的分布式算法:
当向memcached集群存入/取出key/value时,memcached客户端程序根据一定的算法计算存入哪台服务器,然后再把key/value值存到此服务器中。也就是说,存取数据分二步走,第一步,选择服务器,第二步存取数据。
Memcache的简介

分布式算法(Consistent Hashing):

选择服务器算法有两种,一种是根据余数来计算分布,另一种是根据散列算法来计算分布。
余数算法:
先求得键的整数散列值,再除以服务器台数,根据余数确定存取服务器,这种方法计算简单,高效,但在memcached服务器增加或减少时,几乎所有的缓存都会失效。
散列算法:
先算出memcached服务器的散列值,并将其分布到0到2的32次方的圆上,然后用同样的方法算出存储数据的键的散列值并映射至圆上,最后从数据映射到的位置开始顺时针查找,将数据保存到查找到的第一个服务器上,如果超过2的32次方,依然找不到服务器,就将数据保存到第一台memcached服务器上。如果添加了一台memcached服务器,只在圆上增加服务器的逆时针方向的第一台服务器上的键会受到影响。
Memcache的简介

Memcache的管理与性能监控
可以通过命令行直接管理与监控也可通过nagios,cacti等web软件进行监控

Similar Posts:

  • Memcache学习笔记(1)- memcache简介

    Memcached特点: 1. 协议简单 2. 基于libevent的事件处理 3. 内置内存存储方式 4. memcached不互相通信的分布式 1. 协议简单 memcached的服务器和客户端之间不使用xml等复杂格式,而是采用 ASCII 文本协议和新的二进制协议.通过telnet也可以在memcache上保存和获取数据. 2. 基于libevnet的事件处理 libevnet是一个程序库.它将kqueue(详见http://en.wikipedia.org/wiki/Kqueue)等事

  • PHP中的数据库二、memcache

    在一个高并发的web应用中,数据库存取瓶颈一直是个大问题,一旦达到某个极限,数据库很容易崩溃,但是如果我们把常用的数据放到内存中,在需要的时候从内存中取,不光读取速度快,而且节约数据库IO. memcache简介 Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像.视频.文件以及数据库检索的结果等.简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度. memcache的mem是内存(mem

  • php扩展memcache和memcached区别?以及memcached软件的介绍

    引用"http://www.vicenteforever.com/2012/03/memcache-different-memcached/" memcached是一个软件,而PHP包括了memcache和memcached 2个扩展,这2个接口使PHP程序代码能够操作和使用memcached这个软件. 一,php扩展memcache和memcached区别 1. 目前大多数php环境里使用的都是不带d的memcache版本,这个版本出的比较早,是一个原生版本,完全在php框架内开发的

  • php memcache测试总结

    1.简介 memcache模块是一个高效的守护进程,提供用于内存缓存的过程式程序和面向对象的方便的接口,特别是对于设计动态web程序时减少对数据库的访问. memcache也提供用于通信对话(session_handler)的处理. 更多Memcache 模块相关信息可以到http://www.danga.com/memcached/查阅. 1.1.memcache在php.ini中的配置项列表 memcache在php.ini中的配置项列表 名称 默认值 是否可变 改变日志 memcache.

  • memcache的最佳实践方案

    1.memcached的基本设置 1)启动Memcache的服务器端 # /usr/local/bin/memcached -d -m 10 -u root -l 192.168.0.200 -p 12000 -c 256 -P /tmp/memcached.pid -d选项是启动一个守护进程, -m是分配给Memcache使用的内存数量,单位是MB,我这里是10MB, -u是运行Memcache的用户,我这里是root, -l是监听的服务器IP地址,如果有多个地址的话,我这里指定了服务器的IP

  • redis安装及数据类型简介(string、list、set、sorted_set、hash)

    一:简介: redis国内最大的案例--->新浪微博 memcache:是key-value数据库 数据类型:只支持key value数据 过期策略:支持 持久化:不支持(可以通过三方程序) 主从复制:不支持 虚拟内存:不支持 使用场景:可以保存session,存放单一的数据,更加轻量级,效率更高 redis:是key-value数据库 数据类型:支持五种数据类型 过期策略:支持 持久化:支持 主从复制:支持 虚拟内存:不支持 支持五种数据类型,可以保存购物车的商品 二:编译安装redis 3.

  • memcached在大负载高并发网站上的应用(1)---简介

    大家可能对memcached这种产品早有了解,或者已经应用在自己的网站中了,但是也有一些朋友从来都没有听说过或者使用过. 这都没什么关系,本文旨在从各个角度综合的介绍这种产品,尽量深入浅出,如果能对您现在或以后的工作有所帮助,笔者将感到无比荣幸. 我要介绍的内容包括以下几个方面: 1.memcached的简介 2.memcached的应用场景 3.memcached的安装 4.memcached的使用 5.memcached的部署架构 6.memcached的局限性 7.memcached的改进

  • linux环境下memcache的安装

    安装: 下载安装包:memcached-1.4.8.tar.gz(最新) libevent-1.4.9-stable.tar.gz(socket通信程序,它是 memcached 所依赖的异步事件通知库) 上述包都是用c写的.故在linux环境下安装,linux必须有c编译环境,目前都用gcc(最好系统自带,否则自己安装非常麻烦,特别耗时间) 命令 =============libevent 安装================== tar –xzf libevent-1.4.9-stable.

  • memcache 机制分析

    1.关于本文档 本文档所有的分析都是在1.2版本之上,偶尔会提到比较1.1版本.其他版本没有阅读. 一个星期时间的工作,不可能对memcache有很深刻的分析.文档本身的目的在于为以后的研究准备一个总结资料.刚接触memcache时,对其设计分 布式的思路感到十分欣喜,因为在中间层以极小的代价实现简单分布式无疑成为一些要求不是很高的分布式应用的一个很好的设计思路,这个特性决定 memcache本身在分布式应用中,单个结点之间是Server相互独立,不会存在同级之间的通信.一个结点拒绝访问,如果没

  • 《Memcache技术学习》系列技术文章整理收藏

    <Memcache技术学习>系列技术文章整理收藏 1PHP memcache扩展的三种安装方法 2Red Hat Enterprise Linux 4+Nginx 0.7.47+PHP5.2+MYSQL5.0+Memcache+eAccelerator收 3PHP 内存缓存加速功能memcached安装与用法 4用mysql触发器自动更新memcache的实现代码 5php Memcache 中实现消息队列 6PHP Memcached应用实现代码 7Memcache 在PHP中的使用技巧 8

Tags: