无忧技术网 - RSS订阅 
无忧技术网

使用Mysql搭建简单的可持续的Cache系统


作者:[佚名] - 发布:2010-9-2 8:33:18 - 来源:莫建祥的专栏

 在设计系统的时候遇到这样一个需求,需要实现半小时内的数据更新500万次左右,数据量不大,最多一千万; 使用数据库肯定是实现不了,需要使用Cache系统来延迟导入到DB中。但普通的memcache由于数据是存在于内存中,那么当程序crash或则机器down的时候,数据将丢失,可靠性不能满足。 自己开发一套pesistented memcache,但需要时间开发,进度不允许,因此想到了mysql 的memory DB机制。Mysql 采用插件机制,支持memory db方式。 通过复制技术,实现数据的双机备份。 再对mysql 的memory db进行性能测试,测试结果表明,使用普通的服务器(2cpu),可以实现15000~25000/s 的数据插入/更新操作,能够 满足15000/s数据读操作。 从测试结果看,性能上可以满足500万 半小时的要求,另外由于使用复制技术,也满足了数据的可靠性要求。毕竟2台机器同时down的概率我们可以忽略不计。

配置复制的时候,把 sync_binlog=0 提高更新操作.

使用 mysqlbinlog 来恢复数据. 当mysql的机器down或则mysqld服务器程序down的时候,可以使用mysqlbinlog来恢复数据. 如:

mysqlbinlog --disable-log-bin -l /tmp/ --force-read --set-charset=gbk --start-position=981 mysql-bin.000003 |mysql

经过测试,对1000万条记录更新操作的日志,进行恢复,大概需要花20分钟

责任编辑:liqwei
打印本页】【关闭本页】【返回列表
·上一篇:MySQL 5.5新特性解读
·下一篇:mysql 编码问题 latin1(iso8859)
 文章评分
  • current rating
-5 -4 -3 -2 -1 0 +1 +2 +3 +4 +5
 相关文章
·[程序综合]亿级Web系统搭建:单机到分布式集群 (2015-10-11)
·[硬件设备]Cache写策略 — write-through与 write-back (2014-06-26)
·[MySQL]加速 MySQL 导入导出的方法 (2010-09-24)
·[MySQL]MySQL BLOB字段类型 (2010-09-24)
·[MySQL]mysql sort 性能优化 (2010-09-04)
 相关评论
 站点最新文章 更多>> 
·[经典影音]萨利机长
·[经典影音]天空之眼
·[管理知识]康奈尔笔记法,提高100%学习效率
·[管理知识]刘强东:我管75000人靠这4张表格
·[管理知识]跟壳牌学HSE管理
·[运营策划]编辑工作内容整理
·[至理名言]奋斗与决定
·[瀚海拾遗]盲人打灯笼之各家论道
·[搞笑段子]中国男足
·[搞笑段子]大爷被采访
 站点浏览最多 更多>> 
·[协议规范]http断点续传原理:http头 Range、…
·[JS/CSS/HTML]HTML 空格的表示符号 nbsp / en…
·[NoSQL]Mongo数据库简介
·[协议规范]什么是SPF记录?如何设置、检测SP…
·[协议规范]图解 HTTPS 通信过程
·[PHP]精选国外免费PHP空间推荐
·[程序综合]常用IP地址查询接口
·[程序综合]什么是 DNS Prefetch ?
·[程序综合]获取客户端IP地址的三个HTTP请求…
·[Linux]/usr 目录的由来