Archives: ceph rgw nginx php

Advertisement

S3 client 访问ceph rgw

S3 client 访问ceph rgw 安装配置S3 client: 安装,s3cmd是使用python编写的客户端: $pip install s3cmd 也可以使用yum 安装 $yum install s3cmd 验证安装是否成功: $s3cmd --version s3cmd version 1.5.2 #表示安装成功 为S3的访问创建账号: sudo radosgw-admin user create --secret="yankunli" --uid="yank

采用CivetWeb代替Apache作为Ceph rgw服务的前端

引言 鉴于官方将civetweb合并到rgw代码中,并将其作为轻量级的HTTP服务器,我对其进行了测试.本文主要包含相关部署以及测试数据. 部署过程 我首先采用yum install ceph-radosgw的方式进行部署,但是在启动的过程中总是无法启动,我曾在ceph中国社区发帖求助:http://bbs.ceph.org.cn/question/268,但是没有回应.后咨询了几位相关同行,他们的部署非常简单,2分钟的事情.所以无奈之下,我进行源码编译部署.背景交代完毕,下面描述具体步骤: 1

ceph rgw中的md_config_obs_t类

md_config_obs_t类 简介: Ceph/src/common/config_obs.h 类md_config_obs_t是所有配置观察者的基类,如果你的对象要时刻响应配置的变化,就可以继承该类来定义. 通过调用md_config_t::add_observer()和md_config_t::remove_observer()可以订阅和取消订阅配置的变化. md_config_obs_t是一个虚基类,其中定义了四个方法: 析构函数 virtual ~md_config_obs_t(){

Mogilefs分布式文件系统-Keepalived+Nginx双主模型实现图片分布式存储、访问

一.分布式文件系统: 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.计算机通过文件系统管理.存储数据,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,在容量大小.容量增长速度.数据备份.数据安全等方面的表现都差强人意. 分布式文件系统可以有效解决数据的存储和管理难题:将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络.每个节点可以分布在

几个 Ceph 性能优化的新方法和思路(2015 SH Ceph Day 参后感)

一周前,由 Intel 与 Redhat 在10月18日联合举办了 Shanghai Ceph Day.在这次会议上,多位专家做了十几场非常精彩的演讲.本文就这些演讲中提到的 Ceph性能优化方面的知识和方法,试着就自己的理解做个总结. 0. 常规的 Ceph 性能优化方法 (1). 硬件层面 硬件规划:CPU.内存.网络 SSD选择:使用 SSD 作为日志存储 BIOS设置:打开超线程(HT).关闭节能.关闭 NUMA 等 (2). 软件层面 Linux OS:MTU.read_ahead 等

02 ceph集群扩展与管理 实战

扩展集群: 再增加1个OSD节点, 再增加2个mon节点, 增加1个MDS元数据服务器 查看osd节点自动平衡数据 请确保各节点时间偏移不大于0.05sec Ready !Go! 再添加一个OSD 把node1的mon节点也变成osd [email protected]:~# mkdir /var/local/osd2 ceph-deploy osd prepare node1:/var/local/osd2 准备 OSD: [email protected]:~# cd /home/my-cluster/ ro

[WIP] Fedora 17上部署Ceph ( by quqi99 )

[WIP] Fedora 17上部署Ceph( by quqi99 ) 作者:张华 发表于:2013-09-03 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 ( http://blog.csdn.net/quqi99) 本文原本打算实际部署一个two-nodeceph环境的,但在中途运行"cephdf"命令时报错"AttributeError:/lib64/librados.so.2: undefined symbol:rados_

CentOS6.3上部署Ceph

一.背景知识 搭建ceph的机器分为两种:client和非client(mds.monitor.osd). 配置时client只需要在内核编译时选上ceph就行,而其它三种则还需要编译ceph用户态源码(下载地址:http://ceph.com/download/),另外osd还要记得安装btrfs文件系统(内核编译作为模块就行). 内核版本参考:http://ceph.com/docs/master/install/os-recommendations/#glibc 二.机器分配 IP Rol

常用命令 ceph

常用命令 ceph 一.集群 1.启动一个ceph 进程 启动mon进程 service ceph start mon.node1 启动msd进程 service ceph start mds.node1 启动osd进程 service ceph start osd.0 2.查看机器的监控状态 [[email protected] ~]# ceph health HEALTH_OK 3.查看ceph的实时运行状态 [[email protected] ~]# ceph -w cluster be1756f2-54f7-

ubuntu系统安装、配置及验证ceph对象网关RadosGW

4. 安装与配置RadosGW 备注:完成2.安装ceph之后,既可以直接跳到这里,安装RadosGW 参考http://docs.ceph.org.cn/install/install-ceph-gateway/ 梁顺斌:ceph 安装配置.docx 曾锐:<Ceph安装部署方案> 备注:最新的ubuntu源:yakkety版本,ceph-deploy版本为 vivid版本的ubuntu: [email protected]:~# ceph-deploy --version 1.5.20 yakke

关于Ceph现状与未来的一些思考

在这十年的发展过程中,Ceph似乎越来越向着云计算的方向靠拢,最先的CephFS文件系统已经不再是开发重点,甚至开发已经陷入了停滞状态.而与虚拟化相关的RBD.RGW则成了发展重点,成为发展最快的模块.但是从代码中仍然能够看到各种遗迹,似乎在告诉后来人这段饶了一个大弯的历史. Ceph发展现在仍然快的眼花缭乱,让我们暂时停下脚步,看看经过十年发展后,现在Ceph的优势与缺点. 一.优势 CRUSH算法 CRUSH算法是Ceph最初的两大创新之一(另一个是基于动态子树分区的元数据集群),也是整个R

安装RADOS gateway(CEPH对象存储)

一.前期准备: 安装RADOS gateway是为了使用对象存储.所以安装RADOS gateway之前,我已经安装好了CEPH,具体请参考我的博客<Ubuntu14.04部署CEPH>. 环境:参照<Ubuntu14.04部署CEPH>用三台Ubuntu14.04在vmware上成功部署了CEPH集群,并且集群健康.此时我们的网络环境就像<Ubuntu14.04部署CEPH>中描述的那样. [email protected]:~# ifconfig eth0 Link encap:

【Ceph中国社区培训课程公开课第一期】

各位小伙伴们,[Ceph中国社区培训课程公开课第一期]Ceph基础入门及其原理和基本部署 1.带你进入ceph世界,从原理到实践,让你快速构建属于自己的ceph集群. 2.带你一步步找"对象",看清RBD本质,玩转RBD YY教育培训公开课地:http://edu.yy.com/freeOpenCourse/detail?id=58088 [Ceph中国社区培训公开课课程表] 基础篇 引言 第一章:ceph的前世今生 1.1 ceph的诞生 1.2 ceph的市场前景 第二章:ceph

ceph源码解析(1)

从GitHub上Clone的Ceph项目,其目录下主要文件夹和文件的内容为: 1 根目录 [src]:各功能某块的源代码 [qa]:各个模块的功能测试(测试脚本和测试代码) [wireshark]:#wireshark的ceph插件. [admin]:管理工具,用于架设文档服务器等 [debian]:用于制作debian(Ubuntu)安装包的相关脚本和文件 [doc]:用于生成项目文档,生成结果参考http://ceph.com/docs/master/ [man]:ceph各命令行工具的ma

rgw用户中的caps

> 可以用以下命令为用户添加所有的caps,拥有对应的cap的用户可以操作不仅限与属于用户自己的桶和对象和其他用户,可以看作拥有管理员的某种权限 radosgw-admin caps add --uid=admin --caps="users=*;buckets=*;metadata=*;usage=*;zone=*" `*代表read和write` 可以按照以下方式为不同的用户添加不同的caps,但是不建议给普通用户开启任何caps testcaps1用户 radosgw-ad

RGW概要分析

RGW简介 Ceph对象存储又名RGW,提供REST风格的API接口,兼容S3和swift.RGW简单来说就是一个语义转换层,以s3接口来说,就是将s3语义的数据读写转换成rados集群中对象的读写.比方说上传文件,RGW主要做的事情就是将文件对象拆分成多个rados集群对象保存下来(当然不止这么简单),下载文件再将多个rados集群对象读取上来返回给用户.所以用户看到的一个文件映射到rados集群中可能是1:N的关系. RGW设计 对外来说用户通过发送http请求到apache,apache转

ceph存储 ceph-Architecture的Cognize

Architecture[架构] 架构 Ceph企业提供独一无二的对象,块和文件存储在一个统一的系统.Ceph是高度可靠,易于管理,并且免费.Ceph的力量可以改变您公司的IT基础架构和管理大量数据的能力.Ceph为成千上万的客户提供访问PB级到EB的数据提供非凡的可扩展性.Ceph的节点可以充分利用硬件资源和智能守护进程,在一个Ceph的存储集群中,可容纳大量节点,通过相互之间的复制和分发数据动态交流.Ceph监控组件也可以被放置到一个集群,Ceph监控来监督Ceph的Ceph存储集群中的节点

实战Nginx与PHP(FastCGI)的安装、配置与优化

一.什么是 FastCGIFastCGI是一个可伸缩地.高速地在HTTP server和动态脚本语言间通信的接口.多数流行的HTTP server都支持FastCGI,包括Apache.Nginx和lighttpd等,同时,FastCGI也被许多脚本语言所支持,其中就有PHP. FastCGI是从CGI发展改进而来的.传统CGI接口方式的主要缺点是性能很差,因为每次HTTP服务器遇到动态程序时都需要重新启动脚本解析器来执行解析,然后结果被返回给HTTP服务器.这在处理高并发访问时,几乎是不可用的

nginx HTTP请求远程缓冲区溢出漏洞

漏洞起因 边界条件错误 影响系统 Igor Sysoev nginx 0.8.14 Igor Sysoev nginx 0.7.61 Igor Sysoev nginx 0.6.38 Igor Sysoev nginx 0.5.37 不受影响系统 Igor Sysoev nginx 0.8.15 Igor Sysoev nginx 0.7.62 Igor Sysoev nginx 0.6.39 Igor Sysoev nginx 0.5.38 危害 远程攻击者可以利用漏洞以应用程序程序执行任意指