讨论帖：建立一个Linux集群（开始配置集群软件，2楼提供更新的目录）

ubuntuhk

昨天发了一个帖子，询问如何建立大于2TB的Linux分区，其实这只是我的目的之一，更重要的是希望建立一个小型Linux集群，用多个Linux服务器来建立一个SSI(Single System Image，单一系统镜像？单一系统映像？单一映像系统？译名好像还没统一)，实现多个服务器共享同样的用户验证、文件系统。

结果抛砖引玉，引来大家的专业意见，现在准备建立一个SSI，并开贴记录，供自己以及有类似需求的同学参考。

大家有什么建议、批评或问题，欢迎插楼打断

ubuntuhk

ext4 bug超多？

ubuntuhk

教授，不好意思，这还是个半拉子工程，最后也最重要的一步，SunGrid还没时间安装测试。

dennis

原帖由 ubuntuhk 于 29-6-2009 05:03 发表

                               
登录/注册后可看大图

倾向下面这个存储方案：
NFS+JFS/EXT4/EXT3

本地文件系统选用JFS或EXT4或EXT3，还需要具体实验测试过才决定。

在ChinaUnix上考察了一圈，才发现，目前那些集群存储系统（GFS、Lustre等）对我的应用来说，太复 ...

测试吗？ 去装一个Openfiler NAS服务器，虚拟iscsi，在客户端看起来和SAN貌似没什么区别，文件系统性能ext4肯定最好，但是bug超多，最好多备份

教兽

U版客气了，我只“教”的了“兽”：）
看起来你用Sun Grid的理由似乎是充分的，但进展如何？那个东西应该不好搞

ubuntuhk

欢迎教授来指导工作

用Sun Grid，主要是用它来管理一些运算工作，它可以根据指定的运行计划，把工作分配到不同的节点上，感觉比较适合我现在的服务器条件（服务器之间没有高速的光通道连接，所以尽量要让子任务在各自的节点上运行，避免产生太大的通讯负载）和应用。

教授有何推荐？分享一下.

教兽

原帖由 ubuntuhk 于 14-7-2009 19:53 发表

                               
登录/注册后可看大图

准备尝试的第一个（也有可能是仅有的一个，如果它的性能/功能满足要求的话）Cluser系统是Sun Grid Engine。

这里有一个中文的简介： http://www.diybl.com/course/3_program/rg/2008612/125174.html

不过最好还 ...

不明白为什麽要用SUN grid, 在SUN中国的时候，对这个东西印象不佳，严格说它应该不是一个Cluster软件，他是一个介于云计算和集群之间的东西。

ubuntuhk

小皮包公司

主要是自己感兴趣。

coredump

很好奇你们到底是啥样的公司啊，你怎么什么活都干啊！

ubuntuhk

LDAP我还是想用的，只不过不打算在目前这个集群里面用，我希望用它来做跨平台、跨应用（Web、OA、Mail等）的公司内部用户认证系统。

我觉得工程比较大，得另外开个主题讨论才行。

coredump

原帖由 Tux 于 15-7-2009 16:37 发表

                               
登录/注册后可看大图

如果不想用OpenLDAP，用户也不是巨量的话，试试看ApacheDS，挺不错的pure Java实现。

这东西还是LDAP啊，只不过用Java重新实现了一遍而已，如果不想用OpenLDAP也实在没理由考虑另一个LDAP的实现吧。

ubuntuhk

ApacheDS 新名词，研究一下

Tux

如果不想用OpenLDAP，用户也不是巨量的话，试试看ApacheDS，挺不错的pure Java实现。

ubuntuhk

准备尝试的第一个（也有可能是仅有的一个，如果它的性能/功能满足要求的话）Cluser系统是Sun Grid Engine。

这里有一个中文的简介： http://www.diybl.com/course/3_program/rg/2008612/125174.html

不过最好还是看Wikipedia上的介绍： http://en.wikipedia.org/wiki/Sun_Grid_Engine

（前一段时间忙别的去了，所以这个楼层建设停滞了一段时间，现在继续。。。）

ubuntuhk

谢谢推荐LDAP相关的资料，不过这个集群因为是内部使用，主要关注管理便利、配置简单、尽可能利用一个机柜内的各服务器的存储空间和CPU性能。

所以我还是计划采用NIS作为这个小集群的用户验证系统。

不过我也很有兴趣研究LDAP用于集成Windows+Linux的统一用户验证机制，不过这个话题可能要另外再开一篇帖子来探讨了。

fargo

原帖由 ubuntuhk 于 5-7-2009 14:02 发表

                               
登录/注册后可看大图

很有趣，MS的技术杂志竟然也刊登有关Linux的技术文章（是不是推销Windows上的LDAP service？）。

不过这篇文章主要介绍Winbind的方案，还是有点复杂（Samba要自己重新编译）。

LDAP server用什么方案？我看到L ...

Not recommending LDAP only, because the username/password sent is in clear text.

check this out, set up openldap+kerberos server on Linux, no need for Windows AD.

Replacing NIS with Kerberos and LDAP HOWTO
http://aput.net/~jheiss/krbldap/howto.html

ubuntuhk

很有趣，MS的技术杂志竟然也刊登有关Linux的技术文章（是不是推销Windows上的LDAP service？）。

不过这篇文章主要介绍Winbind的方案，还是有点复杂（Samba要自己重新编译）。

LDAP server用什么方案？我看到Linux上有OpenLDAP，不知道有同学试过吗？

在wikipedia的LDAP条目上找到一些有关的link：
http://linuxwiki.riverworth.com/ ... LDAP_Authentication
http://www.bekatul.info/node/24

fargo

原帖由 ubuntuhk 于 2-7-2009 14:26 发表

                               
登录/注册后可看大图

搞定NIS了，参考的是这篇帖子：
http://doc.linuxpk.com/1708.html

NIS的配置确实很简单，但是通常只用于Linux/Unix之间的用户验证，Windows上如果需要NIS用户验证，直接的方案我在Google上没找到，不过找到一个 ...

Authenticate Linux Clients with Active Directory

http://honglus.blogspot.com/2009 ... ts-with-active.html

I recommand LDAP + Kerberos, simple &secure,less complex than winbind.

[ 本帖最后由 fargo 于 5-7-2009 13:16 编辑 ]

ubuntuhk

内存同步

看来这是用于超级计算机的技术

coredump

InfiniBand是专用于集群技术的协议，可以用于远程内存同步，实现包括软件和硬件。不是你这个小东西需要考虑的东东 而且这个和TCP/IP不兼容，即使在高端使用领域也有被10G以太网取代的趋势。

ubuntuhk

InfiniBand DDR是什么？我google了一下，好像是交换机？没搞懂。

我现在用的是SATA硬盘，SAS我只看到有320GB的，而且价格比较贵，将来可能会组建一个SAS的存储阵列。

我现在用的是RAID6，速度还不错，不过还没和RAID10比较过，有时间也会试试RAID10。

williamtsingtao

得用集群软件吧···例如InfiniBand DDR什么的

RAID的话得看楼主什么硬盘了，什么应用了···RAID10比较带劲···

ubuntuhk

搞定NIS了，参考的是这篇帖子：
http://doc.linuxpk.com/1708.html

NIS的配置确实很简单，但是通常只用于Linux/Unix之间的用户验证，Windows上如果需要NIS用户验证，直接的方案我在Google上没找到，不过找到一个间接的办法，把NIS的用户和口令同步到Windows域上：
http://technet.microsoft.com/en-us/library/cc737371(WS.10).aspx

我目前之关注Linux Cluster的用户验证，所以暂时不理会Windows的用户验证问题。

NIS还有一个问题，使用明文传输密码（shadow文件的内容），NIS+改进了这个问题，不过这个问题在这里也不是重点，所以先不考虑，重要的是先把Cluster搭建起来。

coredump

Linux的PAM系统是高度可配置的，可以允许使用各种用户验证方案。

Google里search "Linux Windows SSO", 之类的可以找到好多idea，比如这个。

ubuntuhk

集群里的用户需要统一验证，所以还要找个统一验证的方案。

这个统一验证方案，我也在考虑是否可能和别的系统整合，SVN、Windows user authorization、Email、SMB。。。，希望能找到一个终极方案。

不过我也知道这可能和文件系统一样，没有终极方案，只能根据具体的应用来选择最合适的方案。

欢迎大家提议！

ubuntuhk

NFS：老牌分布式共享文件系统，一般由单台或多台主机共享出一块或多块存储区域供多个客户端读写，适用于小规模集群
GFS：分布式文件系统新秀，一般由单台或多台主机甚至所有主机共享存储空间，来供大量客户端进行读写，有一定容错性，不过配置比较复杂，
PVFS：由多台主机共享的存储空间构建成一个统一的存储空间，冗余性比较差，只要有其中一台主机宕机，则整个PVS存储就不可用了，可靠性较差

一篇3年前的帖子，有一定参考意义：
http://web.bii.a-star.edu.sg/~james/fs_review/

这里有一篇很粗略的NFS和其它分布式文件系统的比较，也有点参考意义：
http://wiki.linux-nfs.org/wiki/i ... n_of_NFS_vs._others

还有CU的nntp回答一个网友的问题，觉得很有道理，各种文件系统（不管是本地还是分布式），都有自己的特点，没有一种是灵丹妙药，还是得对症下药：
http://linux.chinaunix.net/bbs/v ... p;extra=&page=2

14楼 发表于 2006-9-30 17:12
QUOTE:
原帖由 UFFO 于 2006-9-30 14:16 发表
如果在WEB集群里～是使用nfs好还是gfs好????

每个web 集群都有自己的业务特点和要求，适合用nfs的web集群就用nfs,适合用gfs的web集群就用gfs. 在问这样的问题之前, 你需要回答自己一个问题: 你对自己要做的web集群真实的业务特点和性能要求有清晰的理解么？这些理解有基于实际测试和评估的客观结果数字来支持么? 这个问题回答好了，你提的问题就自然迎刃而解了.

一个人觉得胃不好，想要吃点什么药来改善一下，到底是吃西药治疗？还是中药调理? 如果根本不清楚自己胃里面出了什么问题，没有化验，没有诊断，去谈该吃什么药，用什么治疗手段就是空谈.

依我愚见, 这个论坛里面存在有一种普遍现象，就是很多人往往在根本不了解自己面对什么，需要什么，目标是什么的情况下，盲目的寄希望于某一个软件，某一种技术可以达到"完美中的完美"，一下子彻底解决问题. 实际上真实的应用环境存在这种可能么？ nfs/gfs/*fs  这些技术和系统根本没有绝对的替代关系，优劣比较，把合适的系统用到合适的业务需求中去，才是解决问题的真正道路所在.

对于我目前的应用来说，主要看海量小文件的读取性能，同时也要保证文件系统的可靠性，而且我的客户端比较少，所以NFS简单易用、易维护，应该足够我使用了。

ubuntuhk

可以参考这篇文章：
http://www.sofee.cn/blog/2006/09/29/46/

配置还是相当直接，一步一步做就成了，不过这篇帖子没有写具体如何控制共享目录的权限，下面这个帖子介绍了更多有关权限控制方面的信息：
http://www.linuxeden.com/html/netadmin/20070522/26875.html

coredump

也许可以理解为ext4比ext3在利用空闲系统内存方面更聪明了或者ext4比ext3占用了更多内存。

ubuntuhk

有道理

不过我之前在同一台机器上，也解了同样的文件到另一个ext3硬盘，就没有问题。

内存出问题我还真没见过多少，看来小概率事件也不是不存在。

coredump

可能是那个内存颗粒本来就有故障，这次被你用tar 120G的大文件给给检测出来了。看来你应该在每个机器上都tar一遍，尽量让所有内存都热热身。