如何让多个进程监听同一个TCP端口

28九/1133

如何让多个进程监听同一个TCP端口

通常我的服务器上都会启用多个php-cgi程序，有时候这样做是很必要的

1. 可以同时让多个进程处理请求，负载均衡。
2. 避免一个进程崩溃时，在重新启动前，无法及时提供服务。

启用多个相同服务进程必然需要考虑共用一个socket。对于php-cgi程序来说，是通过stdin文件描述符来传递这个socket。

工作原理如下：

下面是一个示例代码，演示如何启动多个子进程监听同一个端口。

Parent Proecess:

import os, socket, sys

s = socket.socket()
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind(("", 8000))
s.listen(10)

for i in xrange(3):
    pid = os.fork()
    if pid == 0:
        os.dup2(s.fileno(), sys.stdin.fileno())
        os.execv("/usr/bin/python", ("python", "child.py"))
    else:
        print "fork", i, "process id =", pid

print "Parent exited"
sys.exit()

Child Process:

import socket, os, sys

print "Child", os.getpid(), "started"
s = socket.fromfd(sys.stdin.fileno(), socket.AF_INET, socket.SOCK_STREAM)
fd, address = s.accept()

print "Accept from", address

sys.exit()

执行parent.py后，启动了三个child.py的进程，这三个进程都等待来自8000端口的连接，当有连接时打印对方地址并结束进程。通过终端运行

telnet localhost 8000

可以测试child.py进程的响应。连续telnet三次，则让三个进程都完全结束。

若有更好地方法或者建议，请与我交流

喜欢这个文章吗？

考虑订阅我们的RSS Feed吧!

分类: Internet, Linux, 我的代码发表评论

评论 (33) 引用 (0) (订阅这个帖子上的评论)

Creke
2011年09月28日 15:04

Haproxy的第四层模式可以参考

(回复)
- Xiaoxia
  2011年09月28日 22:58
  
  Haproxy是个负载均衡的软件吧，你玩这个吗？？？
  
  (回复)
  - Creke
    2011年09月29日 10:50
    
    可以写规则让相同端口分配负载到不同进程。其实多个进程监听一个端口本质来说也是负载均衡嘛。我用作53端口\(^o^)/~
    
    (回复)
    - Xiaoxia
      2011年10月01日 12:42
      
      在哪里编写规则呢？能够写算法如何让不同的进程进行accept？
      
      (回复)
      - Creke
        2011年10月04日 23:54
        
        在HAPROXY中可以写规则，感兴趣的话可以参考一下HAPROXY的文档。如果要实现自己的算法，恐怕要修改一下源代码了
        
        (回复)
        
        Xiaoxia
        2011年10月05日 12:11
        
        嗯，谢谢！！！
        我正需要这玩意，学习一下。
        
        (回复)
狙击手
2011年09月28日 22:36

能不能写个C版本的呢？

(回复)
- Xiaoxia
  2011年09月28日 22:57
  
  已经写过了，详见FCGI进程管理器：
  http://xiaoxia.org/3646.html
  
  (回复)
pzmj
2011年09月29日 12:55

提一点小意见：加强算法和设计模式，并将其付诸实践，这才是王道。其他一切都是浮云，，，

(回复)
- Xiaoxia
  2011年10月01日 12:51
  
  嗯，这个可能是每个软件工程师的基本要求吧！
  不过说实话呢，我以后的方向不一定是做软件开发的，所以我自己对算法和模式的要求并不高，只要大部分人能看懂我的代码，能从我的代码学到东西，就很不错啦！
  
  (回复)
清风剑
2011年09月29日 16:59

三个进程同时listen同一个端口，那么遇到连接的时候是怎么决定由哪一个进程accept呢？求解
另外，在Linux上的子进程不是可以共享父进程的fd么？为什么要通过stdin去传递呢？

(回复)
- Xiaoxia
  2011年10月01日 13:22
  
  这个处理方式，Linux和Windows好像不同的吧。Linux好像是随机寻找空闲的分配。
  为什么要通过stdin去传递呢？因为调用了exec系统调用，已经装载了新的程序，应该只有标准文件描述符被保留下来吧，你觉得呢？
  
  (回复)
  - 清风剑
    2011年10月08日 14:16
    
    似乎是所有fd都会保留的啊
    ##########file parent.py ########
    from multiprocessing import Process
    import os
    
    def info(content):
    print content
    with fh as f:
    print f.readlines()
    print ‘process id:’, os.getpid()
    
    def main():
    print ‘main line:%s’ %os.getpid()
    global fh
    fh = open(‘./readme’)
    p = Process(target=info, args=(‘child’,))
    p.start()
    p.join()
    
    if __name__ == ‘__main__’:
    main()
    
    ###############
    output:
    main line:4156
    child
    ['hello world\n']
    process id: 4157
    
    (回复)
    - Xiaoxia
      2011年10月08日 14:20
      
      好像有道理，不过你测试执行exec看看，调用一个不同的程序。
      
      (回复)
      - Mike
        2011年10月20日 09:34
        
        设置了CLOEXEC才会在exec时关闭。。。
        
        (回复)
        
        Xiaoxia
        2011年10月20日 13:43
        
        也就是说，默认不设置CLOEXEC，在子进程里调用了exec，父进程的文件描述符还是会被保留下来的？
        
        (回复)
        
        Mike
        2011年10月21日 13:03
        
        yes
        
        (回复)
        
        依云
        2011年12月14日 18:40
        
        Mike~ 原来你早就知道小虾的新博客地址啊，怎么都不告诉我呢。。。
        
        (回复)
        
        Xiaoxia
        2011年12月14日 21:10
        
        不是新旧地址都可以访问的吗？
        
        (回复)
        
        依云
        2011年12月14日 21:22
        
        好吧，旧的我也多年没去过了。。。
ckon
2011年10月03日 20:12

這個site每日traffic ip系幾多？有1000沒？

(回复)
- Xiaoxia
  2011年10月03日 23:02
  
  no… 200左右ip，怎么了？
  
  (回复)
  - Creke
    2011年10月04日 23:55
    
    那显然上千PV啦
    
    (回复)
    - Xiaoxia
      2011年10月05日 12:11
      
      不知道这个怎么算的。
      
      (回复)
Mike
2011年10月07日 08:57

用stdin发送fd？！？把stdin覆盖了呀……

话说，UNIX域套接字发送fd正统一点……

—删— 我以为你是自己写的，原来是fork exec到php进程的。。怪不得。。

(回复)
- Mike
  2011年10月07日 09:05
  
  把我的想法贴出来（貌似乃用graphviz啊）
  digraph G
  {
  “Request” -> “Daemon”
  “Daemon” -> “Service 1″ [label="fork"]
  “Daemon” -> “Service 2″ [label="fork"]
  “Service 1″ -> “Subprocess #1″ [label="same fd"]
  “Service 1″ -> “Subprocess #2″ [label="same fd"]
  “Service 1″ -> “Subprocess #3″ [label="same fd"]
  
  “Service 2″ -> ” Subprocess #1″ [label="same fd"]
  “Service 2″ -> ” Subprocess #2″ [label="same fd"]
  “Service 2″ -> ” Subprocess #3″ [label="same fd"]
  }
  
  (回复)
  - Xiaoxia
    2011年10月07日 13:54
    
    嗯，原来你也用graphviz哦！
    这个想法跟我想的差不多啊，我也是有计划写一个Daemon，用它来运行和守护我用python写的一堆服务程序。
    unix domain socket还没真正使用过，所以通常都用stdin来传递，没有觉得正统不正统的，只想简简单单点解决问题。
    
    (回复)
    - Mike
      2011年10月20日 09:35
      
      glib有基于UNIX domain socket的send_fd和recv_fd的封装哦~
      
      (回复)
      - Xiaoxia
        2011年10月20日 13:42
        
        容易跨平台不？
        这是我比较关心的问题。
        
        (回复)
        
        Mike
        2011年10月21日 13:02
        
        不要问GLib，你应该问M$，因为POSIX煞费苦心还把AF_UNIX更名为AF_LOCAL了，M$支持不支持？只有它自己知道。
        
        （PS. Windows 7有一个隐藏得很深的POSIX子系统，不过我没测试过。）
        
        (回复)
- Xiaoxia
  2011年10月07日 13:50
  
  恩，这个是学习了fcgi进程管理器的做法，可以spawn php-cgi的进程，也可以让自己写的服务进程也使用这种模式进行工作
  
  (回复)
小兔乖乖
2011年10月09日 08:40

崇拜诸位大牛

(回复)
- Xiaoxia
  2011年10月09日 19:55
  
  是哪位？
  
  (回复)

你知道今天是几号？

2011 九月
日	一	二	三	四	五	六
« 八		十 »
	1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30

关于我

小虾 14岁~21岁，还在长

开源软件爱好者
操作系统开发爱好者
网络协议爱好者
影视制作爱好者(非高手)
业余魔方爱好者(非高手)
业余摄影爱好者(非高手)
Linux爱好者(非高手)
羽毛球爱好者(非高手)

Tomb Raider - Room 151 作者
xxftp 作者
xxfpm 作者
IceFox 作者
FC大战FB 作者
SGOS 作者
Home WebServer 作者
FileProtectionSystem 作者
WebQQ Server 作者
Terminal MyQQ 作者
MagicalOS 作者
FakeBasic 作者
集钻石小游戏作者
FlashFTP 作者
电脑小管家作者
网络文件同步系统作者

《环保黑帮》编导兼摄制
《不舍亚运情》导演兼摄影
《初》策划兼监制
《背影1990》导演兼编剧
《梅汝璈-我的中国心》导演兼摄影师

Xiaoxia[PG] Yesterday is history, tomorrow is mistery, today is a gift!