linux网络编程系列(十三)--缓冲区设计及收发大量数据

1. 自定义缓冲区

1.1 为什么要自定义缓冲区

1.2 缓冲区设计的原则

• 
  一方面希望减少系统调用,一次读的数据越多越划算,那么应该准备一个大的缓冲区；
  
• 
  另一方面,希望减少内存占用。如果有10000个并发连接,每个连接一建立就分配各50kB的读写缓冲区(s)的话,将占用1GB内存,而大多数时候这些缓冲区的使用率很低，可以用readv(2)结合栈上空间解决了这个问题；
  

1.3 建立缓冲区的方式

1.3.1 每次都重新申请缓冲区

• 
  优点：是接收线程可以一直接收，任务线程一直处理,除了任务锁没有其他交互；
  
• 
  缺点: 每次都重新申请空间,malloc(或new)消耗量大(可以使用内存池优化)；
  

1.3.2 预先申请缓冲区

• 
  优点:减少了malloc
  
• 
  缺点:在数据插入和使用的时候都使用的锁，而且有严重的拷贝复制情况，(如果想任务处理和数据接收不互相锁，必须使用多的一份儿数据拷贝,情况就更糟)
  

1.3.3 使用线程池

2. 使用read和write读写大量内容

2.1 读大量内容

1. 
   ssize_t readn(int fd,char*buf,int size)
   
2. 
   {
   
3. 
   char*pbuf = buf;
   
4. 
   int total ,nread;
   
5. 
   for(total =0; total < size;)
   
6. 
   {
   
7. 
   nread=read(fd,pbuf,size-total);
   
8. 
   if(nread==0)
   
9. 
   return total;
   
10. 
    if(nread ==-1)
    
11. 
    {
    
12. 
    if(errno == EINTR)
    
13. 
    continue;
    
14. 
    else
    
15. 
    return-1;
    
16. 
    }
    
17. 
    total += nread;
    
18. 
    pbuf += nread;
    
19. 
    }
    
20. 
    return total;
    
21. 
    }
    

2.2 写大量内容

1. 
   ssize_t writen(int fd,char*buf,int size)
   
2. 
   {
   
3. 
   char*pbuf=buf;
   
4. 
   int total ,nwrite;
   
5. 
   for(total =0; total < size;)
   
6. 
   {
   
7. 
   nwrite=write(fd,pbuf,size-total);
   
8. 
   if( nwrite <=0)
   
9. 
   {
   
10. 
    if( nwrite ==-1&& errno == EINTR )
    
11. 
    continue;
    
12. 
    else
    
13. 
    return-1;
    
14. 
    }
    
15. 
    total += nwrite;
    
16. 
    pbuf += nwrite;
    
17. 
    }
    
18. 
    return total;
    
19. 
    }