<4D F736F F D20B7D6B2BCCABDD3CABCFEB7BDB0B82E646F63>

Size: px

Start display at page:

Download "<4D F736F F D20B7D6B2BCCABDD3CABCFEB7BDB0B82E646F63>"

押孙
6 years ago
Views:

1 设计目标分布式电子邮件系统设计专业的邮件服务器系统供应商邮件系统在当今社会, 作为一种基础通讯平台, 已经不单纯是简单收发邮件, 而是成为互联网各种应用的核心, 承载越来越重要的应用中国人口众多, 上网人数逐年剧增, 使用邮件也日益频繁邮件系统从建成的那一天起, 就面临升级的压力如何设计一个结构良好的大容量邮件系统, 对于系统稳定性可靠性, 对于日后的升级维护有着至关重要的作用拓波公司作为一个在邮件领域默默耕耘的公司, 以小用户量的企业邮件系统立身, 最终希望打造一个坚固的高度可扩展的容易管理维护的大容量分布式邮件系统在设计时, 我们主要考虑如下方面 : 1. 底层坚固高度稳定为保证系统的稳定可靠, 需要在硬件操作系统核心 MTA 应用层在内的每一个环节都稳定可靠才行硬件通常选取知名品牌服务器, 稳定性可靠性都有保障, 差别不大操作系统选择 Linux 或者 FreeBSD, 针对邮件系统的特点, 内核需要特殊调整 : 如打开文件数 (open files) stack size max user processes 等除了操作系统核心外, 系统只加载必须的软件, 屏蔽一切不不要的服务端口在操作系统之上, 处理 smtp pop3 请求的 MTA 的稳定性效率也至关重要当今世界上使用比较多的是 qmail 和 postfix, 都有分布世界各地的大批用户相比较而言,qmail 有着更好的模块化设计更好的安全性, 更高的投递效率更可靠的队列设计 Postfix 优势在于和 sendmail 有着很好的兼容性, 部署容易, 集成程度比较高, 也是一个非常不错的 MTA 软件应用层我们选取 Apache+tomcat Apache 久负盛名久经考验,tomcat 背后有 SUN 支持, 最重要的是 tomcat5 支持应用层负载均衡 (Load Balance) 另外,java 作为一种面向对象的编程语言, 最能体现软件工程思想, 有一系列的 UML 设计工具集成开发环境应用服务器可以选择很多学校也开设 JAVA 课程, 以后 JAVA 会像 c 语言那样普及, 变成程序员必备的技能之一邮件系统应用层会根据用户的反馈增加信的增值服务品种, 如果基于 java 开发, 很容找到相关人才这样缩短开发周期节省开发成本降低维护难度 Google 很多服务是基于 java 开发的当然,java 也有执行效率低的缺点, 但随着硬件速度的提升, 单只程序运行速度的劣势很容易被良好的设计模式优势取代 2. 容易管理维护系统结构复杂之后, 必然会带来管理维护上的麻烦我们的设计思想是希望通过统一的一个管理控制界面, 让系统管理员对每台服务器的运行状况负载情况流量了如指掌 ; 同时通过一个管控界面, 可以远程控制服务器启动关闭, 对服务进程远程启动停止, 对流量调配当出现异常时, 系统自动通过短信通知到管理人员的手机上 3. 增加设备简单有效系统扩展性是衡量系统设计好坏的一个重要指标好的系统能够通过简单添置硬件软件做少许配置即可满足需要我们设计的是让用户数量的增长和邮件服务器数量呈线性关系由于 PC 服务器的硬件成本比较低, 以一台高性能 PC 服务器 3 万元人民币计算, 如果作为 SMTP 服务器可以支撑 15 万用户, 作为 POP 服务器可以支撑 30 万用户, 作为存储服务器, 可以支撑 3 万用户平均每用户为 0.2 元 0.1 元 1 元在保证系统稳定可靠的同时, 能够最大地降低成本降低成本有 2 个途径, 一是最大限度利用硬件, 二是避免使用高端的存储备份设备负载均衡设备四层交换机等

2 专业的邮件服务器系统供应商 4. 具有多级权限管理, 支持个人用户企业用户运营商等大容量邮件系统, 不仅仅是个人用户, 还有企业用户不同用户群体的需求是不同的针对不同用户群, 提供不同的服务套餐, 无疑是市场营销重要手段而这, 需要有技术上做保障才行 TurboMail 邮件应用层采用 java 技术, 无疑是体现用户需求的最佳技术手段作为运营商, 要有丰富权限管理体系, 使邮件系统的每一个管理环节严紧严密 5. 高度模块化, 模块之间最小耦合模块化程度的高低, 可以体现的系统的成熟度充分利用开源宝库中的免费资源, 将优秀的开源项目经过改良优化, 会搭建出优秀的系统不赞成完全从底层开发模块之间通过标准接口通讯, 耦合程度尽可能小, 这样, 即使出问题也不会影响全局最重要的是, 系统扩展性大大增强如可以随时将病毒扫描过滤模块升级, 或者将垃圾邮件过滤模块升级, 其它模块无需做任何改动 6. 提供与其它系统直接的接口 : 如计费平台短信彩信平台防毒网关等作为邮件运营, 计费模块很重要良好的设计可以为灵活的计费提供原始数据根据这些计费数据, 可以制定灵活的促销手段随着彩信的普及, 邮件系统与彩信会逐渐融合其它的扩展平台, 如防病毒网关反垃圾网关反黄网关都可以灵活对接 7. 应用层二次开发部署简单方便邮件系统的生命力来自客户的需求, 只有不断满足客户需求, 推陈出新, 与时俱进, 才会不断有新的用户加入根据用户需求进行二次开发, 这是必不可少的二次开发必须简单, 方便 TurboMail 邮件通过统一的二次开发接口 Jindi-Mailet 实现服务端应用的扩展邮件系统架构上的演化和优劣比较大容量邮件系统按照存储方式不同, 大致可以分为 2 类 : 1. 统一存储邮件队列和邮件数据集中放在存储设备上前端 smtp 服务器多台,POP 服务器多台, 随机选择一台 smtp 服务器或者 POP 服务器 ( 这个过程一般采用 DNS 轮询方式完成 ) 选定某台服务器后, 与该服务器建立连接, 通过认证系统确认用户身份后, 发送或者接收邮件数据因为是统一存储, 数据都是放在磁盘阵列上, 通过 NFS 方式挂在每台服务器上不论是通过哪台功能服务器, 都可以完成邮件收发用户对 Webmail 的请求和 smtp/pop3 类似, 也是通过多台机器随机选取实现负载分布 2. 分布式存储邮件数据分布在每一台服务器上, 每台服务器都提供完整的邮件服务 :smtp/pop3/imap/webmail/ 数据库用

3 专业的邮件服务器系统供应商户请求过来之后, 首先查询目录服务器, 验证用户身份, 然后找到对应的服务器, 建立连接, 收取或者发送邮件这种方式最大的优点是用户数量和邮件服务器数量可以保持线性增长每台服务器支持 10 万邮箱, 当一台服务器用户已达这个数字时, 启用另外一台可以通过管理程序在不同服务器直接迁移用户动态管理服务器从早期 UNIX 几十用户的简单邮件系统, 到现在几百万上千万邮件系统, 中间经历很多变化不妨把这些梳理一下, 比较邮件系统各种技术的优劣 1. 一机一域一机多域 ( 虚拟域 ) 一机一域代表用户是企业用户一台服务器作为邮件服务器一机多域象新网万网, 给很多企业提供邮箱所有的服务, 如 smtp,pop3,imap 都在一台服务器上, 对方邮件服务器通过查询 DNS 即可唯一锁定收件方服务 IP, 直接投递过去这种单机邮件系统, 由于受 cpu 内存硬盘的制约, 用户最多一般不超过 10 万用户考虑可靠性, 一般采用 HA, 将用户数据存放磁盘阵列上, 正常只有一台服务器工作, 异常时自动切换到另外一台对于一般的企业用户, 这种单机邮件系统已经够用但对于大型邮件系统, 这种单机系统显然无法满足 2. 多机一域, 功能分割, 集中存储邮件服务器 smtp pop3 imap webmail 服务分布在不同的服务器上, 通过 NFS 统一访问同一存储区域这种做法, 实现一个简单功能分布, 使每一台服务器功能单一, 几台服务器各司其职, 处理能力大大增强这种简单的功能分散, 实现起来比较简单, 只要在不同的服务器其上部署相关服务即可, 将存储服务器通过 NFS mount 到每一个服务器上, 然后在 DNS 中做相关配置当用户增大到一定数量, 并发量会比较大, 单台 smtp 可以到 256 并发量, 最多不会超过 1000 并发量因此 smtp 很容易成为瓶颈 3. 多机一域, 负载均衡, 集中存储当邮件用户并发量大时,smtp 很容易成为瓶颈, 在系统中出现瓶颈的地方可以多增加几台服务器, 然后更新 DNS, 通过 DNS 查询解析不同的 smtp 服务器地址, 可以使请求平均分配到每一台服务器上现在许多大容量邮件系统都脱胎于此, 特点是部署容易, 简单易行缺点是当访问量增

4 专业的邮件服务器系统供应商大后, 数据访问全部通过 NFS, 也很容易出现磁盘 IO 瓶颈 4. 多机一域, 功能分布, 存储分布该系统前端 (front-end) 是一个邮件交换器和目录服务器 LDAP, 后端是多台独立的存储服务器, 通过管理中心调度, 将存储服务器通过 NFS 挂在相应的 smtp 服务器或者 pop 服务上在目录服务器上, 会保存用户名密码 smtpserver popserver storeserver 等信息, 当用户请求过来是, 先查询 LDAP, 如果是收信, 找到该用户对应的 smtp, 通过直接路由方式连接 smtpserver, 发信 ; 如果是收信, 找到对应的 pop, 连接 popserver 下载邮件该架构解决了服务器处理瓶颈数据存储 IO 瓶颈缺点是主要的任务分发通过邮件交换器完成一但邮件交换器出问题, 整个系统都将无法运行 5. 多机一域, 双层负载均衡, 存储分布为避免出现单点故障, 将 4 改良, 增加多台邮件交换器和 LDAP 服务器邮件交换器通过 DNS 轮询实现负载均衡,LDAP 服务器做成双机热备, 任何一台有故障, 另一台接替存储服务器通过 DRBD 实现两两镜像, 避免出现存储故障这样一套系统, 可以支持千万用户级以 2000 万用户为例,4000 并发量测算, 按照处理能力 : Smtp:15 万用户 / 台,pop:30 万 / 台需要 :smtp:133 台,pop:66 台, 共计约 199 台 PC 服务器这个方案的优点是没有瓶颈, 可以无限扩充, 缺点是需要很多存储服务器, 资源上有些浪费

5 专业的邮件服务器系统供应商 6. 多机一域, 邮件功能服务器这种方案将以邮件服务器为单位, 形成邮件服务器阵列每台邮件服务器具有完整的邮件服务功能 : smtp/pop3/imap/webmail 等用户认证信息集中存放于 LDAP 服务器, 通过 LDAP 查找用户所在邮件服务器系统管理通过集中管控界面可以控制用户数据在服务器之间进行移动复制删除邮件服务器进行两两互备设置独立的过滤服务器, 主要过滤病毒垃圾邮件和黄色图片过滤服务器与邮件服务器之间通过 socket 通讯, 所有处理在内存完成, 大大加快了处理速度该系统有如下特点 : (1) 这种方案系统造价比较低以每台服务 15 万用户计算,100 台服务器可以承载 1500 万用户 100 台服务器大约 200 万 -300 万人民币左右 (2) 结构简单, 布置方便, 容易维护 (3) 用户容量与服务器数量保持线性增长, 扩容只需要增加服务器即可 (4) 帐户在服务器直接动态可调, 可迁移 (5) 没有瓶颈, 应付突发事件的能力强 (6) 小面积的故障, 不会影响整理系统基于以上优点, 我们推荐优先考虑此方案

6 专业的邮件服务器系统供应商功能设计功能上我们遵循如下设计理念 : 1. 集中管控管理一个大型邮件系统, 就象管理一台服务器那样简单在单一管理界面下, 通过 web 浏览器即可监控任何环节, 完成大部分操作 2. 自动化智能化通过自动装置, 如 SMS 监控系统流量内存进程磁盘空间等, 设定报警阀值, 超过阀值就会自动报警, 防范于未然 3. 最简化最优化用简单办法完成简单的事情简单意味着效率稳定可靠 1. 主要功能 : 基本功能 : Smtp,pop3,imap,webmail 增值模块 : 可选模块 SMS,MMS,NETFile,Photo,largeFile, Schedule,AntiSPAM,Anti -Virus, Anti-pronography, 语音邮件视频邮件邮件传真服务 2. 功能清单 : 系统管理员域管理员普通用户 ( 见 263 需求 ) 1. 统计审计功能 : 域用户管理认证登录 WebMail 2. 监控功能 : 邮件广播用户 session 信息初始化

7 3. 服务器管理 : 远程开机关机启动服务停止服务 4. 域管理 : 添加变更转移删除 5. 过滤服务器管理域级过滤规则设定域级黑名单用户邮箱大小附件大小邮件大小控制专业的邮件服务器系统供应商显示首页保存图标位置邮件索引显示 6.DNS 管理功能服务定制 :sms/ 防病毒等邮件移动邮件排序显示页码回复信件转发信件删除信件永久删除信件显示信件原文显示邮件内容加入到地址本加入到拒收列表保存邮件 pop 取信文件夹显示文件夹删除文件夹添加文件夹重命名查找邮件发邮件页面显示立即发送邮件定时发送邮件保存草稿发送短信邮件添加附件删除附件个人地址本显示团体地址本显示添加个人地址本删除个人地址本修改个人地址本添加团体地址本删除团体地址本修改团体地址本地址本排序

8 专业的邮件服务器系统供应商导出地址本导入地址本显示自动转发修改自动转发显示自动回复修改自动回复显示签名档删除签名档增加签名档修改签名档显示 pop 收信设置 pop 收信设置修改 pop 收信设置增加 pop 收信设置删除修改密码显示参数设置参数设置修改显示多风格设置多风格设置修改显示反垃圾级别设置反垃圾级别设置显示杀毒状态修改杀毒状态显示过滤设置邮件过滤设置添加邮件过滤设置修改邮件过滤设置删除显示拒收设置拒收设置修改外挂一次认证 session 维护进程 3. 后端统计统计类别统计项目描述系统资源负载情况 5 分钟采样一次, 自动绘制统计图计图 CPU 使用情况 User,system,nice and idel 内存 Totoal,used,free

9 专业的邮件服务器系统供应商交换分区 Used,free,cached,shared 硬盘 Total,used,free, inode 邮件总量统计网络状况邮件数量, 总流量收到字节数, 发送字节数统计每域每用户收发邮件总量和字节数投递失败统计统计投递失败的记录按照每域每用户统计隔离邮件统计邮件感染病毒, 或者认定为垃圾邮件的按照每域每用户统计短信统计短信发送数统计按照每域每用户统计 4. 后端服务器管控功能项功能描述服务器节点远程管理添加向集群中添加一台服务器除去从集群中拿掉一台服务器重启远程重启服务器关机远程关机服务远程管理启动远程启动某服务器服务进程停止远程停止服务器进程监控报警设定监控项目, 过载报警发送 SMS 到管理员手机负载均衡管理 LVS,RR-DNS, LDAP 负载均衡远程调控 Tomcat 集群管理添加节点删除更新管理 webmail 服务器 Session 服务器管理说明集中管理用户 session 263 多年的邮件系统运营经验, 是一笔宝贵财富只有经历过时间考验的邮件系统, 才是好的系统 263 有很多地方, 值得我们学习, 消化由于我们在大容量邮件系统方面, 并没有太多的实战经验 ( 也没有机会 ), 方案中会有许多错误之处, 还希望 263 的技术专家们指正附件 TurboMail 邮件网关的技术指标 : TurboMail 邮件网关是一款反垃圾反病毒的邮件网关软件, 部署在 Exchange Lotus Imail Mdaemon qmail postfix 等邮件服务器的前端, 为邮件系统提供垃圾邮件过滤和病毒过滤功能 TurboMail 邮件网关是拓波公司多年的技术结晶, 综合运用动态黑名单静态黑名单 IP 阻断 DNS 反向解析邮件打分 bayes 特征库 Razor 国际反垃圾协作网等技术手段, 垃圾邮件的识别率高达 95%-98% 病毒邮件的识别率也在 95% 以上, 可以查杀多种病毒, 对于目前比较流行的邮件病毒 sobig, netsky, mydoom,

10 专业的邮件服务器系统供应商 Worm.SomeFool.Gen 有 100% 的免疫力拓波公司与多家知名防毒厂商合作, 支持病毒特征库定时在线升级, 保证升级频率一周 3 次以上 TurboMail 邮件网关设计成傻瓜化智能化, 不需要复杂的配置, 最大程度降低学习和维护的成本一防毒功能特点 1. 采用先进的技术架构, 绝大部分操作在内存处理, 峰值处理能力为 18 万封 / 小时, 比普通的反垃圾邮件网关快 10 倍以上 2. 彻底查杀隐藏在 zip/rar/tar.gz 等压缩文件中的病毒, 深度可达 20 层 3. 发现病毒邮件后, TurboMail 邮件网关可以根据系统设置决定是否通知发信人 (sender), 收信人 (recips), 管理员 (admin) 中的一位或者多位. 报警通知邮件采用中英文 2 种提示, 用户也可以自己定制提示信息 4. 病毒特征库的升级频率可以从 10 分钟 -1 周可调, 每次升级都有详细的 log 日志, 自动发送到管理员的邮箱. log 日志可以设定大小, 自动回滚使用 5. TurboMail 邮件网关内置的杀毒引擎支持多线程 ( 最多 10 线程 ), 支持 15 层目录深度搜索扫描, 支持防病毒系统自检功能, 开启自检功能后, 防毒系统每隔 1 小时会自检一次 6. 支持病毒邮件短信 SMS 报警通知功能 7. 病毒特征库升级通过由升级服务进程自动完成, 升级时通过 DNS 轮寻, 连接最快的升级服务器. 1 次升级失败时, 系统自动重试 9 次二防垃圾邮件功能特点 :4 层垃圾邮件防护第一层 : 网络层采用 IP 阻断和动态黑名单在网络层,TurboMail 邮件网关可以设置屏蔽任何一个 IP, 一个网段 ; 也可以屏蔽任何一个发信人, 一个域动态黑名单采用黑洞技术, 可以实时获取反垃圾邮件列表 TurboMail 邮件网关支持由国际反垃圾邮件组织提供的实时黑名单 RBL, 系统预设 bl.spamcop.net,sbl-xbl.spamhaus.org 两个黑名单列表第二层 : smtp 协议会话格式检查,DNS 反向解析在这一层,TurboMail 邮件网关在 SMTP 协议的每个阶段进行判断 :MAIL/FROM/RCPT/DATA, 对于不符合 RFC 规范的邮件, 都作为垃圾邮件处理. 对于不能正确反向解析的, 也作为垃圾邮件处理第三层 : 动态白名单如果某一个发信人发送的邮件均为正常邮件, 积累到一定数量后, 系统自动将发信人加入白名单列表第四层 : 基于 Bayes 算法的内容过滤通过内置的贝叶斯 (Bayes) 库对进入邮件系统的每封邮件的头部和正文进行分析, 得出阀值, 阀值低于 5, 则为正常邮件 ; 如果超过 5,TurboMail 邮件网关判定为垃圾邮件, 会在主题增加 SPAM*** 字样 ; 如果阀值超过 7, 系统会自动归置垃圾邮件 ; 阀值超过 9, 系统会自动删除. 对于主题带有 SPAM 标记的邮件, 用户可以通过客户端软件或者 webmail 设置过滤规则转存到一个文件夹, 定期检查, 确认无误后删除详细介绍 :

turbomail方案

turbomail方案 TurboMail 安全保密邮件系统解决方案 (Windows/Linux/Unix/AIX/Solaris/FreeBSD 平台适用 ) 广州拓波软件科技有限公司网址 :http://www.turbomail.org - 1 - 目录广州拓波软件科技有限公司简介...- 4 - 涉密系统需求...- 7