eta_email_analysis/utils/mail/imap.go

package mail

import (
	"errors"
	"eta/eta_email_analysis/global"
	"eta/eta_email_analysis/utils"
	"fmt"
	"github.com/emersion/go-imap"
	"github.com/emersion/go-imap/client"
	"github.com/emersion/go-message"
	"github.com/emersion/go-message/mail"
	"github.com/h2non/filetype"
	"golang.org/x/text/encoding/simplifiedchinese"
	"golang.org/x/text/transform"
	"io"
	"log"
	"path"
	"strings"
	"time"
)

type MailMessage struct {
	Title      string            `description:"邮件标题"`
	Content    string            `description:"邮件主体正文"`
	Resources  map[string]string `description:"正文内嵌资源"`
	Attachment map[string]string `description:"附件资源"`
}

func ListenMail(mailAddress, folder, userName, password string, readBatchSize int, mailMessageChan chan MailMessage, mailMessageDoneChan chan bool) (err error) { // 收件箱
	defer func() {
		if err != nil {
			fmt.Println("err:", err.Error())
		}
	}()
	// 建立与 IMAP 服务器的连接
	c, err := client.DialTLS(mailAddress, nil)
	if err != nil {
		fmt.Printf("连接 IMAP 服务器失败: %+v \n", err)
		return
	}
	// 最后一定不要忘记退出登录
	defer func() {
		_ = c.Logout()
	}()

	// 登录
	if err = c.Login(userName, password); err != nil {
		fmt.Printf("邮箱[%s] 登录失败: %v \n", fmt.Sprintf("%s:%s", userName, mailAddress), err)
		return
	}
	// 列出当前邮箱中的文件夹
	mailboxes := make(chan *imap.MailboxInfo, 10)
	done := make(chan error, 1) // 记录错误的 chan
	go func() {
		done <- c.List("", "*", mailboxes)
	}()
	log.Println("-->当前邮箱的文件夹 Mailboxes:")

	var folderExists bool
	for m := range mailboxes {
		log.Println("* ", m.Name)
		if m.Name == folder {
			folderExists = true
		}
	}

	if err := <-done; err != nil {
		log.Fatalf("列出邮箱列表时，出现错误：%v \n", err)
	}
	log.Println("-->列出邮箱列表完毕！")
	if !folderExists {
		err = errors.New(fmt.Sprintf("文件夹[%s] 不存在 \n", folder))
		return
	}

	// 选择指定的文件夹
	mbox, err := c.Select(folder, false)
	if err != nil {
		err = errors.New(fmt.Sprintf("选择邮件箱失败: %+v", err))
		return
	}
	//log.Printf("mbox %+v \n", mbox)
	log.Printf("当前文件夹[%s]中，总共有 %d 封邮件 \n", folder, mbox.Messages)
	if mbox.Messages == 0 {
		//log.Fatalf("当前文件夹[%s]中没有邮件", folder)
		return
	}

	// 创建一个序列集，用于批量读取邮件
	seqSet := new(imap.SeqSet)

	// 假设需要获取最后4封邮件时
	from := uint32(1)
	to := mbox.Messages // 此文件下的邮件总数

	if to > 13 {
		from = to - 13
	}
	step := uint32(2)
	for i := from; i <= to; {
		end := i + step - 1
		if end > to {
			end = to
		}

		seqSet.Clear()
		seqSet.AddRange(i, end) // 添加指定范围内的邮件编号

		// 获取整个消息正文
		// imap.FetchEnvelope：请求获取邮件的信封数据（例如发件人、收件人、主题等元数据）。
		// imap.FetchRFC822：请求获取完整的邮件内容，包括所有头部和正文。
		items := []imap.FetchItem{imap.FetchFlags, imap.FetchEnvelope, imap.FetchRFC822}

		// 获取邮件内容 Start
		messages := make(chan *imap.Message, readBatchSize) // 创建一个通道，用于接收邮件消息
		fetchDone := make(chan error, 1)                    // 创建一个通道，用于接收错误消息
		go func() {
			// Fetch方法用于从服务器获取邮件数据，这里请求了邮件的信封和完整内容
			fetchDone <- c.Fetch(seqSet, items, messages)
		}()

		if err := <-fetchDone; err != nil {
			log.Fatalf("获取邮件信息出现错误：%v \n", err)
		}
		// 获取邮件内容 End

		log.Println("开始读取邮件内容")
		for msg := range messages {
			mailMessage, tmpErr := readEveryMsg(msg)
			if tmpErr != nil {
				global.FILE_LOG.Fatalf("读取邮件内容时出现错误：%v \n", tmpErr)
				continue
			}
			// 写入邮件处理chan
			mailMessageChan <- mailMessage
		}

		//time.Sleep(time.Second * 5) // 休眠10秒

		i = i + step
	}

	log.Println("读取了所有邮件，完毕！")
	mailMessageDoneChan <- true

	return
}

//func ListenMail(mailAddress, folder, userName, password string, readBatchSize int, mailMessageChan chan MailMessage, mailMessageDoneChan chan bool) (err error) { // 收件箱
//	defer func() {
//		if err != nil {
//			fmt.Println("err:", err.Error())
//		}
//	}()
//	// 建立与 IMAP 服务器的连接
//	c, err := client.DialTLS(mailAddress, nil)
//	if err != nil {
//		fmt.Printf("连接 IMAP 服务器失败: %+v \n", err)
//		return
//	}
//	// 最后一定不要忘记退出登录
//	defer func() {
//		_ = c.Logout()
//	}()
//
//	// 登录
//	if err = c.Login(userName, password); err != nil {
//		fmt.Printf("邮箱[%s] 登录失败: %v \n", fmt.Sprintf("%s:%s", userName, mailAddress), err)
//		return
//	}
//	// 列出当前邮箱中的文件夹
//	mailboxes := make(chan *imap.MailboxInfo, 10)
//	done := make(chan error, 1) // 记录错误的 chan
//	go func() {
//		done <- c.List("", "*", mailboxes)
//	}()
//	log.Println("-->当前邮箱的文件夹 Mailboxes:")
//
//	var folderExists bool
//	for m := range mailboxes {
//		log.Println("* ", m.Name)
//		if m.Name == folder {
//			folderExists = true
//		}
//	}
//
//	if err := <-done; err != nil {
//		log.Fatalf("列出邮箱列表时，出现错误：%v \n", err)
//	}
//	log.Println("-->列出邮箱列表完毕！")
//	if !folderExists {
//		err = errors.New(fmt.Sprintf("文件夹[%s] 不存在 \n", folder))
//		return
//	}
//
//	// 选择指定的文件夹
//	mbox, err := c.Select(folder, false)
//	if err != nil {
//		err = errors.New(fmt.Sprintf("选择邮件箱失败: %+v", err))
//		return
//	}
//	//log.Printf("mbox %+v \n", mbox)
//	log.Printf("当前文件夹[%s]中，总共有 %d 封邮件 \n", folder, mbox.Messages)
//	if mbox.Messages == 0 {
//		//log.Fatalf("当前文件夹[%s]中没有邮件", folder)
//		return
//	}
//
//	// 创建一个序列集，用于批量读取邮件
//	seqSet := new(imap.SeqSet)
//
//	// 假设需要获取最后4封邮件时
//	from := uint32(1)
//	to := mbox.Messages // 此文件下的邮件总数
//	if mbox.Messages > 2 {
//		from = mbox.Messages - 1
//	}
//	//from = mbox.Messages - 9
//	//to = mbox.Messages - 9
//	from = mbox.Messages
//	to = mbox.Messages
//	seqSet.AddRange(from, to) // 添加指定范围内的邮件编号
//
//
//
//	// 获取整个消息正文
//	// imap.FetchEnvelope：请求获取邮件的信封数据（例如发件人、收件人、主题等元数据）。
//	// imap.FetchRFC822：请求获取完整的邮件内容，包括所有头部和正文。
//	items := []imap.FetchItem{imap.FetchFlags, imap.FetchEnvelope, imap.FetchRFC822}
//
//	// 获取邮件内容 Start
//	messages := make(chan *imap.Message, readBatchSize) // 创建一个通道，用于接收邮件消息
//	fetchDone := make(chan error, 1)                    // 创建一个通道，用于接收错误消息
//	go func() {
//		// Fetch方法用于从服务器获取邮件数据，这里请求了邮件的信封和完整内容
//		fetchDone <- c.Fetch(seqSet, items, messages)
//	}()
//
//	if err := <-fetchDone; err != nil {
//		log.Fatalf("获取邮件信息出现错误：%v \n", err)
//	}
//	// 获取邮件内容 End
//
//	log.Println("开始读取邮件内容")
//	for msg := range messages {
//		mailMessage, tmpErr := readEveryMsg(msg)
//		if tmpErr != nil {
//			global.FILE_LOG.Fatalf("读取邮件内容时出现错误：%v \n", tmpErr)
//			continue
//		}
//		// 写入邮件处理chan
//		mailMessageChan <- mailMessage
//	}
//
//	time.Sleep(time.Second * 5) // 休眠10秒
//
//	log.Println("读取了所有邮件，完毕！")
//
//	return
//}

// 定义一个自定义的 CharsetReader 函数，它能够处理 gb2312 和 gbk 字符集
func myCharsetReader(charset string, input io.Reader) (io.Reader, error) {

	switch strings.ToLower(charset) {
	case "gb2312", "gbk":
		reader := transform.NewReader(input, simplifiedchinese.GBK.NewDecoder())
		return reader, nil
	case "utf-8":
		return input, nil
	default:
		return input, fmt.Errorf("unsupported charset: %s", charset)
	}
}

// document link: https://github.com/emersion/go-imap/wiki/Fetching-messages
func readEveryMsg(msg *imap.Message) (mailMessage MailMessage, err error) {
	message.CharsetReader = myCharsetReader
	mailMessage.Resources = make(map[string]string)  // 内嵌资源
	mailMessage.Attachment = make(map[string]string) // 附件

	htmlStr := ``
	textStr := ``
	rootPath := `C:\Users\123\go\src\eta\eta_email_analysis\static\`

	//log.Printf("当前邮件的消息序列号 %+v \n", msg.SeqNum)
	//log.Println("-------------------------")
	// 获取邮件正文
	r := msg.GetBody(&imap.BodySectionName{})
	if r == nil {
		log.Fatal("服务器没有返回消息内容")
	}

	mr, err := mail.CreateReader(r)
	if err != nil {
		//log.Fatalf("邮件读取时出现错误： %v \n", err)
		err = errors.New(fmt.Sprintf("邮件读取时出现错误：%v \n", err))
		return
	}
	//if date, err := mr.Header.Date(); err == nil {
	//	log.Println("收件时间 Date:", date)
	//}
	//if from, err := mr.Header.AddressList("From"); err == nil {
	//	log.Println("发件人 From:", from)
	//}
	//if to, err := mr.Header.AddressList("To"); err == nil {
	//	log.Println("收件人 To:", to)
	//}
	//log.Printf("抄送 Cc: %+v \n", msg.Envelope.Cc)

	// 邮件标题
	subject, err := mr.Header.Subject()
	if err != nil {
		log.Println("邮件主题 Subject ERR:", err)
	}
	log.Println("邮件主题 Subject:", subject)
	mailMessage.Title = subject

	for {
		p, tmpErr := mr.NextPart()
		if tmpErr == io.EOF {
			break
		} else if tmpErr != nil {
			//log.Fatalf("读取邮件内容时出现错误：%v \n", tmpErr)
			err = tmpErr
			return
		}

		bodyBytes, _ := io.ReadAll(p.Body)
		if err != nil {
			//log.Fatalf("读取邮件部分时出现错误：%v \n", err)
			err = errors.New(fmt.Sprintf("读取邮件部分时出现错误：%v \n", err))
			return
		}

		switch h := p.Header.(type) {
		case *mail.InlineHeader:
			// 这是消息的文本（可以是纯文本或 HTML）
			contentType := h.Get("Content-Type")
			//log.Println("消息内容content-type：", contentType)
			if strings.HasPrefix(contentType, "text/plain") {
				//log.Printf("得到正文 -> TEXT: %v \n", string(bodyBytes))
				textStr += string(bodyBytes)
			} else if strings.HasPrefix(contentType, "text/html") {
				//log.Printf("得到正文 -> HTML: %v \n", len(b))
				//log.Printf("得到正文 -> HTML: %v \n", string(bodyBytes))
				htmlStr += string(bodyBytes)
			}
			// 这是内嵌资源
			if cid := p.Header.Get("Content-ID"); cid != "" {

				// 确定文件后缀
				fileSuffix := determineFileSuffix(bodyBytes)
				fileName := fmt.Sprintf("%s%s.%s", rootPath, cid[1:len(cid)-1], fileSuffix)

				err = utils.SaveToFile(bodyBytes, fileName)
				if err != nil {
					//log.Fatalf("保存文件时出现错误：%v \n", err)
					err = errors.New(fmt.Sprintf("保存文件时出现错误：%v \n", err))
					return
				}
				mailMessage.Resources[cid] = fileName
			}
			break
		case *mail.AttachmentHeader:
			// 这是一个附件
			filename, _ := h.Filename()
			//log.Printf("得到附件: %v,content-type:%s \n", filename, p.Header.Get("Content-Type"))
			saveName := fmt.Sprint(msg.SeqNum, utils.MD5(filename), time.Now().Format(utils.FormatDateTimeUnSpace), time.Now().Nanosecond(), path.Ext(filename))
			filePath := fmt.Sprintf("%s%s%s", rootPath, `file\`, saveName)
			err = utils.SaveToFile(bodyBytes, filePath)
			if err != nil {
				//log.Fatalf("保存文件时出现错误：%v \n", err)
				err = errors.New(fmt.Sprintf("保存文件时出现错误：%v \n", err))
				return
			}

			// 这是附件资源
			if contentDisposition := p.Header.Get("Content-Disposition"); contentDisposition != "" {
				if strings.HasPrefix(contentDisposition, "attachment") {
					mailMessage.Attachment[filename] = filePath
				}
			} else if cid := p.Header.Get("Content-ID"); cid != "" {
				// 这是内嵌资源
				mailMessage.Resources[cid] = filePath
			}
			//else {
			//	mailMessage.Attachment[filename] = filePath
			//}

			break
		default:
			log.Println(h)
		}
	}
	mailMessage.Content = htmlStr
	if mailMessage.Content == `` {
		mailMessage.Content = textStr
	}

	//log.Println("一封邮件读取完毕")
	//log.Printf("------------------------- \n\n")

	return
}

// 根据文件内容确定文件后缀
func determineFileSuffix(content []byte) string {
	kind, err := filetype.Match(content)
	if err != nil {
		log.Printf("无法确定文件类型：%v \n", err)
		return ".bin"
	}
	return kind.Extension
}