hongze_cygx/services/task.go

package services

import (
	"fmt"
)

func Task() {
	fmt.Println("start")
	//keyWord := "专家"
	//pageSize := 20
	//SearchByKeyWord(keyWord, pageSize)
	//SaveData()
	//GetIndustryMap()
	//解析报告
	//GetArticleExpert()
	//SearchByKeyWordQuery("")
	//AddMap()

	//同步数据
	//ImportData()
	//AddMap()
	//Search("光伏行业")

	//修复报告内容
	//GetArticleAll()

	//indexName := "article_list"
	//		mappingJson := `{
	//"mappings": {
	//  "dynamic": true,
	//  "properties": {
	//    "ArticleId": {
	//      "type": "integer"
	//    },
	//    "Title": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "TitleEn": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "UpdateFrequency": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "CreateDate": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "PublishDate": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "Abstract": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "CategoryName": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "SubCategoryName": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "InterviewDate": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "ExpertBackground": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "ExpertNumber": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "Department": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "BodyText": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    },
	//    "ArticleIdMd5": {
	//      "type": "text",
	//      "analyzer": "ik_smart"
	//    }
	//  }
	//}
	//}`
	// EsCreateIndex(indexName,mappingJson)

	//插入数据
	//allList, err := models.GetArticleAll()
	//if err != nil {
	//	fmt.Println("GetArticleAll Err:", err.Error())
	//	return
	//}
	//
	////indexName := "article"
	//
	//for _, v := range allList {
	//	content := html.UnescapeString(v.Body)
	//	doc, err := goquery.NewDocumentFromReader(strings.NewReader(content))
	//	if err != nil {
	//		fmt.Println("create doc err:", err.Error())
	//		return
	//	}
	//	bodyText := doc.Text()
	//
	//	item := new(ElasticArticleDetail)
	//	item.ArticleId = v.ArticleId
	//	item.Title = v.Title
	//	item.TitleEn = v.TitleEn
	//	item.UpdateFrequency = v.UpdateFrequency
	//	item.CreateDate = v.CreateDate
	//	item.PublishDate = v.PublishDate
	//	item.Abstract = v.Abstract
	//	item.CategoryName = v.CategoryName
	//	item.SubCategoryName = v.SubCategoryName
	//	item.InterviewDate = v.InterviewDate
	//	item.ExpertBackground = v.ExpertBackground
	//	item.ExpertNumber = v.ExpertNumber
	//	item.Department = v.Department
	//	item.ArticleIdMd5 = v.ArticleIdMd5
	//	item.BodyText = bodyText
	//	EsAddData(indexName, strconv.Itoa(v.ArticleId), item)
	//}
	fmt.Println("end")
}

type ElasticArticleDetail struct {
	ArticleId        int    `description:"报告id"`
	Title            string `description:"标题"`
	TitleEn          string `description:"英文标题 "`
	UpdateFrequency  string `description:"更新周期"`
	CreateDate       string `description:"创建时间"`
	PublishDate      string `description:"发布时间"`
	Abstract         string `description:"摘要"`
	CategoryName     string `description:"一级分类"`
	SubCategoryName  string `description:"二级分类"`
	InterviewDate    string `description:"访谈时间"`
	ExpertBackground string `description:"专家背景"`
	ExpertNumber     string `description:"专家编号"`
	Department       string `description:"作者"`
	ArticleIdMd5     string `description:"纪要id"`
	BodyText         string `description:"内容"`
}