task.go 16 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538
  1. package services
  2. import (
  3. "eta/eta_api/models"
  4. "eta/eta_api/services/alarm_msg"
  5. "eta/eta_api/services/data"
  6. "eta/eta_api/utils"
  7. "fmt"
  8. "strings"
  9. "time"
  10. )
  11. func Task() {
  12. fmt.Println("task start")
  13. {
  14. // 修复客户试用数据
  15. //FixCompanyUpdateData()
  16. //FixCompanyTryDay()
  17. //FixCompanyTryDay()
  18. //StaticCompanyTryDay()
  19. //return
  20. }
  21. //FixPermissionStatus()
  22. //GetCompanyInfo()
  23. //ReportCount()
  24. //windSourceUrl:=`http://47.100.166.55:7002/edbInfo/wind/?EdbCode=M0001427&StartDate=2020-11-01&EndDate=2021-03-01`
  25. //data.AddAllArticle()
  26. //data.GetSmmIndex()
  27. //data.GetSmmIndexData()
  28. go AutoInsertLogToDB()
  29. //手工数据表格导入后的指标库刷新
  30. go ImportManualDataRefresh()
  31. //修复用户关注标识
  32. //GetWxUsersSubscribe()
  33. go AutoInsertAdminOperateRecordToDB()
  34. // 指标刷新
  35. go data.HandleEdbRefreshQueue()
  36. // 进行指标替换操作
  37. go DealReplaceEdbCache()
  38. // TODO:修复权限
  39. //FixEnCompanyPermission()
  40. fmt.Println("task end")
  41. }
  42. // 每日发布晨报
  43. func AutoPublishDayReport() {
  44. defer func() {
  45. if err := recover(); err != nil {
  46. fmt.Println("[AutoPublishDayReport]", err)
  47. }
  48. }()
  49. // 每日8:42发布晨报
  50. ticker := time.Tick(50 * time.Second)
  51. for range ticker {
  52. nowTime := time.Now()
  53. clock := nowTime.Format("1504")
  54. if clock == "0842" {
  55. if err := PublishTodayDayReport(); err != nil {
  56. go alarm_msg.SendAlarmMsg(fmt.Sprint("每日晨报自动发送 AutoPublishDayReport ERR:", err), 3)
  57. //utils.SendEmail(utils.APPNAME+" "+utils.RunMode+" 失败提醒", fmt.Sprint("AutoPublishDayReport ERR:", err), utils.EmailSendToUsers)
  58. }
  59. }
  60. }
  61. }
  62. // ImportManualDataRefresh 导入手工数据后的刷新
  63. func ImportManualDataRefresh() {
  64. defer func() {
  65. if err := recover(); err != nil {
  66. fmt.Println("[ImportManualDataRefresh]", err)
  67. }
  68. }()
  69. for {
  70. utils.Rc.Brpop(utils.CACHE_IMPORT_MANUAL_DATA, func(b []byte) {
  71. edbCode := string(b)
  72. edbCode = strings.TrimPrefix(edbCode, `"`)
  73. edbCode = strings.TrimSuffix(edbCode, `"`)
  74. data.RefreshManualData(edbCode)
  75. })
  76. }
  77. }
  78. //func init() {
  79. // fmt.Println("start task init")
  80. // UpdateEnglishEmailLogErrMsg()
  81. // fmt.Println("end task init")
  82. //}
  83. //
  84. //// UpdateEnglishEmailLogErrMsg 更新英文邮件日志的ErrMsg(研报后台4.2上线后执行, 仅一次)
  85. //func UpdateEnglishEmailLogErrMsg() {
  86. // var cond string
  87. // var pars []interface{}
  88. // list, e := models.GetEnglishReportEmailLogList(cond, pars)
  89. // if e != nil {
  90. // fmt.Println("获取日志列表失败")
  91. // return
  92. // }
  93. // for _, v := range list {
  94. // if v.SendStatus != 0 || v.Source != 1 || v.Result == "" || v.ErrMsg != "" {
  95. // continue
  96. // }
  97. // // 取出错误信息
  98. // fmt.Printf("正在更新%d\n", v.Id)
  99. // r := new(AliyunEmailResult)
  100. // if e = json.Unmarshal([]byte(v.Result), &r); e != nil {
  101. // fmt.Println("JSON解析报错了1" + e.Error())
  102. // continue
  103. // }
  104. // rd := new(AliyunEmailResultData)
  105. // res := strings.Replace(r.Data, `\`, ``, -1)
  106. // if e = json.Unmarshal([]byte(res), &rd); e != nil {
  107. // fmt.Println("JSON解析报错了2" + e.Error())
  108. // continue
  109. // }
  110. // v.ErrMsg = rd.Message
  111. // if e = v.Update([]string{"ErrMsg"}); e != nil {
  112. // fmt.Println("更新失败了" + e.Error())
  113. // continue
  114. // }
  115. // }
  116. // fmt.Println("更新成功")
  117. //}
  118. //func FixCompanyUpdateData1() {
  119. // list, err := company.GetCompanyProductUpdateLogList()
  120. // if err != nil {
  121. // fmt.Println("获取客户变更数据失败:", err)
  122. // return
  123. // }
  124. //
  125. // nowTime := time.Now()
  126. // for _, v := range list {
  127. // //item, tmpErr := company.GetCompanyProductLogItem(v.CompanyId, v.ProductId, v.CreateTime)
  128. // //if tmpErr != nil {
  129. // // fmt.Println(v.Id, "找数据,", tmpErr)
  130. // // continue
  131. // //}
  132. //
  133. // //permissionList := make([]*company.CompanyReportPermission, 0)
  134. // //switch v.Source {
  135. // //case "add", "receive", "thaw", "delay", "apply_receive":
  136. // //
  137. // //}
  138. // permissionList, err := company.GetCompanyReportPermission(v.CompanyId, v.ProductId)
  139. // if err != nil {
  140. // fmt.Println("err:", err)
  141. // continue
  142. // }
  143. //
  144. // startDate := v.CreateTime
  145. // endDate := v.CreateTime.AddDate(0, 2, 0)
  146. // isStop := 1
  147. // realEndDate := endDate
  148. // if realEndDate.After(nowTime) {
  149. // realEndDate = nowTime
  150. // isStop = 0
  151. // }
  152. // for _, permission := range permissionList {
  153. // permission.StartDate = startDate.Format(utils.FormatDate)
  154. // permission.EndDate = v.CreateTime.Format(utils.FormatDate)
  155. // }
  156. // companyProductTryOutUpdateLogItem := &company.CompanyProductTryOutUpdateLog{
  157. // Id: 0,
  158. // CompanyId: v.CompanyId,
  159. // ProductId: v.ProductId,
  160. // SellerId: v.SellerId,
  161. // SellerName: v.SellerName,
  162. // Source: v.Source,
  163. // StartDate: startDate,
  164. // EndDate: endDate,
  165. // RealEndDate: realEndDate,
  166. // IsStop: isStop,
  167. // CreateTime: v.CreateTime,
  168. // }
  169. // err = company.AddCompanyProductTryOutUpdateLog(companyProductTryOutUpdateLogItem, permissionList)
  170. // }
  171. // //fmt.Println("结束")
  172. //}
  173. //func FixCompanyUpdateData2() {
  174. // list, err := company.GetTryOutCompanyOperationRecordList()
  175. // if err != nil {
  176. // fmt.Println("获取客户变更数据失败:", err)
  177. // return
  178. // }
  179. //
  180. // nowTime := time.Now()
  181. // for _, v := range list {
  182. // //item, tmpErr := company.GetCompanyProductLogItem(v.CompanyId, v.ProductId, v.CreateTime)
  183. // //if tmpErr != nil {
  184. // // fmt.Println(v.Id, "找数据,", tmpErr)
  185. // // continue
  186. // //}
  187. //
  188. // //permissionList := make([]*company.CompanyReportPermission, 0)
  189. // //switch v.Source {
  190. // //case "add", "receive", "thaw", "delay", "apply_receive":
  191. // //
  192. // //}
  193. // permissionList, err := company.GetCompanyReportPermission(v.CompanyId, v.ProductId)
  194. // if err != nil {
  195. // fmt.Println("err:", err)
  196. // continue
  197. // }
  198. //
  199. // startDate := v.CreateTime
  200. // endDate := v.CreateTime.AddDate(0, 2, 0)
  201. // isStop := 1
  202. // realEndDate := endDate
  203. // if realEndDate.After(nowTime) {
  204. // realEndDate = nowTime
  205. // isStop = 0
  206. // }
  207. // for _, permission := range permissionList {
  208. // permission.StartDate = startDate.Format(utils.FormatDate)
  209. // permission.EndDate = v.CreateTime.Format(utils.FormatDate)
  210. // }
  211. // sellerName := ``
  212. // {
  213. // sysUser, _ := system.GetSysAdminById(v.SellerId)
  214. // if sysUser != nil {
  215. // sellerName = sysUser.RealName
  216. // }
  217. // }
  218. // companyProductTryOutUpdateLogItem := &company.CompanyProductTryOutUpdateLog{
  219. // Id: 0,
  220. // CompanyId: v.CompanyId,
  221. // ProductId: v.ProductId,
  222. // SellerId: v.SellerId,
  223. // SellerName: sellerName,
  224. // Source: "formal_to_try_out",
  225. // StartDate: startDate,
  226. // EndDate: endDate,
  227. // RealEndDate: realEndDate,
  228. // IsStop: isStop,
  229. // CreateTime: v.CreateTime,
  230. // }
  231. // err = company.AddCompanyProductTryOutUpdateLog(companyProductTryOutUpdateLogItem, permissionList)
  232. // }
  233. // fmt.Println("结束")
  234. //}
  235. // FixCompanyTryDay 修复试用天数
  236. //func FixCompanyTryDay() {
  237. // list, err := company.GetCompanyProductTryOutUpdateGroup()
  238. // if err != nil {
  239. // fmt.Println("获取客户变更数据失败:", err)
  240. // return
  241. // }
  242. //
  243. // lenList := len(list)
  244. // for k, v := range list {
  245. // fmt.Println("剩余", lenList-k-1, "条数据修复")
  246. // companyProduct, tmpErr := company.GetCompanyProductByCompanyIdAndProductId(v.CompanyId, v.ProductId)
  247. // if tmpErr != nil {
  248. // fmt.Println("company_id:", v.CompanyId, ";product_id:", v.ProductId, ";找不到对应的客户,Err:", tmpErr)
  249. // continue
  250. // }
  251. //
  252. // logList, err := company.GetCompanyProductTryOutUpdateList(v.CompanyId, v.ProductId)
  253. // if err != nil {
  254. // fmt.Println("查找客户日志失败,err:", err)
  255. // continue
  256. // }
  257. //
  258. // //lenLog := len(logList)
  259. // var day int //实际试用天数
  260. // var endDate time.Time
  261. // for _, log := range logList {
  262. // startDate := log.StartDate
  263. // if endDate.IsZero() {
  264. // endDate = log.RealEndDate
  265. // day = utils.GetTimeSubDay(startDate, log.RealEndDate) + 1
  266. // } else {
  267. // if log.RealEndDate.After(endDate) {
  268. // if endDate.After(startDate) {
  269. // startDate = endDate
  270. // }
  271. // if startDate.Equal(log.EndDate) {
  272. // day += utils.GetTimeSubDay(startDate, log.RealEndDate)
  273. // } else {
  274. // day += utils.GetTimeSubDay(startDate, log.RealEndDate) + 1
  275. // }
  276. // endDate = log.RealEndDate
  277. // }
  278. // }
  279. // }
  280. // companyProduct.TryOutDayTotal = day
  281. // companyProduct.Update([]string{"TryOutDayTotal"})
  282. // }
  283. // fmt.Println("结束")
  284. //}
  285. // StaticCompanyTryDay 定时任务每天更新试用天数
  286. //func StaticCompanyTryDay() {
  287. // list, err := company.GetCompanyProductTryOutUpdateNoStopGroup()
  288. // if err != nil {
  289. // fmt.Println("获取客户变更数据失败:", err)
  290. // return
  291. // }
  292. //
  293. // lenList := len(list)
  294. // for k, v := range list {
  295. // isAdd := false //是否要增加一天,默认不加
  296. // fmt.Println("剩余", lenList-k-1, "条数据修复")
  297. // permissionList, tmpErr := company.GetCompanyReportPermissionByStatus(v.CompanyId, v.ProductId, "试用")
  298. // if tmpErr == nil {
  299. // fmt.Println("company_id:", v.CompanyId, ";product_id:", v.ProductId, ";寻找对应的试用品种失败,Err:", tmpErr)
  300. // continue
  301. // }
  302. // currPermissionIdList := make([]int, 0) //当前试用的品种
  303. // for _, permission := range permissionList {
  304. // currPermissionIdList = append(currPermissionIdList, permission.ChartPermissionId)
  305. // }
  306. //
  307. // //获取所有未停止的记录列表
  308. // logList, err := company.GetCompanyProductTryOutUpdateNoStopListByEndDate(v.CompanyId, v.ProductId)
  309. // if err != nil {
  310. // fmt.Println("查找客户日志失败,err:", err)
  311. // continue
  312. // }
  313. //
  314. // logPermissionIdList := make([]int, 0) //当前日志中的试用的品种
  315. // for _, log := range logList {
  316. // //获取所有未停止的品种试用记录列表
  317. // logPermissionList, tmpErr := company.GetCompanyProductTryOutPermissionUpdateNoStopListByEndDate(log.Id)
  318. // if tmpErr != nil {
  319. // fmt.Println("查找客户品种变更日志失败,err:", tmpErr)
  320. // continue
  321. // }
  322. // lenLogPermissionList := len(logPermissionList) //当前日志存在试用的品种数量
  323. // stopPermission := 0 //当前日志需要停止的品种数量
  324. //
  325. // currTime := time.Now() //当前时间
  326. // for _, logPermission := range logPermissionList {
  327. // if utils.InArrayByInt(logPermissionIdList, logPermission.ChartPermissionId) {
  328. // // 如果已经被其他记录使用了,那么就将当前记录给标记停止
  329. // logPermission.IsStop = 1
  330. //
  331. // // 如果当前时间晚于结束日期,那么实际结束日期就是今天之前一天,否则就是当天
  332. // if currTime.After(logPermission.EndDate) {
  333. // logPermission.RealEndDate = currTime.AddDate(0, 0, -1)
  334. // } else {
  335. // logPermission.RealEndDate = time.Now()
  336. // }
  337. // logPermission.Update([]string{"IsStop", "RealEndDate"})
  338. // stopPermission++
  339. // continue
  340. // } else if !utils.InArrayByInt(currPermissionIdList, logPermission.ChartPermissionId) {
  341. // // 如果该品种不在当前客户的品种里面,那么也要将当前记录给标记停止
  342. // logPermission.IsStop = 1
  343. // // 如果当前时间晚于结束日期,那么实际结束日期就是今天之前一天,否则就是当天
  344. // if currTime.After(logPermission.EndDate) {
  345. // logPermission.RealEndDate = currTime.AddDate(0, 0, -1)
  346. // } else {
  347. // logPermission.RealEndDate = time.Now()
  348. // }
  349. // logPermission.Update([]string{"IsStop", "RealEndDate"})
  350. // stopPermission++
  351. // continue
  352. // }
  353. //
  354. // // 剩下的说明还处于试用状态,需要添加1天试用期,且需要把该品种加入到当前日志中的试用的品种列表
  355. // isAdd = true
  356. // logPermissionIdList = append(logPermissionIdList, logPermission.ChartPermissionId)
  357. // }
  358. //
  359. // //如果当前日志存在试用的品种数量 == 当前日志需要停止的品种数量
  360. // // 那么当前日志也是处于停用状态
  361. // if lenLogPermissionList == stopPermission {
  362. // log.IsStop = 1
  363. // // 如果当前时间晚于结束日期,那么实际结束日期就是今天之前一天,否则就是当天
  364. // if currTime.After(log.EndDate) {
  365. // log.RealEndDate = currTime.AddDate(0, 0, -1)
  366. // } else {
  367. // log.RealEndDate = time.Now()
  368. // }
  369. // log.Update([]string{"IsStop", "RealEndDate"})
  370. // }
  371. //
  372. // }
  373. //
  374. // // 如果需要添加,那么将该客户品种添加1天
  375. // if isAdd {
  376. //
  377. // }
  378. // // 更新客户产品的试用天数
  379. // tmpErr = company.AddCompanyProductTryOutDayTotal(v.CompanyId, v.ProductId)
  380. // if tmpErr != nil {
  381. // fmt.Println("company_id:", v.CompanyId, ";product_id:", v.ProductId, ";更新客户产品的试用天数,Err:", tmpErr)
  382. // continue
  383. // }
  384. // }
  385. // fmt.Println("结束")
  386. //}
  387. //func Task2() {
  388. // fmt.Println("task start")
  389. //
  390. // //_, _ = maycur.GetPublicOfferingSaleLeader()
  391. // //_ = maycur.TestSyncCompanyProfile()
  392. // //_ = maycur.SyncCompanyProfile()
  393. // //_ = maycur.ImportExcelEmployeeId()
  394. // //_ = maycur.ApiTest()
  395. // //_ = maycur.ApiTest2()
  396. // fmt.Println("task end")
  397. //}
  398. // FixEnCompanyPermission 英文权限上线时修复英文客户拥有所有权限(一次性)
  399. func FixEnCompanyPermission() {
  400. var err error
  401. defer func() {
  402. if err != nil {
  403. fmt.Println("FixEnCompanyPermission Err: ", err.Error())
  404. }
  405. }()
  406. // 获取正式客户
  407. companies := make([]*models.EnglishCompany, 0)
  408. {
  409. cond := ` AND status = ?`
  410. pars := make([]interface{}, 0)
  411. pars = append(pars, 1)
  412. list, e := models.GetEnglishCompanyList(cond, pars, "")
  413. if e != nil {
  414. err = fmt.Errorf("GetEnglishCompanyList err: %s", e.Error())
  415. return
  416. }
  417. companies = list
  418. }
  419. // 获取所有权限
  420. permissions := make([]*models.EnPermission, 0)
  421. {
  422. cond := ` AND parent_id > ?`
  423. pars := make([]interface{}, 0)
  424. pars = append(pars, 0)
  425. ob := new(models.EnPermission)
  426. list, e := ob.GetItemsByCondition(cond, pars, []string{}, "")
  427. if e != nil {
  428. err = fmt.Errorf("GetPermissionItemsByCondition err: %s", e.Error())
  429. return
  430. }
  431. permissions = list
  432. }
  433. for _, c := range companies {
  434. ps := make([]*models.EnCompanyPermission, 0)
  435. for _, p := range permissions {
  436. ps = append(ps, &models.EnCompanyPermission{
  437. EnCompanyId: c.CompanyId,
  438. EnPermissionId: p.EnPermissionId,
  439. CreateTime: time.Now().Local(),
  440. })
  441. }
  442. if e := models.ClearAndCreateEnCompanyPermissions(c.CompanyId, ps); e != nil {
  443. err = fmt.Errorf("ClearAndCreateEnCompanyPermissions err: %s", e.Error())
  444. return
  445. }
  446. }
  447. fmt.Println("修复完成")
  448. }
  449. // ModifyEsEnglishReport 批量修改es里的英文研报信息和线上路演信息
  450. func ModifyEsEnglishReport() {
  451. fmt.Println("开始")
  452. err := ModifyAllEsEnglishReportVideo()
  453. if err != nil {
  454. err = fmt.Errorf("重置es中的英文研报信息失败:ModifyAllEnglishReportInEs err: %s", err.Error())
  455. return
  456. }
  457. fmt.Println("结束")
  458. }
  459. //func InsertBloombergIndex() {
  460. // fmt.Println("开始写入")
  461. //
  462. // start := 100000
  463. // now := time.Now()
  464. // for i := 1; i <= 100; i++ {
  465. // fmt.Printf("写入第%d个\n", i)
  466. //
  467. // start += 1
  468. // index := new(data_manage.BaseFromBloombergIndex)
  469. // index.IndexCode = fmt.Sprintf("BLID%d", start)
  470. // index.IndexName = fmt.Sprintf("模拟Bloomberg-%s", index.IndexCode)
  471. // index.Unit = "无"
  472. // index.Source = utils.DATA_SOURCE_BLOOMBERG
  473. // index.Frequency = "日度"
  474. // index.StartDate = now.AddDate(0, 0, -i)
  475. // index.EndDate = now
  476. // index.CreateTime = time.Now().Local()
  477. // index.ModifyTime = time.Now().Local()
  478. // if e := index.Create(); e != nil {
  479. // fmt.Printf("新增指标失败, IndexCode: %s, err: %s", index.IndexCode, e.Error())
  480. // return
  481. // }
  482. //
  483. // insertData := make([]*data_manage.BaseFromBloombergData, 0)
  484. // for ii := 0; ii <= 50; ii++ {
  485. // indexData := new(data_manage.BaseFromBloombergData)
  486. // indexData.BaseFromBloombergIndexId = index.BaseFromBloombergIndexId
  487. // indexData.IndexCode = index.IndexCode
  488. // indexData.DataTime = now.AddDate(0, 0, -ii)
  489. // va := GenerateRandomFloat64InRange()
  490. // va += float64(ii)
  491. // indexData.Value = va
  492. // indexData.CreateTime = time.Now().Local()
  493. // indexData.ModifyTime = time.Now().Local()
  494. // indexData.DataTimestamp = int(indexData.DataTime.UnixNano() / 1e6)
  495. // insertData = append(insertData, indexData)
  496. // }
  497. // ob := new(data_manage.BaseFromBloombergData)
  498. // if e := ob.CreateMulti(insertData); e != nil {
  499. // fmt.Printf("新增指标数据失败, IndexCode: %s, err: %s", index.IndexCode, e.Error())
  500. // return
  501. // }
  502. // }
  503. //
  504. // fmt.Println("结束写入")
  505. //}
  506. //
  507. //func GenerateRandomFloat64InRange() float64 {
  508. // var rnd = rand.New(rand.NewSource(time.Now().UnixNano())) // 设置随机数种子
  509. //
  510. // return rnd.Float64()*11000 - 1000
  511. //}