task.go 17 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561
  1. package services
  2. import (
  3. "eta/eta_api/models"
  4. "eta/eta_api/services/data"
  5. edbmonitor "eta/eta_api/services/edb_monitor"
  6. "eta/eta_api/utils"
  7. "fmt"
  8. "strings"
  9. "time"
  10. )
  11. func Task() {
  12. fmt.Println("task start")
  13. {
  14. // 修复客户试用数据
  15. //FixCompanyUpdateData()
  16. //FixCompanyTryDay()
  17. //FixCompanyTryDay()
  18. //StaticCompanyTryDay()
  19. //return
  20. }
  21. //FixPermissionStatus()
  22. //GetCompanyInfo()
  23. //ReportCount()
  24. //windSourceUrl:=`http://47.100.166.55:7002/edbInfo/wind/?EdbCode=M0001427&StartDate=2020-11-01&EndDate=2021-03-01`
  25. //data.AddAllArticle()
  26. //data.GetSmmIndex()
  27. //data.GetSmmIndexData()
  28. go AutoInsertLogToDB()
  29. //手工数据表格导入后的指标库刷新
  30. go ImportManualDataRefresh()
  31. // 加入钢联化工指标数据之后的刷新
  32. go MysteelChemicalDataAdd()
  33. //修复用户关注标识
  34. //GetWxUsersSubscribe()
  35. go AutoInsertAdminOperateRecordToDB()
  36. // 指标刷新
  37. go data.HandleEdbRefreshQueue()
  38. // 进行指标替换操作
  39. go DealReplaceEdbCache()
  40. go edbmonitor.HandleEdbMonitorEdbInfo()
  41. // TODO:修复权限
  42. //FixEnCompanyPermission()
  43. fmt.Println("task end")
  44. }
  45. //// 每日发布晨报
  46. //func AutoPublishDayReport() {
  47. // defer func() {
  48. // if err := recover(); err != nil {
  49. // fmt.Println("[AutoPublishDayReport]", err)
  50. // }
  51. // }()
  52. //
  53. // // 每日8:42发布晨报
  54. // ticker := time.Tick(50 * time.Second)
  55. // for range ticker {
  56. // nowTime := time.Now()
  57. // clock := nowTime.Format("1504")
  58. // if clock == "0842" {
  59. // if err := PublishTodayDayReport(); err != nil {
  60. // go alarm_msg.SendAlarmMsg(fmt.Sprint("每日晨报自动发送 AutoPublishDayReport ERR:", err), 3)
  61. // //utils.SendEmail(utils.APPNAME+" "+utils.RunMode+" 失败提醒", fmt.Sprint("AutoPublishDayReport ERR:", err), utils.EmailSendToUsers)
  62. // }
  63. // }
  64. // }
  65. //}
  66. // ImportManualDataRefresh 导入手工数据后的刷新
  67. func ImportManualDataRefresh() {
  68. defer func() {
  69. if err := recover(); err != nil {
  70. fmt.Println("[ImportManualDataRefresh]", err)
  71. }
  72. }()
  73. for {
  74. utils.Rc.Brpop(utils.CACHE_IMPORT_MANUAL_DATA, func(b []byte) {
  75. edbCode := string(b)
  76. edbCode = strings.TrimPrefix(edbCode, `"`)
  77. edbCode = strings.TrimSuffix(edbCode, `"`)
  78. data.RefreshManualData(edbCode)
  79. })
  80. }
  81. }
  82. // MysteelChemicalDataAdd 加入钢联化工指标数据之后的刷新
  83. func MysteelChemicalDataAdd() {
  84. defer func() {
  85. if err := recover(); err != nil {
  86. fmt.Println("[ImportManualDataRefresh]", err)
  87. }
  88. }()
  89. for {
  90. utils.Rc.Brpop(utils.CACHE_MYSTEEL_CHEMICAL_ADD_DATA, func(b []byte) {
  91. edbCode := string(b)
  92. edbCode = strings.TrimPrefix(edbCode, `"`)
  93. edbCode = strings.TrimSuffix(edbCode, `"`)
  94. data.RefreshMysteelChemicalData(edbCode)
  95. })
  96. }
  97. }
  98. //func init() {
  99. // fmt.Println("start task init")
  100. // UpdateEnglishEmailLogErrMsg()
  101. // fmt.Println("end task init")
  102. //}
  103. //
  104. //// UpdateEnglishEmailLogErrMsg 更新英文邮件日志的ErrMsg(研报后台4.2上线后执行, 仅一次)
  105. //func UpdateEnglishEmailLogErrMsg() {
  106. // var cond string
  107. // var pars []interface{}
  108. // list, e := models.GetEnglishReportEmailLogList(cond, pars)
  109. // if e != nil {
  110. // fmt.Println("获取日志列表失败")
  111. // return
  112. // }
  113. // for _, v := range list {
  114. // if v.SendStatus != 0 || v.Source != 1 || v.Result == "" || v.ErrMsg != "" {
  115. // continue
  116. // }
  117. // // 取出错误信息
  118. // fmt.Printf("正在更新%d\n", v.Id)
  119. // r := new(AliyunEmailResult)
  120. // if e = json.Unmarshal([]byte(v.Result), &r); e != nil {
  121. // fmt.Println("JSON解析报错了1" + e.Error())
  122. // continue
  123. // }
  124. // rd := new(AliyunEmailResultData)
  125. // res := strings.Replace(r.Data, `\`, ``, -1)
  126. // if e = json.Unmarshal([]byte(res), &rd); e != nil {
  127. // fmt.Println("JSON解析报错了2" + e.Error())
  128. // continue
  129. // }
  130. // v.ErrMsg = rd.Message
  131. // if e = v.Update([]string{"ErrMsg"}); e != nil {
  132. // fmt.Println("更新失败了" + e.Error())
  133. // continue
  134. // }
  135. // }
  136. // fmt.Println("更新成功")
  137. //}
  138. //func FixCompanyUpdateData1() {
  139. // list, err := company.GetCompanyProductUpdateLogList()
  140. // if err != nil {
  141. // fmt.Println("获取客户变更数据失败:", err)
  142. // return
  143. // }
  144. //
  145. // nowTime := time.Now()
  146. // for _, v := range list {
  147. // //item, tmpErr := company.GetCompanyProductLogItem(v.CompanyId, v.ProductId, v.CreateTime)
  148. // //if tmpErr != nil {
  149. // // fmt.Println(v.Id, "找数据,", tmpErr)
  150. // // continue
  151. // //}
  152. //
  153. // //permissionList := make([]*company.CompanyReportPermission, 0)
  154. // //switch v.Source {
  155. // //case "add", "receive", "thaw", "delay", "apply_receive":
  156. // //
  157. // //}
  158. // permissionList, err := company.GetCompanyReportPermission(v.CompanyId, v.ProductId)
  159. // if err != nil {
  160. // fmt.Println("err:", err)
  161. // continue
  162. // }
  163. //
  164. // startDate := v.CreateTime
  165. // endDate := v.CreateTime.AddDate(0, 2, 0)
  166. // isStop := 1
  167. // realEndDate := endDate
  168. // if realEndDate.After(nowTime) {
  169. // realEndDate = nowTime
  170. // isStop = 0
  171. // }
  172. // for _, permission := range permissionList {
  173. // permission.StartDate = startDate.Format(utils.FormatDate)
  174. // permission.EndDate = v.CreateTime.Format(utils.FormatDate)
  175. // }
  176. // companyProductTryOutUpdateLogItem := &company.CompanyProductTryOutUpdateLog{
  177. // Id: 0,
  178. // CompanyId: v.CompanyId,
  179. // ProductId: v.ProductId,
  180. // SellerId: v.SellerId,
  181. // SellerName: v.SellerName,
  182. // Source: v.Source,
  183. // StartDate: startDate,
  184. // EndDate: endDate,
  185. // RealEndDate: realEndDate,
  186. // IsStop: isStop,
  187. // CreateTime: v.CreateTime,
  188. // }
  189. // err = company.AddCompanyProductTryOutUpdateLog(companyProductTryOutUpdateLogItem, permissionList)
  190. // }
  191. // //fmt.Println("结束")
  192. //}
  193. //func FixCompanyUpdateData2() {
  194. // list, err := company.GetTryOutCompanyOperationRecordList()
  195. // if err != nil {
  196. // fmt.Println("获取客户变更数据失败:", err)
  197. // return
  198. // }
  199. //
  200. // nowTime := time.Now()
  201. // for _, v := range list {
  202. // //item, tmpErr := company.GetCompanyProductLogItem(v.CompanyId, v.ProductId, v.CreateTime)
  203. // //if tmpErr != nil {
  204. // // fmt.Println(v.Id, "找数据,", tmpErr)
  205. // // continue
  206. // //}
  207. //
  208. // //permissionList := make([]*company.CompanyReportPermission, 0)
  209. // //switch v.Source {
  210. // //case "add", "receive", "thaw", "delay", "apply_receive":
  211. // //
  212. // //}
  213. // permissionList, err := company.GetCompanyReportPermission(v.CompanyId, v.ProductId)
  214. // if err != nil {
  215. // fmt.Println("err:", err)
  216. // continue
  217. // }
  218. //
  219. // startDate := v.CreateTime
  220. // endDate := v.CreateTime.AddDate(0, 2, 0)
  221. // isStop := 1
  222. // realEndDate := endDate
  223. // if realEndDate.After(nowTime) {
  224. // realEndDate = nowTime
  225. // isStop = 0
  226. // }
  227. // for _, permission := range permissionList {
  228. // permission.StartDate = startDate.Format(utils.FormatDate)
  229. // permission.EndDate = v.CreateTime.Format(utils.FormatDate)
  230. // }
  231. // sellerName := ``
  232. // {
  233. // sysUser, _ := system.GetSysAdminById(v.SellerId)
  234. // if sysUser != nil {
  235. // sellerName = sysUser.RealName
  236. // }
  237. // }
  238. // companyProductTryOutUpdateLogItem := &company.CompanyProductTryOutUpdateLog{
  239. // Id: 0,
  240. // CompanyId: v.CompanyId,
  241. // ProductId: v.ProductId,
  242. // SellerId: v.SellerId,
  243. // SellerName: sellerName,
  244. // Source: "formal_to_try_out",
  245. // StartDate: startDate,
  246. // EndDate: endDate,
  247. // RealEndDate: realEndDate,
  248. // IsStop: isStop,
  249. // CreateTime: v.CreateTime,
  250. // }
  251. // err = company.AddCompanyProductTryOutUpdateLog(companyProductTryOutUpdateLogItem, permissionList)
  252. // }
  253. // fmt.Println("结束")
  254. //}
  255. // FixCompanyTryDay 修复试用天数
  256. //func FixCompanyTryDay() {
  257. // list, err := company.GetCompanyProductTryOutUpdateGroup()
  258. // if err != nil {
  259. // fmt.Println("获取客户变更数据失败:", err)
  260. // return
  261. // }
  262. //
  263. // lenList := len(list)
  264. // for k, v := range list {
  265. // fmt.Println("剩余", lenList-k-1, "条数据修复")
  266. // companyProduct, tmpErr := company.GetCompanyProductByCompanyIdAndProductId(v.CompanyId, v.ProductId)
  267. // if tmpErr != nil {
  268. // fmt.Println("company_id:", v.CompanyId, ";product_id:", v.ProductId, ";找不到对应的客户,Err:", tmpErr)
  269. // continue
  270. // }
  271. //
  272. // logList, err := company.GetCompanyProductTryOutUpdateList(v.CompanyId, v.ProductId)
  273. // if err != nil {
  274. // fmt.Println("查找客户日志失败,err:", err)
  275. // continue
  276. // }
  277. //
  278. // //lenLog := len(logList)
  279. // var day int //实际试用天数
  280. // var endDate time.Time
  281. // for _, log := range logList {
  282. // startDate := log.StartDate
  283. // if endDate.IsZero() {
  284. // endDate = log.RealEndDate
  285. // day = utils.GetTimeSubDay(startDate, log.RealEndDate) + 1
  286. // } else {
  287. // if log.RealEndDate.After(endDate) {
  288. // if endDate.After(startDate) {
  289. // startDate = endDate
  290. // }
  291. // if startDate.Equal(log.EndDate) {
  292. // day += utils.GetTimeSubDay(startDate, log.RealEndDate)
  293. // } else {
  294. // day += utils.GetTimeSubDay(startDate, log.RealEndDate) + 1
  295. // }
  296. // endDate = log.RealEndDate
  297. // }
  298. // }
  299. // }
  300. // companyProduct.TryOutDayTotal = day
  301. // companyProduct.Update([]string{"TryOutDayTotal"})
  302. // }
  303. // fmt.Println("结束")
  304. //}
  305. // StaticCompanyTryDay 定时任务每天更新试用天数
  306. //func StaticCompanyTryDay() {
  307. // list, err := company.GetCompanyProductTryOutUpdateNoStopGroup()
  308. // if err != nil {
  309. // fmt.Println("获取客户变更数据失败:", err)
  310. // return
  311. // }
  312. //
  313. // lenList := len(list)
  314. // for k, v := range list {
  315. // isAdd := false //是否要增加一天,默认不加
  316. // fmt.Println("剩余", lenList-k-1, "条数据修复")
  317. // permissionList, tmpErr := company.GetCompanyReportPermissionByStatus(v.CompanyId, v.ProductId, "试用")
  318. // if tmpErr == nil {
  319. // fmt.Println("company_id:", v.CompanyId, ";product_id:", v.ProductId, ";寻找对应的试用品种失败,Err:", tmpErr)
  320. // continue
  321. // }
  322. // currPermissionIdList := make([]int, 0) //当前试用的品种
  323. // for _, permission := range permissionList {
  324. // currPermissionIdList = append(currPermissionIdList, permission.ChartPermissionId)
  325. // }
  326. //
  327. // //获取所有未停止的记录列表
  328. // logList, err := company.GetCompanyProductTryOutUpdateNoStopListByEndDate(v.CompanyId, v.ProductId)
  329. // if err != nil {
  330. // fmt.Println("查找客户日志失败,err:", err)
  331. // continue
  332. // }
  333. //
  334. // logPermissionIdList := make([]int, 0) //当前日志中的试用的品种
  335. // for _, log := range logList {
  336. // //获取所有未停止的品种试用记录列表
  337. // logPermissionList, tmpErr := company.GetCompanyProductTryOutPermissionUpdateNoStopListByEndDate(log.Id)
  338. // if tmpErr != nil {
  339. // fmt.Println("查找客户品种变更日志失败,err:", tmpErr)
  340. // continue
  341. // }
  342. // lenLogPermissionList := len(logPermissionList) //当前日志存在试用的品种数量
  343. // stopPermission := 0 //当前日志需要停止的品种数量
  344. //
  345. // currTime := time.Now() //当前时间
  346. // for _, logPermission := range logPermissionList {
  347. // if utils.InArrayByInt(logPermissionIdList, logPermission.ChartPermissionId) {
  348. // // 如果已经被其他记录使用了,那么就将当前记录给标记停止
  349. // logPermission.IsStop = 1
  350. //
  351. // // 如果当前时间晚于结束日期,那么实际结束日期就是今天之前一天,否则就是当天
  352. // if currTime.After(logPermission.EndDate) {
  353. // logPermission.RealEndDate = currTime.AddDate(0, 0, -1)
  354. // } else {
  355. // logPermission.RealEndDate = time.Now()
  356. // }
  357. // logPermission.Update([]string{"IsStop", "RealEndDate"})
  358. // stopPermission++
  359. // continue
  360. // } else if !utils.InArrayByInt(currPermissionIdList, logPermission.ChartPermissionId) {
  361. // // 如果该品种不在当前客户的品种里面,那么也要将当前记录给标记停止
  362. // logPermission.IsStop = 1
  363. // // 如果当前时间晚于结束日期,那么实际结束日期就是今天之前一天,否则就是当天
  364. // if currTime.After(logPermission.EndDate) {
  365. // logPermission.RealEndDate = currTime.AddDate(0, 0, -1)
  366. // } else {
  367. // logPermission.RealEndDate = time.Now()
  368. // }
  369. // logPermission.Update([]string{"IsStop", "RealEndDate"})
  370. // stopPermission++
  371. // continue
  372. // }
  373. //
  374. // // 剩下的说明还处于试用状态,需要添加1天试用期,且需要把该品种加入到当前日志中的试用的品种列表
  375. // isAdd = true
  376. // logPermissionIdList = append(logPermissionIdList, logPermission.ChartPermissionId)
  377. // }
  378. //
  379. // //如果当前日志存在试用的品种数量 == 当前日志需要停止的品种数量
  380. // // 那么当前日志也是处于停用状态
  381. // if lenLogPermissionList == stopPermission {
  382. // log.IsStop = 1
  383. // // 如果当前时间晚于结束日期,那么实际结束日期就是今天之前一天,否则就是当天
  384. // if currTime.After(log.EndDate) {
  385. // log.RealEndDate = currTime.AddDate(0, 0, -1)
  386. // } else {
  387. // log.RealEndDate = time.Now()
  388. // }
  389. // log.Update([]string{"IsStop", "RealEndDate"})
  390. // }
  391. //
  392. // }
  393. //
  394. // // 如果需要添加,那么将该客户品种添加1天
  395. // if isAdd {
  396. //
  397. // }
  398. // // 更新客户产品的试用天数
  399. // tmpErr = company.AddCompanyProductTryOutDayTotal(v.CompanyId, v.ProductId)
  400. // if tmpErr != nil {
  401. // fmt.Println("company_id:", v.CompanyId, ";product_id:", v.ProductId, ";更新客户产品的试用天数,Err:", tmpErr)
  402. // continue
  403. // }
  404. // }
  405. // fmt.Println("结束")
  406. //}
  407. //func Task2() {
  408. // fmt.Println("task start")
  409. //
  410. // //_, _ = maycur.GetPublicOfferingSaleLeader()
  411. // //_ = maycur.TestSyncCompanyProfile()
  412. // //_ = maycur.SyncCompanyProfile()
  413. // //_ = maycur.ImportExcelEmployeeId()
  414. // //_ = maycur.ApiTest()
  415. // //_ = maycur.ApiTest2()
  416. // fmt.Println("task end")
  417. //}
  418. // FixEnCompanyPermission 英文权限上线时修复英文客户拥有所有权限(一次性)
  419. func FixEnCompanyPermission() {
  420. var err error
  421. defer func() {
  422. if err != nil {
  423. fmt.Println("FixEnCompanyPermission Err: ", err.Error())
  424. }
  425. }()
  426. // 获取正式客户
  427. companies := make([]*models.EnglishCompany, 0)
  428. {
  429. cond := ` AND status = ?`
  430. pars := make([]interface{}, 0)
  431. pars = append(pars, 1)
  432. list, e := models.GetEnglishCompanyList(cond, pars, "")
  433. if e != nil {
  434. err = fmt.Errorf("GetEnglishCompanyList err: %s", e.Error())
  435. return
  436. }
  437. companies = list
  438. }
  439. // 获取所有权限
  440. permissions := make([]*models.EnPermission, 0)
  441. {
  442. cond := ` AND parent_id > ?`
  443. pars := make([]interface{}, 0)
  444. pars = append(pars, 0)
  445. ob := new(models.EnPermission)
  446. list, e := ob.GetItemsByCondition(cond, pars, []string{}, "")
  447. if e != nil {
  448. err = fmt.Errorf("GetPermissionItemsByCondition err: %s", e.Error())
  449. return
  450. }
  451. permissions = list
  452. }
  453. for _, c := range companies {
  454. ps := make([]*models.EnCompanyPermission, 0)
  455. for _, p := range permissions {
  456. ps = append(ps, &models.EnCompanyPermission{
  457. EnCompanyId: c.CompanyId,
  458. EnPermissionId: p.EnPermissionId,
  459. CreateTime: time.Now().Local(),
  460. })
  461. }
  462. if e := models.ClearAndCreateEnCompanyPermissions(c.CompanyId, ps); e != nil {
  463. err = fmt.Errorf("ClearAndCreateEnCompanyPermissions err: %s", e.Error())
  464. return
  465. }
  466. }
  467. fmt.Println("修复完成")
  468. }
  469. // ModifyEsEnglishReport 批量修改es里的英文研报信息和线上路演信息
  470. func ModifyEsEnglishReport() {
  471. fmt.Println("开始")
  472. err := ModifyAllEsEnglishReportVideo()
  473. if err != nil {
  474. err = fmt.Errorf("重置es中的英文研报信息失败:ModifyAllEnglishReportInEs err: %s", err.Error())
  475. return
  476. }
  477. fmt.Println("结束")
  478. }
  479. //func InsertBloombergIndex() {
  480. // fmt.Println("开始写入")
  481. //
  482. // start := 100000
  483. // now := time.Now()
  484. // for i := 1; i <= 100; i++ {
  485. // fmt.Printf("写入第%d个\n", i)
  486. //
  487. // start += 1
  488. // index := new(data_manage.BaseFromBloombergIndex)
  489. // index.IndexCode = fmt.Sprintf("BLID%d", start)
  490. // index.IndexName = fmt.Sprintf("模拟Bloomberg-%s", index.IndexCode)
  491. // index.Unit = "无"
  492. // index.Source = utils.DATA_SOURCE_BLOOMBERG
  493. // index.Frequency = "日度"
  494. // index.StartDate = now.AddDate(0, 0, -i)
  495. // index.EndDate = now
  496. // index.CreateTime = time.Now().Local()
  497. // index.ModifyTime = time.Now().Local()
  498. // if e := index.Create(); e != nil {
  499. // fmt.Printf("新增指标失败, IndexCode: %s, err: %s", index.IndexCode, e.Error())
  500. // return
  501. // }
  502. //
  503. // insertData := make([]*data_manage.BaseFromBloombergData, 0)
  504. // for ii := 0; ii <= 50; ii++ {
  505. // indexData := new(data_manage.BaseFromBloombergData)
  506. // indexData.BaseFromBloombergIndexId = index.BaseFromBloombergIndexId
  507. // indexData.IndexCode = index.IndexCode
  508. // indexData.DataTime = now.AddDate(0, 0, -ii)
  509. // va := GenerateRandomFloat64InRange()
  510. // va += float64(ii)
  511. // indexData.Value = va
  512. // indexData.CreateTime = time.Now().Local()
  513. // indexData.ModifyTime = time.Now().Local()
  514. // indexData.DataTimestamp = int(indexData.DataTime.UnixNano() / 1e6)
  515. // insertData = append(insertData, indexData)
  516. // }
  517. // ob := new(data_manage.BaseFromBloombergData)
  518. // if e := ob.CreateMulti(insertData); e != nil {
  519. // fmt.Printf("新增指标数据失败, IndexCode: %s, err: %s", index.IndexCode, e.Error())
  520. // return
  521. // }
  522. // }
  523. //
  524. // fmt.Println("结束写入")
  525. //}
  526. //
  527. //func GenerateRandomFloat64InRange() float64 {
  528. // var rnd = rand.New(rand.NewSource(time.Now().UnixNano())) // 设置随机数种子
  529. //
  530. // return rnd.Float64()*11000 - 1000
  531. //}