汾渭数据源-接口数据爬取

services/fenwei/base_from_fenwei_service.go

@@ -1,8 +1,9 @@
 // Package fenwei
 // @Author gmy 2024/8/20 15:06:00
-package main
+package fenwei
 
 import (
+	"context"
 	"encoding/json"
 	"eta/eta_data_analysis/models"
 	"eta/eta_data_analysis/utils"
@@ -11,14 +12,13 @@ import (
 )
 
 // FenWeiNetDataDeal 汾渭网络数据处理
-// func FenWeiNetDataDeal(context.Context) (err error) {
-func main() {
-	/*defer func() {
+func FenWeiNetDataDeal(context.Context) (err error) {
+	defer func() {
 		if err != nil {
 			fmt.Println("FenWeiNetDataDeal Err:" + err.Error())
 			utils.FileLog.Info(fmt.Sprintf("FenWeiNetDataDeal Err: %s", err.Error()))
 		}
-	}()*/
+	}()
 	utils.FileLog.Info("FenWeiNetDataDeal start")
 	// 读取配置
 	configFile, err := os.ReadFile(utils.FenweiNetJsonPath)
@@ -48,4 +48,5 @@ func main() {
 		}
 	}
 	utils.FileLog.Info("FenWeiNetDataDeal end")
+	return
 }

services/fenwei/data_processor.go

@@ -1,6 +1,6 @@
 // Package fenwei
 // @Author gmy 2024/8/20 14:47:00
-package main
+package fenwei
 
 import (
 	"bytes"

services/fenwei/processor_business_logic.go

@@ -1,6 +1,6 @@
 // Package fenwei
 // @Author gmy 2024/8/20 14:47:00
-package main
+package fenwei
 
 import (
 	"encoding/json"

services/fenwei/processor_factory.go

@@ -1,6 +1,6 @@
 // Package fenwei
 // @Author gmy 2024/8/20 14:50:00
-package main
+package fenwei
 
 const (
 	url   = "https://www.sxcoal.com/api/coalresource-adhoc/queryV1/data"

services/task.go

@@ -2,6 +2,7 @@ package services
 
 import (
 	ccfService "eta/eta_data_analysis/services/base_from_ccf"
+	"eta/eta_data_analysis/services/fenwei"
 	"eta/eta_data_analysis/utils"
 	"fmt"
 	"github.com/beego/beego/v2/task"
@@ -45,11 +46,13 @@ func Task() {
 		// 每5分钟检测一次目录是否有新文件
 		fenWeiReadWatchIndexFile := task.NewTask("fenWeiReadWatchIndexFile", "0 */5 * * * *", FenweiReadWatchIndexFile)
 		task.AddTask("汾渭数据指标文件检测", fenWeiReadWatchIndexFile)
+	}
 
-		// 汾渭网络数据处理 todo 上线放开
-		/*fenWeiNetDataDeal := task.NewTask("fenWeiNetDataDeal", "0 0 1 * * *", fenwei.FenWeiNetDataDeal)
-		task.AddTask("汾渭网络数据处理", fenWeiNetDataDeal)*/
-
+	// 汾渭网络数据
+	if utils.FenweiNetOpen == "1" {
+		// 汾渭网络数据处理 每天16点和19点 执行爬取
+		fenWeiNetDataDeal := task.NewTask("fenWeiNetDataDeal", "0 0 16,19 * * *", fenwei.FenWeiNetDataDeal)
+		task.AddTask("汾渭网络数据处理", fenWeiNetDataDeal)
 	}
 
 	if utils.MtjhOpen == "1" {