✨ feat: 新增 Github Trending 榜单
This commit is contained in:
imsyy
parent
5df634058c
commit
b8c16ad88a
@ -38,6 +38,7 @@
|
|||||||
| 原神 | 最新消息 | genshin | 🟢 |
|
| 原神 | 最新消息 | genshin | 🟢 |
|
||||||
| 微信读书 | 飙升榜 | weread | 🟢 |
|
| 微信读书 | 飙升榜 | weread | 🟢 |
|
||||||
| 快手 | 热榜 | kuaishou | 🟢 |
|
| 快手 | 热榜 | kuaishou | 🟢 |
|
||||||
|
| Github | Trending | github | 🟢 |
|
||||||
| 历史上的今天 | 指定日期 | calendar | 🟢 |
|
| 历史上的今天 | 指定日期 | calendar | 🟢 |
|
||||||
|
|
||||||
### 特殊接口说明
|
### 特殊接口说明
|
||||||
|
|||||||
265
routes/github.js
265
routes/github.js
@ -1,3 +1,10 @@
|
|||||||
|
/*
|
||||||
|
* @author: x-dr
|
||||||
|
* @date: 2023-12-25
|
||||||
|
* @customEditors: imsyy
|
||||||
|
* @lastEditTime: 2023-12-27
|
||||||
|
*/
|
||||||
|
|
||||||
const Router = require("koa-router");
|
const Router = require("koa-router");
|
||||||
const githubNewRouter = new Router();
|
const githubNewRouter = new Router();
|
||||||
const axios = require("axios");
|
const axios = require("axios");
|
||||||
@ -6,12 +13,11 @@ const { get, set, del } = require("../utils/cacheData");
|
|||||||
|
|
||||||
// 接口信息
|
// 接口信息
|
||||||
const routerInfo = {
|
const routerInfo = {
|
||||||
name: "github",
|
name: "github",
|
||||||
title: "Github",
|
title: "Github",
|
||||||
subtitle: "trending",
|
subtitle: "trending",
|
||||||
};
|
};
|
||||||
|
|
||||||
|
|
||||||
// 缓存键名
|
// 缓存键名
|
||||||
const cacheKey = "githubData";
|
const cacheKey = "githubData";
|
||||||
|
|
||||||
@ -21,147 +27,148 @@ let updateTime = new Date().toISOString();
|
|||||||
const url = "https://github.com/trending";
|
const url = "https://github.com/trending";
|
||||||
|
|
||||||
const headers = {
|
const headers = {
|
||||||
"User-Agent":
|
"User-Agent":
|
||||||
"Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1",
|
"Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1",
|
||||||
};
|
};
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
// 数据处理
|
// 数据处理
|
||||||
const getData = (data) => {
|
const getData = (data) => {
|
||||||
if (!data) return false;
|
if (!data) return false;
|
||||||
const dataList = [];
|
const dataList = [];
|
||||||
const $ = cheerio.load(data);
|
const $ = cheerio.load(data);
|
||||||
try {
|
try {
|
||||||
$(`.Box-row`).each((i,e)=>{
|
$(`.Box-row`).each((i, e) => {
|
||||||
// console.log(getCheerio(e).html());
|
// console.log(getCheerio(e).html());
|
||||||
const item= cheerio.load($(e).html())
|
const item = cheerio.load($(e).html());
|
||||||
// console.log(item);
|
// console.log(item);
|
||||||
const title = item("h2 a").attr('href').replace("\/","")
|
const title = item("h2 a").attr("href").replace("/", "");
|
||||||
const url = `https://github.com/${title}`
|
const url = `https://github.com/${title}`;
|
||||||
const excerpt = item('p').text().replace(/(^\s*)|(\s*$)/g, "")
|
const excerpt = item("p")
|
||||||
const language = item('.f6 span[itemprop="programmingLanguage"]').text().replace(/(^\s*)|(\s*$)/g, "")
|
.text()
|
||||||
const stars = item('.f6 a:first').text().replace(/(^\s*)|(\s*$)/g, "")
|
.replace(/(^\s*)|(\s*$)/g, "");
|
||||||
const forks = item('.f6 a:eq(1)').text().replace(/(^\s*)|(\s*$)/g, "")
|
const language = item('.f6 span[itemprop="programmingLanguage"]')
|
||||||
const starstoday = item('.f6 span:eq(4)').text().replace(/(^\s*)|(\s*$)/g, "")
|
.text()
|
||||||
|
.replace(/(^\s*)|(\s*$)/g, "");
|
||||||
|
const stars = item(".f6 a:first")
|
||||||
|
.text()
|
||||||
|
.replace(/(^\s*)|(\s*$)/g, "");
|
||||||
|
const forks = item(".f6 a:eq(1)")
|
||||||
|
.text()
|
||||||
|
.replace(/(^\s*)|(\s*$)/g, "");
|
||||||
|
const starstoday = item(".f6 span:eq(4)")
|
||||||
|
.text()
|
||||||
|
.replace(/(^\s*)|(\s*$)/g, "");
|
||||||
|
|
||||||
|
dataList.push({
|
||||||
dataList.push({
|
title: title,
|
||||||
title: title,
|
desc: excerpt,
|
||||||
desc: excerpt,
|
url: url,
|
||||||
url: url,
|
language: language,
|
||||||
language: language,
|
stars: stars,
|
||||||
stars: stars,
|
forks: forks,
|
||||||
forks: forks,
|
starstoday: starstoday,
|
||||||
starstoday: starstoday,
|
});
|
||||||
|
});
|
||||||
});
|
return dataList;
|
||||||
});
|
} catch (error) {
|
||||||
return dataList;
|
console.error("数据处理出错" + error);
|
||||||
} catch (error) {
|
return false;
|
||||||
console.error("数据处理出错" + error);
|
}
|
||||||
return false;
|
|
||||||
}
|
|
||||||
};
|
};
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
// trending
|
// trending
|
||||||
githubNewRouter.get("/github", async (ctx) => {
|
githubNewRouter.get("/github", async (ctx) => {
|
||||||
console.log("获取github trending");
|
console.log("获取github trending");
|
||||||
try {
|
try {
|
||||||
// 从缓存中获取数据
|
// 从缓存中获取数据
|
||||||
let data = await get(cacheKey);
|
let data = await get(cacheKey);
|
||||||
const from = data ? "cache" : "server";
|
const from = data ? "cache" : "server";
|
||||||
if (!data) {
|
if (!data) {
|
||||||
// 如果缓存中不存在数据
|
// 如果缓存中不存在数据
|
||||||
console.log("从服务端重新github trending");
|
|
||||||
// 从服务器拉取数据
|
|
||||||
const response = await axios.get(url, { headers });
|
|
||||||
// console.log(response.data);
|
|
||||||
data = getData(response.data);
|
|
||||||
|
|
||||||
updateTime = new Date().toISOString();
|
|
||||||
if (!data) {
|
|
||||||
ctx.body = {
|
|
||||||
code: 500,
|
|
||||||
...routerInfo,
|
|
||||||
message: "获取失败",
|
|
||||||
};
|
|
||||||
return false;
|
|
||||||
}
|
|
||||||
// 将数据写入缓存
|
|
||||||
await set(cacheKey, data);
|
|
||||||
}
|
|
||||||
ctx.body = {
|
|
||||||
code: 200,
|
|
||||||
message: "获取成功",
|
|
||||||
...routerInfo,
|
|
||||||
from,
|
|
||||||
total: data.length,
|
|
||||||
updateTime,
|
|
||||||
data,
|
|
||||||
};
|
|
||||||
} catch (error) {
|
|
||||||
console.error(error);
|
|
||||||
ctx.body = {
|
|
||||||
code: 500,
|
|
||||||
...routerInfo,
|
|
||||||
message: "获取失败",
|
|
||||||
};
|
|
||||||
}
|
|
||||||
});
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
// 豆瓣新片榜 - 获取最新数据
|
|
||||||
githubNewRouter.get("/github/new", async (ctx) => {
|
|
||||||
console.log("获取github trending - 最新数据");
|
|
||||||
try {
|
|
||||||
// 从服务器拉取最新数据
|
|
||||||
const response = await axios.get(url, { headers });
|
|
||||||
const newData = getData(response.data);
|
|
||||||
updateTime = new Date().toISOString();
|
|
||||||
console.log("从服务端重新github trending");
|
console.log("从服务端重新github trending");
|
||||||
|
// 从服务器拉取数据
|
||||||
|
const response = await axios.get(url, { headers });
|
||||||
|
// console.log(response.data);
|
||||||
|
data = getData(response.data);
|
||||||
|
|
||||||
// 返回最新数据
|
updateTime = new Date().toISOString();
|
||||||
ctx.body = {
|
if (!data) {
|
||||||
code: 200,
|
|
||||||
message: "获取成功",
|
|
||||||
...routerInfo,
|
|
||||||
updateTime,
|
|
||||||
total: newData.length,
|
|
||||||
data: newData,
|
|
||||||
};
|
|
||||||
|
|
||||||
// 删除旧数据
|
|
||||||
await del(cacheKey);
|
|
||||||
// 将最新数据写入缓存
|
|
||||||
await set(cacheKey, newData);
|
|
||||||
} catch (error) {
|
|
||||||
// 如果拉取最新数据失败，尝试从缓存中获取数据
|
|
||||||
console.error(error);
|
|
||||||
const cachedData = await get(cacheKey);
|
|
||||||
if (cachedData) {
|
|
||||||
ctx.body = {
|
|
||||||
code: 200,
|
|
||||||
message: "获取成功",
|
|
||||||
...routerInfo,
|
|
||||||
total: cachedData.length,
|
|
||||||
updateTime,
|
|
||||||
data: cachedData,
|
|
||||||
};
|
|
||||||
} else {
|
|
||||||
// 如果缓存中也没有数据，则返回错误信息
|
|
||||||
ctx.body = {
|
ctx.body = {
|
||||||
code: 500,
|
code: 500,
|
||||||
...routerInfo,
|
...routerInfo,
|
||||||
message: "获取失败",
|
message: "获取失败",
|
||||||
};
|
};
|
||||||
|
return false;
|
||||||
}
|
}
|
||||||
|
// 将数据写入缓存
|
||||||
|
await set(cacheKey, data);
|
||||||
}
|
}
|
||||||
});
|
ctx.body = {
|
||||||
|
code: 200,
|
||||||
|
message: "获取成功",
|
||||||
|
...routerInfo,
|
||||||
|
from,
|
||||||
|
total: data.length,
|
||||||
|
updateTime,
|
||||||
|
data,
|
||||||
|
};
|
||||||
|
} catch (error) {
|
||||||
|
console.error(error);
|
||||||
|
ctx.body = {
|
||||||
|
code: 500,
|
||||||
|
...routerInfo,
|
||||||
|
message: "获取失败",
|
||||||
|
};
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
githubNewRouter.info = routerInfo;
|
// trending - 获取最新数据
|
||||||
module.exports = githubNewRouter;
|
githubNewRouter.get("/github/new", async (ctx) => {
|
||||||
|
console.log("获取github trending - 最新数据");
|
||||||
|
try {
|
||||||
|
// 从服务器拉取最新数据
|
||||||
|
const response = await axios.get(url, { headers });
|
||||||
|
const newData = getData(response.data);
|
||||||
|
updateTime = new Date().toISOString();
|
||||||
|
console.log("从服务端重新github trending");
|
||||||
|
|
||||||
|
// 返回最新数据
|
||||||
|
ctx.body = {
|
||||||
|
code: 200,
|
||||||
|
message: "获取成功",
|
||||||
|
...routerInfo,
|
||||||
|
updateTime,
|
||||||
|
total: newData.length,
|
||||||
|
data: newData,
|
||||||
|
};
|
||||||
|
|
||||||
|
// 删除旧数据
|
||||||
|
await del(cacheKey);
|
||||||
|
// 将最新数据写入缓存
|
||||||
|
await set(cacheKey, newData);
|
||||||
|
} catch (error) {
|
||||||
|
// 如果拉取最新数据失败，尝试从缓存中获取数据
|
||||||
|
console.error(error);
|
||||||
|
const cachedData = await get(cacheKey);
|
||||||
|
if (cachedData) {
|
||||||
|
ctx.body = {
|
||||||
|
code: 200,
|
||||||
|
message: "获取成功",
|
||||||
|
...routerInfo,
|
||||||
|
total: cachedData.length,
|
||||||
|
updateTime,
|
||||||
|
data: cachedData,
|
||||||
|
};
|
||||||
|
} else {
|
||||||
|
// 如果缓存中也没有数据，则返回错误信息
|
||||||
|
ctx.body = {
|
||||||
|
code: 500,
|
||||||
|
...routerInfo,
|
||||||
|
message: "获取失败",
|
||||||
|
};
|
||||||
|
}
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
githubNewRouter.info = routerInfo;
|
||||||
|
module.exports = githubNewRouter;
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user