数据筑基:学人汇教师库突破 72 万
数据筑基:学人汇教师库突破 72 万#
赛博蜜蜂 · 学人汇 数据建设侧记 · 2026 年 8 月 20 日 文中的数据均为生产库实时统计,截至发文当日 23:45。
此刻,还有爬虫在"加班"#
就在你读到这句话的时候,学人汇的数据采集网络并没有休息。
在广州的主服务器上,主服务器与两台分布式 worker 同时在线,一个爬虫 Agent 正在为「海南工商职业学院」生成定制的抓取脚本——它要先读懂这所学校的官网结构,找到"院系设置"入口,再逐层定位到每一位教师的公开主页。同一时间,「河南信息统计职业学院」也在队列里等待它自己的那份"定制方案"。
这不是比喻,也不是新闻通稿里的修辞。这只是学人汇一个平平无奇的星期三夜晚。
一组正在长大的数字#
先看结果。截至今天:
- 727,490 位高校教师被收录入库
- 覆盖 3,432 所学校、25,311 个学院
- 其中 15,635 个学院已有教师数据,约占学院总数的六成
增长没有停。过去 60 天,我们新增了 92,274 位教师;过去一周又新增 13,000+,其中昨天 6,192 条、今天 5,243 条——而且今天的数据还在继续写入。
如果往前看,这条曲线并不总是一帆风顺。今年 6 月,教师总量约为 63 万,那段时间学校官网改版频繁、反爬升级,爬虫成功率一度不足两成。我们没有停下,而是把问题一项项拆开:哪个环节在失败、哪类网站结构变了、Agent 的工具链哪里不稳。到如今,过去 24 小时完成的 200 多个任务,多数已经能一次跑通。
数字不是全部。但对一个信息平台来说,数字是地基。地基打得扎实,上面才敢盖楼。
下一站:高职院校#
复盘学人汇的数据建设路径,顺序其实很明确:我们先把精力集中在本科院校——985/211/双一流、普通本科,把需求最密集的部分先做扎实。本科之外,全国还有 1,516 所高职(专科)院校,占了全部高校的近一半,同样是"找老师"这件事的一部分,却长期是搜索的死角。
这个夏天,我们把下一站定在了这里。高职院校的官网技术栈参差不齐,很多"师资队伍"栏目藏在很深的层级,甚至没有独立的教师主页——这意味着我们必须为每所学校单独定制抓取方案。数据后台正在运行两场专项行动:
- 专科零教师补爬:面向 1,105 所此前没有任何教师记录的学校,逐一攻破
- 专科终态重置补爬:对 86 所之前没跑透的学校做终态重置,把"半途而废"的条目补完
效果正在显现。整个平台的教师信息覆盖,从 7 月下旬的约 1,100 所学校,增长到了今天的 1,668 所——不到一个月,多了 560 余所学校,涨幅超过五成。
近两周新增覆盖的学校,大多正是高职院校:
潍坊职业学院(+370 位)、广州南洋理工职业学院(+307)、濮阳职业技术学院(+262)、广西工业职业技术学院(+231)、江西应用技术职业学院(+229)、商丘职业技术学院(+223)、郑州智能科技职业学院(+216)……
本周刚刚完成爬取的,则有厦门海洋职业技术学院、江苏医药职业学院、湖南司法警官职业学院、宁波城市职业技术学院、邵阳职业技术学院、内蒙古机电职业技术学院等一批专科院校。
我们不打算宣称"全网最全"——这既不诚实,也做不到。我们说的是:每一块之前空着的区域,都在被一块一块地铺上。
从"一份名单"到"可用的信息"#
爬虫很容易给人造成错觉:抓到名字,就算完成了。
但在学人汇,抓下来只是第一步。我们真正在意的,是这些信息能不能被人用起来。看看目前的全库覆盖:
| 维度 | 覆盖数量 | 占全库比例 |
|---|---|---|
| 研究方向 | 438,334 位 | 60% |
| 教育背景 | 480,341 位 | 66% |
| 硕导 / 博导标记 | 186,345 位 | 26% |
教育背景、硕导博导身份——这几项对"找导师"的用户来说,几乎是刚需。
更重要的是深度。对于部分重点院校,我们用大模型做逐条深度提取,而不是套模板抓取。举两个真实例子——中国科学院空间精密测量技术重点实验室的两位老师:
- 研究方向不是"光学工程"四个字带过,而是具体到"空间精密跟瞄系统总体设计""扩展目标成像质量评价标准与目标智能识别"
- 另一位老师的研究方向写到"先进控制理论与算法在光电跟瞄系统以及机器人运动控制系统中的应用"
这就是"言之有物"。用户搜到一个研究方向时,得到的不是干巴巴的头衔,而是这位老师到底在做什么——而这正是判断"适不适合我"的关键。
这份"较真"并不只给重点院校。高职院校同样如此——朝阳职业技术学院的一位护理教师,研究方向被整理成 "内科护理、医学护理教育";上海南湖职业技术学院的一位副教授,方向是 "健康老龄化、老年及康复护理";还有教数字媒体的老师,研究方向写着 "非线性编辑、设计基础、数字媒体艺术概论"。在学人汇眼里,没有"不值得收录的学校",只有还没读完的那间官网。
数据,最终是为了被用起来#
数据建设没有终点,它只有一个朴素的目的:让需要的人更快找到对的人。
- 考研、保研、考博的学生,在联系导师之前,先看清老师的研究方向、教育背景、是否博导硕导;
- 企业的技术负责人,把"想找一位做控制算法的专家"这样的需求,翻译成可检索的方向词,缩小候选范围;
- 媒体和行业研究者,在采访某一领域的学者之前,先定位到真正对口的人。
上面这些场景,对应的是本科院校为主的教师数据。而新增的高职院校数据,服务的是另一群同样真实的需求——在校生想了解任课教师的研究方向、专升本学生想了解专科阶段老师的背景、做产教融合的企业想对接技能型师资、研究职业教育的人想找到这个领域的教师。院校类型不同,但"更快找到对的人"这件事,是相通的。
这些场景,正是学人汇每天在做的事。我们不敢说数据已经完美——全库还有约一半学校待覆盖,高职院校里也还有 900 多所"零教师"学校等着排进队列。但方向是清楚的,节奏是稳定的,每一周新增的覆盖学校和教师数,都在慢慢把这些空白填平。
我们也把这份"较真"用在了自己身上。这个月,我们修复了部署脚本里备份无保留策略的问题,避免旧备份把磁盘塞满拖垮服务;给搜索接口加了进程内缓存和索引优化,让查询更快;还把整个平台的域名迁到了新的 CDN 架构上。基础设施上的每一处加固,最终都会变成用户那一次更流畅的检索。
邀你一起,见证这场慢功夫#
有人问,做这样一个平台,图什么?
图的是当一位考生在深夜焦虑地搜索"某某学院 哪位老师做图像识别"时,能搜到一个具体的名字、一段具体的方向、一个可以进一步了解下去的入口。数据是慢功夫,但慢功夫不会骗人。
如果你正在找导师、找专家、找研究方向,欢迎来 scholarhub.top 搜一搜——72 万条公开信息,随时在等你。
如果你发现某个学校、某位老师还没有收录,也欢迎告诉我们。数据建设这条路很长,我们愿意一块砖一块砖地铺,也希望和你一起,把这条路越铺越远。
学人汇 · 汇聚九洲学人 赛博蜜蜂 · 深圳赛博蜜蜂科技有限公司 https://scholarhub.top