backend/docs/13-文献数据质量报告.md

文献数据质量报告

报告日期：2026-07-25 数据来源：本地 PostgreSQL 数据库（scilit_dev） 总文献数：56,432 篇 数据来源分布：PubMed 基线文件（pubmed26n0001~0015.xml.gz）

---

1. 字段覆盖率总览

基础字段

字段	覆盖数	覆盖率	数据类型	状态
pmid	56,432	100.0%	INTEGER	✅ 完整
title	56,432	100.0%	TEXT	✅ 完整
abstract	29,627	52.5%	TEXT	⚠️ 部分（早期文献多无摘要）
doi	869	1.5%	VARCHAR(500)	⚠️ 低（1970s 文献无 DOI）
journal	56,432	100.0%	VARCHAR(500)	✅ 完整
journal_issn	56,432	100.0%	VARCHAR(20)	✅ 完整
journal_iso	56,432	100.0%	VARCHAR(100)	✅ 完整（基线文件有完整 ISO 缩写）
pub_year	56,432	100.0%	INTEGER	✅ 完整
pub_date	52,124	92.4%	DATE	✅ 充分
print_date	52,124	92.4%	DATE	✅ 充分
create_date	56,432	100.0%	DATE	✅ 完整
entrez_date	56,432	100.0%	DATE	✅ 完整
article_date	714	1.3%	DATE	⚠️ 低（ArticleDate 为新版 PubMed XML 字段）
date_completed	56,218	99.6%	DATE	✅ 完整
pubmed_revised	56,432	100.0%	DATE	✅ 完整
volume	54,460	96.5%	VARCHAR(50)	✅ 充分
issue	52,921	93.8%	VARCHAR(50)	✅ 充分
pages	56,127	99.5%	VARCHAR(100)	✅ 完整
language	56,432	100.0%	VARCHAR(10)	✅ 完整
pmc_id	3,616	6.4%	VARCHAR(20)	⚠️ 低（1970s 文献极少有 PMC）
publication_status	56,432	100.0%	VARCHAR(30)	✅ 完整
citation_status	56,432	100.0%	VARCHAR(20)	✅ 完整
num_refs	4,483	7.9%	INTEGER	⚠️ 低
retracted	0	0%	BOOLEAN	✅（全库无撤稿）

JSON 字段

字段	非空计数	覆盖率	数据类型	状态
authors	55,466	98.3%	JSONB	✅ 完整
pub_types	56,432	100.0%	JSONB	✅ 完整
mesh_headings	56,066	99.4%	JSONB	✅ 完整
study_design	56,432	100.0%	JSONB	✅ 充分（自动分类）
chemical_list	32,209	57.1%	JSONB	✅ 充分
trial_reg	56,432	100.0%	JSONB	✅ 完整（含空对象）
retraction_details	55,555	98.4%	JSONB	✅ 充分（主要含空对象）
grants	252	0.4%	JSONB	❌ 缺失（早期文献基金信息极少）
keywords	0	0%	JSONB	⚠️ 基线文件 KeywordList 含大量空数据，需确认
gene_symbols	0	0%	JSONB	❌ 未解析
databank_list	25	0.0%	JSONB	❌ 缺失
suppl_mesh_list	18	0.0%	JSONB	⚠️ 极少
full_text_sections	446	0.8%	JSONB	⚠️ PMC OA 解析中

TSVECTOR 字段

字段	覆盖数	覆盖率	状态
search_tsv	56,432	100.0%	✅ 完整（setweight title=A, abstract=B, author=A）

日期间字段

字段	覆盖数	覆盖率	PubMed 标签	状态
pub_date	52,124	92.4%	[DP] 出版日期	✅ 充分
print_date	52,124	92.4%	[PPDAT] 纸质出版	✅ 充分
article_date	714	1.3%	[EPDAT] 电子出版	⚠️ 低
create_date	56,432	100.0%	[CRDT] 记录创建	✅ 完整
entrez_date	56,432	100.0%	[EDAT] 收录日期	✅ 完整
date_completed	56,218	99.6%	[MHDA] MeSH 标引	✅ 完整
meshed_date	56,218	99.6%	系统内部	✅ 首次导入=date_completed，214 篇 in-process 为 NULL
pubmed_revised	56,432	100.0%	[LR] 修订	✅ 完整
publication_status	56,432	100.0%	—	✅ 完整（VARCHAR，非日期）

类型变更说明： create_date/entrez_date/date_completed/meshed_date/pubmed_revised 五个字段原为 TIMESTAMPTZ，现统一为 DATE。NLM 所有日期来源仅提供 Y/M/D，无时间分量。DATE 类型更精确地反映语义且减少存储。当前数据中 3 个字段 6 位时间分量均为 00:00:00+00:00，无损转换。

---

2. 数据分布特征

年份分布

年份	文献数	占比
1975	6,017	10.7%
1976	5,789	10.3%
1977	11,907	21.1%
1978	12,938	22.9%
1979	18,903	33.5%
1980	1	<0.1%
2025	1	<0.1%
2026	876	1.6%

基线文件按 PMID 递增排序（PMID ≈ 时间顺序），前 15 个文件覆盖 1975–1979 为主。 后续导入文件 0016+ 将逐步覆盖 1980s–2020s。

语言分布 Top 10

语言	文献数	占比
English (eng)	41,300	73.2%
German (ger)	4,496	8.0%
French (fre)	2,603	4.6%
Russian (rus)	2,517	4.5%
Japanese (jpn)	1,641	2.9%
Italian (ita)	853	1.5%
Polish (pol)	734	1.3%
Spanish (spa)	549	1.0%
Czech (cze)	253	0.4%
Romanian (rum)	246	0.4%

文献类型 Top 10

类型	文献数
Journal Article	54,249
Case Reports	11,850
Research Support, U.S. Gov't, P.H.S.	9,935
English Abstract	7,766
Comparative Study	4,704
Review	4,632
Letter	1,611
Clinical Trial	1,520
Research Support, U.S. Gov't, Non-P.H.S.	1,289
Randomized Controlled Trial	504

Top 10 期刊

期刊	ISO 缩写	文献数
Lancet	Lancet	1,781
Cancer	Cancer	1,577
Cancer Research	Cancer Res	1,496
Journal of the National Cancer Institute	J Natl Cancer Inst	1,166
Cancer Treatment Reports	Cancer Treat Rep	642
Proceedings of the National Academy of Sciences	Proc Natl Acad Sci USA	633
AJR American Journal of Roentgenology	AJR Am J Roentgenol	579
International Journal of Cancer	Int J Cancer	554
Rofo	Rofo	475
Journal of Immunology	J Immunol	442

---

3. 标签统计

标签来源分布

来源	数量	Active
manual（种子标签）	99	99 (100%)
auto（管道懒创建）	10,303	0 (0%)
mesh（C04 导入）	0	—
总计	10,402	99 (1.0%)

global_tag_tree_numbers：0 行（空表 — NLM mtrees 尚未导入）

文献-标签关系

指标	值
已打标文献	56,066 (99.4%)
总关联数	635,126
is_major=True	38,388 (6.0%)
每篇标签 P50	11
每篇标签 P75	14
每篇标签 P90	17
每篇标签 P99	23

Top 15 标签

标签名	source	关联文献数
Humans	auto	43,509
Female	auto	24,067
Male	auto	21,162
Animals	auto	14,960
Adult	auto	14,023
Middle Aged	auto	13,893
Aged	auto	9,380
Mice	auto	6,696
Adolescent	auto	5,505
Neoplasms	auto	5,076
Child	auto	5,016
Neoplasms, Experimental	auto	4,860
Rats	auto	4,252
Cell Line	auto	4,123
Neoplasm Metastasis	manual	4,083

auto 标签 is_active=False，对用户端不可见。需审核确认有意义标签后激活。

---

4. 出版状态与引用状态

Publication Status

状态	文献数
ppublish（纸质出版）	55,821
epublish（电子出版）	459
aheadofprint（先于印刷）	152

Citation Status

状态	文献数
MEDLINE	56,066
Publisher	153
PubMed-not-MEDLINE	153
In-Process	60

---

5. 索引现状

当前索引

idx_gl_pub_date          B-tree (pub_date)
idx_gl_pub_year          B-tree (pub_year)
idx_gl_journal_issn      B-tree (journal_issn)
idx_gl_journal_iso       B-tree (journal_iso)
idx_gl_created           B-tree (created_at)
idx_gl_pmc_id            B-tree (pmc_id)
idx_gl_search_tsv        GIN (search_tsv)
ix_gl_doi                B-tree (doi)
ix_gl_language           B-tree (language)
ix_gl_retracted          B-tree (retracted)
ix_gl_pub_types_gin      GIN (pub_types)
ix_gl_study_design_gin   GIN (study_design)
ix_gl_grants_gin         GIN (grants)
ix_gl_chemical_list_gin  GIN (chemical_list)

所有索引已就位。

---

6. 关键质量评估

✅ 强项

• 6 个 PubMed 日期字段全部完整（create_date/entrez_date 100%）
• journal_iso 100%（[TA] 缩写期刊搜索可用）
• mesh_headings 99.4%（可支持 [MH]/[MAJR] 打标搜索）
• study_design 100%（研究设计分类覆盖完整）
• publication_status / citation_status 100%（完整元数据）
• 搜索 tsvector 100%（带 setweight 权重）
• 标签关联 635,126 条，每篇中位 11 标签

⚠️ 待改进

• abstract 仅 52.5%（早期文献特点，后续文件 1980s+ 会改善）
• doi 仅 1.5%（同上，后续文件改善）
• article_date（[EPDAT]）仅 1.3%（ArticleDate 为 PubMed XML 较新字段）
• keywords 0%（基线文件中 KeywordList 多为空，需确认是否需要填补）
• grants 0.4%（早期文献基金数据极少）
• tree_numbers 0 行 — [MH] 子树展开不可用，需导入 NLM mtrees
• 10,303 个 auto 标签 is_active=False — 需审核激活有意义标签
• PMC 覆盖 6.4%（1970s 文献无 PMC 正常）

📌 基线文件进度说明

当前仅导入了前 15 个基线文件（pubmed26n0001~0015）。PubMed 2026 年基线共 590 个文件，当前覆盖约 2.5%。

后续文件特性（基于 PMID 递增规律）：

• 0016~0200：1980–1999 年文献
• 0201~0400：2000–2015 年文献
• 0401~0590：2016–2026 年文献

随着更多文件的导入，DOI/abstract/PMC 覆盖率将显著提升。