backend/docs/13-文献数据质量报告.md

# 文献数据质量报告

> 报告日期：2026-07-25
> 数据来源：本地 PostgreSQL 数据库（scilit_dev）
> 总文献数：56,432 篇
> 数据来源分布：PubMed 基线文件（pubmed26n0001~0015.xml.gz）

---

## 1. 字段覆盖率总览

### 基础字段

| 字段 | 覆盖数 | 覆盖率 | 数据类型 | 状态 |
|------|--------|--------|---------|------|
| `pmid` | 56,432 | **100.0%** | INTEGER | ✅ 完整 |
| `title` | 56,432 | **100.0%** | TEXT | ✅ 完整 |
| `abstract` | 29,627 | **52.5%** | TEXT | ⚠️ 部分（早期文献多无摘要）|
| `doi` | 869 | **1.5%** | VARCHAR(500) | ⚠️ 低（1970s 文献无 DOI）|
| `journal` | 56,432 | **100.0%** | VARCHAR(500) | ✅ 完整 |
| `journal_issn` | 56,432 | **100.0%** | VARCHAR(20) | ✅ 完整 |
| `journal_iso` | 56,432 | **100.0%** | VARCHAR(100) | ✅ 完整（基线文件有完整 ISO 缩写） |
| `pub_year` | 56,432 | **100.0%** | INTEGER | ✅ 完整 |
| `pub_date` | 52,124 | **92.4%** | DATE | ✅ 充分 |
| `print_date` | 52,124 | **92.4%** | DATE | ✅ 充分 |
| `create_date` | 56,432 | **100.0%** | DATE | ✅ 完整 |
| `entrez_date` | 56,432 | **100.0%** | DATE | ✅ 完整 |
| `article_date` | 714 | **1.3%** | DATE | ⚠️ 低（ArticleDate 为新版 PubMed XML 字段）|
| `date_completed` | 56,218 | **99.6%** | DATE | ✅ 完整 |
| `pubmed_revised` | 56,432 | **100.0%** | DATE | ✅ 完整 |
| `volume` | 54,460 | **96.5%** | VARCHAR(50) | ✅ 充分 |
| `issue` | 52,921 | **93.8%** | VARCHAR(50) | ✅ 充分 |
| `pages` | 56,127 | **99.5%** | VARCHAR(100) | ✅ 完整 |
| `language` | 56,432 | **100.0%** | VARCHAR(10) | ✅ 完整 |
| `pmc_id` | 3,616 | **6.4%** | VARCHAR(20) | ⚠️ 低（1970s 文献极少有 PMC）|
| `publication_status` | 56,432 | **100.0%** | VARCHAR(30) | ✅ 完整 |
| `citation_status` | 56,432 | **100.0%** | VARCHAR(20) | ✅ 完整 |
| `num_refs` | 4,483 | **7.9%** | INTEGER | ⚠️ 低 |
| `retracted` | 0 | 0% | BOOLEAN | ✅（全库无撤稿）|

### JSON 字段

| 字段 | 非空计数 | 覆盖率 | 数据类型 | 状态 |
|------|---------|--------|---------|------|
| `authors` | 55,466 | **98.3%** | JSONB | ✅ 完整 |
| `pub_types` | 56,432 | **100.0%** | JSONB | ✅ 完整 |
| `mesh_headings` | 56,066 | **99.4%** | JSONB | ✅ 完整 |
| `study_design` | 56,432 | **100.0%** | JSONB | ✅ 充分（自动分类）|
| `chemical_list` | 32,209 | **57.1%** | JSONB | ✅ 充分 |
| `trial_reg` | 56,432 | **100.0%** | JSONB | ✅ 完整（含空对象）|
| `retraction_details` | 55,555 | **98.4%** | JSONB | ✅ 充分（主要含空对象）|
| `grants` | 252 | **0.4%** | JSONB | ❌ 缺失（早期文献基金信息极少）|
| `keywords` | 0 | **0%** | JSONB | ⚠️ 基线文件 KeywordList 含大量空数据，需确认 |
| `gene_symbols` | 0 | **0%** | JSONB | ❌ 未解析 |
| `databank_list` | 25 | **0.0%** | JSONB | ❌ 缺失 |
| `suppl_mesh_list` | 18 | **0.0%** | JSONB | ⚠️ 极少 |
| `full_text_sections` | 446 | **0.8%** | JSONB | ⚠️ PMC OA 解析中 |

### TSVECTOR 字段

| 字段 | 覆盖数 | 覆盖率 | 状态 |
|------|--------|--------|------|
| `search_tsv` | 56,432 | **100.0%** | ✅ 完整（setweight title=A, abstract=B, author=A） |

### 日期间字段

| 字段 | 覆盖数 | 覆盖率 | PubMed 标签 | 状态 |
|------|--------|--------|-------------|------|
| `pub_date` | 52,124 | 92.4% | [DP] 出版日期 | ✅ 充分 |
| `print_date` | 52,124 | 92.4% | [PPDAT] 纸质出版 | ✅ 充分 |
| `article_date` | 714 | 1.3% | [EPDAT] 电子出版 | ⚠️ 低 |
| `create_date` | 56,432 | 100.0% | [CRDT] 记录创建 | ✅ 完整 |
| `entrez_date` | 56,432 | 100.0% | [EDAT] 收录日期 | ✅ 完整 |
| `date_completed` | 56,218 | 99.6% | [MHDA] MeSH 标引 | ✅ 完整 |
| `meshed_date` | 56,218 | 99.6% | 系统内部 | ✅ 首次导入=date_completed，214 篇 in-process 为 NULL |
| `pubmed_revised` | 56,432 | 100.0% | [LR] 修订 | ✅ 完整 |
| `publication_status` | 56,432 | 100.0% | — | ✅ 完整（VARCHAR，非日期）|

> **类型变更说明：** `create_date`/`entrez_date`/`date_completed`/`meshed_date`/`pubmed_revised` 五个字段原为 TIMESTAMPTZ，现统一为 DATE。NLM 所有日期来源仅提供 Y/M/D，无时间分量。DATE 类型更精确地反映语义且减少存储。当前数据中 3 个字段 6 位时间分量均为 00:00:00+00:00，无损转换。

---

## 2. 数据分布特征

### 年份分布

| 年份 | 文献数 | 占比 |
|------|--------|------|
| 1975 | 6,017 | 10.7% |
| 1976 | 5,789 | 10.3% |
| 1977 | 11,907 | 21.1% |
| 1978 | 12,938 | 22.9% |
| 1979 | 18,903 | 33.5% |
| 1980 | 1 | <0.1% |
| 2025 | 1 | <0.1% |
| 2026 | 876 | 1.6% |

> 基线文件按 PMID 递增排序（PMID ≈ 时间顺序），前 15 个文件覆盖 1975–1979 为主。
> 后续导入文件 0016+ 将逐步覆盖 1980s–2020s。

### 语言分布 Top 10

| 语言 | 文献数 | 占比 |
|------|--------|------|
| English (eng) | 41,300 | 73.2% |
| German (ger) | 4,496 | 8.0% |
| French (fre) | 2,603 | 4.6% |
| Russian (rus) | 2,517 | 4.5% |
| Japanese (jpn) | 1,641 | 2.9% |
| Italian (ita) | 853 | 1.5% |
| Polish (pol) | 734 | 1.3% |
| Spanish (spa) | 549 | 1.0% |
| Czech (cze) | 253 | 0.4% |
| Romanian (rum) | 246 | 0.4% |

### 文献类型 Top 10

| 类型 | 文献数 |
|------|--------|
| Journal Article | 54,249 |
| Case Reports | 11,850 |
| Research Support, U.S. Gov't, P.H.S. | 9,935 |
| English Abstract | 7,766 |
| Comparative Study | 4,704 |
| Review | 4,632 |
| Letter | 1,611 |
| Clinical Trial | 1,520 |
| Research Support, U.S. Gov't, Non-P.H.S. | 1,289 |
| Randomized Controlled Trial | 504 |

### Top 10 期刊

| 期刊 | ISO 缩写 | 文献数 |
|------|---------|--------|
| Lancet | Lancet | 1,781 |
| Cancer | Cancer | 1,577 |
| Cancer Research | Cancer Res | 1,496 |
| Journal of the National Cancer Institute | J Natl Cancer Inst | 1,166 |
| Cancer Treatment Reports | Cancer Treat Rep | 642 |
| Proceedings of the National Academy of Sciences | Proc Natl Acad Sci USA | 633 |
| AJR American Journal of Roentgenology | AJR Am J Roentgenol | 579 |
| International Journal of Cancer | Int J Cancer | 554 |
| Rofo | Rofo | 475 |
| Journal of Immunology | J Immunol | 442 |

---

## 3. 标签统计

### 标签来源分布

| 来源 | 数量 | Active |
|------|------|--------|
| manual（种子标签） | 99 | 99 (100%) |
| auto（管道懒创建） | 10,303 | 0 (0%) |
| mesh（C04 导入） | 0 | — |
| **总计** | **10,402** | **99 (1.0%)** |

`global_tag_tree_numbers`：**0 行**（空表 — NLM mtrees 尚未导入）

### 文献-标签关系

| 指标 | 值 |
|------|----|
| 已打标文献 | 56,066 (99.4%) |
| 总关联数 | 635,126 |
| is_major=True | 38,388 (6.0%) |
| 每篇标签 P50 | 11 |
| 每篇标签 P75 | 14 |
| 每篇标签 P90 | 17 |
| 每篇标签 P99 | 23 |

### Top 15 标签

| 标签名 | source | 关联文献数 |
|--------|--------|-----------|
| Humans | auto | 43,509 |
| Female | auto | 24,067 |
| Male | auto | 21,162 |
| Animals | auto | 14,960 |
| Adult | auto | 14,023 |
| Middle Aged | auto | 13,893 |
| Aged | auto | 9,380 |
| Mice | auto | 6,696 |
| Adolescent | auto | 5,505 |
| Neoplasms | auto | 5,076 |
| Child | auto | 5,016 |
| Neoplasms, Experimental | auto | 4,860 |
| Rats | auto | 4,252 |
| Cell Line | auto | 4,123 |
| Neoplasm Metastasis | manual | 4,083 |

> auto 标签 `is_active=False`，对用户端不可见。需审核确认有意义标签后激活。

---

## 4. 出版状态与引用状态

### Publication Status

| 状态 | 文献数 |
|------|--------|
| ppublish（纸质出版） | 55,821 |
| epublish（电子出版） | 459 |
| aheadofprint（先于印刷） | 152 |

### Citation Status

| 状态 | 文献数 |
|------|--------|
| MEDLINE | 56,066 |
| Publisher | 153 |
| PubMed-not-MEDLINE | 153 |
| In-Process | 60 |

---

## 5. 索引现状

### 当前索引

```
idx_gl_pub_date          B-tree (pub_date)
idx_gl_pub_year          B-tree (pub_year)
idx_gl_journal_issn      B-tree (journal_issn)
idx_gl_journal_iso       B-tree (journal_iso)
idx_gl_created           B-tree (created_at)
idx_gl_pmc_id            B-tree (pmc_id)
idx_gl_search_tsv        GIN (search_tsv)
ix_gl_doi                B-tree (doi)
ix_gl_language           B-tree (language)
ix_gl_retracted          B-tree (retracted)
ix_gl_pub_types_gin      GIN (pub_types)
ix_gl_study_design_gin   GIN (study_design)
ix_gl_grants_gin         GIN (grants)
ix_gl_chemical_list_gin  GIN (chemical_list)
```

所有索引已就位。

---

## 6. 关键质量评估

### ✅ 强项
- 6 个 PubMed 日期字段全部完整（create_date/entrez_date 100%）
- `journal_iso` 100%（[TA] 缩写期刊搜索可用）
- `mesh_headings` 99.4%（可支持 [MH]/[MAJR] 打标搜索）
- `study_design` 100%（研究设计分类覆盖完整）
- `publication_status` / `citation_status` 100%（完整元数据）
- 搜索 tsvector 100%（带 setweight 权重）
- 标签关联 635,126 条，每篇中位 11 标签

### ⚠️ 待改进
- `abstract` 仅 52.5%（早期文献特点，后续文件 1980s+ 会改善）
- `doi` 仅 1.5%（同上，后续文件改善）
- `article_date`（[EPDAT]）仅 1.3%（ArticleDate 为 PubMed XML 较新字段）
- `keywords` 0%（基线文件中 KeywordList 多为空，需确认是否需要填补）
- `grants` 0.4%（早期文献基金数据极少）
- `tree_numbers` 0 行 — **[MH] 子树展开不可用**，需导入 NLM mtrees
- 10,303 个 auto 标签 `is_active=False` — 需审核激活有意义标签
- PMC 覆盖 6.4%（1970s 文献无 PMC 正常）

### 📌 基线文件进度说明

当前仅导入了前 15 个基线文件（pubmed26n0001~0015）。PubMed 2026 年基线共 590 个文件，当前覆盖约 2.5%。

后续文件特性（基于 PMID 递增规律）：
- 0016~0200：1980–1999 年文献
- 0201~0400：2000–2015 年文献
- 0401~0590：2016–2026 年文献

随着更多文件的导入，DOI/abstract/PMC 覆盖率将显著提升。