开源情报（OSINT）数据源与工具全攻略

开源情报（Open Source Intelligence, OSINT）是现代情报分析、安全研究、尽职调查的利器，通过公开信息挖掘高价值线索。本文系统梳理了OSINT数据源与工具，涵盖关系分析、数据集、地理定位、社交媒体、企业信息、威胁情报、APT研究、事实核查、公共记录等领域，为分析师提供全面参考。

---

一、基础数据集与关系分析平台

1.1 综合数据集库

• BuzzFeedNews数据集：https://github.com/BuzzFeedNews
  收集整理的各类网络数据集。
• 全球恐怖主义数据库(GTD)：https://www.start.umd.edu/gtd/
  全球恐怖主义事件权威数据库。
• Mendeley Data：https://data.mendeley.com/
  大型学术数据集存储库，覆盖广泛学科。
• 斯坦福网络分析项目(SNAP)：https://snap.stanford.edu/data/
  提供社交网络、互联网拓扑、人口统计等公开数据集。
• Rapid7 OpenData：https://opendata.rapid7.com/
  DNS、SSL证书、端口扫描（Sonar项目）等互联网扫描数据集，价值极高。
• Alexa Top 1M：http://s3.amazonaws.com/alexa-static/top-1m.csv.zip
  全球网站流量排名前100万列表。

1.2 公司情报

• 天眼查：https://www.tianyancha.com/
  中国公司工商信息、股权关系、风险查询。
• OpenCorporates：https://opencorporates.com/
  全球公司注册信息数据库（国际版“天眼查”）。

1.3 智库与情报资源聚合

• 全球智库导航：http://dingba.top/qqzk
  汇集全球主要智库链接。
• 丁爸情报资源导航：http://dingba.top/
  国内知名OSINT文章、工具、资源汇总站点。
• http://OSINTcurio.us：https://osintcurio.us
  荷兰开源情报分析师博客，提供见解和资源。
• OSINT Framework：https://osintframework.com/
  结构化OSINT搜索框架与工具链集合。
• OSINT 聚合页面：https://start.me/p/ZME8nR/osint
  精心组织的OSINT资源起始页。

1.4 专业手册与指南

• OSINT Handbook (2018)：https://www.i-intelligence.eu/wp-content/uploads/2018/06/OSINT_Handbook_June-2018_Final.pdf
  情报组织编写的OSINT资源与工具手册。
• 美国陆军开源情报手册 (FMI 2-22.9)：https://fas.org/irp/doddir/army/fmi2-22-9.pdf
  涵盖OSINT特征、组织、流程、类别等。
• 美国陆军开源情报技术出版物 (ATP 2-22.9)：https://fas.org/irp/doddir/army/atp2-22-9.pdf
  2012版陆军OSINT技术指南。
• Bellingcat 在线调查工具包：https://docs.google.com/document/d/1BfLPJpRtyq4RFtHJoNpvWQjmGnyVkfE2HYoICKOGguA/edit
  著名调查机构Bellingcat分享的工具和方法指南。

---

二、数据分析工具

2.1 核心库与平台

• pandas：https://pandas.pydata.org/
  Python数据分析核心库，处理结构化数据的利器。

2.2 功能库与资源

• Data Science 资源推荐：https://github.com/r0f1/datascience
  大数据分析相关功能库集合。
• 安全数据分析幻灯片：https://github.com/Xyntax/slides/
  涵盖安全数据分析、DNS恶意流量分析、威胁防御等主题。

2.3 特定分析工具

• BotDAD：https://github.com/mannirulz/BotDAD (Python 2)
  利用DNS流量进行异常检测的僵尸网络发现工具。
  数据集：https://data.mendeley.com/datasets/zh3wnddzxy/1 – 10天DNS网络流量。
• IOC Explorer：https://github.com/lion-gu/ioc-explorer (Python)
  从多数据源自动关联探索威胁指标(IOC)。
• Harpoon：https://github.com/Te-k/harpoon (Python)
  基于OSINT的命令行威胁情报工具。

---

三、地理位置与追踪定位

3.1 IP地理定位库

• MaxMind GeoLite2：https://dev.maxmind.com/geoip/geoip2/geolite2/
  免费IP地理位置数据库 (IPv4/IPv6)。
• Google Maps Geolocation API：https://developers.google.com/maps/documentation/geolocation/intro
  利用WiFi接入点和基站信息进行定位的API。
• http://IPIP.net：https://www.ipip.net/
  提供IP地理位置查询 (含付费服务)。
• IPPlus360：https://www.ipplus360.com/
  提供IPv4/IPv6地址库查询 (含付费服务)。
• Shodan ICS Map：https://icsmap.shodan.io/
  Shodan工控系统(ICS)协议设备全球分布可视化。
  关联：https://ics-radar.shodan.io/

3.2 手机基站定位 (GSM/CDMA)

• OpenCellID：https://opencellid.org/
  全球最大的开源手机基站地理位置数据库。
• Cell ID Finder：http://cellidfinder.com/
  根据MCC/MNC/LAC/CID查询基站位置。
• 手机追踪器：http://cellphonetrackers.org/
  提供基于基站信息的定位服务。

3.3 其他定位技术

• SunCalc：https://www.suncalc.org/
  根据照片中的太阳高度/影子判断拍摄时间和地理位置。
• 开放GPS：https://www.opengps.cn/
  提供基于经纬度、WiFi BSSID、GPS的定位服务。
• http://Cellocation.com：http://www.cellocation.com/
  基站、WiFi定位服务。
• 中国移动OneNET定位：https://open.iot.10086.cn/
  中国移动物联网平台的智能硬件位置服务。

3.4 移动设备数据库

• Herrevad.db：Android设备存储基站连接历史（MCC, MNC, LAC, CID），可用于取证定位（需配合Cellebrite等工具导出分析）。

---

四、多维度情报源

• 金融卡信息验证：
  支付宝银行卡信息接口：https://ccdcapi.alipay.com/validateAndCacheCardInfo.json?cardNo=卡号&cardBinCheck=true
  验证银行卡号有效性、归属行及类型（储蓄卡DC/信用卡CC）。需替换“卡号”。
• 综合OSINT资源导航：
  OSINT.Link：https://osint.link
  按关键词、搜索引擎、元数据、文件类型（FTP/图片/视频/IoT）、新闻、商业、Pastebin等维度组织的OSINT工具资源站。
• 号码资源：
  北美编号计划(NANPA)：https://www.nationalnanpa.com/
  维护北美区号(NPA)和局号(NXX)分配信息。
  关联：http://nationalpooling.com
• 数据泄露与论坛：
  RaidForums 泄露数据库索引：https://raidforums.com/Announcement-Database-Index-CLICK-ME
  (高风险) 密码泄露数据库索引及资源互换论坛。
  关联站点：https://cdn.databases.today, https://www.databases.today, https://hashes.org/leaks.php, https://weleakinfo.com, https://site3.sjk.space

---

五、社交媒体情报 (SOCMINT)

5.1 综合映射与枚举

• Social Mapper：https://github.com/Greenwolf/social_mapper (Python)
  通过人脸识别跨平台关联社交媒体账号（Facebook, LinkedIn, Instagram, Twitter, VK等）。
• LinkedIn 人员枚举：
  • Recruitin：https://recruitin.net/
    利用Google搜索LinkedIn个人资料。
  • linkedin2username：https://github.com/initstring/linkedin2username
    获取特定公司LinkedIn员工列表并生成可能用户名。
  • Raven：https://github.com/0x09AL/raven (Linux)
    LinkedIn信息收集工具。

• 脉脉邮箱猜测：https://github.com/Ridter/Mailget
  通过脉脉用户信息推测企业邮箱格式。

5.2 Twitter分析

• Twitter情报工具综述：https://mp.weixin.qq.com/s/sGPE-CUdTmn-p_nafhGVfg
  介绍Twitter相关分析工具。
• Tweep：https://github.com/haccer/tweep
  利用Twitter API进行信息爬取。
• TwLocation：https://github.com/MazenElzanaty/TwLocation (Python)
  尝试获取Twitter用户发推的地理位置。
• Tinfoleak：https://github.com/vaguileradiaz/tinfoleak
  Web界面，分析Twitter账户发推习惯、设备、地点等。

5.3 Facebook分析

• Facebook情报工具综述：https://mp.weixin.qq.com/s/5OFPK0g8qP05FMkXFU9TWQ
  介绍Facebook相关分析工具。
• FBI (Facebook Information)：https://github.com/xHak9x/fbi (Python 2)
  Facebook信息收集工具。

5.4 Instagram搜索

• Picdeer：https://picdeer.org/
  Instagram内容与用户搜索。
  关联：https://pictame.com, https://searchmy.bio – 兴趣搜索。

5.5 Pastebin监控

• Sniff-Paste：https://github.com/needmorecowbell/sniff-paste
  针对Pastebin的OSINT收集工具。

5.6 密码找回与安全

• Ransombile：https://github.com/martinvigo/ransombile (Ruby)
  利用社交媒体密码找回信息进行关联分析。

5.7 账号关联性

• REG007：https://www.reg007.com/
  查询手机号或邮箱注册的网站/APP（主要覆盖国内服务）。

---

六、企业人员信息搜集

6.1 邮箱搜集

• http://Hunter.io：https://hunter.io/
  查找企业域名下邮箱地址（有免费额度）。

6.2 公司信息平台

• Aihitdata：https://www.aihitdata.com/
  汇总全球公司信息变更，可结合天眼查/企查查使用。

6.3 资产发现

• Multisearch-v2：https://github.com/x0day/Multisearch-v2
  聚合Bing、Google、360、ZoomEye等搜索引擎，发现企业敏感资产。

6.4 雇员信息收集

• MaiInt：https://github.com/vysec/MaiInt
  公司雇员信息收集测试工具。

6.5 人员追踪定位

• Trape：https://github.com/jofpin/trape (Python)
  利用OSINT进行人员追踪定位。

6.6 个人信息查询 (主要美国)

• TruthFinder：https://www.truthfinder.com/
  美国公民背景信息查询（商业服务）。
• Infotracer：https://infotracer.com/
  通过姓名、手机、邮件地址追踪个人信息（商业服务）。

6.7 自动化信息爬取

• OSINT Scraper：https://github.com/famavott/osint-scraper
  输入人名或邮箱，自动爬取互联网关联信息。
• Sreg：https://github.com/n0tr00t/Sreg (Python)
  通过邮箱、手机号、用户名查询互联网注册情况。

6.8 账号验证

• Verify-Email：https://verify-email.org/
  验证邮箱地址是否存在且可接收邮件。
• Trumail：https://trumail.io/
  验证邮箱有效性（每月免费额度）。
• Scythe：https://github.com/ChrisJohnRiley/Scythe
  验证用户名是否为常用账号。

6.9 地理位置分析 (认证)

• GeoLogonalyzer：https://github.com/fireeye/GeoLogonalyzer
  分析远程身份验证日志中的地理位置，区分合法与可疑登录。

6.10 身份信息校验 (中国)

• 身份证查询校验：http://mid.weixingmap.com/
  身份证信息查询（注意合规性）。
  关联：http://cha.qhdjcbj.com/ – 实名验证。

---

七、威胁情报源

7.1 综合威胁情报平台

• FireEye Threat Intelligence：https://www.fireeye.com/current-threats.html
  FireEye发布的当前威胁情报。
• ThreatCrowd：https://www.threatcrowd.org/
  开源威胁情报搜索引擎。
  国内类似：微步 https://x.threatbook.cn, 奇安信 https://ti.qianxin.com, 知道创宇 https://feed.watcherlab.com。
• OpenCTI：https://github.com/OpenCTI-Platform/opencti (JavaScript)
  开源网络威胁情报平台。
• 公开威胁情报库汇总：https://github.com/euphrat1ca/security_w1k1/blob/master/wiki_intelligenceThreat.md
• 攻击源分析案例：https://github.com/ReAbout/datacon
  DataCon竞赛中攻击源与攻击者分析报告。

7.2 钓鱼情报收集

• StalkPhish：https://github.com/t4d/StalkPhish (Python)
  从urlscan.io, urlquery.net, phishtank.com, http://openphish.com等多源收集钓鱼网站情报。

7.3 恶意基础设施情报 (IP/域名)

• Critical Stack Intel：https://intel.criticalstack.com/
  威胁情报库，可集成到Bro/Zeek。
• Talos Intelligence IP Blacklist：https://talosintelligence.com/documents/ip-blacklist/
  Cisco Talos发布的恶意IP列表。
• Abuse.ch Ransomware Tracker IP Blocklist：https://ransomwaretracker.abuse.ch/downloads/RW_IPBL.txt
  勒索软件相关IP地址。
• CobaltStrike Servers List：https://github.com/fox-it/cobaltstrike-extraneous-space/blob/master/cobaltstrike-servers.csv
  已知CobaltStrike C2服务器IP列表。
• Tor Exit Node List：https://check.torproject.org/cgi-bin/TorBulkExitList.py?ip=1.1.1.1
  获取Tor出口节点IP列表 (替换1.1.1.1为你的IP)。
• SANS ISC Shodan Scanners：https://isc.sans.edu/api/threatlist/shodan/
  SANS ISC识别的Shodan扫描器IP列表。
• Bambenek Consulting C2 IP Feed：http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt
  恶意C2服务器IP与域名列表。
• AlienVault Reputation Database：https://reputation.alienvault.com/reputation.data
  恶意IP与域名信誉数据。
• myip.ms General Blacklist：https://avoidaclaim.com/fraud-warnings/
  (原链接失效，此为新示例) 诈骗信息公示网站。

7.4 恶意邮件/电话公示

• http://Payer.org Fraud Warnings：http://www.payer.org/test/
  恶意邮件地址和电话号码公示。

---

八、APT威胁情报

8.1 组织报告与IOC

• Palo Alto Networks Unit 42：https://unit42.paloaltonetworks.com/
  发布APT研究报告与IOC。
  Github IOC：https://github.com/pan-unit42/iocs
• APT组织报告合集：https://github.com/blackorbird/APT_REPORT
  收集APT组织公开报告。
• APT分析指南：https://github.com/Yeti-791/APT-Guide
  APT组织分析文档资源。
• APTnotes：https://github.com/kbandla/APTnotes
  收集公开的APT相关文件、报告、笔记和软件样本。

8.2 特定组织泄露

• APT34/OILRIG泄露：https://git.laucyun.com/security/APT34
  APT34相关资源文档泄露汇总。
• Hacking Team泄露：https://ht.transparencytoolkit.org
  Hacking Team公司400GB数据泄露查询。

8.3 情报汇总与平台

• Unit 42 Playbook Viewer：https://pan-unit42.github.io/playbook_viewer/
  针对特定APT组织的战术、技术、程序(TTP)和IOC汇总。
• TWTHU APT情报站：https://twthu.co/
  专注于APT组织跟踪的威胁情报站。
• APT & CyberCriminal Campaign Collection：https://github.com/CyberMonitor/APT_CyberCriminal_Campagin_Collections
  2006年以来活跃组织/团队的情报索引。

---

九、账号密码泄露查询

• Have I Been Pwned：https://haveibeenpwned.com/
  查询邮箱是否出现在已知数据泄露事件中。
• Intelligence X：https://intelx.io/
  搜索泄露数据库、暗网、文档等（含账号密码数据）。

---

十、事实核查与信息验证

10.1 传播分析

• Hoaxy：https://hoaxy.iuni.iu.edu/faq.html
  可视化展示网络文章/谣言的传播路径和热度。

10.2 事实核查机构

• MediaBugs：http://mediabugs.org/
  报告和追踪新闻媒体中的事实错误。
• PolitiFact：https://www.politifact.com/
  对政治人物和媒体言论进行真实性评级。
• SciCheck (http://FactCheck.org)：https://www.factcheck.org/scicheck/
  核查科学和健康领域的虚假或误导性主张。
• Snopes：https://www.snopes.com/
  核查都市传说、谣言、网络迷因、图片/视频。

10.3 验证资源导航

• Verification Junkie：https://verificationjunkie.com/
  收集事实核查和验证目击者报告的工具和方法。

---

十一、图像识别与搜索

• Wolfram ImageIdentify：https://www.imageidentify.com/
  利用AI识别图像中的物体、场景等。
• 全球公共摄像头：http://www.opentopia.com/
  汇总全球公共实时流网络摄像头。

---

十二、公共记录查询

• 美国房产信息 (Melissa)：https://www.melissa.com/v2/lookups/propertyviewer/zipcode/
  通过邮编查询房产公共记录信息（需具体地址）。
• 全球建筑数据库：https://www.emporis.com/buildings
  搜索世界各地建筑物信息、公司和设计/建筑图像。

---

十三、专业搜索引擎

• Google Trends：https://trends.google.com/trends/?geo=US
  分析关键词搜索趋势、地域分布和相关查询。
• Million Short：https://millionshort.com/
  排除热门结果，发掘长尾信息。

---

十四、交通运输情报

• Flightradar24：https://www.flightradar24.com/
  全球实时航班跟踪。
• MarineTraffic：https://www.marinetraffic.com/
  全球船舶实时位置与航行信息 (AIS)。
• FAA Aircraft Registry：https://registry.faa.gov/aircraftinquiry/Aircraft_Inquiry.aspx
  查询美国联邦航空管理局注册的飞机信息。
• NICB VINCheck：https://www.nicb.org/vincheck
  美国车辆识别码(VIN)查询，检查是否被盗或salvage。

---

十五、网络威胁态势感知

• Norsecorp：https://norsecorp.com/
  提供威胁情报网络可视化，展示攻击者及其目标数据（访问前请确认可用性）。

---

总结

开源情报领域广阔且复杂，涵盖从基础数据获取到高级威胁情报的多种资源。熟练运用这些工具，结合严谨分析和批判性思维，可显著提升情报挖掘能力。

注意事项

1. 链接有效性：部分链接（如RaidForums、myip.ms、Norsecorp）可能失效，使用前请验证。
2. 合规性与道德：使用OSINT工具，尤其是人员信息搜集和泄露数据查询时，必须遵守法律法规和隐私要求。本文仅提供资源信息，不鼓励非法或不道德行为。
3. 持续更新：OSINT领域发展迅速，建议关注OSINT Curious、Bellingcat、夜组OSINT公众号、Reddit /r/OSINT等获取最新信息。
4. 工具描述：本文对部分工具功能进行了准确概括。