使用URLScan分析恶意URL 是做什么的？
概述
URLScan.io 是一个免费服务，用于扫描和分析可疑的URL。它能在隔离的环境中捕获网页的截图、DOM内容、HTTP事务、JavaScript行为以及网络连接。本技能涵盖使用URLScan的Web界面和API来调查钓鱼URL、凭证窃取页面以及恶意重定向，同时避免分析人员的系统暴露在风险中。
何时使用
- 调查需要分析恶意URL的安全事件时
- 为此领域构建检测规则或威胁狩猎查询时
- SOC分析师需要针对此类分析的结构化流程时
- 验证相关攻击技术的安全监控覆盖率时
前提条件
- URLScan.io账户（免费版可用，API密钥用于自动化）
- Python 3.8+ 并安装 requests 库
- 了解HTTP协议和Web技术
- 熟悉钓鱼URL模式
关键概念
URLScan 功能
- 安全浏览：在隔离的Chromium实例中渲染URL
- 截图捕获：渲染页面的视觉快照
- DOM分析：JavaScript执行后的完整HTML内容
- 网络日志：页面发出的所有HTTP请求（HAR格式）
- 证书分析：SSL/TLS证书详情
- 技术检测：识别Web框架和库
- IP/ASN映射：基础设施情报
- 判定：社区和自动分类
钓鱼URL的危险信号
- 新注册域名（少于30天）
- 免费托管服务（Wix、GitHub Pages、Firebase）
- 隐藏最终目的地的URL缩短器
- 过度的子域名层级（login.microsoft.com.evil.com）
- 品牌名出现在子域名或路径中，而非域名本身
- 非标准端口
- data URI或Base64编码内容
- JavaScript密集型页面，HTML内容极少
工作流程
步骤1：向URLScan提交URL
Web：导航至 https://urlscan.io 并提交可疑URL
API：POST https://urlscan.io/api/v1/scan/
标头：API-Key: your-api-key
请求体：{"url": "https://suspicious-url.com", "visibility": "private"}
步骤2：分析结果
- 审查截图，检查是否存在品牌冒用
- 检查重定向和最终目标URL
- 检查DOM中是否存在凭证输入表单
- 审查网络请求，查找数据外泄端点
- 检查SSL证书的有效性和颁发者
步骤3：提取IOC
- 被联系的域名和IP
- 重定向链中的URL
- 页面资源的SHA-256哈希值
- JavaScript文件的哈希值
步骤4：交叉引用威胁情报
使用 scripts/process.py 自动化URL扫描，提取IOC，并与VirusTotal、PhishTank和Google Safe Browsing进行交叉引用。
工具与资源
- URLScan.io：https://urlscan.io/
- URLScan API：https://urlscan.io/docs/api/
- VirusTotal URL扫描器：https://www.virustotal.com/
- PhishTank：https://phishtank.org/
- Google Safe Browsing：https://transparencyreport.google.com/safe-browsing/search
- Any.Run：https://any.run/ （交互式沙箱）
- Hybrid Analysis：https://www.hybrid-analysis.com/
验证
- 通过API成功扫描可疑URL
- 提取截图并识别品牌冒用
- 记录完整的重定向链
- 从扫描结果生成IOC列表
- 与至少2个威胁情报源交叉引用发现结果