2026届大数据技术专科毕业生,已专升本录取荆楚理工学院计算机专业,现阶段可全职在岗实习。具备AI工程应用 + 智能数据治理 + 离线/实时大数据开发复合能力。熟练使用LangChain、LangGraph搭建多Agent智能工作流、RAG知识库应用,独立完成AI数据治理工具全栈开发,能够利用大模型实现智能数据诊断、自动清洗SQL生成、治理方案推荐。同时精通Hadoop、Flume、Kafka、Spark、Flink大数据全链路部署与开发,熟练DataX数据同步、Hive数仓分层ETL与四维数据质量治理。融合AI智能化能力与大数据工程能力,可独立承接企业AI数据开发、智能数据平台建设、数仓开发、实时数据任务开发等工作。
熟练使用 LangChain、LangGraph 构建多 Agent 智能工作流,具备 RAG 检索增强、向量知识库(ChromaDB)搭建与 Prompt 工程优化经验;可基于 FastAPI、Streamlit 完成 AI 工具的接口封装与 Web 可视化交付。
掌握 Hadoop、Spark、Flink、Kafka、Flume 等大数据组件的部署与调优,熟悉 DataX 数据同步、Hive 数仓分层建模(ODS/DWD)及 ETL 开发流程;具备四维数据质量治理(完整性、唯一性、准确性、一致性)落地经验。
熟练使用 Python 进行数据处理与脚本开发,了解 Java/Scala;熟悉 MySQL、PostgreSQL 关系型数据库;掌握 Git、Docker、Linux 常用操作,具备接口开发与服务部署基础能力。
入选教育部首批国家级现场工程师培养计划(数字城市方向),由中国电子系统技术有限公司与上海德拓信息联合培养。参与企业真实数据治理项目全流程,覆盖数据接入、数仓分层、质量治理到可视化输出完整链路。
大数据全链路架构落地:独立部署Hadoop、Flume、Kafka、Spark、Flink全套组件并完成参数调优,搭建Flume采集→Kafka缓冲→Spark/Flink双端消费标准化数据流转链路;基于DataX完成多业务表全量/增量同步,依托Python+HiveSQL完成ODS至DWD分层ETL,落地四维数据质量治理
企业级数仓实战项目落地:负责交通事故数据分析、企业经营数仓两大实战项目,通过DataX完成异构数据源入仓,搭建Hive分层数仓,利用HiveSQL完成多维指标清洗与统计,结合Python完成数据规整、分析处理,最终落地MySQL并对接FineBI完成可视化展示
AI赋能数据开发落地试点:利用大模型辅助快速定位数据异常字段、生成标准化清洗SQL,依托RAG知识库复用历史治理规则,验证AI提升数据清洗、质检环节效率的可行性,完成AI与传统大数据开发的场景融合落地
项目采用三层架构,采集公交司机健康监测数据,通过全链路ETL治理与指标计算,为业务决策提供数据支撑。配置20+张业务表DataX同步任务,兼容全量、增量两种同步模式,保障数据入仓时效性;编写Python+HiveSQL清洗脚本,完成字段脱敏、空值兜底、脏数据过滤;建立四维质检规则,最终数据合格率提升至98%+。
配置20+张业务表DataX同步任务,兼容全量、增量两种同步模式
编写Python+HiveSQL清洗脚本,完成字段脱敏、空值兜底、脏数据过滤
建立完整性、唯一性、准确性、一致性四维质检规则,数据合格率提升至98%+
基于时间戳幂等写入策略解决增量同步数据一致性问题
治理后标准化数据落地PostgreSQL,完成司机健康评分、异常检测等核心业务指标输出
针对传统数据治理人工操作繁琐、异常定位低效的痛点,独立开发AI赋能的数据治理辅助工具。基于LangGraph StateGraph搭建Supervisor多Agent架构,实现任务智能拆分、状态传递与条件路由;专属质检Agent自动扫描数据问题,输出结构化诊断报告;将企业数据治理规范向量化存入ChromaDB知识库,智能匹配最优清洗方案。
基于LangGraph StateGraph搭建Supervisor多Agent架构,实现任务智能拆分与条件路由
专属质检Agent自动扫描空值、重复值、格式异常等数据问题,输出结构化诊断报告
将企业数据治理规范、历史清洗案例向量化存入ChromaDB知识库,智能匹配最优清洗方案与SQL语句
封装命令行、FastAPI接口、Streamlit可视化Web界面多类调用入口
在代码生成链路增加校验与重试机制,大幅提升工具可用性
技术壁垒差异化:区别于普通大数据实习生,同时具备传统大数据全链路开发能力与AI数据治理落地经验,可独立完成数仓ETL、实时计算、AI工具赋能开发,适配AI数据开发新型岗位需求
工程落地能力扎实:拥有国家级项目、世赛备赛、企业级数仓多场景实战经验,熟练掌握大数据组件部署、数据流转、质量治理全流程,上手快、适配性强
岗位匹配度高:深耕数据开发赛道,方向稳定不摇摆,可全职长期实习,执行力强,能够快速承接企业基础数据开发与智能化优化落地工作