卡里尼Karashchuk，波兰华沙的开发者
Maksym is available for hire
Hire Maksym

卡里尼Karashchuk

Verified Expert  in Engineering

数据工程师和软件开发人员

Location
Warsaw, Poland
至今成员总数
October 14, 2022

Max是一位拥有近7年经验的专业数据架构师和工程师. 扎实的编程和优秀的沟通能力, 他作为技术主管或高级数据工程师成功完成了多个长期项目. Max热衷于使用元数据驱动的ETL实现仓库自动化. 他是一个善于交际的人，总是找时间指导和建议其他同事.

Data WarehousingCloud MigrationSQLETLPythonUMLData QualityJava人工智能(AI)Web Security.NETAzure数据湖分析Data Analytics数据可视化Cloud SecurityInformatica云Data Backup

Portfolio

Predica
Azure，数据架构，Azure Databricks, ETL, Python...
PwC Poland
Azure, Azure SQL数据库，绘制.io, Azure DevOps, CI/CD pipeline...
Lingaro
数据质量，企业架构，REST api, Linux, Java, Python, UML

Experience

ETL - 7 yearsSQL - 7 years数据仓库——7年UML - 6 yearsPython - 6 yearsAzure - 4 years云迁移- 3年数据质量- 2年

Availability

Part-time

首选的环境

Azure, Microsoft, Synapse, Python, Azure数据工厂

The most amazing...

...我开发的解决方案是一个自动化的ETL流程，它从五种不同类型的源中提取数据，其中包含超过一百万条日常工作负载记录.

Work Experience

数据工程师和数据架构师

2020 - PRESENT
Predica
  • 用最好的云安全和网络技术构建了一个全新的解决方案.
  • 在一年多的时间里，为十多个不同的客户交付了20多个不同的中小型项目.
  • 为数据仓库解决方案开发完全隔离的网络环境，防止数据泄露，提高数据安全性.
  • 作为技术主管成功管理一个小团队.
  • 将一个完整的数据仓库从Oracle迁移到Synapse，包括所有ETL进程.
技术:蔚蓝的，数据架构，Azure Databricks, ETL, Python, 人工智能(AI), Cloud, 企业架构, Data Migration, Cloud Migration, System Migration, UML

高级数据工程师

2020 - 2020
PwC Poland
  • 为基于文件的源的动态负载设计和开发解决方案, such as Excel, CSV, TXT, etc.
  • 在一个地方收集并组织所有客户需求，以便将来用作参考.
  • 将真实的生产过程转换为ETL过程，以获得更好的近实时分析.
技术:Azure, Azure SQL数据库，Draw.io、Azure DevOps、CI/CD管道、Azure数据工厂、UML

高级数据质量分析师

2019 - 2020
Lingaro
  • 构建一个解决方案，分析10到15个相互连接的应用程序之间的数据差异和数据流.
  • 创建了用于日常数据质量验证的监控解决方案.
  • 创建了所有已知数据质量问题和环境问题的跟踪器.
  • 使用企业架构师工具对客户环境进行文档化和可视化.
  • 管理数据质量专家小组的角色和职责.
技术:数据质量、企业架构、REST api、Linux、Java、Python、UML

Data Engineer

2017 - 2019
Lingaro
  • 从头开始构建灵活且完全由元数据驱动的解决方案.
  • Analyzed, cleaned, 并使用自定义构建的代码解析器改进遗留代码，该解析器可识别所有对象间关系.
  • 创建了一个循序渐进的迁移过程，显著提高了发布的速度.
  • 使用企业架构师工具设计一个文档完备的解决方案.
  • 在环境应用程序团队之间建立定义良好的通信策略，以便更快地响应即将到来的更改.
  • 通过遵循客户需求来扩展解决方案.
技术:蔚蓝的, Azure SQL数据库, Oracle, Azure数据工厂, Java, Linux, 企业架构, 微软图形API, Informatica云, Python, UML

运营团队成员

2016 - 2017
Lingaro
  • 为大型数据仓库提供自动化支持，每天处理约500,000条记录.
  • 为新人制作培训材料并进行培训.
  • 记录事件和问题，供开发团队进一步解决.
技术:甲骨文, ETL, Informatica云, Linux, TIBCO, Oracle商业智能企业版11g (OBIEE)

数据湖分析

作为数据架构师，在Azure中设计并协助实现了一个基于云的应用程序，用于数据统一. 我收集了所有关于网络的客户需求, security, role, responsibilities, backup, 以及恢复策略. 使用统一建模语言(UML)工具有效地记录和可视化了所有这些细节, 使参与项目的12名以上的数据工程师能够确切地知道在每个阶段期望构建什么. In the end, 该解决方案将来自大约13个具有不同结构的数据源的数据统一到一个Azure Synapse数据仓库中，准备用于进一步分析.

分布式环境下的深度数据质量分析

构建了一个高级Python应用程序，用于监视来自不同地区的十多个分布式身份管理系统之间的数据流. 主要的困难是处理各种源格式，并遵守国家或地区的数据处理法律, 例如《欧博体育app下载》(GDPR)和《欧博体育app下载》(CCPA). Furthermore, 在这个项目中，整个分布式环境第一次成功地可视化了, 哪些给客户带来了重大价值.

支持换挡自动化

构建了一个Java应用程序，可以自动将SharePoint上的Excel文件中提供的有关支持移位的信息转换为Outlook日历事件. 这个应用程序通过支持团队成员和提高他们的项目绩效，解决了许多轮班出勤的问题. 该解决方案足够灵活，可以识别团队中的新成员，并将他们添加到支持团队成员列表中以供进一步使用.

实时道路标志识别|硕士论文

实现了一个用于实时道路标志识别的Python应用程序. 该解决方案可以以每秒24帧的最大速度识别一种类型的标志. 该方法采用信令网关(SGW)方法对输入图像进行变换，然后应用最大稳定极值区域(MSER)算法识别感兴趣区域. 每个选定的位置被发送到训练好的模型，以获得路标的名称和概率.

元数据驱动的分析平台

实现了一个元数据驱动的解决方案，用于日常数百个不同文件源的动态转换, monthly, 还有年度报告. 该解决方案将客户组织的数据分析速度从几天提高到几小时. 挑战在于每个文件都有完全不同的格式，在上传到数据仓库(DWH)的核心之前需要进行大量清理。. Furthermore, 该解决方案必须是无懈可击的，以确保在文件发生微小变化的情况下，它在任何时候都不会失败——因为文件是直接从业务用户接收的.

从Oracle到Synapse的实时数据复制

该解决方案必须证明从源Oracle DB到Synapse DWH的实时数据传输概念，以便进行进一步的高级数据分析. 我作为主要的数据工程师参与了构建跨平台的主要数据流直至Power BI报告. 利用Oracle GoldenGate实现了对Oracle数据库数据的实时复制, 它连接到事件中心并不断地在源DB上传播更改. 这个想法是从Azure Event Hub获取数据, 将它与一些参考数据连接在Databricks中, 然后用流数据集把它放到Synapse上. Along the way, 必须对性能进行测量和优化，以实现最佳的成本价值比.
2018 - 2020

数据科学硕士学位

波兰-日本信息技术学院-华沙，波兰

2014 - 2018

软件工程学士学位

波兰-日本信息技术学院-华沙，波兰

2021年12月- 2022年12月

微软认证:Azure数据工程师助理

Microsoft

2021年6月至今

微软认证:Azure数据基础

Microsoft

2020年6月至2023年6月

微软Azure管理员助理

Microsoft

2020年6月至今

微软认证:Azure基础

Microsoft

2019年11月至今

Oracle Database SQL Certified Associate

Oracle

Libraries/APIs

REST APIs

Tools

Synapse, Microsoft Power BI, Azure应用服务, Oracle商业智能企业版11g (OBIEE), Draw.io, Jira, Azure密钥库，Oracle GoldenGate

Languages

SQL, Python, UML, Java，数据控制语言(DCL)， SQL DDL, SQL DML

Platforms

Azure, Azure SQL数据仓库, 专用SQL池(以前称为SQL DW), Azure Synapse, Oracle, Linux, SharePoint, Databricks, Azure Event Hubs

Paradigms

ETL，数据科学，Azure DevOps, REST

Storage

Azure SQL数据库, MariaDB, MySQLdb, 数据库管理(DBA), Oracle DBA, 数据库安全, Azure Active Directory, Azure Cosmos DB, MongoDB, Teradata, Azure SQL, DB

Frameworks

.NET

Other

Data Warehousing, 数据架构, Cloud Migration, Networking, Data Quality, 解决方案架构, Web Security, 人工智能(AI), Azure数据湖分析, Cloud, Data Analytics, Data Processing, 数据可视化, Virtualization, Cloud Security, Cloud Services, Cloud Storage, Azure Databricks, Data Engineering, Azure数据工厂, Azure Data Lake, Azure流分析, Big Data, Azure管理员, Load Balancers, Azure虚拟机, Azure虚拟网络, Informatica云, TIBCO, 企业架构, 微软图形API, CI/CD Pipelines, Data Migration, System Migration, Backup & 复苏,流

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

Share your needs

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

选择你的才能

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring