- Negotiable salary
- Actived date: 07/10/2024
- Data Engineer/ Data Architect , Software Engineer/ Software Developer
-
Salary:Negotiable salary
-
Experience:Over 5 year
-
Job Type:Freelance
-
Level:Experienced / Junior
-
Work Location:
Job Description
- Data Infrastructure & Pipelines: Design, develop, and maintain scalable data infrastructure, including data lakes, pipelines, and metadata repositories, ensuring timely and accurate data delivery.
- Data Modeling & Support: Collaborate with data scientists to build and support data models, integrate data sources, and create environments for machine learning workflows and experimentation.
- Data Processing Systems: Develop and optimize large-scale data processing systems (batch and real-time) to improve operational efficiency and support business needs.
- Workflow Automation: Utilize Python, Apache Airflow, and AWS services to automate data workflows, ensuring efficient scheduling, monitoring, and resource management (S3, Glue, EC2, Lambda).
- Testing & Validation: Implement testing and validation procedures to ensure the reliability, accuracy, and security of data processing workflows.
- Technology & Innovation: Stay informed about industry trends and emerging technologies in data engineering and data science to propose optimizations and innovative solutions.
Job Requirement
- Core Expertise: Proficiency in Python (pandas, PySpark), Apache Airflow, and AWS services (Glue, S3, EC2, Lambda).
- Containerization & Orchestration: Experience with Kubernetes and Docker for managing cloud-based containerized environments.
- Data Engineering Tools: Hands-on experience with columnar and big data databases (Athena, Redshift, Vertica, Hive/Hadoop) and version control systems (Git).
- Cloud Services: Strong familiarity with AWS services for data processing and management.
- CI/CD Pipeline: Experience with continuous integration and deployment tools like Jenkins, CircleCI, or AWS CodePipeline.
- Data Engineering Focus (75%): Expertise in building and managing robust data architectures and pipelines for large-scale data operations.
- Data Science Support (25%): Ability to support data science teams with data preparation, feature engineering, and setting up experimentation environments.
Nice-to-have Requirements:
- Familiarity with Langchain for building natural language processing (NLP) and conversational AI applications.
- Experience with AWS Sagemaker or Databricks for machine learning.
- Familiarity with both RDBMS (MySQL, PostgreSQL) and NoSQL (DynamoDB, Redis) databases.
- Experience with BI tools (Tableau, Looker, Power BI).
- Knowledge of distributed messaging systems (Kafka, RabbitMQ).
- Experience with monitoring and log management tools (ELK stack, Datadog).
- Understanding of data privacy and security best practices.
Notice: If you find this job posting to be fraudulent or containing incorrect information, please report it to us.
HR1TECH
-
Company size:100 - 499
-
Your address:Lầu 12, Tòa nhà HDTC, 36 Bùi Thị Xuân, Phường Bến Thành, Quận 1, TP.HCM, Hồ Chí Minh
-
Website:https://hr1tech.com/
HR1Tech là thành viên của HR1VietNam Holdings, mang theo sứ mệnh đem lại các giải pháp tuyển dụng hiệu quả, khẳng định vị thế của mình là những đối tác đáng tin cậy của các doanh nghiệp và nguồn lực nhân sự trẻ!
HR1Tech là một trong những nhà cung cấp hàng đầu trong lĩnh vực dịch vụ tìm kiếm và lựa chọn nhân sự cấp cao, nền tảng tuyển dụng trực tuyến và giải pháp nhân sự, tập trung trong lĩnh vực công nghệ.
Trang web HR1Tech được tích hợp công nghệ AI, thường xuyên được cập nhật nguồn ứng viên cho phép nhà tuyển dụng dễ dàng tìm kiếm ứng viên phù hợp nhất từ cơ sở dữ liệu lớn một cách nhanh chóng và hiệu quả.
HR1Tech tự hào là đối tác đáng tin cậy cung cấp giải pháp nhân sự cho lực lượng lao động công nghệ và đa ngành của Khách hàng, được hỗ trợ bởi hệ sinh thái đa dạng nhằm củng cố mối quan hệ trong tam giác Tuyển Dụng, Phát Triển và Giữ Chân Nhân Tài.
Ngoài ra, HR1Tech tự hào về một văn hóa đề cao giá trị khách hàng, tư duy nguyên lý đầu tiên và năng lực giải quyết vấn đề một cách sáng tạo.
News jobs