Всем привет, меня зовут Дмитрий Собко, и мне хотелось бы поделиться с вами своим недавним опытом прохождения сертификации GCP (Google Cloud Platform) Professional Data Engineer. Сертификат подтверждает навыки проектирования систем обработки данных и создания базовых Machine Learning моделей на Google Cloud Platform стеке.
Немного о себе: опыт в IT-индустрии около 7 лет. Прошел путь от Junior Manual QA до Automation Lead команды. Начинал свой путь в тестировании с разнообразных Android-приложений и в данный момент (уже больше года) руковожу тестированием Big Data проекта, построенном на GCP стеке.
Зачем вообще нужна эта сертификация
Специфика тестирования большинства Big Data проектов состоит в том, что у них нет ни фронтенда, ни классического бекенда (с API, базой данных и т. д.). И для правильного построения QA-процесса необходимо четкое и полное понимание возможностей, особенностей, слабых и сильных мест компонентов Cloud стека (AWS, Azure, GCP и т. д). Также сам процесс подготовки к сертификации позволяет:
- структурировать знания об одной из самых популярных и перспективных Cloud платформ;
- понять предназначение и разницу между ключевыми компонентами GCP (BigQuery, Dataflow, BigTable, Cloud SQL, Compute Engine и т. д.);
- изучить теоретические основы Machine Learning (если еще не изучили) и попробовать ML в действии с помощью TensorFlow, Cloud AI;
- узнать про менее известные компоненты GCP (Dataproc, Dataprep, Composer, Firestore и т. д.);
- приметить места для возможного рефакторинга существующей системы как для улучшения производительности, так и для уменьшения стоимости.
Также мне очень импонирует цитата с самой странички сертификации:
«The reason you need to be Google Cloud Certified is to show companies that you are an expert; certification is the stamp of approval that enterprise companies need to see in order to confirm your product expertise».
Уровни сертификации
Associate Level Certifications
- Associate Cloud Engineer
Professional Level Certifications
- Professional Data Engineer
- Professional Cloud Architect
- Professional Cloud Developer
- Professional Cloud Network Engineer
- Professional Cloud Security Engineer
На Associate уровне: Associate Cloud Engineer — подтверждает навыки развертывания приложений, мониторинга и поддержки облачных проектов на Google Cloud Platform.
На Professional уровне, кроме собственно Professional Data Engineer также присутствуют:
Professional Cloud Architect — подтверждает умение проектировать, создавать и управлять комплексными решениями на Google Cloud Platform.
Professional Cloud Developer, Professional Cloud Network Engineer, Professional Cloud Security Engineer, которые являются более узкоспециализированными с уклоном в Network/DevOps часть.
Как правильно подготовиться
Как и для любого другого экзамена/теста универсального способа не существует. Кто-то лучше воспринимает видеодоклады, кто-то в большей мере готов полагаться только на практический опыт, кому-то довольно легко могут даваться длинные тексты документации. Я использовал все способы, поскольку с самого начала решил не спешить с подготовкой и идти сдавать только тогда, когда буду полностью уверенным в своих силах. В итоге, сам процесс занял у меня около двух месяцев не интенсивной подготовки.
Полезные материалы
В первую очередь это, конечно же, специализация «Data Engineering on Google Cloud Platform»на Coursera, состоящая из 4 курсов. Позволяет в формате видеоуроков + практики (очень много лабораторных заданий) узнать почти обо всех компонентах GCP, по которым будут встречаться вопросы на экзамене. На каждую лабораторную работу создается тестовый GCP аккаунт, что позволяет также на практике познакомиться с системой ролей, доступов, firewall правил и т. д. Отдельного внимания заслуживают задания на работу с Hadoop-кластером, поскольку позволяют поработать с этой системой, по сути, через браузер, не поднимая ничего локально. И уже появился отдельный курс «Preparing for the Google Cloud Professional Data Engineer Exam», который заточен именно на подготовку к экзамену.
Документация. Да, она самая. Позволяет закрепить полученные ранее знания + дает ответы на различные каверзные вопросы.
Видео с официального GCP канала (в том числе лекции про ML). Покрывают как основы, так и интересные практические примеры применения различных компонентов.
Блоги про миграцию на GCP: blog.hike.in, labs.spotify.com. Позволяют понять концепты и архитектуру именно комплексных решений на GCP стеке.
Пробный экзамен.Для понимания структуры вопросов и концепции самого экзамена.
Видеодоклады с конференций (Strata) уже по конкретным компонентам GCP (TensorFlow, DataFlow).
Статьи о CAP теореме, ACID требованиях и просто теория БД.
Структура экзамена и типы вопросов
Экзамен состоит из 50 вопросов. На прохождение дается 2 часа, чего по моим ощущениям вполне достаточно. Есть возможность пометить вопросы, к которым можно вернуться потом. Более того, разрешено пересмотреть все ответы в любое время экзамена, что позволяет после первого стресса, в конце еще раз (или несколько раз) пробежаться по всем вопросам/ответам. Основной упор по вопросам сделан на BigQuery + общие вопросы по архитектуре решений (BigQuery + DataFlow + Pub/Sub).
При подготовке к экзамену (как и во время самого экзамена) можно ознакомиться с двумя так называемыми «case studies». Это приближенные к реальным описания 2 компаний с разными входными данными, которые решили мигрировать на GCP и которые при этом преследуют разные цели. Часть вопросов напрямую касаются этих case studies, так что есть смысл их изучить во время подготовки, чтобы не тратить время на самом экзамене.
В общем и целом, структура следующая:
- Storage — BigQuery, CloudSQL, Cloud Storage, BigTable, Spanner, Datastore ~ 20 вопросов;
- IAM (Identity & Access Management) ~
5-10 вопросов; - Processing — Dataproc, Dataprep ~
5-10 вопросов; - ML (Tensorflow + CloudML) ~
5-10 вопросов; - Pub/Sub, Dataflow ~ 5 вопросов;
- Monitoring — Stackdriver ~
2-3 вопроса; - Visualization — Data studio ~
2-3 вопроса; - Альтернативные решения (Hadoop, Hive, Cassandra, HBase) ~
2-3 вопроса.
Также в моем случае практически не было вопросов, в которых можно было угадать ответ, и буквально несколько вопросов, в которых в принципе можно выбрать ответ методом исключения. Но в то же время каверзных вопросов, например, на знание каких-то точных цифр тоже не было. Вопросы все время обновляются и поэтому, мне кажется, готовиться по дампам не совсем имеет смысл.
Сдача экзамена
Регистрация через сайт Webasessor. Нужно будет зарегистрироваться, и потом через этот же аккаунт можно будет получить сертификат. Дальше выбираем дату/время и место сдачи. Сама сдача проходит в тестовом центре Kryterion, в Киеве он один — на Прорезной улице (возле станции метро «Золотые ворота»). С собой необходимо взять 2 документа, удостоверяющие личность (паспорт, права, кредитная карта (как вторично удостоверяющая личность)). Также непосредственно во время экзамена запрещено иметь при себе телефон и другие средства связи/фото-, видеофиксации. Есть камеры хранения и все прочие удобства.
Стоимость экзамена Professional уровня — 200$, Associate уровня — 125$. Я оплачивал сертификацию самостоятельно. После первого неудачного раза вторую попытку можно делать через 14 дней, третью — через 60 дней, четвертую — через год. Стоимость всех попыток одинаковая.
И еще один, по моему мнению, важный момент, — это то, что при любом результате — успешном или неуспешном — в конце нет возможности посмотреть неправильные ответы или даже процент правильных/неправильных. Также Google не разглашает необходимый процент правильных ответов. Более того, судя по FAQв любом экзамене может быть небольшой процент вопросов, ответы на которые вообще не учитываются в результирующей оценке.
После экзамена сразу высвечивается предварительный результат Pass/Fail, который в течение недели может подтвердиться/опровергнуться. Сертификат выдается на 2 года и подразумевает полную пересдачу для продления срока действия.
Общее впечатление
Если есть обширный практический опыт работы с GCP, то перед сдачей экзамена все равно рекомендовал бы немного подготовиться, поскольку вопросы покрывают большинство используемых компонентов. Точно так же, с другой стороны, не имея практического опыта, но хорошо подготовившись, можно тоже достичь успеха на экзамене.
Для чего вообще сдавать сертификацию
Самообучение с конкретной целью.Разительно отличается от простого просматривания обучающих видео, почитывания статей по пути на работу и прочего. Составив для себя предварительный план подготовки, можно добиться существенного повышения эффективности обучения. Я больше всего времени посвятил курсам от Coursera и потом на этот фундамент и собственный опыт работы с GCP уже добавлял недостающие знания с помощью чтения документации и просмотра лекций. Как мне кажется, именно комбинация видеолекций и документации дают в сумме отличный результат в разрезе получения полезной информации. В любом случае знания за плечами не носить :)
Последующая оценка полученных знаний.В отличие от коллег по работе, которые оценивают ваши знания в некоторой доле субъективно, сертификация является намного более объективной и непредвзятой оценкой. Более того, в данном случае экзамен покрывает достаточно широкую область знаний, что сказывается как на сложности подготовки, так и в итоге, в определенной мере и на объективности получаемого с сертификатом тайтла.
Мне подготовка к сертификации и сам экзамен позволили в первую очередь изучить компоненты GCP, которые я не использовал ранее в своей работе. Понять их принцип работы и места применения. Кроме того, я структурировал имеющиеся знания. Ну и бонусом, появились идеи по улучшению как тестового фреймворка, так и компонентов нашей рабочей системы. И это кроме самого сертификата :)
Уверен, что сертификация будет полезна как QA, так и девам, архитекторам и любому человеку, который всерьез интересуется Cloud-решениями и GCP в частности.
Желаю всем легких вопросов и успешной сдачи!