Подготовка к собеседованию по Python ML - UPROGER

Разделы для повторения и понимания

Для всесторонней подготовки к собеседованию по Python ML, основанной на предоставленном материале, сосредоточьтесь на следующих областях:

1. Основы Python и программирование

Фундаментальные концепции Python: Понимание базовых типов данных, структур управления потоком, функций и объектно-ориентированного программирования.
Структуры данных и алгоритмы: Знание распространённых структур данных (списки, словари, множества) и алгоритмов, а также умение их применять для решения проблем (например, удаление дубликатов из строки).
Решение проблем: Способность разбивать сложные задачи на более мелкие, управляемые части и разрабатывать эффективные решения.

2. Предварительная обработка и анализ данных

Загрузка и манипулирование данными: Уверенное использование pandas для загрузки, фильтрации и преобразования данных.
Разделение данных: Умение делить наборы данных на обучающие, тестовые и валидационные наборы, а также понимать важность этого шага.
Обнаружение и обработка выбросов: Методы выявления выбросов (например, с помощью ящичных диаграмм, Z-оценок) и стратегии их обработки.
Масштабирование признаков и нормализация: Понимание различий между стандартизацией и нормализацией (min-max scaling) и когда использовать каждую из них. Умение реализовывать их с помощью sklearn.
Статистический анализ: Расчёт процентилей и понимание их значения.
Исследовательский анализ данных (EDA): Использование визуализации (например, pairplots, boxplots) для анализа распределения данных и выявления аномалий.

3. Машинное обучение и оценка моделей

Фундаментальные концепции ML: Общее понимание различных типов задач ML (классификация, регрессия, кластеризация).
Алгоритмы ML:K-ближайшие соседи (KNN): Понимание принципов работы алгоритма, умение его реализовывать с нуля и использовать с KNeighborsClassifier из sklearn.
Линейная регрессия: Понимание её работы и способность реализовать её с нуля.
Оценка модели: Знание распространённых метрик оценки (хотя в источнике прямо не указаны, подразумевается их понимание для “оценки моделей”).
Интерпретация признаков: Понимание того, как оценить и визуализировать важность признаков в модели.
Уменьшение размерности: Понимание концепции PCA и умение её применять.
Настройка гиперпараметров: Методы, такие как RandomizedSearchCV, для оптимизации производительности модели.
Проблемы развёртывания в реальном мире: Осознание того, что точность не является единственной метрикой для развёрнутых моделей.

4. Продвинутые техники и глубокое обучение

Свёрточные нейронные сети (CNN): Базовое понимание архитектуры CNN и умение реализовать простую модель с использованием tensorflow.keras.
Пакетная нормализация: Понимание концепции и умение её реализовывать.

5. Общие советы по собеседованию

Понимание проблемы: Важность задания уточняющих вопросов и работы с примерами.
Псевдокод и обсуждение: Разработка высокоуровневого плана и обсуждение его с интервьюером.
Выбор языка/фреймворка: Использование наиболее привычных инструментов.
Поэтапная реализация и объяснение: Написание кода и объяснение своих мыслей вслух.
Тестирование кода: Важность тестирования решений и обсуждения результатов.
Исследование компании: Адаптация подготовки к конкретным требованиям компании.
Практика: Участие в пробных собеседованиях и прохождение курсов подготовки.

Тест из 10 вопросов с краткими ответами

Отвечайте на каждый вопрос в 2-3 предложениях.

Какова основная цель предварительной обработки данных в машинном обучении?
Объясните разницу между обучающим и тестовым наборами данных и почему они используются.
Что такое Z-оценка, и как она используется для выявления выбросов?
Каковы две основные цели масштабирования признаков или нормализации в машинном обучении?
В чём заключается основная идея алгоритма K-ближайших соседей (KNN)?
Как рассчитывается евклидово расстояние между двумя точками, и для чего оно может быть использовано в ML?
Почему важно оценить и визуализировать важность признаков в наборе данных?
Какова основная цель использования RandomizedSearchCV в настройке гиперпараметров?
Что такое пакетная нормализация и почему она важна в глубоком обучении?
Какие две основные задачи выполняет метод fit в пользовательской реализации модели ML, такой как KMeans или LinearRegressionScratch?

Ключ ответов

Основная цель предварительной обработки данных в машинном обучении – валидация качества набора данных и его очистка перед использованием статистических методов для анализа. Это помогает обеспечить, чтобы данные были пригодны для обучения модели, улучшая её производительность и надёжность.
Обучающий набор данных используется для обучения модели машинного обучения, а тестовый набор – для оценки её производительности на невиданных данных. Их использование помогает избежать переобучения и получить реалистичную оценку того, насколько хорошо модель будет работать в реальных условиях.
Z-оценка измеряет, на сколько стандартных отклонений точка данных отклоняется от среднего значения набора данных. Значения, имеющие абсолютную Z-оценку больше определённого порога (например, 3), обычно идентифицируются как выбросы, поскольку они находятся статистически далеко от основной массы данных.
Две основные цели масштабирования признаков или нормализации – это помочь модели быстрее сходиться, делая функцию потерь более подходящей для градиентного спуска, и гарантировать, что все признаки имеют одинаковый масштаб, предотвращая доминирование признаков с большими числовыми диапазонами над признаками с меньшими диапазонами.
Основная идея алгоритма K-ближайших соседей (KNN) заключается в классификации новой точки данных на основе большинства классов её K ближайших соседей в обучающем наборе. Он использует метрики расстояния, такие как евклидово расстояние, для определения “близости” между точками.
Евклидово расстояние рассчитывается как квадратный корень из суммы квадратов разностей между соответствующими координатами двух точек. Оно часто используется для измерения сходства или несходства между точками данных в алгоритмах кластеризации, уменьшения размерности и поиска ближайших соседей.
Важно оценить и визуализировать важность признаков, потому что это помогает понять роль каждой переменной признака в описании целевой переменной. Эта информация может быть использована для выбора признаков, улучшения интерпретируемости модели и выявления наиболее влиятельных факторов.
Основная цель использования RandomizedSearchCV в настройке гиперпараметров – эффективно исследовать большое пространство гиперпараметров путём случайного отбора комбинаций. Это помогает найти оптимальные гиперпараметры для модели, не перебирая каждую возможную комбинацию, что может быть вычислительно дорогостоящим.
Пакетная нормализация – это метод, используемый в глубоком обучении для стандартизации входных данных в слое по мере их прохождения через нейронную сеть, путём нормализации средних значений и дисперсий выходов предыдущего слоя. Она помогает ускорить обучение, стабилизировать процесс обучения и уменьшить внутренний ковариационный сдвиг.
Метод fit в пользовательской реализации модели ML обычно отвечает за обучение модели на предоставленных обучающих данных. Это включает в себя вычисление или определение внутренних параметров модели (например, коэффициентов в линейной регрессии или местоположений центроидов в K-средних) на основе закономерностей в X_train и y_train.

Пять вопросов в формате эссе

Подробно объясните процесс предварительной обработки данных, включая его важность, распространённые шаги (такие как обработка выбросов, масштабирование признаков, разделение данных) и то, как каждый шаг способствует улучшению качества данных и производительности модели.
Сравните и сопоставьте стандартизацию (StandardScaler) и нормализацию (MinMaxScaler) в контексте масштабирования признаков. Объясните базовую математику каждого метода, сценарии, в которых один может быть предпочтительнее другого, и их влияние на различные алгоритмы машинного обучения.
Опишите, как вы будете подходить к задаче реализации алгоритма K-средних кластеризации с нуля. Опишите необходимые компоненты, ключевые шаги и математические операции, задействованные в процессе обучения, объясняя, почему каждый шаг важен.
Обсудите значение оценки и визуализации важности признаков в проекте машинного обучения. Приведите примеры того, как эта информация может быть использована для улучшения модели, повышения её интерпретируемости или помощи в принятии бизнес-решений.
Помимо точности, какие ещё соображения и метрики важны при развёртывании моделей машинного обучения в реальном мире? Объясните, почему фокусировка только на точности может быть недостаточной, и приведите примеры дополнительных метрик или аспектов, которые следует учитывать.

Глоссарий ключевых терминов

numpy: Основная библиотека Python для научных вычислений, обеспечивающая поддержку больших, многомерных массивов и матриц, а также высокоуровневых математических функций для работы с этими массивами.
pandas: Библиотека Python, предоставляющая высокопроизводительные, простые в использовании структуры данных и инструменты анализа данных, в частности DataFrame.
sklearn (Scikit-learn): Библиотека машинного обучения Python, предоставляющая простые и эффективные инструменты для классификации, регрессии, кластеризации, уменьшения размерности и предварительной обработки данных.
matplotlib: Библиотека Python для создания статических, анимированных и интерактивных визуализаций в Python.
seaborn: Библиотека для визуализации данных Python, основанная на matplotlib, предоставляющая высокоуровневый интерфейс для рисования привлекательной и информативной статистической графики.
scipy: Экосистема программного обеспечения с открытым исходным кодом, основанная на Python, для математики, науки и инженерии, включающая модули для оптимизации, линейной алгебры, интегрирования, интерполяции, специальных функций, FFT, обработки сигналов и изображений, а также других задач.
tensorflow: Комплексная платформа с открытым исходным кодом для машинного обучения, разработанная Google, используемая для создания и обучения моделей глубокого обучения.
keras: Высокоуровневый API нейронных сетей, написанный на Python, способный работать поверх TensorFlow, CNTK или Theano. Он разработан для быстрой экспериментировки.
Набор данных (Dataset): Сборник связанных записей данных, рассматриваемых как единое целое, обычно организованных в табличном формате.
Обучающий набор (Training Set): Часть набора данных, используемая для обучения модели машинного обучения.
Тестовый набор (Test Set): Часть набора данных, используемая для оценки производительности модели после того, как она была обучена, на невиданных данных.
Валидационный набор (Validation Set): Дополнительная часть набора данных, используемая для тонкой настройки гиперпараметров модели и предотвращения переобучения во время обучения.
Предварительная обработка данных (Data Preprocessing): Процесс преобразования необработанных данных в пригодный и эффективный формат для моделей машинного обучения. Включает очистку, масштабирование, агрегирование и другие операции.
Выбросы (Outliers): Точки данных, которые значительно отличаются от других наблюдений в наборе данных. Они могут быть результатом вариативности измерений или ошибок.
Z-оценка (Z-score): Мера того, на сколько стандартных отклонений точка данных отличается от среднего значения набора данных. Используется для стандартизации данных и выявления выбросов.
Ящичный диаграмма (Box Plot): Метод графического отображения групп числовых данных с помощью их квартилей. Может использоваться для выявления выбросов.
Масштабирование признаков (Feature Scaling): Метод, используемый для нормализации диапазона независимых переменных или признаков данных.
Нормализация (Normalization): Конкретный тип масштабирования признаков, который изменяет диапазон числовых признаков до стандартного диапазона (например, от 0 до 1) с помощью min-max масштабирования.
Стандартизация (Standardization): Тип масштабирования признаков, который масштабирует данные так, чтобы они имели среднее значение 0 и стандартное отклонение 1.
Min-max масштабирование (Min-max Scaling): Метод нормализации, который масштабирует значения признаков до заданного диапазона (обычно от 0 до 1), путём вычитания минимума и деления на диапазон.
Евклидово расстояние (Euclidean Distance): Прямое расстояние между двумя точками в евклидовом пространстве, часто используемое в алгоритмах ML для измерения сходства.
K-ближайшие соседи (K-Nearest Neighbors, KNN): Непараметрический алгоритм классификации и регрессии, который классифицирует точку данных на основе классов её K ближайших соседей.
Линейная регрессия (Linear Regression): Линейный подход к моделированию взаимосвязи между скалярной зависимой переменной и одной или несколькими независимыми переменными (или признаками).
Важность признаков (Feature Importance): Оценка того, насколько каждый признак в наборе данных способствует прогнозированию целевой переменной.
Главные компоненты (Principal Components): В PCA новые переменные, которые являются некоррелированными и упорядочены так, что первые несколько сохраняют наибольшую часть дисперсии, присутствующей во всех исходных признаках.
Анализ главных компонент (Principal Component Analysis, PCA): Статистическая процедура, которая использует ортогональное преобразование для преобразования набора наблюдений потенциально коррелированных переменных в набор значений линейно некоррелированных переменных, называемых главными компонентами. Используется для уменьшения размерности.
Гиперпараметры (Hyperparameters): Параметры, внешние по отношению к модели, которые не изучаются из данных. Они должны быть установлены перед началом процесса обучения (например, k в KNN, n_estimators в RandomForestClassifier).
Настройка гиперпараметров (Hyperparameter Tuning): Процесс поиска оптимального набора гиперпараметров для модели машинного обучения.
RandomizedSearchCV: Техника настройки гиперпараметров в sklearn, которая случайным образом выбирает комбинации гиперпараметров из заданных распределений.
Свёрточная нейронная сеть (Convolutional Neural Network, CNN): Класс глубоких нейронных сетей, чаще всего применяемый для анализа визуальных изображений.
Пакетная нормализация (Batch Normalization): Техника для ускорения обучения и стабилизации нейронных сетей путём нормализации входных данных для каждого слоя.
Обучение (Fit): Процесс обучения модели машинного обучения на обучающих данных, в результате которого модель изучает закономерности и взаимосвязи.
Предсказание (Predict): Процесс использования обученной модели для создания прогнозов на основе новых, невиданных данных.
Матрица признаков (Feature Matrix): Входные данные для модели машинного обучения, обычно обозначаемые как X, где строки представляют наблюдения, а столбцы – признаки.