Поцарапал порог до металла что делать

Как следует из определения, диаграмма рассеяния - это набор точек, который показывает значения двух переменных. Мы можем попытаться построить диаграмму рассеяния для двух переменных из нашего набора данных о жилищном строительстве.

 fig, ax = plt.subplots (figsize = (16,8)) 
 ax.scatter (boston_df ['INDUS'], boston_df ['TAX']) 
 ax.set_xlabel ('Доля акров, не связанных с розничной торговлей на город ') 
 ax.set_ylabel (' Полная ставка налога на имущество на $ 10 000 ') 
 plt.show () 

На графике выше мы видим, что большинство точек данных находятся внизу слева, но есть точки, которые далеки от населения, например, в правом верхнем углу.

Обнаружение выбросов с помощью математической функции

Z-Score-

Определение Википедии

Z-score - это стандартное отклонение со знаком, на которое значение наблюдения или точки данных превышает среднее значение того, что наблюдается или измеряется.

Интуиция, стоящая за Z-оценкой, заключается в описании любой точки данных путем нахождения их взаимосвязи со стандартным отклонением и средним значением группы точек данных.Z-оценка находит распределение данных, где среднее значение равно 0, а стандартное отклонение равно 1, то есть нормальное распределение.

Вам должно быть интересно, как это помогает в идентификации выбросов? Что ж, при вычислении Z-показателя мы повторно масштабируем и центрируем данные и ищем точки данных, которые слишком далеки от нуля. Эти точки данных, которые слишком далеки от нуля, будут рассматриваться как выбросы. В большинстве случаев используется порог 3 или -3, то есть, если значение Z-оценки больше или меньше 3 или -3 соответственно, эта точка данных будет идентифицирована как выбросы.

Мы будем использовать функцию Z-score, определенную в библиотеке scipy, для обнаружения выбросов.

 из scipy import stats 
 import numpy as npz = np.abs (stats.zscore (boston_df)) 
 print (z) 

Глядя на приведенный выше код и выходные данные, трудно сказать какая точка данных является выбросом. Давайте попробуем определить порог для выявления выброса.

 порог = 3 
 печать (np.where (z> 3)) 

Это даст результат, как показано ниже -

Результаты не могут вас смутить.Первый массив содержит список номеров строк, а второй массив номеров соответствующих столбцов, что означает, что z [55] [1] имеют Z-оценку выше 3.

 print (z [55] [1]) 3.375038763517309 

Итак , точка данных - 55-я запись в столбце ZN является выбросом.

Оценка IQR -

График прямоугольной формы использует метод IQR для отображения данных и выбросов (форма данных), но для того, чтобы получить список идентифицированных выбросов, нам нужно будет использовать математическую формулу и получить выброс данные.

Определение Википедии

Межквартильный диапазон ( IQR ), также называемый средним или средний 50% , или технически H-разброс , является мерой статистической дисперсии, равной разница между 75-м и 25-м процентилями или между верхним и нижним квартилями, IQR = Q 3 - Q 1.

Другими словами, IQR - это первый квартиль, вычитаемый из третьего квартиля; эти квартили можно четко увидеть на прямоугольной диаграмме данных.

Это мера дисперсии, аналогичная стандартному отклонению или дисперсии, но гораздо более устойчивая к выбросам.

IQR в чем-то похож на Z-оценку с точки зрения определения распределения данных и последующего сохранения некоторого порога для выявления выброса.

Давайте выясним, что мы можем использовать коробчатый график с использованием IQR и как мы можем использовать его для поиска списка выбросов, как мы это делали при вычислении Z-показателя. Сначала мы рассчитаем IQR,

 Q1 = boston_df_o1.quantile (0.25) 
 Q3 = boston_df_o1.quantile (0,75) 
 IQR = Q3 - Q1 
 print (IQR) 

Здесь мы получим IQR для каждого столбца.

Поскольку теперь у нас есть оценки IQR, пора зафиксировать выбросы. Приведенный ниже код даст результат с некоторыми истинными и ложными значениями. Точка данных, где у нас есть False, означает, что эти значения действительны, тогда как True указывает на наличие выброса.

 print (boston_df_o1 <(Q1 - 1.5 * IQR)) | (boston_df_o1> (Q3 + 1.5 * IQR)) 

Теперь, когда мы знаем, как обнаруживать выбросы, важно понимать, нужны ли они быть удаленным или исправленным.В следующем разделе мы рассмотрим несколько методов удаления выбросов и, при необходимости, подстановки новых значений.

Во время анализа данных, когда вы обнаруживаете выброс, одним из самых сложных решений может быть то, как поступить с выбросом. Должны ли они их удалить или исправить? Прежде чем мы поговорим об этом, мы рассмотрим несколько методов удаления выбросов.

Z-Score

В предыдущем разделе мы видели, как можно обнаружить выбросы, используя Z-оценку, но теперь мы хотим удалить или отфильтровать выбросы и получить чистые данные.Это можно сделать с помощью всего одного строчного кода, поскольку мы уже рассчитали Z-оценку.

 boston_df_o = boston_df_o [(z <3) .all (axis = 1)] 

Итак, приведенный выше код удалил около 90+ строк из набора данных, т.е. выбросы были удалены.

Оценка IQR -

Так же, как Z-оценка, мы можем использовать ранее рассчитанную оценку IQR, чтобы отфильтровать выбросы, сохраняя только действительные значения.

 boston_df_out = boston_df_o1 [~ ((boston_df_o1 <(Q1 - 1.5 * IQR)) | (boston_df_o1> (Q3 + 1.5 * IQR))). Any (axis = 1)] boston_df_out.shape 

Приведенный выше код удалит выбросы из набора данных.

Существует несколько способов обнаружения и удаления выбросов, но методы, которые мы использовали для этого упражнения, широко используются и просты для понимания.

Следует ли удалять выбросы. Эти мысли могут возникать у каждого аналитика / специалиста по данным хоть раз при каждой проблеме, над которой он работает. Я нашел несколько хороших объяснений -

https: // www.researchgate.net/post/When_is_it_justifiable_to_exclude_outlier_data_points_from_statistical_analyses

https://www.researchgate.net/post/Which_is_the_best_method_for_removing_outliers_in_a_best_method_for_removing_outliers_in_a_a_data_set 9000-data_set 9000-data_set

000-data_set 9000-0003

Подводя итог их объяснения - неверные данные, неправильный расчет, их можно определить как выбросы, и их следует отбросить, но в то же время вы можете захотеть исправить и их, поскольку они изменяют уровень данных i.е. означают, что вызывает проблемы при моделировании данных. Например, 5 человек получают зарплату 10К, 20К, 30К, 40К и 50К, и вдруг один из них начинает получать зарплату 100К. Рассмотрим эту ситуацию, поскольку, если вы являетесь работодателем, новое обновление зарплаты может быть воспринято как необъективное, и вам может потребоваться увеличить зарплату и другим сотрудникам, чтобы сохранить баланс. Итак, может быть несколько причин, по которым вы хотите понять и исправить выбросы.

На протяжении этого упражнения мы видели, как на этапе анализа данных можно столкнуться с некоторыми необычными данными i.е выброс. Мы узнали о методах, которые можно использовать для обнаружения и удаления этих выбросов. Но был поднят вопрос о том, можно ли удалить выбросы. Чтобы ответить на эти вопросы, мы нашли дополнительные материалы для чтения (эти ссылки упоминаются в предыдущем разделе). Надеюсь, этот пост помог читателям узнать о выбросах.

Note- Для этого упражнения использовались инструменты и библиотеки, указанные ниже.

Framework- Jupyter Notebook, Language- Python, Libraries - библиотека sklearn, Numpy, Panda и Scipy, Plot Lib- Seaborn и Matplot.

1. Boston Dataset
2. Github Repo
3. Выбросы KDNuggets
4. Обнаружение выбросов

.

5 алгоритмов кластеризации, которые необходимо знать ученым | Джордж Сейф

Кластеризация - это метод машинного обучения, который включает в себя группировку точек данных. Учитывая набор точек данных, мы можем использовать алгоритм кластеризации для классификации каждой точки данных в определенную группу. Теоретически точки данных, которые находятся в одной группе, должны иметь схожие свойства и / или функции, тогда как точки данных в разных группах должны иметь очень разные свойства и / или функции. Кластеризация - это метод обучения без учителя и распространенный метод статистического анализа данных, используемый во многих областях.

В Data Science мы можем использовать кластерный анализ, чтобы получить ценную информацию из наших данных, увидев, в какие группы попадают точки данных, когда мы применяем алгоритм кластеризации. Сегодня мы рассмотрим 5 популярных алгоритмов кластеризации, которые необходимо знать специалистам по данным, а также их плюсы и минусы!

Кластеризация К-средних

К-средние, вероятно, самый известный алгоритм кластеризации. Его преподают на многих вводных курсах по науке о данных и машинному обучению. Его легко понять и реализовать в коде! Посмотрите рисунок ниже для иллюстрации.

Кластеризация K-средних

1. Для начала мы сначала выбираем несколько классов / групп для использования и случайным образом инициализируем их соответствующие центральные точки. Чтобы определить количество используемых классов, полезно быстро взглянуть на данные и попытаться выделить какие-либо отдельные группы. Центральные точки - это векторы той же длины, что и каждый вектор точек данных, и обозначены буквами «X» на рисунке выше.
2. Каждая точка данных классифицируется путем вычисления расстояния между этой точкой и центром каждой группы, а затем классификации точки в группе, центр которой находится ближе всего к ней.
3. На основе этих классифицированных точек мы повторно вычисляем центр группы, взяв среднее значение всех векторов в группе.
4. Повторите эти шаги для заданного количества итераций или до тех пор, пока центры групп не будут сильно меняться между итерациями. Вы также можете выбрать случайную инициализацию групповых центров несколько раз, а затем выбрать прогон, который, похоже, обеспечил наилучшие результаты.

K-Means имеет то преимущество, что он довольно быстр, поскольку все, что мы на самом деле делаем, это вычисляем расстояния между точками и центрами групп; очень мало вычислений! Таким образом, он имеет линейную сложность O ( n ).

С другой стороны, у K-Means есть несколько недостатков. Во-первых, вы должны выбрать количество групп / классов. Это не всегда тривиально, и в идеале с алгоритмом кластеризации мы хотели бы, чтобы он выяснял это за нас, потому что его цель - получить некоторое представление о данных. K-средство также начинается со случайного выбора центров кластеров и, следовательно, может давать разные результаты кластеризации при разных прогонах алгоритма. Таким образом, результаты могут быть неповторимыми и непротиворечивыми.Другие кластерные методы более последовательны.

K-Medians - это еще один алгоритм кластеризации, связанный с K-средними, за исключением того, что вместо пересчета центральных точек группы с использованием среднего мы используем медианный вектор группы. Этот метод менее чувствителен к выбросам (из-за использования медианы), но намного медленнее для больших наборов данных, так как сортировка требуется на каждой итерации при вычислении медианного вектора.

Кластеризация со средним сдвигом

Кластеризация со средним сдвигом - это алгоритм на основе скользящего окна, который пытается найти плотные области точек данных.Это алгоритм на основе центроида, означающий, что цель состоит в том, чтобы найти центральные точки каждой группы / класса, который работает путем обновления кандидатов на центральные точки, чтобы они были средними точками в скользящем окне. Эти окна кандидатов затем фильтруются на этапе постобработки, чтобы исключить почти повторяющиеся изображения, образуя окончательный набор центральных точек и их соответствующие группы. Посмотрите рисунок ниже для иллюстрации.

Кластеризация среднего сдвига для одного скользящего окна

1. Чтобы объяснить средний сдвиг, мы рассмотрим набор точек в двумерном пространстве, как на иллюстрации выше.Мы начинаем с круглого скользящего окна с центром в точке C (выбранной случайным образом) и с радиусом r в качестве ядра. Среднее смещение - это алгоритм подъема в гору, который включает итеративное смещение этого ядра в область с более высокой плотностью на каждом шаге до сходимости.
2. На каждой итерации скользящее окно смещается в сторону областей с более высокой плотностью за счет смещения центральной точки на среднее значение точек внутри окна (отсюда и название). Плотность внутри скользящего окна пропорциональна количеству точек внутри него.Естественно, при переходе к среднему значению точек в окне он будет постепенно перемещаться в области с более высокой плотностью точек.
3. Мы продолжаем сдвигать скользящее окно в соответствии со средним значением до тех пор, пока не будет направления, в котором сдвиг может вместить больше точек внутри ядра. Посмотрите на рисунок выше; мы продолжаем перемещать круг, пока не перестанем увеличивать плотность (т.е. количество точек в окне).
4. Этот процесс шагов с 1 по 3 выполняется с множеством скользящих окон, пока все точки не окажутся внутри окна.Когда несколько скользящих окон перекрываются, окно, содержащее наибольшее количество точек, сохраняется. Затем точки данных группируются в соответствии со скользящим окном, в котором они находятся.

Иллюстрация всего процесса от начала до конца со всеми скользящими окнами показана ниже. Каждая черная точка представляет собой центр тяжести скользящего окна, а каждая серая точка - это точка данных.

Весь процесс кластеризации среднего сдвига

В отличие от кластеризации K-средних, нет необходимости выбирать количество кластеров, поскольку средний сдвиг автоматически обнаруживает это.Это огромное преимущество. Тот факт, что центры кластера сходятся к точкам максимальной плотности, также весьма желателен, поскольку это довольно интуитивно понятно и хорошо подходит для естественного управления данными. Недостатком является то, что выбор размера / радиуса окна «r» может быть нетривиальным.

Пространственная кластеризация приложений с шумом на основе плотности (DBSCAN)

DBSCAN - это кластерный алгоритм на основе плотности, аналогичный среднему сдвигу, но с несколькими заметными преимуществами.Посмотрите еще одну красивую картинку ниже, и приступим!

DBSCAN Smiley Face Clustering

1. DBSCAN начинается с произвольной начальной точки данных, которая не была посещена. Окрестность этой точки выделяется с использованием расстояния epsilon ε (все точки, находящиеся в пределах расстояния ε, являются точками окрестности).
2. Если в этой окрестности имеется достаточное количество точек (согласно minPoints), то начинается процесс кластеризации, и текущая точка данных становится первой точкой в ​​новом кластере.В противном случае точка будет помечена как шум (позже эта зашумленная точка может стать частью кластера). В обоих случаях эта точка помечается как «посещенная».
3. Для этой первой точки в новом кластере точки в пределах ее окрестности расстояния ε также становятся частью того же кластера. Эта процедура приведения всех точек в окрестности ε к одному кластеру затем повторяется для всех новых точек, которые были только что добавлены в группу кластеров.
4. Этот процесс шагов 2 и 3 повторяется до тех пор, пока не будут определены все точки в кластере i.e все точки в пределах ε окрестности кластера были посещены и помечены.
5. Как только мы закончим с текущим кластером, новая непосещенная точка извлекается и обрабатывается, что приводит к обнаружению следующего кластера или шума. Этот процесс повторяется до тех пор, пока все точки не будут отмечены как посещенные. Поскольку в конце этого процесса все точки были посещены, каждая точка будет отмечена либо как принадлежащая кластеру, либо как шумовая.

DBSCAN обладает некоторыми большими преимуществами перед другими алгоритмами кластеризации.Во-первых, он вообще не требует определенного количества кластеров. Он также определяет выбросы как шумы, в отличие от среднего сдвига, который просто помещает их в кластер, даже если точки данных сильно отличаются. Кроме того, он может довольно хорошо находить кластеры произвольного размера и произвольной формы.

Главный недостаток DBSCAN заключается в том, что он не работает так хорошо, как другие, когда кластеры имеют разную плотность. Это связано с тем, что установка порогового значения расстояния ε и minPoints для идентификации точек соседства будет изменяться от кластера к кластеру при изменении плотности.Этот недостаток также возникает с данными очень большого размера, поскольку снова становится сложно оценить пороговое значение расстояния ε.

Кластеризация ожидания – максимизации (EM) с использованием моделей смешения гауссов (GMM)

Одним из основных недостатков K-средних является наивное использование среднего значения для центра кластера. Мы можем понять, почему это не лучший способ решения задач, посмотрев на изображение ниже. С левой стороны человеческому глазу совершенно очевидно, что есть два круглых кластера с разным радиусом 'с одним и тем же средним значением.K-средние не справятся с этим, потому что средние значения кластеров очень близки друг к другу. K-среднее также не работает в тех случаях, когда кластеры не являются круговыми, опять же в результате использования среднего в качестве центра кластера.

Два случая отказа для К-средних.

Гауссовские модели смеси (GMM) дают нам больше гибкости, чем К-средние. С GMM мы предполагаем, что точки данных распределены по Гауссу; это менее ограничительное предположение, чем утверждение, что они являются круговыми с использованием среднего. Таким образом, у нас есть два параметра для описания формы кластеров: среднее значение и стандартное отклонение! Если взять пример в двух измерениях, это означает, что кластеры могут принимать любую эллиптическую форму (поскольку у нас есть стандартное отклонение как по оси x, так и по оси y).Таким образом, каждое гауссово распределение относится к одному кластеру.

Чтобы найти параметры гауссианы для каждого кластера (например, среднее значение и стандартное отклонение), мы будем использовать алгоритм оптимизации, называемый ожиданием – максимизацией (EM). Взгляните на рисунок ниже как иллюстрацию подгонки гауссиан к кластерам. Затем мы можем приступить к процессу кластеризации ожидания – максимизации с использованием GMM.

EM-кластеризация с использованием GMM

1. Мы начинаем с выбора количества кластеров (как это делает K-Means) и случайной инициализации параметров гауссова распределения для каждого кластера.Можно попытаться дать хорошее предположение для начальных параметров, также быстро взглянув на данные. Хотя обратите внимание, как видно на графике выше, это не на 100% необходимо, поскольку гауссианы начинают как очень плохие, но быстро оптимизируются.
2. Учитывая эти гауссовские распределения для каждого кластера, вычислите вероятность того, что каждая точка данных принадлежит определенному кластеру. Чем ближе точка к центру Гаусса, тем больше вероятность, что она принадлежит этому кластеру. Это должно иметь интуитивный смысл, поскольку с распределением Гаусса мы предполагаем, что большая часть данных находится ближе к центру кластера.
3. На основе этих вероятностей мы вычисляем новый набор параметров для гауссовских распределений, чтобы максимизировать вероятности точек данных в кластерах. Мы вычисляем эти новые параметры, используя взвешенную сумму позиций точек данных, где веса - это вероятности принадлежности точки данных к этому конкретному кластеру. Чтобы объяснить это наглядно, мы можем взглянуть на рисунок выше, в частности, на желтый кластер в качестве примера. Распределение начинается случайным образом на первой итерации, но мы видим, что большинство желтых точек находятся справа от этого распределения.Когда мы вычисляем сумму, взвешенную по вероятностям, даже несмотря на то, что есть некоторые точки около центра, большинство из них находятся справа. Таким образом, естественно, что среднее значение распределения смещается ближе к этому набору точек. Мы также можем видеть, что большинство точек расположены «сверху-справа-снизу-слева». Поэтому стандартное отклонение изменяется, чтобы создать эллипс, который больше соответствует этим точкам, чтобы максимизировать сумму, взвешенную по вероятностям.
4. Шаги 2 и 3 повторяются итеративно до сходимости, когда распределения не сильно меняются от итерации к итерации.

Использование GMM дает два ключевых преимущества. Во-первых, GMM намного больше гибких с точки зрения кластерной ковариации , чем K-средних; из-за параметра стандартного отклонения кластеры могут принимать любую форму эллипса, а не ограничиваться кругами. К-средние фактически являются частным случаем GMM, в котором ковариация каждого кластера по всем измерениям приближается к нулю. Во-вторых, поскольку GMM используют вероятности, они могут иметь несколько кластеров на точку данных. Итак, если точка данных находится в середине двух перекрывающихся кластеров, мы можем просто определить ее класс, сказав, что она принадлежит X-процентов к классу 1 и Y-процентам к классу 2.То есть GMM поддерживают смешанное членство .

Агломеративная иерархическая кластеризация

Алгоритмы иерархической кластеризации делятся на 2 категории: нисходящие и восходящие. Восходящие алгоритмы обрабатывают каждую точку данных как единый кластер вначале, а затем последовательно объединяют (или агломерат ) пары кластеров, пока все кластеры не будут объединены в один кластер, содержащий все точки данных. Таким образом, восходящая иерархическая кластеризация называется иерархической агломеративной кластеризацией или HAC .Эта иерархия кластеров представлена ​​в виде дерева (или дендрограммы). Корень дерева - это уникальный кластер, в котором собраны все образцы, а листья - это кластеры только с одним образцом. Перед тем, как перейти к шагам алгоритма, посмотрите рисунок ниже.

Агломеративная иерархическая кластеризация

1. Мы начинаем с обработки каждой точки данных как одного кластера, т.е. если в нашем наборе данных есть X точек данных, то у нас есть X кластеров. Затем мы выбираем метрику расстояния, которая измеряет расстояние между двумя кластерами.В качестве примера мы будем использовать среднее значение связи , которое определяет расстояние между двумя кластерами как среднее расстояние между точками данных в первом кластере и точками данных во втором кластере.
2. На каждой итерации мы объединяем два кластера в один. Два кластера, которые необходимо объединить, выбираются как кластеры с наименьшей средней связью. То есть, согласно выбранной нами метрике расстояния, эти два кластера имеют наименьшее расстояние между собой и, следовательно, наиболее похожи и должны быть объединены.
3. Шаг 2 повторяется до тех пор, пока мы не достигнем корня дерева, т.е. у нас будет только один кластер, содержащий все точки данных. Таким образом, мы можем выбрать, сколько кластеров мы хотим в конце, просто выбрав, когда прекратить объединение кластеров, то есть когда мы перестанем строить дерево!

Иерархическая кластеризация не требует от нас указывать количество кластеров, и мы даже можем выбрать, какое количество кластеров выглядит лучше всего, поскольку мы строим дерево. Кроме того, алгоритм нечувствителен к выбору метрики расстояния; все они, как правило, работают одинаково хорошо, тогда как с другими алгоритмами кластеризации выбор метрики расстояния имеет решающее значение.Особенно хороший вариант использования методов иерархической кластеризации - это когда базовые данные имеют иерархическую структуру, и вы хотите восстановить иерархию; другие алгоритмы кластеризации не могут этого сделать. Эти преимущества иерархической кластеризации достигаются за счет более низкой эффективности, поскольку она имеет временную сложность O (n³) , в отличие от линейной сложности K-средних и GMM.

.

---

Смотрите также

• 
  Что такое эквивалент металла
• 
  Что можно сделать из листового металла
• 
  Как удалить цинк с металла
• 
  Чем обусловлена проводимость металлов
• 
  Как происходит кристаллизация металла в изложнице
• 
  Что такое гибка металла определение
• 
  Как склеить металл и алюминий
• 
  Как правильно сваривать металл газосваркой
• 
  Что называют электрическим током в металлах
• 
  Как определить оцинкованный металл или нет
• 
  Чем клеить магнит к металлу