Можем ли мы прекратить использование облаков слов - к науке о данных

1. Диаграммы Санки
2. Параллельные множества
3. Кластерные Карты

Есть много интересных и более научных проблем в обработке естественного языка, но я здесь сегодня, чтобы поделиться с вами только своим мнением.

Облака слов велики уродливы.

Иногда кажется, что люди вставляют свои большие красивые данные в генератор облаков слов, приклеивают их к доске Бристоля и опаздывают на 2 часа на научную ярмарку.

Я просто закрыл свой браузер на то, что было бы отличной статьей, потому что их гигантское облако слов только начало кричать на меня. «НАУКА ДАННЫХ», «ОБУЧЕНИЕ МАШИНЫ», «АНАЛИТИКА КОНТЕНТА»! Я уже прочитал заголовок, я видел хэштеги ... Есть ли у этой графики какая-то добавленная стоимость? Дает ли он какую-либо важную информацию читателю?

Вот почему я так сильно к ним отношусь. Значение языка не просто живет внутри ключевых слов.

Содержание слов существительных, прилагательных, глаголов важно. Не означает, что предлоги для определения слов стоп-слов удалены.

Если бы вам пришлось перечитывать последние два предложения, вы могли бы понять, что необходимо сохранять стоп-слова (например, «the», «of», «should»), в дополнение к ключевым словам. Например, предложение «быть или не быть», хотя и несколько архаично, полностью состоит из стоп-слов.

Вот, может быть, лучший пример удаления стоп-слов с точки зрения поисковой оптимизации (SEO) для URL статей:

• https: // WWW. …. / Растущий с потерей слуха → / растущий с потерей слуха
• / мир слуха с нарушениями слуха → / мир слуха с нарушениями слуха
• / Что такое потеря слуха → / Что такое потеря слуха

(источник: Интернет Медиа Мастера )

Или вот некоторые актуальные твиты вчерашнего дня, без стоп-слов:

А что если бы у людей были эти странные идиоматические изречения, которые мы действительно часто используем, не замечая этого?

Удаление стоп-слов сокращает время обработки. Это делает анализ языка намного более эффективным (для компьютеров!). Но если вы когда-либо создавали облако слов, которое подобрало совершенно не относящееся к делу ключевое слово (например, облако слов от Марка Стоуна, в котором есть «мальчик»), вы можете согласиться с тем, что частота ключевых слов или мешок из-слов не может быть самостоятельным анализом.

Визуализация языковых данных должна иметь некоторый компонент категоризации (см .: любое хорошее машинное обучение).

Мы все виноваты в этом. Я сделал облако слов или два в свое время. Но нам больше не нужны облака слов. Мы лучше этого! Я хотел бы представить 3 варианта, которые я считаю намного более интересными (и информативными!), Чем эти прославленные хэштеги.

Диаграммы Санки

Робин Уэйс, дизайнер UX, более полутора лет рисовала свои крики. Она хотела лучше понять свои эмоции. Создав диаграмму Санки, она смогла показать свою классификацию каждого крика, чтобы наблюдать тенденции.

Вот как работают диаграммы Санки. Они визуализируют поток от одного набора значений к другому. Они отлично работают для иерархических многомерных категориальных данных. Связи называются ссылками, и, подобно древовидной структуре, вещи, к которым подключаются, называются узлами (источник: Google Charts ).

Вейс обнаружила, что разрывы и отношения были корнем 63% ее полных криков. Она подкатегорировала свои крики по причине. В случае распада она выявила неверность, потерю, пытаясь заставить это работать и управляя реакцией других. Оттуда она использовала прилагательные, чтобы уточнить эмоции, почему она чувствовала, что плачет. Читай полную статью здесь ,

Это органичный и невероятно уникальный способ показать анализ ключевых слов с небольшим набором данных и, по-видимому, без особого машинного обучения. Возьми это, анализ настроений.

Параллельные множества

Параллельные множества также показывают поток данных. Джейсон Дэвис , внештатный разработчик программного обеспечения из Великобритании создал визуализацию выживших на Титанике ( данные Роберта Дж. Доусона ). Пойдите сюда для интерактивной версии. Его код также доступен здесь.

Поначалу кажется страшным (и гипнотизирующим), но вот что предлагает этот график.

1. Относительная доля выживших женщин намного больше, чем мужчин. (Ряд 1, синим цветом)
2. Около половины детей на корабле выжили. (Ряд 2 далеко слева)
3. С первого взгляда видно, что данные соотносятся с подходом «сначала женщины и дети» во время эвакуации.

Как Дэвис говорит, чтобы прочитать график:

Таким образом, параллельные наборы предоставляют возможность одновременно визуализировать различные типы данных и быстро делать выводы из них. Если у вас есть данные, представляющие собой смесь демографической и лингвистической информации, тогда легко ответить «кто что сказал». Это немного интереснее, чем «никто не сказал ни слова о чем».

Кластерные Карты

Я нашел эту потрясающую визуализацию комментариев, представленных Федеральной комиссии по связи в отношении мнений о нейтральности сети. Сан-Франциско фирма по анализу данных под названием Quid выполнила тематическое моделирование почти 250 000 представлений. Это не маленький подвиг. Вам может понадобиться немного глубокого обучения здесь. И финансирование. И гении из SF.

(В двух словах) для каждого кластера существует отдельная тема, и доля ответов показана серым цветом. Более компактные кластеры менее спорны. Кластеры ближе к другим кластерам показывают корреляцию между темами. Как указано выше, периферийные кластеры менее важны для общего разговора, но предполагается, что они более уникальны.

При этом было бы неплохо глубже изучить методологию, просто чтобы увидеть, как углы были срезаны. Как посторонний, он выглядит как неконтролируемый алгоритм машинного обучения, возможно, K-означает, что обычно означает разделение наблюдений на определенное количество кластеров. Или я не удивлюсь, если бы это была какая-то байесовская классификация, которая хорошо работает для языковых данных. Похоже, что его самая сильная сторона - это и самая большая слабость - это очень самоуверенный анализ.

Не каждый может заниматься машинным обучением. И будьте уверены, я совсем не хочу отказываться от того факта, что для перехода от сбора данных к красивой картине существуют недели очистки данных, поворота таблиц и опроса всего. Но идеи в науке о данных остаются прежними. Классифицируйте ваши данные. Нарисуйте линии тренда. Сделайте это вручную, если нужно. Сделайте некоторое предположение, предложите некоторую корреляцию или не делайте анализ вообще.

Не позволяйте данным пытаться говорить сами за себя. Собери свои облака.

Похожие

Комментарии