Вдыхая идеи

Человеческая предвзятость (bias) проникает и влияет на все виды социального взаимодействия: стереотипы, предубеждения, шаблоны мышления и т.п.

Иногда общество замечает негативное влияние байеса и пытается его исправить, часто с перекосом то в одну, то в другую сторону (как колебания с затухающей амплитудой). Например, сейчас на пике общественного внимания гендерные и расовые стереотипы.

Иногда влияние байеса малозаметно и мы пока не обращаем на это большого внимания. Например, в спорте есть статистика, что родные стены помогают (матчи дома). Статистики выявили, что виной предвзятость судей, которые подчинаются воле болельщиков и часто судят в пользу "домашних" спортсменов. (Некоторые спортсмены тоже могут подчинятся воле толпы, если не могут контролировать эмоции.) Для борьбы с нечестным судейством придумывают видеоповторы, вводят дополнительных судей и т.п.

Иногда байес тяжело измерить статистически (мало данных, они плохо формализованы и тп), но помогают психологи, социологи, исследующие стимулы, управляющие личностью и социумом.

Хорошая новость состоит в том, что по мере набора данных модели машинного обучения помогают выявлять скрытые шаблоны в поведении людей и показывать нам места перегибов. "Бездушные машины" изначально лишены эмоций и предвзятостей, и если им скормить "чистые" данные, то на выходе нас ждут интересные откровения, недоступные простому взору. Процесс этот довольно сложный, наука Data Science, в которую входит machine learning (построение моделей машинного обучения), сравнительно молодая. Требуется соблюдать ряд правил, чтобы все получилось: уметь строить гипотезы (творческий подход), не путать причину со следствием (логическое мышление), кропотливо собирать и очищать данные (см. правило "г-но на входе - г-но на выходе") и тп. Одна из интереснейших книг, раскрывающих механизмы построения и интерпретации таких моделей - the signal and the noise (книга популярная, требуются элементарные знания статистики). Другая интересная серия книг, демонстрирующих, как отлавливать байесы с помощью анализа и наблюдений (без data science) - "Фрикономика", "Суперфрикономика" и "Когда грабить банк" тех же авторов (известных экономистов).

Когда вырабатываешь в себе навык построения таких моделей, начинаешь на многие вещи смотреть по-другому: видеть, как байесы управляют нашим сознанием, приходит понимание, как их избежать. И тут начинается самое интересное.

За последние несколько месяцев я помимо своей основной работы поучаствовал в нескольких внутренних и независимых проектах, понемногу набираясь опыта. И сейчас нахожусь в моменте, когда хочется остановиться и подумать, что делать дальше, чтобы уже наработанные знания превратить во что-нибудь полезное. Здесь краткий отчет за последнее время.
( Read more... )
Идей, как обычно, много, но хочется сделать что-нибудь действительно нужное и полезное, а не просто "в стол". В идеале хотелось бы, чтобы постепенно труды превращались в пассивный доход. Глядя на то, с какой скоростью вокруг лепятся стартапы, хочется думать, что это вполне реально.

Картинка из описания сервиса Microsoft Face API

Возьмем каталог картинок, можно с подписями, можно без (instagram, tinder, craigslist, avito etc.).

В процессе поиска пользователь обращает внимание на определенные паттерны в картинках (например, велосипед - спортивный, девушка - блондинка и т.п.). Хорошо, если при публикации картинки было дано ее словесное описание (пример: хеш-теги в инстаграме). Если нет,  можно использовать библиотеки Machine Learning, умеющие размечать семантические атрибуты изображений - image recognition, реализованная в TensorFlow и др. библиотеках). По сути, это будет набор нейросеток, каждая из которых распознает какой-то свой паттерн для картинки. Некоторые сетки еще не дают заданной точности, но это дело ближайшего времени. Силовые ведомства уже давно трудятся над чем-то подобным для опознавания лиц подозреваемых.

Есть несколько возможных способов поиска (от простого к сложному).

( Read more... )

Одна из основных проблем - где взять много данных для обучения.
Например, надо сделать распознавание силуэта человека.
Нанимается миллион индийцев или китайцев (эти нации обладают наилучшей масштабируемостью).
Они много месяцев подряд делают селфи и потом вручную обводят свои силуэты.
Потом эти селфи скармливаются нейросети, и она не только учится распознавать силуэты людей при любом освещении, с любого угла и т.п., но и отличать китайцев друг от друга!