Практически каждый смартфон, продаваемый сегодня, включая новейшие и лучшие iPhone и Android, не имеет возможности самостоятельно создавать великолепное боке. Их крошечные линзы и такие же маленькие сенсоры просто не могут взломать его без небольшой помощи продвинутого программного обеспечения, такого как LucidPix .

Боке, созданное на компьютере

Чтобы компенсировать физическую неспособность нашего смартфона создавать боке, мы изобрели программное обеспечение, способное создавать искусственное боке.Существуют базовые приложения для смартфонов, которые требуют, чтобы пользователи вручную выбирали, что должно быть в фокусе, а что не должно быть, а затем вручную размывать фон. К сожалению, это требует много времени и навыков, которых у нас не всегда.

LucidPix использует усовершенствованный механизм искусственного интеллекта 3D Fusion Engine для изучения вашей фотографии и отделения объекта от фона, автоматически создавая приятный искусственный эффект боке, без дополнительной работы! Достаточно одного нажатия кнопки в LucidPix , и вы получите фотографию с эффектом боке, которая не уступает по качеству профессиональным камерам за 5000 долларов.

Почему нам так нравится боке?

Когда фотография была впервые представлена, она была известна своей способностью воспроизводить мир именно таким, каким мы его видим. Нас больше не заставляли смотреть на сцену глазами художника — камера убирала все художественное творчество с изображений, которые она создавала. Проще говоря, они были точными копиями того, что мы видели в то время. Было задействовано очень мало творчества.

Боке помогает нам вернуть искусство в фотографию.Используя глубину резкости для выбора того, что находится в фокусе, а что не в фокусе, фотограф может творчески помочь зрителю понять, что на изображении важно, а что нет, позволяя изображению рассказывать свою собственную историю без необходимости объяснения.

Тоже неплохо! Фотография с приятным эффектом боке почти всегда будет выглядеть лучше, чем фотография без него.

Как сказать боке?

Многие люди не уверены в правильном произношении слова Боке.Изначально это японское слово, которое буквально переводится на английский как Blur, так что имейте это в виду, произнося его вслух. Официально это произносится как / ˈboʊkə /, BOH-kə или / ˈboʊkeɪ /. Ясно, как грязь, правда?

«ЛУК-ключ»

Фактическое произношение боке варьируется от места к месту. Самый распространенный способ сказать это похоже на слово букет, как в букете цветов. Вместо бу- в начале мы говорим поклон- и вместо того, чтобы заканчивать слово звуком -ай, мы заканчиваем его легким звуком «h», например, -ayh.Мы также подчеркиваем первую часть BOW- над второй частью -keyh.

В конце концов, пока ваша версия боке близка к другим, люди поймут суть. Вы можете сказать boh-kuh, bok-uh, boh-kay, и, возможно, даже букет, и большинство людей поймет, что вы пытаетесь донести.

Четыре способа создания потрясающего боке на ваших изображениях

Боке — это размытие фона изображения, а для фотографов потрясающее боке похоже на золото.Мы хотим этого, боремся за это, нам это нужно. Но как стабильно создавать потрясающие боке?

К счастью, есть несколько простых способов создать качественное фоновое боке.

В этой статье вы найдете четыре способа, которые улучшат вашу способность создавать приятное боке и, следовательно, повысят ваши фотографические возможности и навыки.

Сначала я расскажу о таких методах, как увеличение расстояния от объекта до фона и широкоугольная съемка. Затем я объясню ситуации, улучшающие боке, такие как контровое освещение.Вы узнаете, как творчески создавать потрясающие боке на ваших собственных изображениях.

Что такое боке?

Вкратце о великолепном боке: в общем, боке — это просто размытие фона, создаваемое объективом. Однако есть два типа боке, на которых я собираюсь сосредоточиться здесь.

Первый — это то, что я назову геометрическим боке. Геометрическое боке — это расфокусированные блики, которые на самом деле принимают геометрическую форму. Эта конкретная форма зависит от природы линзы, но довольно часто встречаются круги, шестиугольники, семиугольники и восьмиугольники.

При правильном использовании этот тип боке может добавить яркости вашим изображениям.

Свет на заднем плане этого изображения создает геометрическое боке.

Я буду называть второй тип боке кремовым боке. Это плавный, расфокусированный вид, к которому часто стремятся фотографы.

На этом снимке ромашки очень кремовое боке.

Могут быть созданы оба типа боке, но для этого требуются несколько разные методы. Давайте посмотрим на каждого.

1. Стрельба широко раскрыта

Это действительно основа для создания потрясающего боке. Независимо от того, хотите ли вы геометрическое или кремовое боке, съемка на открытой диафрагме (то есть с диафрагмой в диапазоне f / 1,2–2,8) значительно увеличит ваши шансы на его достижение.

Здесь я остановлюсь на кремовом боке.

Широкая диафрагма помогла мне создать действительно кремовый фон боке.

Если вы опустите объектив так, чтобы глубина резкости была намного меньше, вы обнаружите, что теряете возможность получения красивого кремового фона.

Это связано с тем, что большая глубина резкости означает, что фон становится менее размытым. Чтобы получить максимально кремовое боке, вам нужно как можно больше размыть фон. Это так просто.

Чтобы добиться лучшего кремового боке, увеличьте диафрагму, чтобы уменьшить глубину резкости. Только тогда вы начнете получать красивый кремовый вид и потрясающее боке.

2. Сохраняйте хорошее расстояние от объекта до фона

Еще одним важным аспектом создания приятного боке является соблюдение хорошего расстояния между объектом и фоном.Как и в первом совете, это применимо как к кремовому, так и к геометрическому боке, но здесь я сосредоточусь на кремовом боке.

Когда я говорю о расстоянии между объектом и фоном, я имею в виду расстояние между элементами фотографии, которые находятся в фокусе (ваш объект), и элементами фотографии, которые не в фокусе, то есть вашим фоном.

Почему хорошее расстояние между объектом и фоном улучшает качество кремового боке?

Это связано с глубиной резкости.Большее расстояние между объектом и фоном означает, что глубина резкости (резкая область в изображении) заканчивается намного раньше фона. Фон затем рендерится в форме красивого размытия, а не в виде более сфокусированного беспорядка.

Итак, чтобы увеличить кремообразность боке, увеличьте расстояние между объектом и фоном.

3. Найдите яркие блики позади объекта

Я немного поговорил о создании кремового боке, теперь пора вкратце перейти к геометрическому боке.

Эффектное геометрическое боке создается за счет бликов. Один из способов получить сильное геометрическое боке — поискать яркие огни на заднем плане.

Вода за этим цветком отражала заходящее солнце.

Этого можно добиться несколькими способами. Например, вы можете искать объекты, которые фильтруют солнечный свет, например, листья. Они разбивают солнечные лучи и превращают их в маленькие лучики света, которые затем превращаются в впечатляющее геометрическое боке.

Также можно искать элементы, отражающие свет.Вода — отличный вариант. Другой — капли воды. Области, мокрые от утренней росы, могут создавать красивое боке, если поместить их позади объекта.

В-третьих, вы можете искать небольшие источники света на заднем плане. Автомобильные фары, уличные фонари или рождественские огни — все хорошо, особенно при съемке после заката.

В-четвертых, если вы действительно хотите создать боке, но не можете найти подходящие условия, вы можете создать их самостоятельно. При съемке возьмите с собой гирлянду волшебных огоньков и поместите их позади объекта.

Я использовал волшебные огни, чтобы создать геометрическое боке на этом изображении.

Геометрическое боке не так уж часто встречается на фотографиях, но его довольно легко создать. Просто следуйте советам, рассмотренным выше!

4. Поместите объект в тень на ярком фоне

Этот метод создания потрясающего боке уникален тем, что с его помощью можно получить потрясающее кремовое боке при одностороннем использовании и потрясающее геометрическое боке при перевороте.

Оба способа предполагают, что объект съемки находится в тени.Оба метода также предполагают наличие яркого фона. В идеале снимать следует ранним утром или поздним вечером, когда солнце уже низко в небе.

Где расходятся техники, так это в расположении солнца.

Если вы снимаете с сильным фронтальным освещением, т. Е. Если солнце идет позади вас, через плечо, расположите объект так, чтобы красивый золотой свет падал на фон позади объекта (при этом объект остается затемненным).

Тогда этот золотой свет часто делает фон таким же золотым, и вы обнаружите, что ваше боке становится чудесным и кремовым.

Если вы снимаете с сильным контровым освещением, т. Е. Если солнце идет сзади объекта, расположите объект так, чтобы солнце проходило сквозь деревья, листья, ветки или траву. Как упоминалось выше, это создает яркие блики позади объекта.

Затем они превращаются в красивое геометрическое боке.

Не стесняйтесь экспериментировать. Попробуйте изменить количество тени на вашем объекте, переходя от полной тени к прямому контровому освещению.

Этот цветок имел более прямую подсветку.

Независимо от того, снимаете ли вы спереди или сзади, поместив объект в тень и работая в «золотые часы» восхода и заката, вы получите красивое боке.

Заключение

Хотя фотографам часто сложно создать красивое боке, это не должно быть сложно. Снимая с широкой диафрагмой, используя большое расстояние от объекта до фона, располагая объект таким образом, чтобы за ним присутствовали яркие блики, и используя специальные типы освещения, вы можете создавать изображения с потрясающим боке.

Знаете другие способы создания отличного боке? Поделитесь ими и своими изображениями с эффектом боке в поле для комментариев ниже.

Визуализация данных с боке и пандами

Содержание

Способность загружать необработанные данные, пробовать их, а затем визуально исследовать и представлять их — ценный навык в разных дисциплинах. В этом руководстве вы узнаете, как это сделать в Python с помощью библиотек Bokeh и Pandas. В частности, мы будем работать над визуализацией и исследованием аспектов бомбардировок Второй мировой войны, проводимых союзными державами.

По окончании урока вы сможете:

• Загрузить табличные данные CSV
• Выполнять основные манипуляции с данными, такие как агрегирование и подвыборка необработанных данных
• Визуализация количественных, категориальных и географических данных для отображения в Интернете
• Добавляйте различные типы интерактивности в свои визуализации

Для достижения этих целей мы рассмотрим различные примеры визуализации с использованием THOR, набора данных, описывающего исторические операции по бомбардировкам.

Набор данных THOR о Второй мировой войне

The Theater History of Operations Reports (THOR) перечисляет операции по воздушным бомбардировкам во время Первой мировой войны, Второй мировой войны, войны в Корее и войны во Вьетнаме, предпринятых Соединенными Штатами и союзными державами. Записи были составлены из рассекреченных документов подполковником Дженнсом Робертсоном. THOR становится общедоступным благодаря партнерству между Министерством обороны США и data.world.

Каждая строка в наборе данных THOR содержит информацию об одной миссии или бомбардировке.Эта информация может включать дату полета, места взлета и цели, тип цели, задействованный самолет, а также типы и вес бомб, сброшенных на цель. Словарь данных THOR предоставляет подробную информацию о структуре набора данных.

Для этого урока мы будем использовать модифицированную версию набора данных WWII THOR. Оригинальная полная версия набора данных состоит из 62 столбцов информации, оцифрованной с бумажных форм. Чтобы сделать этот набор данных более управляемым для наших целей, он был уменьшен до 19 столбцов, которые включают основную информацию о миссии и данные о бомбардировках.Эти столбцы обсуждаются ниже, когда мы впервые загружаем данные. Полный набор данных доступен для скачивания здесь.

Набор данных, используемый в этом руководстве, содержится в Thor_wwii.csv. Этот файл необходим для выполнения большинства приведенных ниже примеров.

Мы будем использовать боке и панды, чтобы ответить на некоторые из следующих вопросов:

• Какие типы и вес боеприпасов были сброшены во время Второй мировой войны (Второй мировой войны)? Какие закономерности мы можем различить в использовании различных типов боеприпасов?
• Как менялись типы и вес сброшенных боеприпасов в ходе Второй мировой войны? Как эти изменения соотносятся с крупными военными событиями?
• По каким целям сбрасывались боеприпасы во время войны? Были ли определенные типы боеприпасов ограничены определенными театрами военных действий или целями?

Другие возможные наборы данных

Если этот набор данных не соответствует вашим интересам или вы хотите попрактиковаться после завершения этого руководства, вот еще несколько интересных наборов данных, которые вы, возможно, захотите использовать с Bokeh и Pandas:

• Scottish Witchcraft Trials: многотабличный набор данных о более чем 4000 человек, обвиненных в колдовстве между 1536 и 1736 годами.

• событий гражданских беспорядков: единая таблица, в которой перечислены более 60 000 событий гражданских беспорядков по всему миру после окончания Второй мировой войны.

• База данных трансатлантической работорговли: доступные для поиска и настраиваемые табличные данные о 36 000 путешествий рабов, в ходе которых было перевезено более 10 миллионов рабов с 16 по 19 века.

Все три набора данных содержат количественные, качественные и временные данные, сопоставимые с данными набора данных THOR.Наборы данных о гражданских беспорядках и трансатлантической работорговле содержат пространственные данные, хотя их нет в данных Шотландских судебных процессов над колдовством.

Предварительные требования

Это руководство можно пройти в любых операционных системах. Для этого требуется Python 3 и веб-браузер. Вы можете использовать любой текстовый редактор для написания кода.

В этом руководстве предполагается, что у вас есть базовые знания языка Python и связанных с ним структур данных, в частности списков.

Если вы работаете в Python 2, вам нужно будет создать виртуальную среду для Python 3, и даже если вы работаете в Python 3, создание виртуальной среды для этого учебника является хорошей практикой.

Создание виртуальной среды Python 3

Виртуальная среда Python — это изолированная среда, в которой вы можете устанавливать библиотеки и выполнять код. Можно создать множество различных виртуальных сред для работы с разными версиями библиотек Python и Python. Виртуальные среды полезны, потому что они гарантируют, что у вас установлены только необходимые библиотеки и вы не столкнетесь с конфликтами версий. Дополнительным преимуществом виртуальных сред является то, что вы можете передавать их другим, чтобы вы знали, что ваш код будет выполняться на другой машине.

Miniconda — это простой способ создания виртуальных сред, который легко установить в разных операционных системах. Вам следует загрузить Miniconda и следовать инструкциям для Windows, Mac или Linux в зависимости от вашей операционной системы.

После того, как вы загрузили и установили Miniconda для своей операционной системы, вы можете проверить правильность ее установки, открыв командную строку и набрав:

Если вы видите информацию о версии, подобную приведенной ниже, значит Miniconda установлена ​​правильно.

  Текущая установка conda:
               платформа: linux-64
          версия conda: 4.3.29
          ...
  

Мы будем использовать Miniconda для создания виртуальной среды Python 3 с именем bokeh-env для этого руководства. В командной строке введите следующее:

  conda create --name bokeh-env python = 3.6
  

Скажите «да», когда вам будет предложено установить новые пакеты.

Чтобы активировать виртуальную среду bokeh-env , команда немного отличается в зависимости от вашей операционной системы.

 Источник  активировать bokeh-env # Для Linux / MacOS
активировать bokeh-env # Для Windows
  

Теперь ваша командная строка должна показать, что вы находитесь в виртуальной среде bokeh-env .

Если вы хотите выйти из виртуальной среды, вы можете ввести команду, соответствующую вашей операционной системе.

  источник деактивировать # Для Linux / MacOS
деактивировать # Для Windows
  

Установка пакетов

В активированной виртуальной среде bokeh-env введите следующую команду, чтобы установить пакеты python для этого руководства.

  pip install pandas bokeh pyproj
  

Чтобы получить точные версии, использованные для написания этого руководства (примечание: это могут быть не самые последние версии каждого пакета python), вы можете передать следующие номера версий в pip .

  pip install pandas == 0.23.1 bokeh == 0.13.0 pyproj == 1.9.5.1
  

Примеры рабочего кода

Проще всего сначала создать отдельный каталог и сохранить в нем каждый пример кода как .py .Когда вы будете готовы запустить файл кода, перейдите в этот каталог в командной строке и убедитесь, что ваша виртуальная среда активирована. Помните, что вы всегда можете активировать среду с помощью следующей команды, соответствующей вашей операционной системе.

 Источник  активировать bokeh-env # Для Linux / MacOS
активировать bokeh-env # Для Windows
  

В виртуальной среде вы можете запустить свой код, набрав:

Блокнот Jupyter, содержащий код, используемый в этом руководстве, также доступен на тот случай, если вы предпочитаете работать с учебником без установки виртуальной среды.Вы можете узнать больше о Jupyter Notebook здесь. Если вы создали виртуальную среду с помощью Miniconda, как описано выше, вы можете установить Jupyter Notebook в среде, набрав conda install jupyter

Что такое боке?

Bokeh — это библиотека для создания интерактивных визуализаций данных в веб-браузере. Он предлагает краткий, понятный человеку синтаксис, который позволяет быстро представлять данные в эстетически приятной форме. Если вы раньше работали с визуализацией в Python, вероятно, вы использовали matplotlib.Стоит вкратце упомянуть, чем Bokeh отличается от matplotlib и когда одно может быть предпочтительнее другого.

Matplotlib существует с 2002 года и долгое время является стандартом визуализации данных Python. Bokeh появилось в 2013 году. Эта разница в возрасте означает, что Matplotlib созрел задолго до того, как был выпущен Bokeh; однако за короткий период времени боке достигло высокого уровня зрелости.

Предполагаемое использование matplotlib и Bokeh совершенно разное. Matplotlib создает статическую графику, которая полезна для быстрой и простой визуализации или для создания изображений качества публикации.Bokeh создает визуализации для отображения в Интернете (локально или встроенных в веб-страницу), и, что наиболее важно, визуализации должны быть высоко интерактивными. Matplotlib не предлагает ни одной из этих функций.

Если вы хотите визуально взаимодействовать с вашими данными в исследовательской манере или вы хотите распространять интерактивные визуальные данные среди веб-аудитории, Bokeh — это библиотека для вас! Если ваш главный интерес — создание окончательных визуализаций для публикации, возможно, лучше использовать matplotlib, хотя Bokeh действительно предлагает способ создания статической графики.

Имея в виду эти различия, по мере прохождения урока я буду подчеркивать интерактивные аспекты, которые делают Bokeh полезным для изучения и распространения исторических данных и отличают его от других библиотек, таких как matplotlib.

Ваш первый участок

Сначала создайте новый файл с именем my_first_plot.py в том же каталоге, что и wwii_thor.csv , а затем откройте его в текстовом редакторе. Мы будем добавлять строки в этот файл для запуска.

  #my_first_plot.ру
from bokeh.plotting import figure, output_file, show
  

Чтобы реализовать и использовать боке, мы сначала импортируем некоторые основы, которые нам нужны, из модуля bokeh.plotting .

Рисунок — это основной объект, который мы будем использовать для создания графиков. Рисунок обрабатывает стили графиков, включая заголовок, метки, оси и сетки, и предоставляет методы для добавления данных к графику. Функция output_file определяет способ визуализации визуализации (а именно, в файл html), а функция show будет вызываться, когда график будет готов для вывода. show сообщает Bokeh, что все данные добавлены на график и пора их рендерить.

  выходной_файл ('my_first_graph.html')
  

Bokeh рекомендует, чтобы output_file , которому мы передаем имя файла, вызывал в начале вашего скрипта сразу после импорта. Альтернативная функция вывода, о которой следует знать, — это output_notebook , которая используется для отображения графиков в строке в Jupyter Notebook. Чтобы узнать больше об установке и использовании записных книжек Jupyter, см. Документацию Jupyter.

  x = [1, 3, 5, 7]
y = [2, 4, 6, 8]
  

Далее мы создадим данные для построения графика. Данные в боке могут принимать разные формы, но в простейшем случае данные представляют собой просто список значений. Мы создаем один список для нашей оси x и один для нашей оси y.

При фиксированном формате вывода и данных мы можем создать экземпляр фигуры и добавить к нему данные.

  p = цифра ()

p.circle (x, y, размер = 10, цвет = 'красный', легенда = 'круг')
p.line (x, y, color = 'blue', legend = 'line')
п.треугольник (y, x, цвет = 'золото', размер = 10, легенда = 'треугольник')
  

p — это общее имя переменной для объекта фигура , поскольку фигура является типом графика.

После создания экземпляра фигуры мы вызываем методы круг , линия и треугольник для построения наших данных. Эти типы методов известны как метод глифов . Термин глиф в боке относится к линиям, кругам, полосам и другим формам, которые добавляются к графикам для отображения данных.

Если бы мы хотели, мы могли бы просто добавлять глифы к сюжету! Помимо символов круга , линии и треугольника , существует множество других, в том числе: звездочка , круг_кросс , круг_x , крест , ромб , алмаз_кросс инвертированный_треугольник , квадрат , квадрат_кросс , квадрат_x и x .

При вызове метода глифа, как минимум, мы должны передать данные, которые мы хотели бы построить, но часто мы можем добавлять аргументы стиля.Здесь мы устанавливаем размер, цвет и название легенды для каждого глифа.

  p.legend.click_policy = 'скрыть'
  

Мы также добавим наш первый фрагмент кода, который привносит в сюжет некоторую интерактивность. Установив click_policy в нашей легенде, пользователь теперь может щелкнуть каждую запись легенды (например, круг, линию, треугольник), чтобы показать / скрыть этот фрагмент данных! Для click_policy также можно установить mute вместо hide . Это отключит цвет этих данных при нажатии, а не полностью.

Вызов show и передача созданного экземпляра фигуры выведет результаты в наш html-файл. А теперь давайте запустим этот код!

В командной строке убедитесь, что вы находитесь в каталоге, в котором вы сохранили файл, а затем запустите файл с помощью команды python .

Построение одного символа

Откроется веб-браузер, показывающий html-файл с вашей визуализацией. Красные круги, синяя линия и золотые треугольники являются результатом вызовов нашего метода глифов.Щелчок по легенде в правом верхнем углу покажет / скроет каждый тип глифа. Обратите внимание, что Bokeh автоматически обработало создание линий сетки и меток.

Справа также отображается панель инструментов по умолчанию. Инструменты включают перетаскивание, масштабирование рамки, масштабирование колеса, сохранение, сброс и справку. Используя эти инструменты, пользователь может перемещаться по графику или увеличивать интересующие части данных. Поскольку это отдельная HTML-страница, которая включает ссылку на BokehJS, ее можно сразу передать коллеге для изучения или опубликовать в Интернете.

В предыдущем примере мы вручную создали два коротких списка Python для наших данных x и y. Что происходит, когда у вас есть реальные данные с десятками тысяч строк и десятками столбцов, хранящимися во внешнем формате? Pandas, широко используемая библиотека науки о данных, идеально подходит для этого типа данных и легко интегрируется с Bokeh для создания интерактивных визуализаций данных.

Pandas Обзор

В рамках этого урока я коснусь только основных функций Pandas, которые необходимы для создания наших визуализаций.«10 минут до Pandas» и «Уроки для новых пользователей Pandas» — отличное введение, которое я бы порекомендовал для расширения ваших знаний, выходящих за рамки тех основ, которые здесь затронуты.

Pandas быстро превратился в де-факто Python-библиотеку для рабочих процессов данных и науки о данных; интеграция с другими крупными библиотеками науки о данных и машинного обучения только способствовала росту популярности. ^{Pandas предоставляет функциональные возможности для быстрого и эффективного чтения, записи и изменения наборов данных для анализа.Для этого Pandas предоставляет структуры данных, которые содержат данные разной размерности. DataFrame хранит двумерные данные в виде электронной таблицы со строками и столбцами. Именно через этот объект мы будем взаимодействовать с нашим набором данных THOR Второй мировой войны. Давайте сначала рассмотрим Pandas DataFrame , загрузив наши данные csv в один.}

Загрузка данных в пандах

Для начала создайте новый файл с именем loading_data.py .

  #loading_data.ру
импортировать панд как pd

df = pd.read_csv ('Thor_wwii.csv')
печать (df)
  

Мы начинаем с импорта библиотеки Pandas, затем вызываем read_csv () и передаем ей имя файла. Обратите внимание, что библиотека Pandas имеет псевдоним pd . Этот псевдоним является условием, принятым в официальной документации Pandas, и широко используется сообществом Pandas. По этой причине я буду использовать псевдоним pd на протяжении всего руководства.

В этом коде read_csv создает DataFrame , который содержит строки / столбцы наших данных csv.По соглашению, имя переменной df используется для представления загруженного фрейма данных в учебниках и базовых примерах кода. Существует множество других методов чтения форматов данных, отличных от csv в Pandas, таких как JSON, таблицы SQL, файлы Excel и HTML.

При запуске этого кода print (df) выведет сокращенное представление загруженных данных.

  MSNDATE THEATER COUNTRY_FLYING_MISSION ... TONS_IC TONS_FRAG TOTAL_TONS
30.03.1941 ЕТО ВЕЛИКОБРИТАНИЯ... 0,0 0,0 0,0
24.11.1940 ЕТО ВЕЛИКОБРИТАНИЯ ... 0,0 0,0 0,0
04.12.1940 ВЕЛИКОБРИТАНИЯ ЕТО ... 0,0 0,0 0,0
31.12.1940 ЕТО ВЕЛИКОБРИТАНИЯ ... 0,0 0,0 0,0

[178281 строка x 19 столбцов]
  

Это показывает, что у нас есть 178 281 запись миссий с 19 столбцами на запись. Чтобы увидеть, что представляют собой 19 столбцов полностью, мы можем получить доступ к объекту столбцов фрейма данных, заменив print (df) в приведенном выше коде на:

Результат должен выглядеть так:

  [MSNDATE, THEATER, COUNTRY_FLYING_MISSION, NAF, UNIT_ID, AIRCRAFT_NAME, AC_ATTACKING, TAKEOFF_BASE, TAKEOFF_COUNTRY, TAKEOFF_COUNTRY, TAKEOFF_COUNTRY, TAKEOFF TAKEOFF, TAKEOFF TAKEOFF, TAKEOFF , 'TGT_LOCATION', 'TGT_LATITUDE', 'TGT_LONGITUDE', 'TONS_HE', 'TONS_IC', 'TONS_FRAG', 'TOTAL_TONS']
  

Некоторые из этих названий столбцов говорят сами за себя, но стоит отметить следующее: MSNDATE (дата миссии), NAF (пронумерованные ВВС, ответственные за миссию), AC_ATTACKING (количество самолетов), TONS_HE (фугасные), TONS_IC (зажигательные устройств), TONS_FRAG (осколочные бомбы).

Когда дело доходит до доступа к данным в DataFrame , в этом руководстве мы используем один базовый подход: индексирование. Здесь, чтобы получить доступ к одному столбцу, мы передаем строку в индексатор нашего фрейма данных: например, df ['MSNDATE'] . Чтобы получить доступ к нескольким столбцам, мы передаем список имен в индексатор нашего фрейма данных: например, df [['MSNDATE', 'THEATER']] .

Столбец Боке Источник данных

Теперь, когда мы узнали, как создать график боке и как загружать табличные данные в Pandas, пришло время узнать, как связать Pandas ' DataFrame с визуализацией Bokeh.Эту интеграцию обеспечивает объект Bokeh ColumnDataSource .

Конструктор объекта принимает Pandas DataFrame в качестве аргумента. После создания ColumnDataSource может быть передан в методы глифов через параметр источника , а другие параметры, такие как наши данные x и y, могут затем ссылаться на имена столбцов в нашем источнике. Давайте рассмотрим это на примере.

Используя наш набор данных THOR, мы создадим диаграмму разброса количества атакующих самолетов в зависимости от количества сброшенных тонн боеприпасов.Для этого мы будем использовать новый файл с именем column_datasource.py . Мы также воспользуемся этой возможностью, чтобы узнать об интерактивной функции наведения курсора Bokeh.

  # column_datasource.py
импортировать панд как pd
from bokeh.plotting import figure, output_file, show
из bokeh.models импортировать ColumnDataSource
из bokeh.models.tools импортировать HoverTool

выходной_файл ('columndatasource_example.html')

df = pd.read_csv ('Thor_wwii.csv')
  

Здесь мы импортируем панды, объект figure и основные функции из bokeh.построение графика и объекта ColumnDataSource из bokeh.models . Мы также собираемся расширить наши знания о взаимодействиях в этом примере, добавив функцию наведения, которой способствует HoverTool

Затем мы сразу же устанавливаем наш выходной файл в соответствии с рекомендациями Bokeh. Наконец, мы вызываем метод Pandas read_csv , чтобы загрузить наш csv в DataFrame .

  образец = df.sample (50)
источник = ColumnDataSource (образец)
  

Поскольку мы не хотим отображать все 170 000+ строк на нашей диаграмме рассеяния (для генерации которой потребовалось бы больше времени на обработку, и это могло бы создать запутанный график из-за объема перекрывающихся данных), мы случайным образом выбираем 50 строк, используя фрейма данных. образец метод.Затем мы передаем этот образец в конструктор ColumnDataSource и сохраняем его в переменной с именем source .

  p = цифра ()
p.circle (x = 'TOTAL_TONS', y = 'AC_ATTACKING',
         source = источник,
         size = 10, color = 'green')
  

Затем мы создаем наш объект figure и вызываем метод глифа circle для построения наших данных. Здесь в игру вступает исходная переменная , которая содержит наш ColumnDataSource .Он передается как наш аргумент источника в метод глифа, а имена столбцов, содержащие количество атакующих самолетов (AC_ATTACKING) и тонны сброшенных боеприпасов (TOTAL_TONS), передаются как наши аргументы x и y .

Интересно, что когда мы используем ColumnDataSource , мы не ограничиваемся только использованием имен столбцов для параметров x и y . Мы также можем передать имя столбца для других параметров, таких как размер , line_color или fill_color .Это позволяет определять параметры стиля по столбцам в самом источнике данных! Если вы хотите увидеть это в действии, в приведенном выше коде измените size = 10 на size = 'TONS_HE' . Размер каждой точки будет отражать тонны использованных взрывчатых веществ.

На протяжении всего урока я часто передаю аргументы по имени, тогда как их можно было бы более кратко передать по позиции. На мой взгляд, это помогает читателю отслеживать, какие аргументы передаются

Затем мы добавляем заголовок и маркируем наши оси.

  p.title.text = 'Атакующий самолет и сброшены боеприпасы'
p.xaxis.axis_label = 'Сброшено тонны боеприпасов'
p.yaxis.axis_label = 'Количество атакующих самолетов'
  

На этом этапе мы также можем узнать немного больше о сильной интерактивной настраиваемой природе графиков боке. В нашем первом графике Bokeh мы видели панель инструментов Bokeh по умолчанию, но Bokeh позволяет нам настраивать наш график, добавляя к нему новые интерактивные инструменты.

  hover = HoverTool ()
парить.tooltips = [
    ('Дата атаки', '@MSNDATE'),
    ('Атакующий самолет', '@AC_ATTACKING'),
    ('Тонны боеприпасов', '@TOTAL_TONS'),
    ("Тип самолета", "@AIRCRAFT_NAME")
]

p.add_tools (при наведении)

показать (p)
  

Bokeh поддерживает множество инструментов построения графиков, но я представляю здесь HoverTool , потому что он особенно полезен для исследования данных и взаимодействия. HoverTool позволяет вам установить свойство tooltips , которое принимает список кортежей. Первая часть кортежа — это отображаемое имя, а вторая — имя столбца из вашего ColumnDataSource с префиксом @ .Создав экземпляр этого инструмента, мы добавляем его на график с помощью метода add_tool . Посмотрим, как это выглядит через минуту.

Наконец, мы обязательно добавили линию, чтобы показать график. Теперь мы можем запустить column_datasource.py и взаимодействовать с нашими данными в браузере.

Построение с использованием ColumnDataSource и других параметров стиля

Обратите внимание, что, поскольку мы произвольно выбираем данные, наш график будет выглядеть по-разному каждый раз, когда мы запускаем код.

Вверху и по осям графика мы видим добавленные метки.На панели инструментов также появился новый инструмент. Это добавленный нами инструмент наведения. Чтобы увидеть это в действии, наведите указатель мыши на любую точку данных на диаграмме рассеяния. Появится окно, показывающее столбцы, которые мы установили в нашей подсказке свойство !

Перед тем, как перейти к следующему разделу урока, попробуйте вернуться к приведенному выше примеру и добавить / удалить другие переменные и изменить отображаемые имена.

В предыдущем примере мы построили количественные данные. Однако часто мы хотим отображать категориальные данные.Категориальные данные, в отличие от количественных, — это данные, которые можно разделить на группы, но не обязательно иметь числовой аспект. Например, если ваш рост числовой, то цвет волос — категоричный. С точки зрения нашего набора данных, такие функции, как атакующая страна, содержат категориальные данные, а такие функции, как вес боеприпасов, содержат количественные данные.

В этом разделе мы узнаем, как использовать категориальные данные в качестве значений оси x в боке и как использовать метод глифов vbar для создания вертикальной гистограммы (метод глифов hbar работает аналогично для создания горизонтальная гистограмма).Кроме того, мы узнаем о подготовке категориальных данных в Pandas путем группировки данных. Кроме того, мы расширим наши знания о стилях боке и инструменте наведения.

Чтобы обработать эту информацию, мы создадим гистограмму, которая покажет общее количество тонн боеприпасов, сброшенных каждой страной, указанной в нашем CSV.

Мы начинаем с создания нового файла с именем munitions_by_country.py и добавления исходного кода.

  # munitions_by_country.py
импортировать панд как pd
из боке.построение рисунка импорта, output_file, show
из bokeh.models импортировать ColumnDataSource
из bokeh.models.tools импортировать HoverTool

из bokeh.palettes import Spectral5
из bokeh.transform import factor_cmap
выходной_файл ('munitions_by_country.html')

df = pd.read_csv ('Thor_wwii.csv')
  

Сначала мы импортируем библиотеку Pandas и основные элементы из Bokeh (т.е. рисунок , выходной_файл , показывает и ColumnDataSource ). Мы также делаем два новых импорта: Spectral5 — это готовая пятицветная палитра, одна из многих готовых цветовых палитр Bokeh, и factor_cmap — вспомогательный метод для сопоставления цветов с столбиками на гистограммах.

После импорта мы устанавливаем наш output_file и загружаем файл thor_wwii.csv в DataFrame .

Теперь нам нужно перейти от 170 000+ записей отдельных миссий к одной записи для каждой атакующей страны с общим количеством сброшенных боеприпасов.

  grouped = df.groupby ('COUNTRY_FLYING_MISSION') ['TOTAL_TONS', 'TONS_HE', 'TONS_IC', 'TONS_FRAG']. Sum ()
  

Pandas позволяет нам сделать это в одной строке кода, используя метод groupby dataframe.Этот метод принимает столбец, по которому можно группировать данные, и один или несколько методов агрегирования, которые сообщают Pandas, как сгруппировать данные вместе. Результатом является новый фрейм данных.

Давайте возьмем это по кусочку за раз. Группа ('COUNTRY_FLYING_MISSION') устанавливает столбец, по которому мы группируемся. Другими словами, это говорит о том, что мы хотим, чтобы в результирующем фрейме данных была одна строка для каждой уникальной записи в столбце COUNTRY_FLYING_MISSION . Поскольку нас не интересует агрегирование всех 19 столбцов в фрейме данных, мы выбираем только тонны столбцов боеприпасов с помощью индексатора, ['TOTAL_TONS', 'TONS_HE', 'TONS_IC', 'TONS_FRAG'] .Наконец, мы используем метод суммы , чтобы Pandas знал, как агрегировать все разные строки. Также существуют другие методы агрегирования, такие как count , mean , max и min .

Если вы выполните команду print (grouped) , вы увидите, что Pandas сгруппировал по пяти уникальным странам в нашем наборе данных и суммировал общее количество тонн, потерянных каждой из них. Вы также можете видеть, что в наборе данных есть некоторые проблемы: Южная Африка и Новая Зеландия сбросили больше взрывчатых веществ, чем столбец с общим количеством тонн.Подобные проблемы типичны для больших наборов данных, созданных вручную, и это отличное напоминание о том, почему так важно исследовать и визуализировать свои данные перед созданием результатов исследования.

  ВСЕГО_ТОНН ТОНН_ТОНН_ИК_ТОНН_ВАРКА
COUNTRY_FLYING_MISSION
АВСТРАЛИЯ 479,89 453,90 13,600 18,64
ВЕЛИКОБРИТАНИЯ 1112598,95 868277,23 209036,158 1208,00
НОВАЯ ЗЕЛАНДИЯ 2629,06 4263,70 166,500 0.00
ЮЖНАЯ АФРИКА 11,69 15,00 0,000 0,00
США 1625487.68 1297955.65 205288.200 127655.98

  

Чтобы отобразить эти данные, давайте преобразуем их в килотонны, разделив их на 1000.

Это удобство, которое мы продолжим использовать в будущих примерах.

  источник = ColumnDataSource (сгруппированы)
country = source.data ['COUNTRY_FLYING_MISSION']. tolist ()
p = цифра (x_range = страны)
  

Теперь нам нужно создать ColumnDataSource из наших сгруппированных данных и создать фигуру .Поскольку наша ось x будет перечислять пять стран (а не числовые данные), нам нужно указать фигуре, как обращаться с осью x.

Для этого мы создаем список стран из нашего исходного объекта, используя source.data и имя столбца в качестве ключа. Затем список стран передается как x_range в наш конструктор figure . Поскольку это список текстовых данных, фигура знает, что ось x является категориальной, а также знает, какие возможные значения может принимать наш диапазон x (т.е. АВСТРАЛИЯ, ВЕЛИКОБРИТАНИЯ и др.).

  color_map = factor_cmap (field_name = 'COUNTRY_FLYING_MISSION',
                    палитра = Spectral5, факторы = страны)

p.vbar (x = 'COUNTRY_FLYING_MISSION', top = 'TOTAL_TONS', source = source, width = 0.70, color = color_map)

p.title.text = 'Боеприпасы, сброшенные союзной страной'
p.xaxis.axis_label = 'Страна'
p.yaxis.axis_label = 'Килотонны боеприпасов'
  

Теперь мы строим наши данные в виде полос индивидуального цвета и добавляем базовые метки. Чтобы раскрасить наши полосы, мы используем вспомогательную функцию factor_cmap .Это создает специальную цветовую карту, которая соответствует индивидуальному цвету для каждой категории (то есть то, что Боке называет коэффициентом ). Затем цветовая карта передается в качестве аргумента цвета нашему методу глифов vbar .

Для данных в нашем методе глифов мы передаем источник и снова ссылаемся на имена столбцов. Однако вместо использования параметра y метод vbar принимает параметр top . В равной степени можно указать нижний параметр , но, если он не указан, его значение по умолчанию равно 0.

  hover = HoverTool ()
hover.tooltips = [
    («Итоги», «@TONS_HE High Explosive / @TONS_IC Incendiary / @TONS_FRAG Fragmentation»)]

hover.mode = 'vline'

p.add_tools (при наведении)

показать (p)
  

Мы снова добавляем инструмент наведения, но теперь мы видим, что можем использовать несколько переменных данных в одной строке и добавлять свой собственный текст, чтобы всплывающее окно отображало килотонны каждого типа взрывчатого вещества. hover.mode новый. Для инструмента наведения существует три режима: мышь , vline и hline .Они сообщают инструменту наведения, когда показывать всплывающее окно. Мышь — значение по умолчанию и показывает всплывающее окно, когда находится прямо над глифом. vline и hline сообщают всплывающему окну, чтобы показать, когда вертикальная или горизонтальная линия пересекает глиф. При установке здесь vline , каждый раз, когда ваша мышь проходит через воображаемую вертикальную линию, идущую от каждой полосы, будет отображаться всплывающее окно.

Гистограмма с категориальными данными и раскраской

Если у вас есть возможность, стоит изучить цветовые палитры Боке.В приведенном выше примере попробуйте переписать код, чтобы использовать что-то другое, кроме Spectral5 , например Inferno5 или RdGy5 . Чтобы сделать еще один шаг вперед, вы можете попробовать свои силы в использовании встроенных палитр в любом примере, в котором используется цвет.

Поскольку предыдущий график показывает, что США и Великобритания составляют подавляющее большинство бомбардировок, теперь мы сосредоточимся на этих двух странах и узнаем, как составить гистограмму с накоплением, которая показывает типы боеприпасов, которые использовала каждая страна.

Мы запустим новый файл под названием munitions_by_country_stacked.py

  # munitions_by_country_stacked.py
импортировать панд как pd
from bokeh.plotting import figure, output_file, show
из bokeh.models импортировать ColumnDataSource
из bokeh.palettes import Spectral3
выходной_файл ('types_of_munitions.html')

df = pd.read_csv ('Thor_wwii.csv')
  

В дополнение к нашему стандартному импорту, на этот раз мы используем трехцветную спектральную палитру, по одному цвету для каждого типа взрывчатого вещества (High Explosive, Incendiary и Fragmentation).

  filter = df ['COUNTRY_FLYING_MISSION']. Isin (('США', 'ВЕЛИКОБРИТАНИЯ'))
df = df [фильтр]
  

Поскольку ось X снова категориальна, нам нужно сгруппировать и агрегировать наши данные. Однако на этот раз нам нужно исключить все записи, в которых нет COUNTRY_FLYING_MISSION со значением GREAT BRITAIN или USA. Для этого мы фильтруем наш фрейм данных.

Для каждой строки в df функция isin проверяет, имеет ли COUNTRY_FLYING_MISSION значение USA или GREAT BRITAIN.Если это так, соответствующее значение в переменной filter равно True , а если нет, то значение будет False

При применении к нашему фрейму данных через df [фильтр] создается новый фрейм данных, в котором сохраняются строки со значением True , а строки со значением False отбрасываются. После применения фильтра выполнение df.shape показывает, что от исходных 178 281 строк осталось 125 526 строк.

  сгруппировано = df.groupby ('COUNTRY_FLYING_MISSION') ['TONS_IC', 'TONS_FRAG', 'TONS_HE']. sum ()

# снова перевести тонны в килотонны
grouped = сгруппировано / 1000
  

Теперь, когда мы уменьшили фрейм данных, чтобы показать только записи для США и Великобритании, мы группируем наши данные с groupby и объединяем три столбца, которые содержат типы бомб с суммой .

  источник = ColumnDataSource (сгруппированы)
country = source.data ['COUNTRY_FLYING_MISSION']. tolist ()
p = цифра (x_range = страны)
  

Как и в предыдущем примере, мы создаем исходный объект из наших сгруппированных данных и убеждаемся, что наша фигура использует категориальные данные для оси x, установив x_range в список стран.

  p.vbar_stack (stackers = ['TONS_HE', 'TONS_FRAG', 'TONS_IC'],
             x = 'COUNTRY_FLYING_MISSION', источник = источник,
             legend = ['High Explosive', 'Fragmentation', 'Incendiary'],
             ширина = 0,5, цвет = Spectral3)
  

Чтобы создать столбчатую диаграмму с накоплением, мы вызываем глиф-метод vbar_stack . Вместо того, чтобы передавать одно имя столбца в параметр y , мы вместо этого передаем список имен столбцов как укладчики . Порядок в этом списке определяет порядок, в котором столбцы будут располагаться снизу вверх (после того, как вы проработаете этот пример, попробуйте изменить порядок столбцов, чтобы увидеть, что произойдет).Легенда Аргумент предоставляет текст для каждого укладчика, а палитра Spectral3 предоставляет цвета для каждого укладчика.

  p.title.text = 'Типы боеприпасов, сброшенных союзными странами'
p.legend.location = 'top_left'

p.xaxis.axis_label = 'Страна'
p.xgrid.grid_line_color = None # удалить линии сетки x

p.yaxis.axis_label = 'Килотонны боеприпасов'

показать (p)
  

Мы добавляем базовую стилизацию и маркировку, а затем выводим сюжет.

Гистограмма с накоплением категориальных данных и раскраски

Давайте теперь немного подробнее рассмотрим использование зажигательных и осколочных взрывчатых веществ, посмотрев, есть ли какие-либо тенденции в их использовании с течением времени по сравнению с общим количеством сброшенных боеприпасов.Поскольку у вас было некоторое время, чтобы привыкнуть к синтаксису Боке, давайте сразу рассмотрим полный пример кода в новом файле с именем my_first_timeseries.py .

  # my_first_timeseries.py
импортировать панд как pd
from bokeh.plotting import figure, output_file, show
из bokeh.models импортировать ColumnDataSource
из bokeh.palettes import Spectral3
выходной_файл ('simple_timeseries_plot.html')

df = pd.read_csv ('Thor_wwii.csv')

# убедитесь, что MSNDATE - это формат даты и времени
df ['MSNDATE'] = pd.to_datetime (df ['MSNDATE'], формат = '% m /% d /% Y')

grouped = df.groupby ('MSNDATE') ['TOTAL_TONS', 'TONS_IC', 'TONS_FRAG']. sum ()
grouped = сгруппировано / 1000

источник = ColumnDataSource (сгруппированы)

p = цифра (x_axis_type = 'datetime')

p.line (x = 'MSNDATE', y = 'TOTAL_TONS', line_width = 2, source = source, legend = 'All Munitions')
p.line (x = 'MSNDATE', y = 'TONS_FRAG', line_width = 2, source = source, color = Spectral3 [1], legend = 'Fragmentation')
p.line (x = 'MSNDATE', y = 'TONS_IC', line_width = 2, source = source, color = Spectral3 [2], legend = 'Incendiary')

p.yaxis.axis_label = 'Килотонны сброшенных боеприпасов'

показать (p)
  

Найдите минутку, чтобы серьезно изучить этот код и увидеть, что вы узнаете.Два предмета должны выделяться как новые.

Во-первых, оператор df ['MSNDATE'] = pd.to_datetime (df ['MSNDATE'], format = '% m /% d /% Y') гарантирует, что наш столбец MSNDATE является датой и временем. Это важно, потому что часто данные, загруженные из файла csv, не будут правильно набраны как datetime. Предоставление аргумента формата не требуется, но это значительно ускоряет процесс.

Во-вторых, мы передаем аргумент x_axis_type = 'datetime' нашему конструктору рисунка, чтобы сообщить ему, что наши данные x будут datetime.В остальном Bokeh без проблем работает с данными времени, как и любой другой тип числовых данных!

Однако, глядя на вывод, вы можете заметить серьезную проблему.

Базовый график временных рядов

Эти данные непостоянны и трудны для чтения, потому что они слишком детализированы для наших нужд. Наличие ежедневных данных в течение пяти лет - это здорово, но их отображение на графике скрывает тенденции в данных. Для успешного построения временных рядов данных и поиска долгосрочных тенденций нам нужен способ изменить временную шкалу, на которую мы смотрим, чтобы, например, мы могли отображать данные, суммированные по неделям, месяцам или годам.

К счастью, Pandas предлагает быстрый и простой способ сделать это. Изменив одну строку кода в приведенном выше примере, мы можем пересчитать данных нашего временного ряда в любую допустимую единицу времени.

Передискретизация данных временного ряда

Передискретизация данных временных рядов может включать либо повышающую дискретизацию (создание большего количества записей), либо понижающую дискретизацию (создание меньшего количества записей). Например, список дневных температур может быть увеличен до списка часовых температур или уменьшен до списка недельных температур.В этом руководстве мы будем использовать только понижающую дискретизацию, но повышающая дискретизация очень полезна, когда вы пытаетесь сопоставить периодически измеряемый набор данных с тем, который измеряется более периодически.

Для повторной выборки наших данных мы используем объект Pandas Grouper , которому мы передаем имя столбца, содержащее наши даты и время, и код, представляющий желаемую частоту повторной выборки. В случае с нашими данными, оператор pd.Grouper (key = 'MSNDATE', freq = 'M') будет использоваться для повторной выборки нашего столбца MSNDATE на M onth.Мы могли бы в равной степени пересчитать на Вт eek, Y ухо, H наше и так далее. Эти обозначения частоты также могут быть предварены числами, так что, например, freq = '2W' выполняет повторную выборку с двухнедельными интервалами!

Чтобы завершить процесс повторной выборки и построения графика данных, мы передаем вышеупомянутый объект Grouper нашей функции groupby вместо необработанного имени столбца. Оператор groupby из предыдущего примера кода теперь должен выглядеть так:

  сгруппировано = df.groupby (pd.Grouper (key = 'MSNDATE', freq = 'M')) ['TOTAL_TONS', 'TONS_IC', 'TONS_FRAG']. sum ()
  

Повторный запуск приведенного выше примера кода даст более четкий график с очевидными тенденциями. На графике теперь показаны четыре достопримечательности:

• Во-первых, весной 1944 и 1945 годов масштабы бомбардировок союзников стали более интенсивными.
• Во-вторых, летом 1945 года наблюдается меньший всплеск бомбардировок Японии после капитуляции Германии.
• В-третьих, появляются четыре шипа в использовании зажигательного оружия, которые можно исследовать дополнительно.
• В-четвертых, и, наконец, есть несколько небольших всплесков использования осколочных бомб, применение которых затем прекращается после капитуляции Германии.

График временного ряда с данными, пересчитанными в месяцы

Аннотирование тенденций на графиках

Давайте теперь более внимательно рассмотрим бомбардировки Европы в 1944 и 1945 годах, чтобы увидеть, какие тенденции существуют в отношении осколочных и зажигательных боеприпасов.Мы также укажем на некоторые из этих тенденций на нашем графике с аннотациями. Для этого мы отфильтруем наш набор данных, чтобы мы работали только с бомбардировками в Европейском театре военных действий (ETO), пересчитаем данные с интервалом в один месяц ( freq = 'M' ), а затем построим график результатов. таким же образом, как и раньше.

  # annotating_trends.py
импортировать панд как pd
from bokeh.plotting import figure, output_file, show
из bokeh.models импортировать ColumnDataSource
from datetime import datetime
из боке.палитры импортные Spectral3
выходной_файл ('eto_operations.html')

df = pd.read_csv ('Thor_wwii.csv')

#filter для Европейского театра военных действий
filter = df ['ТЕАТР'] == 'ETO'
df = df [фильтр]

df ['MSNDATE'] = pd.to_datetime (df ['MSNDATE'], формат = '% m /% d /% Y')
group = df.groupby (pd.Grouper (key = 'MSNDATE', freq = 'M')) ['TOTAL_TONS', 'TONS_IC', 'TONS_FRAG']. sum ()
группа = группа / 1000

источник = ColumnDataSource (группа)

p = цифра (x_axis_type = "datetime")

p.line (x = 'MSNDATE', y = 'TOTAL_TONS', line_width = 2, source = source, legend = 'All Munitions')
п.строка (x = 'MSNDATE', y = 'TONS_FRAG', line_width = 2, source = source, color = Spectral3 [1], legend = 'Fragmentation')
p.line (x = 'MSNDATE', y = 'TONS_IC', line_width = 2, source = source, color = Spectral3 [2], legend = 'Incendiary')

p.title.text = 'Европейский театр операций'

p.yaxis.axis_label = 'Килотонны сброшенных боеприпасов'

показать (p)
  

График временного ряда ETO с данными, пересчитанными в месяцы

В данных ETO обнаруживается несколько закономерностей. Сначала мы видим очень явную эскалацию общих бомбардировок до 6 июня 1944 года и заметный спад зимой 1944/1945 года.Зажигательные боеприпасы имеют три шипа и подтверждают, что четвертый шип, показанный в предыдущем примере, был направлен на бомбардировку Японии после капитуляции Германии. Образец осколочных бомб труднее читать, но теперь ясно, что они серьезно использовались в Европейском театре только после дня «Д».

Попробуйте свои силы в повторной выборке этих данных, используя любую временную частоту Панд, чтобы увидеть, какие другие тенденции могут проявиться. Помните, что перед этими частотами также можно указывать числа (например,грамм. если бы вы работали с историческими данными фондового рынка, 2-й квартал предоставил бы вам данные за два квартала!)

Поскольку мы установили, что 6 июня 1944 года и зима 1944/1945 годов знаменуют собой изменения в схемах бомбардировок в ETO, давайте выделим эти тенденции с помощью аннотаций Боке.

Для этого мы создадим BoxAnnotation , а затем добавим их к нашей фигуре перед ее отображением. Во-первых, нам нужно добавить в наш код дополнительный оператор импорта.

  из боке.модели импортируют BoxAnnotation
  

Чтобы создать коробку, нам сначала нужно определить ее координаты. Координаты аннотаций Bokeh могут быть либо абсолютными (т. Е. Позиционироваться с использованием экранных единиц), то есть они всегда остаются в одном месте, либо они могут быть расположены относительно данных. Все наши аннотации будут позиционироваться с использованием координат данных.

  box_left = pd.to_datetime ('6-6-1944')
box_right = pd.to_datetime ('16-12-1944 ')
  

Слева от поля будет 6 июня 1944 года (день «Д»), а справа от поля мы выберем первый день битвы при Арденнах: 16 декабря 1944 года.В этом случае даты следуют формату «месяц-день-год», но to_datetime также работает с форматами «сначала день» и «год».

Мы передаем эти координаты в конструктор BoxAnnotation вместе с некоторыми аргументами стиля. Затем мы добавляем его к нашему рисунку с помощью метода add_layout () .

  box = BoxAnnotation (left = box_left, right = box_right,
                    line_width = 1, line_color = 'черный', line_dash = 'пунктирный',
                    fill_alpha = 0.2, fill_color = 'оранжевый')

p.add_layout (поле)
  

График временного ряда ETO с добавленными аннотациями

Попробуйте создать аналогичный сюжет для Тихоокеанского театра военных действий (PTO). Аннотируйте вторжение в Иводзиму (19 февраля 1945 г.) и объявление Японии о капитуляции (15 августа 1945 г.).

В этой заключительной части урока мы рассмотрим пространственные компоненты осколочных бомб.

Bokeh предоставляет встроенных поставщиков плитки, которые визуализируют базовые карты мира.Они содержатся в модуле bokeh.tile_providers . В этом примере мы будем использовать службу плиток CartoDB (CARTODBPOSITRON).

Мы также будем использовать функции, импортированные из библиотеки pyproj . Поскольку наши координаты хранятся как широта / долгота, мы определим специальную функцию для их преобразования перед отображением. Обратите внимание, что хотя Bokeh нейтрально к системе координат, для отображения используется проекция Web Mercator, стандарт, применяемый поставщиками веб-листов.Тема систем координат и проекций выходит за рамки этого руководства, но заинтересованный читатель найдет множество полезных веб-ресурсов по этим темам.

  # target_locations.py
импортировать панд как pd
from bokeh.plotting import figure, output_file, show
из bokeh.models импортировать ColumnDataSource, Range1d
из bokeh.layouts импортировать макет
из bokeh.palettes import Spectral3
из bokeh.tile_providers импортировать CARTODBPOSITRON
из pyproj import Proj, преобразовать
output_file ('маппирование_назначений.html ')

#helper функция для преобразования широты / долготы в восток / север для картографии
# это зависит от функций из библиотеки pyproj
def LongLat_to_EN (длинная, широта):
    пытаться:
      восток, север = преобразовать (
        Proj (init = 'epsg: 4326'), Proj (init = 'epsg: 3857'), long, lat)
      вернуться на восток, на север
    Кроме:
      return None, None

df = pd.read_csv ('Thor_wwii.csv')
#helper преобразовать все широты и долготы в webmercator и сохранить в новом столбце
df ['E'], df ['N'] = zip (* df.apply (lambda x: LongLat_to_EN (x ['TGT_LONGITUDE'], x ['TGT_LATITUDE']), axis = 1))
  

Определены шаблонный импорт и наша функция преобразования.Затем мы загружаем наши данные и применяем нашу функцию преобразования для создания новых столбцов E и N, в которых хранятся наши восточные и северные координаты Web Mercator.

  grouped = df.groupby (['E', 'N']) ['TONS_IC',
'TONS_FRAG']. Sum (). Reset_index ()

filter = grouped ['TONS_FRAG']! = 0
grouped = сгруппировано [фильтр]

источник = ColumnDataSource (сгруппированы)
  

Поскольку одна цель может появляться в нескольких записях, нам нужно сгруппировать данные по E и N, чтобы получить уникальные целевые местоположения. В противном случае мы бы отображали одну и ту же цель каждый раз, когда она появляется в записи.

Функция reset_index , применяемая после агрегирования, здесь нова. По умолчанию, когда Pandas группирует эти два столбца, он делает E и N индексом для каждой строки в новом фрейме данных. Поскольку мы просто хотим, чтобы E и N оставались обычными столбцами для сопоставления, мы вызываем reset_index .

  осталось = -2150000
справа = 18000000
дно = -5300000
top = 11000000

p = цифра (x_range = Range1d (слева, справа), y_range = Range1d (снизу, вверх))
  

Чтобы установить границы для нашей карты, мы установим минимальное и максимальное значение для нашего графика x_range и y_range .Мы используем объект Range1D , который представляет ограниченные одномерные данные в боке.

  p.add_tile (CARTODBPOSITRON)
p.circle (x = 'E', y = 'N', source = source, line_color = 'gray', fill_color = 'yellow')

p.axis.visible = Ложь

показать (p)
  

Наконец, мы вызываем add_tile и передаем импортированного поставщика плитки. Затем мы используем методы глифов, как и в любом другом сюжете. Здесь мы называем круг кругом и передаем столбцы восточного и северного направления в качестве данных x и y.

Карта целевых локаций

Определив, какие цели в Европе и Азии подверглись бомбардировке осколочными бомбами, теперь мы можем приступить к более детальному изучению схем разрушения. В приведенном выше коде мы также суммировали зажигательные бомбы. Попробуйте изменить код, чтобы создать карту этих целей.