Биннинг: 👆Что такое пиксельная бинаризация (биннинг) и как она работает | Технологии | Блог

Содержание

👆Что такое пиксельная бинаризация (биннинг) и как она работает | Технологии | Блог

За последние пару лет камеры смартфонов существенно прибавили в разрешении — появились модули на 48, 64 и даже 108 Мп. Фотографии такого большого разрешения не нужны рядовому пользователю, поэтому по умолчанию телефон сохраняет их в формате 12 или 16 Мп. При этом используется технология биннинга. Давайте разберемся, что это такое.

Влияет ли размер пикселей на качество фотографии?

Для ответа на вопрос «что такое биннинг?» нужно понимать основы фотографии. Пиксель — это физический элемент модуля камеры, который «ловит» свет. Чем больше площадь пикселя, тем больше света он может захватить. 

Например, компактная камера и профессиональный зеркальный фотоаппарат могут иметь одинаковое количество пикселей. Но у «зеркалки» размер пикселя будет намного больше.

Благодаря этому, изображение становится более детальным и имеет меньшее количество шумов. Особенно это актуально для ночной и вечерней фотографии. Динамический диапазон также возрастает при увеличении размера пикселя. В отличие от человеческого глаза, камера способна воспринять лишь ограниченный охват по яркости. Иногда в кадре сложно показать одновременно и солнце, и темные детали. 

Размер пикселей измеряется в микронах (в 1 миллиметре — 1000 микрон). В основном модуле iPhone 12 Pro Max используются пиксели 1,7 мкм, в то время как у 12 Pro — «обычные» 1,4 мкм. Как это влияет на съемку? Большие пиксели улучшают качество фото при недостаточном освещении, в том числе в помещениях или в сумерках. Например, Pro Max в ночном режиме сокращает время выдержки из-за меньшего количества шумов в кадре. Оно составляет 2 секунды вместо 3 секунд, необходимых для iPhone 12 Pro.

В одинаковых условиях iPhone 12 Pro Max и 12 Pro поставили выдержку 2 и 3 секунды соответственно. Фото: droider.ru

У производителей есть два пути улучшения качества мобильной фотографии. Если дополнительно увеличить размер пикселя, то вырастет и размер самой камеры, что повлияет на габариты и вес смартфона. Мобильные камеры должны оставаться небольшими, чтобы сохранить общепринятую толщину смартфонов: никому не нужен огромный блок, торчащий из корпуса, хотя уже сегодня камеры зачастую слегка выступают за пределы задней панели. С другой стороны, можно уменьшить количество крупных пикселей, но тогда пострадает разрешение фото. Чтобы решить эту дилемму, был придуман компромиссный вариант — пиксельная бинаризация.

Как работает пиксельная бинаризация

Бинаризация или биннинг — это технология объединения соседних пикселей. Четыре небольших субпикселя превращаются в один большой «суперпиксель», а разрешение пропорционально падает в четыре раза.

Например, смартфон OnePlus Nord имеет основную камеру 48 Мп с размером пикселя 0,8 мкм. При съемке в стандартном режиме получится фото с разрешением 12 Мп, качество которого будет аналогично модулю с размером пикселя 1,6 мкм. При этом в приложении камеры также будут доступны «честные» 48 Мп, но снимать детализированные фото можно только при хорошем освещении, поскольку уровень шумов также возрастет.

Объединение пикселей происходит при помощи фильтра Байера. Сотрудник Kodak Брюс Байер запатентовал изобретение еще в 1976 году — это набор цветных фильтров, которым накрывают диоды матрицы. Он состоит на четверть из красных, на четверть из синих и на половину из зеленых элементов. Фильтр имитирует глаз человека, который наиболее восприимчив к желто-зеленому диапазону спектра. 

Фильтр Байера группирует эти цвета в кластеры по четыре, а после того, как изображение сделано, используется программная обработка, которая объединяет пиксели, чтобы получить окончательное полноцветное изображение.

Технология совмещения пикселей оказалась успешной с точки зрения маркетинга. Основные производители смартфонов, включая Xiaomi, Huawei, Samsung и Realme, стали комплектовать камерами 48 и 64 Мп даже бюджетные модели.

Во флагманских решениях применяют 108 Мп. Главное отличие в том, что в этом случае объединяют уже не четыре, а девять пикселей в один. 

Пиксельная бинаризация по технологии Samsung. Фото: samsung.com

В качестве примера возьмем Samsung Galaxy S20 Ultra. Смартфон получил 108-мегапиксельную камеру. Пиксельная бинаризация с соотношением 9:1, которую использует Samsung, уменьшит изображение до 12 Мп, в результате пиксели станут значительно больше и, следовательно, захватят больше света. По этой причине Galaxy S20 Ultra в режимах Night и Pro снимает с разрешением не 108 Мп, а 12 Мп.

Почему не все производители смартфонов используют биннинг

У пиксельной бинаризации есть свои минусы. Самый большой недостаток — это разрешение. Оно уменьшается в четыре раза, поскольку именно четыре пикселя объединяются, чтобы выступить в качестве одного большого пикселя. Так, снимок, сделанный 48-мегапиксельной камерой, на самом деле будет 12-мегапиксельным, а если снимать 16-мегапиксельной камерой, разрешение снимка и вовсе составит 4 Мп. Следует также отметить, что, если сенсор камеры небольшой или не слишком качественный, пиксельная бинаризация не способна заметно улучшить конечное изображение.  

И хотя биннинг обеспечивает два варианта съемки (например, 12 Мп и 108 Мп) для одного и того же сенсора, на 12-мегапиксельном снимке, как и следовало ожидать, окажется меньше деталей по сравнению с фото, снятым на 108 Мп. По этой причине пиксельную бинаризацию не применяют повсеместно. Чаще всего она задействована в определенных режимах съемки. 

Как определить, использует ли ваш смартфон биннинг? Если гаджет оснащен камерой от 32 Мп и выше, он почти гарантированно использует пиксельную бинаризацию. Кроме того, некоторые смартфоны, использующие камеры с более низким разрешением, также применяют биннинг. В их числе компания LG, которая использовала технологию для режима Super Bright в 16-мегапиксельных камерах, а также китайский производитель Xiaomi, который применил биннинг в камерах на 16 Мп и 20 Мп. Камеры на 16 Мп с пиксельной бинаризацией использовали в своих моделях Huawei и OnePlus. Тем не менее, это скорее исключение из правил, и камеры с более высоким разрешением лучше подходят для бинаризации. Если вы обладатель iPhone, то можно с уверенностью сказать, что ваш смартфон не использует биннинг. Apple пошла по другому пути: компания решила совершенствовать собственные технологии, чтобы улучшить режим ночной съемки.  То же можно сказать и о Google: технологический гигант рассчитывает на собственные алгоритмы для оптимизации изображений и не торопится применять биннинг.

В целом, объединение пикселей — это удачное решение, которое позволяет получить яркие фотографии при слабом освещении, однако конечные изображения будут иметь меньшее разрешение по сравнению с камерой, при помощи которой были сделаны эти фото. Бинаризация остается компромиссом, на который приходится идти, чтобы смартфон показывал себя одинаково хорошо в различных условиях съемки. Однако смартфоны, оснащенные камерами с более низким разрешением, также могут создавать качественные изображения, если используют искусственный интеллект или детально проработанные программные настройки.

Производители работают над тем, чтобы увеличить размеры сенсора камеры и разместить там больше пикселей. Это позволит дополнительно улучшить фотографии посредством пиксельной бинаризации. Помимо этого, компании оптимизируют работу мобильных камер в целом. Так, ночные режимы используют более высокие значения ISO и длинную выдержку. Благодаря этому в будущем объединение пикселей, возможно, не будет использоваться столь широко: его заменят более современные технологии. 

Что такое биннинг пикселей? Все, что вам нужно знать

В прошлом году термин «объединение пикселей» регулярно всплывал при разговоре о фотографии со смартфона. Этот термин не вызывает восторга, но сегодня он используется во многих телефонах.

Так что же тогда такое объединение пикселей? Присоединяйтесь к нам, и мы познакомимся с одной из ведущих функций фотографии на смартфонах на рынке.

Важность пикселей или фото сайтов

Чтобы понять объединение пикселей, мы должны понять, что на самом деле представляет собой пиксель в этом контексте. Рассматриваемые пиксели также известны как фото-сайты и представляют собой физические элементы сенсора камеры, которые улавливают свет во время фотосъемки.

Размер пикселя обычно измеряется в микронах (миллионная часть метра), а все, что меньше одного микрона, считается малым. IPhone XS Max, Google Pixel 3 и Galaxy S10 камеры все предлагают большие 1,4 микрон пикселей.

Излишне говорить, что вы всегда хотите, чтобы ваши пиксели были большими, поскольку более крупный пиксель может просто улавливать больше света, чем меньший пиксель. Способность улавливать больше света означает лучшую производительность в пабе или в сумерках, когда свет на первом месте. Но сенсоры камеры смартфонов должны быть небольшими, чтобы помещаться в современные стройные рамки – если вы не возражаете против удара камеры.

Небольшой размер сенсора смартфона означает, что пиксели также должны быть маленькими, если вы просто не используете меньше пикселей (то есть сенсор с более низким разрешением). Другой подход – использовать больше пикселей (т.е. датчик с более высоким разрешением), но вам придется либо увеличить размер датчика и справиться с неровностями, либо еще больше сжать пиксели. Еще большее уменьшение пикселей отрицательно скажется на возможностях съемки при слабом освещении. Но именно здесь биннинг пикселей может иметь значение.

Подход с объединением пикселей


12-мегапиксельный снимок с разделением пикселей, сделанный на 48-мегапиксельную камеру Honor View 20.

Подводя итог в одном предложении, биннинг пикселей – это процесс, при котором данные из четырех пикселей объединяются в один. Таким образом, сенсор камеры с крошечными пикселями размером 0,9 микрона даст результаты, эквивалентные пикселям 1,8 микрона при съемке с разбивкой пикселей.

Как мы уже говорили в нашем объяснении камеры 48MP, представьте датчик камеры как двор, а пиксели / фотосайты как ведра, собирающие дождь во дворе. Вы можете поставить во дворе множество маленьких ведер или несколько больших ведер. Но объединение пикселей по сути эквивалентно объединению всех небольших сегментов в одно огромное, когда это необходимо.

Читайте:Обзор камеры Honor View 20 – очень высокий балл и не зря

Самым большим недостатком этого метода является то, что ваше разрешение эффективно делится на четыре при съемке с разбивкой по пикселям. Это означает, что объединенный снимок на 48-мегапиксельной камере на самом деле составляет 12 мегапикселей, в то время как объединенный снимок на 16-мегапиксельной камере составляет всего четыре мегапикселя.

Объединение пикселей, как правило, стало возможным благодаря использованию четырехъядерного фильтра Байера на датчиках камеры. Байера фильтр представляет собой цветной фильтр, используемый во всех цифровых датчиках камеры, сидя на вершине пикселей / фото сайтов и захват изображения с красными, зелеными и синими цветами.

Ваш стандартный фильтр Байера состоит из 50 процентов зеленых фильтров, 25 процентов красных фильтров и 25 процентов синих фильтров. Согласно фото-ресурсу Cambridge in Color, это устройство имитирует человеческий глаз, чувствительный к зеленому свету. После того, как это изображение будет захвачено, оно интерполируется и обрабатывается для получения окончательного полноцветного изображения.

Но четырехъядерный фильтр Байера группирует эти цвета в кластеры по четыре, а затем использует программную обработку преобразования массива для включения объединения пикселей. Расположение кластеров обеспечивает дополнительную световую информацию во время процесса преобразования массива, что делает его лучше, чем простая интерполяция / масштабирование до 48MP. Посмотрите на изображение выше, чтобы увидеть, как работает четырехбайеровский фильтр – заметили, чем группировка различных цветов отличается от традиционного байеровского фильтра? Вы также заметите, что он по-прежнему предлагает 50 процентов зеленых фильтров, 25 процентов красных фильтров и 25 процентов синих фильтров.

Применяя четырехъядерный фильтр Байера и биннинг пикселей, вы получаете преимущество снимков сверхвысокого разрешения в течение дня и снимков с более низким разрешением ночью. И эти ночные снимки должны быть ярче и иметь меньший шум по сравнению с снимком с полным разрешением.

Кто сейчас использует биннинг пикселей?


Если у производителя есть телефон с камерой на 32 Мп, 40 Мп или 48 Мп, то он почти гарантированно предлагает эту функцию. Среди выдающихся устройств в этом отношении – серия Xiaomi Redmi Note 7, Xiaomi Mi 9, Honor View 20, Huawei Nova 4, Vivo V15 Pro и ZTE Blade V10.

Но мы также видим бренды с камерами с более низким разрешением, предлагающие варианты объединения пикселей, такие как LG G7 ThinQ и V30s ThinQ. Эти устройства предлагают режим Super Bright на своих 16-мегапиксельных камерах с использованием объединения пикселей для получения более ярких 4-мегапиксельных снимков. Мы даже видели, как такие бренды, как Xiaomi, используют камеры 16MP и 20MP с объединением пикселей, такие как Xiaomi Redmi S2 и Mi A2 соответственно.

Очевидно, что камеры с более высоким разрешением кажутся более подходящими для этой техники (особенно на камерах заднего вида), поскольку выходное разрешение не является низким. Но это также заставляет задуматься, как высоко вы можете подняться. Что ж, новое интервью предполагает, что камеры на 64 МП и 100 МП + находятся в разработке.

Убывающая отдача?


Представитель Qualcomm сообщил, что бренды MySmartPrice выпустят смартфоны с разрешением 64 и 100 мегапикселей позже в этом году. Это может дать нам снимки с разрешением 16 МП и не менее 25 МП соответственно. Но если эти камеры сверхвысокого разрешения не имеют массивных сенсоров для всех этих пикселей (при этом сохраняя размер пикселей сравнимого с 48-мегапиксельными сенсорами), мы можем быть разочарованы.

В конце концов, если у нас есть 64-мегапиксельная камера с суперкрошечными 0,5-микронными пикселями, то снимок с разбиением пикселей будет фактически эквивалентом 16-мегапиксельного изображения с одним микронным пикселем. Таким образом, производитель приложит все усилия, чтобы получить результаты, аналогичные селфи-камере OnePlus 6T или основной камере LG G7. Почему бы просто не использовать 12-мегапиксельный сенсор, аналогичный сериям Google Pixel или Samsung Galaxy S10?

Одна из возможностей заключается в том, что эти камеры сверхвысокого разрешения могут объединять данные с еще большего количества пикселей, чтобы повысить производительность при слабом освещении. Но неясно, возможно ли это сейчас с помощью объединения пикселей. Тем не менее, Nokia 808 PureView использовал так называемый метод передискретизации для объединения данных с 14 пикселей для получения более чистого 3-мегапиксельного снимка. И если 3MP – это слишком низкое разрешение на ваш вкус, тогда камера также способна объединять данные из восьми пикселей для лучшего снимка 5MP (или данные из пяти пикселей для снимка 8MP).

Даже если камеры сверхвысокого разрешения не появятся в ближайшее время, нынешние 40- и 48-мегапиксельные датчики уже показывают впечатляющие результаты при использовании объединения пикселей. Благодаря постоянно улучшающимся возможностям, таким как ночные режимы, лучший зум и интеллектуальный интеллект, прямо сейчас есть много возможностей для улучшения фотографий со смартфона.

СЛЕДУЮЩИЙ:Обзор Huawei Mate 20 X – игры для Android, большие размеры

Источник записи: https://www.androidauthority.com

Чип-биннинг, или для чего Intel, Apple и AMD выпускают линейки слабых процессоров

Большинство опытных пользователей компьютера наверняка имеет опыт разгона своего компьютера. Ведь велик соблазн повысить частоту работы процессора или видеочипа, улучшив тем самым их быстродействие. Иногда фортуна благоволит и удается добиться значительного ускорения. Вот только скептики способны немного омрачить радость, заявляя о попадании в ваши руки отбинованного чипа.

♥ ПО ТЕМЕ: Почему рингтон при звонке на iPhone начинает звучать тише и как это отключить.

 

Что такое биннинг-процессоры?

Само слово bin означает «корзина». Но какая связь вашего нового и работающего даже чуть лучше запланированного чипа с заведомым браком? На самом деле причина в самой технологии изготовления электронных компонентов.

Под термином «биннинг» скрывается категоризация компонентов, в том числе процессоров, графических чипов, чипов памяти, с учетом критериев качества и производительности. Современное производство микросхем подразумевает использование сложнейших производственных процессов. Основой выступают диски сверхчистого кремния, который покрывают слоями компонентов.

Чтобы конечный продукт точно соответствовал заявленным требованиям, требуются инструменты и материал высочайшего качества. К тому же производственные помещения максимально защищены от пыли, а сотрудники носят защитные костюмы, чтобы микроскопические частицы их кожи или волос не попали на материалы или оборудование.

На выходе получается готовая круглая пластина, очень дорогая. Ее ячеистая структура похожа на вафлю. Пластину алмазом нарезают на готовые кристаллы, при этом находящиеся на краю кусочки сразу же становятся отходами. Их доля может составлять от 5% до 25% от всей площади.

11,8-дюймовая (300 мм) пластина процессоров Intel Core 9-го поколения

Оставшиеся кристаллы монтируются на печатные платы и помещаются в корпус, снабжая при необходимости теплоотводом. Так и появляются на свет известные нам процессоры. Но теперь наступает время их проверки и отбора.

♥ ПО ТЕМЕ: Как вывести фото или видео с iPhone или iPad на телевизор – 4 способа.

 

Медленные процессоры = быстрые процессоры с браком

В современном процессоре есть несколько ключевых блоков: ядра, кэш-память, контроллеры памяти, видеоядро и другие. Архитектура создается одна на все семейство. Но неужели для производства младших моделей создаются какие-то другие пластины? Конечно же нет, это просто невыгодно. У производителя есть определенные стандарты работы каждого процессора.

Если чип в ходе теста не показывает должные результаты, то у него отключают определенный блок или блоки. Так появляется процессор младшей серии, чуть более медленный. Чем больше блоков будет отключено – тем младше окажется процессор.

Например, пластина для изготовления Intel Core i9 может дать выход чуть ли не двум десяткам моделей, работающим на разных частотах, с разным числом ядер, уровнем тепловыделения, отключенным или нет GPU. Фактически это все чипы, которые являются отбраковкой от топового и не прошедшие тестирование. Так и получаются линейки процессоров i7, i5, i3 и т.д:

♥ ПО ТЕМЕ: Какой iPhone лучше держит батарею? Сравнение времени автономной работы всех актуальных iPhone в 2020 году.

 

Почему так происходит?

Производитель понимает, что ни технологии, ни материалы не могут быть на 100% совершенными. Абсолютной безупречности пластины достичь практически невозможно. При работе в нанометровом диапазоне начинают проявлять себя невидимые нами случайности и шумы. А уж пылинка – настоящее бедствие. Да и дефекты не всегда оказываются явными. К примеру, одна часть чипа может просто греться сильнее другой. Пластину тестируют еще до нарезки, а тревожные места помечаются. А после нарезки и сборки процессоры снова проходят проверку.

На этапе жестких стресс-тестов чипы работают на заданном напряжении с базовой частотой. Тщательно тестируется, сколько процессор потребляет энергии и сколько выделяет тепла. Так и обнаруживается, какой элемент соответствует заданным параметрам, а какой – нет. Какому-то чипу требуется большее напряжение, а какой-то греется больше. Есть и такие, кто вообще не может пройти тесты. Проверке подвергаются и уже помеченные дефектными чипы, чтобы понять, какие блоки у них остались полноценными.

В итоге весь полезный выход продукции делится на разные группы. Чипы в них отличаются друг от друга своими возможностями. Такой процесс сортировки и называется чип-биндингом. Например, если в топовом шестиядерном процессоре одно ядро оказывается поврежденным, то его или сразу пару отключают. Так появляется на свет младший четырехъядерный процессор. Производитель заранее планирует архитектуру чипа так, чтобы иметь возможность отключать определенные блоки и получать младшие модели.

Так поступили и в Apple с выходом нового процессора M1. Если вы посмотрите спецификации MacBook Air 2020 года, то заметите, что версия ноутбука с накопителем 256 ГБ оснащена 7‑ядерным графическим процессором, тогда как устройство с памятью в 512 ГБ получило 8‑ядерный – binning в действии.

Интересно, что порой в чип-биндинг вмешиваются маркетологи. Иногда спрос на определенную дешевую модель превышает спрос на более дорогую, представленную в избытке. Тогда производитель просто отключает часть заведомо рабочих блоков у топового процессора, превращая его в «обрезок». А покупатель и не знает, что получил изначально лучший чип. Конечно же, он готов работать на более высоких частотах и выделяет меньше тепла. В истории бывали случаи, когда даже программным способом пользователям удавалось разблокировать дополнительные ядра и вычислительные блоки. Так двухъядерный Athlon X2 5000 мог получить дополнительные два ядра, а Athlon II X3 с ядром Deneb/Rana помимо дополнительного ядра получал еще и прирост кэш-памяти. Такие случаи вдохновляют, но сегодня подобное «волшебство» практически невозможно из-за аппаратных ограничений производителя.

Удивляясь возможностям разгона своего процессора, вы теперь будете понимать, почему так происходит. Сортировка – обязательное условие производства современных чипов. И ваш процессор будет в точности соответствовать заявленным параметрам, но, при удаче, он сможет показать немного больше.

Смотрите также:

Проверка качества процедуры биннинга Текст научной статьи по специальности «Экономика и бизнес»

The general idea connected with realization of this process, productive and effective for the organization, is that it is necessary to remove those organizational priorities about which it was told above. The performance management can be the extremely productive instrument of management of human resources, but for this purpose it should return the status of a control device and management of efficiency of realization of strategy of the company, without being exchanged for the purposes, less essential to the organization. Of course, you shouldn't forget and about them, but you shouldn't try to solve all problems at the same time within one procedure!

References in English / Список литературы на английском языке

1. Reference for business. [Electronic resource]. URL: http://www.referenceforbusiness.com/encyclopedia/Per-Pro/Performance-Appraisal-and-Standards.html/ (date of access: 02.04.2017).

2. Government of Canada. [Electronic resource]. URL: http://www.tbs-sct.gc.ca/tou/pmc-dgr/empkit-troemp-eng.asp/ (date of access: 01.04.2017).

3. Scott-Lenon Frank. Performance Management: Developing People. P. 50-54.

4. Free management eBooks. [Electronic resource]. URL: http://www.free-management-ebooks.com/dldebk-pdf/fme-performance-management.pdf/ (date of access: 04.04.2017).

References / Список литературы

1. Reference for business. [Электронный ресурс]. Режим доступа: http://www.referenceforbusiness.com/encyclopedia/Per-Pro/Performance-Appraisal-and-Standards. html/ (дата обращения: 02.04.2017).

2. Government of Canada. [Электронный ресурс]. Режим доступа: http://www.tbs-sct.gc.ca/tou/pmc-dgr/empkit-troemp-eng.asp/ (дата обращения: 01.04.2017).

3. Scott-Lenon Frank. Performance Management: Developing People. P. 50-54.

4. Free management eBooks. [Электронный ресурс]. Режим доступа: http://www.free-management-ebooks.com/dldebk-pdf/fme-performance-management.pdf/ (дата обращения: 04.04.2017).

QUALITY CONTROL OF BINNING Maslyonkova M.V. (Russian Federation) Email: [email protected]

Maslyonkova Marina Valeryevna - student, DEPARTMENT OF DATA ANALYSIS, DECISION-MAKING THEORY AND FINANCIAL TECHNOLOGY, FINANCIAL UNIVERSITY UNDER THE GOVERNMENT OF THE RUSSIAN FEDERATION,

MOSCOW

Abstract: binning is a categorization process to transform a continuous variable into a small set of groups or bins, which is widely used in credit scoring. The article analyzes one of the non-standard condition for a good binning algorithm. It is based on the construction of logistic regression model for the Weight of Evidence (WOE) values. The proposed method can be useful, for example, when it is unclear whether to allocate a bin with missing values to a separate group or not. In addition, it is easy to implement in practice. Keywords: binning, credit scoring, logistic regression.

European science № 4(26) ■ 58

ПРОВЕРКА КАЧЕСТВА ПРОЦЕДУРЫ БИННИНГА Маслёнкова М.В. (Российская Федерация)

Маслёнкова Марина Валерьевна - студент, Департамент анализа данных, принятия решений и финансовых технологий, Финансовый университет при Правительстве Российской Федерации, г. Москва

Аннотация: биннинг - это процесс категоризации, суть которого заключается в разбиении переменных определенным образом на группы, или бины. Он широко используется в кредитном скоринге. В статье анализируется одно из нестандартных условий проведения качественной процедуры биннинга. Оно основано на построении логистической регрессии по значениям Weight of Evidence (WOE). Предложенный метод может быть полезен, например, когда неясно, выделять ли бин с пропущенными значениями в отдельную группу или нет. К тому же, он легко реализуем на практике.

Ключевые слова: биннинг, кредитный скоринг, логистическая регрессия.

Математически WOE определяется как логарифм отношения доли «хороших» наблюдений к доле «плохих» наблюдений. Под «хорошими» и «плохими» наблюдениями понимается клиент, который не стал или стал дефолтным за период наблюдения соответственно. Этот показатель измеряет статистическую значимость каждого бина. Построим парную логистическую регрессию с одной объясняющей переменной WOE(x):

тi{WOE{x)) = ^р^туодю

Когда логистическая регрессия содержит одну предопределенную переменную, трансформированную к WOE, оценка коэффициентов по методу максимального правдоподобия может быть записана в явном виде:

Поскольку логистическая функция правдоподобия является вогнутой, то существует единственный максимум этой функции, а значит и единственное решение [1]. Сформулируем правило проверки правильности биннинга. Чтобы биннинг считался правильно проведенным, необходимо проверить, что оценки коэффициентов в логистической регрессии, где объясняющей переменной служит WOE переменной x, а объясняемой - переменная у, принимающая значение или 0 или 1, удовлетворяют равенству (1).

Для того чтобы показать практическую применимость описанного выше метода верификации биннинга, попытаемся решить вопрос для переменной, численно равной отношению ссуды к величине залога (LTV, от англ. Loan to Value): что делать с группой, содержащей пропущенные значения. Согласно правилу (1):

Вариант с выделенными отдельно пропущенными значениями дает неточную оценку параметров. Если присоединить пропущенные значения к группе с наибольшим количеством дефолтов, оценки полностью совпадают в вычисленными.

Итак, описанный подход, основанный на построении логистической регрессии по значениям WOE полезен при проведении биннинга и довольно легко реализуем на практике.

59 ■ European science № 4(26)

Список литературы /References

1. Гопин Цзэн. Необходимое условие для хорошего алгоритма биннинга в кредитном скоринге. HIKARI Ltd. Прикладные Математические Науки. Т. 8, 2014. Вып. 65. [Электронный ресурс]. Режим доступа: http://dx.doi.org/10.12988/ams.2014/ (дата обращения: 13.04.2017).

Список литературы на английском языке /References in English

1. Guoping Zeng. A necessary condition for a good binning algorithm in credit scoring. HIKARI Ltd. Applied Mathematical Sciences. Vol. 8, 2014. № 65. [Electronic resource]. URL: http://dx.doi.org/10.12988/ams.2014/ (date of access: 13.04.2017).

European science № 4(26) ■ 60

Биннинг в Excel - CodeRoad



Какие формулы в MS Excel мы можем использовать для -

с одинаковой глубиной отлежки
с одинаковой шириной отлежки

excel worksheet-function
Поделиться Источник Shreya     04 сентября 2010 в 14:25

4 ответа


  • Биннинг непрерывных переменных в ансамбле склеарна и деревьях

    Может ли кто-нибудь сказать мне, как ансамбли (например, случайный лес, градиентный бустинг, Adaboost) и деревья (например, деревья решений) в sklearn (Python) заботятся о непрерывных переменных ? Рассматриваются ли они как каждая отдельная ценность при построении деревьев ? Или они автоматически. ..

  • Биннинг двух векторов разных диапазонов с использованием R

    Я пытаюсь оценить производительность простой модели прогнозирования с использованием R, дискретизируя результаты прогнозирования, разбивая их на определенные интервалы, а затем сравнивая их с соответствующими фактическими значениями(биннированными). У меня есть два вектора фактический и...



2

Лучше всего использовать встроенный метод:

http:/ / support.microsoft.com / kb / 214269

Я думаю, что версия VBA аддина (Шаг 3 с большинством версий) также даст вам код.

Поделиться aldosa     11 марта 2013 в 21:41



2

Вот что я использовал. Данные, которые я собирал, были в A2:A2001 .

С одинаковой шириной:

Я рассчитал ширину в отдельной ячейке (U2 ), используя эту формулу:

=(MAX($A$2:$A$2001) - MIN($A$2:$A$2001) + 0. 00000001)/10

10 is the number of bins. The + 0.00000000001 is there because without it, values equal to the maximum were getting put into their own bin.

Then, for the actual binning, I used this:

=ROUNDDOWN(($A2-MIN($A$2:$A$2001))/$U$2, 0)

Эта функция находит, на сколько ширины ячеек выше минимального значения вашего значения, путем деления (value-minimum) на ширину ячейки. Мы заботимся только о том, сколько полных ячеек вписывается в значение, а не дробных, поэтому мы используем ROUNDDOWN , чтобы отрезать все дробные ячейки (то есть показать 0 десятичных знака).

С одинаковой глубиной

Этот-проще.

=ROUNDDOWN(PERCENTRANK($A$2:$A$2001, $A2)*10, 0)

Во-первых, получите процентильный ранг текущей ячейки ( $A2 ) из всех ячеек, которые будут сгруппированы ( $A$2:$A$2001 ). это будет значение от 0 до 1, поэтому, чтобы преобразовать его в ячейки, просто умножьте на общее количество ячеек, которое вы хотите (я использовал 10 ). ), отрежьте десятичные дроби так же, как и раньше.

Для любого из них, если вы хотите, чтобы ваши ячейки начинались с 1, а не с 0, просто добавьте +1 в конец формулы.

Поделиться Unknown     06 апреля 2014 в 11:35



0

Возможно, вам придется построить матрицу для построения графика.

Для кронштейна бункера вы можете использовать =PERCENTILE() для равной глубины и пропорцию разницы =Max(Data) - Min(Data) для равной ширины.

Вы можете получить частоту с помощью =COUNTIF() . Среднее значение Бина может быть получено с помощью =SUMPRODUCT((Data>LOWER_BRACKET)*(Data<UPPER_BRACKET)*Data)/frequency

Более сложная статистика может быть достигнута с помощью SUMPRODUCT и / или формул массива (которые я не рекомендую, так как они очень трудны для понимания для непрограммиста)

Поделиться momobo     08 сентября 2010 в 11:59




0

Поместите эту формулу В B1:

=MAX( ROUNDUP( PERCENTRANK($A$1:$A$8, A1) *4, 0),1)

Заполните формулу по всей колонке B, и все готово. Формула делит диапазон на 4 равных ведра и возвращает номер ведра, в которое попадает ячейка A1. Первое ведро содержит наименьшее значение 25%.

Общая картина такова:

=MAX( ROUNDUP ( PERCENTRANK ([Range], [TestCell]) * [NumberOfBuckets], 0), 1)

Поделиться Przemyslaw Remin     29 января 2020 в 11:00


Похожие вопросы:


биннинг длинного формата dataframe в python/pandas

У меня есть длинный формат dataframe, представляющий значения для ряда животных при различных условиях с течением времени. Теперь я хотел бы применить биннинг, чтобы усреднить значения для ряда...


биннинг файлов в каталоги примерно одинакового размера

Дан сортированный список имен файлов формы {artist}-{title}.mp3 Я хочу распределить файлы по 255 ячейкам (подкаталогам) так, чтобы каждая ячейка содержала примерно равное количество файлов, с. ..


Простой толстохвостый бревно-биннинг

Я попытался упростить лог-биннинг от построения лог-биннированных распределений степени сети . выходные данные показывают как исходные, так и лог-биннированные распределения. Однако последняя не...


Биннинг непрерывных переменных в ансамбле склеарна и деревьях

Может ли кто-нибудь сказать мне, как ансамбли (например, случайный лес, градиентный бустинг, Adaboost) и деревья (например, деревья решений) в sklearn (Python) заботятся о непрерывных переменных ?...


Биннинг двух векторов разных диапазонов с использованием R

Я пытаюсь оценить производительность простой модели прогнозирования с использованием R, дискретизируя результаты прогнозирования, разбивая их на определенные интервалы, а затем сравнивая их с...


Как настроить биннинг для dc.js и crossfilter? Это узкое место в производительности?

Я пытаюсь создать универсальный кросс-фильтр, который может принимать csv и создавать панель мониторинга. Вот рабочие примеры:...


Множество условий WHEN в операторе CASE (биннинг)

Как я могу сделать биннинг в SQL Server 2008, если мне нужно около 100 бункеров? Мне нужно сгруппировать записи в зависимости от того, принадлежит ли переменная биннинга одному из 100 равных...


Биннинг равной глубины - будь то просто группировка данных в k групп

Небольшая путаница при биннинге равной глубины или равной частоты Биннинг равной глубины говорит об этом - он делит диапазон на N интервалов, каждый из которых содержит примерно одинаковое...


Биннинг временных рядов с pandas

У меня есть временной ряд в форме DataFrame , который я могу groupby связать с серией pan.groupby(pan.Time).mean() который имеет только два столбца Time и Value : Time Value 2015-04-24 06:38:49...


Изготовленный на заказ биннинг в seaborn pairplot

Я новичок в seaborn , и в настоящее время я играю с функциями pairplot . .. Со следующим seaborn.pairplot(data, hue=Class, diag_king=hist, diag_kws={'alpha'=0.5} ) Я могу добиться почти всего, чего...

компромисс между эффективностью модели и регулированием

Статья опубликована в журнале: Финансы и кредит, 2019, Т. 25, № 9, С. 2040

Автор(ы): Роскошенко В.В.

Рубрика: Банковская деятельность

Аннотация

Предмет. Дискретизация факторов дефолта кредитного требования. Банковская система России успешно переняла опыт западных розничных банков по моделированию различных аспектов поведения заемщиков — физических лиц. Моделирование кредитного риска остается единственной областью, регулируемой Банком России. Несмотря на наличие предписаний регулятора и Базель II, многие аспекты контролируются экспертным суждением. Нерешенной остается проблема выбора алгоритма дискретизации факторов дефолта кредитного требования.

Цели. Выделить множество валидных в отношении кредитного скоринга алгоритмов дискретизации и выбрать из него оптимальный алгоритм. Также необходимо показать, что дискретизация является неотъемлемой частью построения предиктивной модели в случае использования метода логистической регрессии.

Методология. Использованы: статистический анализ, контент-анализ источников.

Результаты. Показано, что среди алгоритмов, соответствующих требованиям Базель II (минимум 5% наблюдений в бакете, пропущенные значения переменной в отдельном бакете, наличие обоих типов наблюдений в бакете), а также устоявшихся в практике критериев (репрезентативность разбиения, монотонность целевой переменной по бакетам), оптимальным оказался предложенный автором алгоритм (TreeR). В его основе — разбиение непрерывной переменной в результате работы алгоритма построения деревьев решений для бинарной зависимой переменной. Выводы. Данный алгоритм является принципиально новым решением задачи дискретизации непрерывной переменной. Важной особенностью TreeR выступает реализация в открытом программном обеспечении с опорой на общедоступные библиотеки.

Область применения. Результаты работы могут быть использованы в кредитном скоринге, равно как и в любом статистическом моделировании с использованием логистической регрессии.

Ключевые слова: кредитный скоринг, логистическая регрессия, дискретизация, предобработка данных, непрерывная переменная

Не ведитесь на 100Mp камеры в смартфонах - это не лучший выбор

Смартфонами, в которых установлены камеры с высоким разрешением, сегодня уже никого не удивишь. Но на замену 48-мп сенсорам готовятся камеры на 64 и даже 108 Мп. Оба решения были официально анонсированы и должны появиться в смартфонах уже в скором времени. Фактически, в этом году у рядового пользователя появится возможность делать снимки разрешением 12 032 х 9024 пикселей.

Но вы наверняка знаете, что мегапиксели — это не единственный показатель, отвечающий за качество фотографий. Это лишь маленький винтик в сложной системе. Именно поэтому часто Google Pixel 3 с 12-мп камерой может выдавать лучший результат чем OnePlus 7 Pro с 48 Мп.

Камеры ограничены размерами, компоновкой, и изоляцией отдельных ячеек (сенсоров). Также в создании фотографий участвует постобработка и, например, качество линзы. В этих направлениях камеры смартфонов все еще отстают от зеркальных фотоаппаратов, и вряд ли появление сенсоров разрешением 64 или 100 Мп уменьшит отставание.

Как считать мегапиксели?

В смартфонах не так много места для размещения сенсоров. Именно поэтому, несмотря на общее количество мегапикселей, они остаются очень маленькими: 0,8 микрон (микрометров) — стандартный размер. Хотя, например, в том же Pixel 3 используются пиксели размером 1.4µm (микрона).

Ключевая особенность в том, что при уменьшении размера пикселей увеличивается количество шумов и перекрестных помех.

Из-за невысокой светочувствительности падает и динамический диапазон. Маленькие пиксели захватывают меньше света, чем крупные, а это значит, что фотографии при недостаточном количестве света выходят не настолько качественными. Еще одна проблема — небольшие промежутки, разделяющие пиксели, которые увеличивают вероятность появления помех за счет считывания информации, предназначенной для соседних ячеек. Это в свою очередь увеличивает количество шумов. Новые технологии, в частности ISOCELL авторства Samsung, призваны решить эту проблему.

Пока что маленькие сенсоры с высоким разрешением все еще выдают фотографии более низкого качества в сравнении с результатами сенсоров такого же размера, но с более низким разрешением. Чтобы компенсировать этот недостаток, современные камеры используют технологию пиксельного биннинга — фактически, объединения соседних пикселей.

Бинниг «играет» с цифрами

Маленькие сенсоры камер смартфонов должны бороться с:

  • ограничениями субмикронных пикселей
  • последствиями в виде шумов и низкого качества в условиях недостаточной освещенности.
Биннинг пикселей — лучшее, что сейчас можно предложить для решения обеих проблем.

Камеры с этой технологией не используют традиционные фильтры Байера для получения цветных изображений. Вместо них применяются фильтры «quad-Bayer», в которых четыре пикселя сенсора покрываются всего лишь одним цветовым фильтром. Получается 1/4 цветового разрешения, но зато снимки почти в полной мере передают светочувствительность. Алгоритмы же позволяют переключаться между снимками с высоким разрешением и технологией биннинга.

В 64-мп сенсоре Samsung GW1 эта технология называется Tetracell. Компания использует алгоритм «re-mosaic» и высокое аппаратное разрешение для получения снимков с высоким разрешением, где их объединение улучшает фото с низкой освещенностью.

Это не полноценная замена фильтров Байера в полном разрешении. Так, GW1 предлагает количество данных, достаточных для 16-мп снимка с дополнительной информацией для увеличения контрастности. Алгоритм «re-mosaic» способен получать больше деталей, чем стандартный 16-мп сенсор, но это далеко от того, что мог бы делать полноценный 64-мп сенсор.

Разрешение на бумаге vs. реальное разрешение

Итак, становится понятно, что заявленное разрешение не всегда соответствует реальному уровню детализации в финальном снимке. Есть финальный ключевой элемент — отношения между линзами и разрешением.

Линза отвечает за то, чтобы направлять свет на сенсор камеры, в результате которого появляется диск Эйри. Размер диска определяет степень размытия фотонов. Если он занимает несколько пикселей, падает детализация. Другими словами, низкое качество линзы уменьшает потенциальное разрешение сенсора.

Также маленьким сенсорам нужны более широкие апертуры, чтобы пропускать больше света, но важно, чтобы свет фокусировался с достаточной точностью. К сожалению, на смартфонах, где линза имеет широкую апертуру, возникают проблемы с оптической аберрацией.

Стоит также понимать, что 100-мп сенсоры будут шире существующих, а это значит, что увеличится и их угол обзора. У современных смартфонов он и так достаточно большой из-за небольшого расстояния между линзой и сенсором. Чтобы не делать их еще шире, нужно увеличивать фокусное расстояние, а это повлечет за собой увеличение эффекта глубины резкости. Это хорошо для портретов, но не настолько — для пейзажей.

Суть в том, что 100 Мп в смартфонах не будут работать так, как следует, в современных смартфонах, только если те кардинально не поменяют форм-фактор. Либо же нужно решить проблемы с размером пикселей, качеством линзы, фокусным расстоянием и глубиной резкости.

Преимущества смартфонов со 100-мп камерой

В сфере потребительской электроники сегодня есть две крайности: производители преподносят любое нововведение так, будто бы это настоящая революция, а продвинутые пользователи воспринимают все в штыки.

Все потенциальные недостатки современных мобильных сенсоров можно компенсировать за счет грамотного обращения с ними. Так, у 108-мп камеры от Samsung будет размер 1/1.33" и 0,8-мкм пиксели. Это значит, что шумов не должно быть больше, чем на актуальных камерах, а сам размер позволит захватывать больше света для объединения пикселей.

Также фото в высоком разрешении подойдут для зума. Samsung и Xiaomi уже похвастались двухкратным зумом при сохранении разрешения 27 Мп. А это значит, что со временем получится добраться до значения 3х или даже 5х.

Но стоит понимать, что получать качественные фото в заявленном разрешении все равно не выйдет. Такие камеры все еще будут опираться на объединение пикселей, а 100-мп фото потребуют больших мощностей для обработки.

В большей степени эти сенсоры помогут делать хорошие фото при недостаточном количестве света, а за счет алгоритмов постепенно устранять прочие артефакты.

Все-таки эти цифры — это в первую очередь маркетинг. Поэтому не удивляйтесь, если первые смартфоны со 100-мп камерами не оправдают себя.

Что такое биннинг?

Что такое биннинг?

Биннинг - это способ сгруппировать несколько более или менее непрерывных значения в меньшее количество «ящиков». Например, если вы иметь данные о группе людей, вы можете указать их возраст на меньшее количество возрастных интервалов. Числовые столбцы также могут быть временно сгруппированы, щелкнув правой кнопкой мыши на селекторе столбца и выбрав Столбец с автоматическим подбором.

Также есть возможность сгруппировать категориальные значения в мусорные ведра.Это полезно, когда у вас есть более категориальные значения в столбце. чем вы сочтете нужным. Ваша визуализация может, например, показывать продажи яблок, груш, апельсинов и лаймов, но вас интересуют цитрусовые продажи фруктов по сравнению с

Продажа

яблок и груш. Затем апельсины и лаймы можно сгруппировать. в мусорное ведро.

Примечание. Особый случай использования этот метод биннинга группирует значения, которые написаны с ошибками или отличаются из-за по другим причинам.Например, если столбец содержит такие значения, как «яблоко» и «appel», или «UK» и «United Kingdom», вы можете сгруппировать эти значения в мусорные ведра.

Доступно несколько различных методов группирования. См. Подробности о вставке Binned Column для получения дополнительной информации.

Пример биннинга непрерывных данных:

Таблица данных содержит информацию о количестве человек.

Путем объединения возраста людей в новый столбец данные можно визуализировать для разных возрастных групп, а не для каждого человека.

Пример группировки категориальных данных

Круговая диаграмма показывает продажи на яблоки, лаймы, апельсины и груши.

Ниже апельсины и лаймы сгруппированы в корзину под названием "Цитрусовые".

Вставить объединенный столбец и вычисляемые столбцы

Инструмент группировки, доступный в меню Вставка> Группировка столбца ... создаст новый столбец в вашей таблице данных, указав корзину для каждой строки принадлежит.Такие же результаты получаются при использовании Binning Функции в инструменте «Вставка»> «Вычисляемый столбец». Расчетные бункеры всегда статичны, и каждая строка всегда принадлежит одному и тому же бункеру, независимо на любой фильтрации.

Группирование с использованием пользовательских выражений

При объединении функций (таких как BinByEvenIntervals или BinByEvenDistribution) применяются как пользовательские выражения, результаты операции биннинга зависит от того, оценивается ли выражение оси для всех данных или только для отфильтрованных в данный момент данных.Если будут использованы все данные, вы получите результат, аналогичный расчетным столбцам ячеек выше, с определенным набор мусорных ведер. Однако если учесть текущую фильтрацию, то ячейки пересчитываются с фильтрацией, и пределы ячейки будут динамически обновляется.

По умолчанию учитываются все данные. когда оси оцениваются, но вы можете изменить этот параметр в Визуализации Диалог свойств, щелкнув Настройки... кнопка оси представляет интерес. Смотрите подробности в дополнительных настройках для получения дополнительной информации.

См. Также:

Как использовать Binning

Детали в группе из отмеченных категорий

Биннинг на научных камерах

Биннинг

Биннинг - это процесс объединения зарядов от соседних пикселей в ПЗС во время считывания.Этот процесс выполняется до оцифровки во встроенной схеме ПЗС-матрицы путем специализированного управления последовательными и параллельными регистрами. Двумя основными преимуществами бинирования являются улучшенное отношение сигнал / шум (SNR) и возможность увеличения частоты кадров, хотя и за счет снижения пространственного разрешения.

Чтобы понять процесс, рассмотрим пример биннинга 2 × 2, показанный ниже. Как и при нормальной работе, заряд накапливается в отдельных пикселях, в то время как ПЗС освещается светом.Во время параллельного считывания заряд от двух строк пикселей, а не от одной строки, сдвигается в последовательный регистр. Затем заряд сдвигается из последовательного регистра, по два пикселя за раз, в суммирующую ячейку. Затем он поступает на выходной усилитель, где преобразуется в напряжение перед передачей за пределы микросхемы для дальнейшего усиления и оцифровки. Эта процедура повторяется до тех пор, пока не будет считан весь массив. В результате каждое событие считывания из суммирующей лунки содержит собранный заряд с четырех пикселей на ПЗС-матрице.Следует отметить, что камеры Teledyne Photometrics имеют возможность выполнять группирование в любые произвольные пиксели (суперпиксели) MxN с помощью простого программного управления.

Поскольку и последовательный регистр, и суммирующая ячейка накапливают заряд от нескольких пикселей во время бинирования, они должны иметь достаточную емкость, чтобы предотвратить насыщение. В высокопроизводительных ПЗС регистр последовательного интерфейса обычно имеет емкость заряда в два раза больше, чем у параллельных регистров, а емкость суммирования вдвое больше, чем у последовательного регистра.Однако перед использованием метода биннинга следует отметить и понять спецификации конкретной используемой ПЗС-матрицы. Это особенно верно при работе при высоких уровнях освещения, где насыщение может привести к ошибочному сбору данных.

Основным преимуществом бинирования является более высокое отношение сигнал / шум из-за меньшего шума чтения. Шум чтения ПЗС добавляется во время каждого события считывания, а при нормальной работе шум чтения будет добавляться к каждому пикселю. Однако в режиме объединения шум чтения добавляется к каждому суперпикселю, который имеет комбинированный сигнал от нескольких пикселей.В идеальном случае это дает улучшение отношения сигнал / шум, равное коэффициентам разделения (4x в приведенном выше примере). На рисунке ниже показан эффект объединения 2 × 2 для четырехпиксельной области. В этом примере предполагается, что в каждом пикселе собрано 10 фотоэлектронов, а шум чтения составляет 10 электронов. Если эта область считывается в нормальном режиме, отношение сигнал / шум будет 1: 1, и сигнал будет потерян в шуме. Однако при биннинге 2 × 2 отношение сигнал / шум становится 4: 1, чего достаточно для наблюдения этого слабого сигнала.

В отличие от шума чтения, шум темнового тока не уменьшается путем объединения, поскольку каждый пиксель вносит свой вклад в шум темнового тока в суперпикселе.Чтобы гарантировать, что шум темнового тока не снижает SNR во время бинирования, важно, чтобы ПЗС был достаточно охлажден, чтобы снизить шум темнового тока до незначительного уровня по сравнению с шумом чтения.

Одним из наиболее распространенных приложений бинирования является спектроскопия. В спектроскопических системах CCD диспергированные изображения щелей лежат вдоль столбцов CCD (перпендикулярно последовательному регистру), а полученные изображения затем объединяются по столбцам. Таким образом, биннинг обеспечивает заметное увеличение отношения сигнал / шум без потери спектрального разрешения.Теряется пространственное разрешение вдоль оси щели, но обычно это не вызывает беспокойства.

Еще одно применение биннинга - увеличение частоты кадров. Поскольку самым медленным шагом в последовательности считывания является оцифровка данного пикселя, можно использовать бининг для увеличения эффективной общей частоты кадров данной системы. Таким образом, можно получить изображения с высоким разрешением и высоким разрешением, когда требуется высокая скорость (например, при фокусировке), и полнокадровые изображения с высоким разрешением, когда требуется максимальное разрешение.Поскольку всем этим можно управлять с помощью программного обеспечения, цифровые камеры Teledyne Photometrics чрезвычайно гибки и могут использоваться в широком спектре приложений для аналитической обработки изображений.

Что такое биннинг? Базовое определение

Биннинг - это термин, используемый поставщиками для категоризации компонентов, включая процессоры, графические процессоры (также известные как видеокарты) или комплекты ОЗУ , по качеству и производительности. Хотя компоненты предназначены для достижения определенного уровня производительности, иногда конечный продукт не соответствует этим стандартам из-за сложностей, связанных с производством компонентов ПК.После изготовления поставщики проводят испытания и отбирают компонент в зависимости от результатов его работы.

Вот упрощенный пример. У Intel есть стандарты производительности, управления питанием и тепловыделения для своих процессоров Core i5. Если процессор не соответствует этим стандартам, Intel вместо этого выберет его как процессор i3. Однако, поскольку процессоры Core i5 имеют четыре ядра , , а процессоры i3 имеют два, Intel отключит два (вероятно, неисправных) ядра процессора, чтобы продать его как двухъядерный процессор.Таким образом, вполне возможно, что процессор i3 вашего настольного компьютера должен был быть i5, но не соответствовал стандартам производительности, поэтому Intel отключила два своих ядра, чтобы превратить его в i3.

И поставщики могут отказываться от высокопроизводительных компонентов, отключая некоторые из своих возможностей и продавая их как более низкопроизводительные для удовлетворения своих собственных потребностей в спросе и предложении. Например, если высокопроизводительные процессоры сейчас не так популярны, предложение будет высоким. Поставщик может отключить вычислительные блоки в некоторых из этих высокопроизводительных процессоров, чтобы они соответствовали более востребованному массовому рынку и имели больше шансов на продажу.

Эти процессы также могут происходить с графическими процессорами или оперативной памятью, когда поставщики отключают вычислительные блоки и помещают продукт в категорию с более низкой производительностью.

В качестве альтернативы, продолжая пример процессора Intel, процессоры, которые предлагают более высокие тактовые частоты среди других процессоров той же модели, могут быть объединены в линейку процессоров Intel K (обозначаемых буквой «K» в конце их имени), которые разблокированы и, следовательно, могут быть разогнаны. В мире ЦП эти различия в производительности одних и тех же моделей ЦП связаны со сложными нюансами производства ЦП.Да, два процессора с одинаковым номером модели могут иметь разную производительность. Эти неопределенности упоминаются как лотерея кремния .

Эта статья является частью Tom's Hardware Glossary .

Дополнительная литература:

Что такое биннинг?

Группирование

Доступно три типа группировки: горизонтальная сортировка, вертикальная группировка и полная сортировка. Биннинг в целом объединяет информацию о соседнем пикселе в результирующую информацию в зависимости от режима биннинга.Это в любом случае приведет к уменьшению разрешения на коэффициент биннинга. Но также он суммирует производительность каждого отдельного пикселя.

Группирование будет в основном использоваться с монохромными камерами, и к ним будет применяться следующее объяснение. Цветные камеры имеют шаблон Байера, где, в отличие от них, необходимо учитывать пиксель с тем же выделенным цветом.

Группирование в камерах CCD

В то время как вертикальное разбиение применяется путем сдвига нескольких строк датчика в горизонтальный регистр без промежуточного считывания, горизонтальное разбиение реализуется путем многократного сдвига горизонтальных регистров без сброса выходного узла.

Следовательно, биннинг увеличивает чувствительность камеры к свету за счет суммирования зарядов от соседних пикселей в ПЗС-датчике. При горизонтальном бининге суммируется несколько соседних пикселей в каждой строке датчика (см. Пример чертежа с биннингом = 2 ниже). При вертикальном биннинге суммируются пары соседних пикселей из двух строк в датчике. Полный биннинг - это комбинация горизонтального и вертикального биннинга, в которой суммируются двухмерные смежные пиксели.

Использование горизонтального или вертикального двойного биннинга обычно увеличивает чувствительность камеры до двух раз.Полный биннинг увеличивает чувствительность до четырех раз по сравнению с нормальной. Поскольку шум считывания каждой операции считывания теперь применяется только к меньшему количеству результирующей информации о пикселях, отношение сигнал / шум (SNR) увеличивается из-за снижения шума при более высоком объединенном сигнале. На некоторых моделях камер использование горизонтального или полного объединения увеличивает максимальную частоту кадров камеры (это не верно для всех камер и зависит от архитектуры датчика, используемого в камере). Это связано с меньшими усилиями по оцифровке.

Биннинг в CMOS-камерах

Биннинг с CMOS-сенсором имеет принципиально ту же идею комбинирования пикселей, что и CCD-сенсоры, но благодаря независимому считыванию пикселей реализация более гибкая. Хотя процесс группирования зарядов все еще может складывать информацию о нескольких пикселях, позволяя менять разрешение изображения для улучшенной работы в условиях низкой освещенности, возможен и другой процесс. Это называется усреднением и строит среднюю информацию исходного пикселя до пикселя результата с преимуществом уменьшения шума в информации результата.

Создайте формулу биннинга в столбце таблицы данных

Составьте формулу биннинга в столбце таблицы данных

Вы можете распределить данные по ячейкам с помощью параметра "Создать формулу объединения". Выберите столбец или столбцы, которые вы хотите разделить на ячейки, и выберите Cols> Utilities> Make Binning Formula. Отображаются гистограмма интервалов и легенда метки значения, а также меню с красным треугольником, которое содержит параметры для определения точек отсечения. Есть несколько способов добавить точки отсечения, удалить точки отсечения и отрегулировать размеры бункера.

• Щелкните гистограмму правой кнопкой мыши, чтобы добавить или удалить точки отсечения.

• Щелкните и перетащите вертикальные линии на гистограмме, чтобы настроить размеры ячеек.

• Измените поля рядом с метками значений точки отсечки, чтобы отредактировать значения точки отсечки и отрегулировать размеры бункера.

• Используйте кнопки добавления и удаления над легендой метки значения для добавления и удаления строк, что эквивалентно добавлению и удалению контрольных точек.

• Используйте кнопки отмены и возврата, чтобы отменить или повторить действия, выполненные в настройках корзины.

Есть возможность добавить столбцы формул для точек разделения в таблицу данных.

Параметры правой кнопки мыши для создания формулы биннинга

Щелкните правой кнопкой мыши гистограмму в окне «Создать формулу биннинга», чтобы выбрать следующие параметры:

Добавить точку отсечения

Добавляет линию точки отсечки на гистограмму в том месте, где был щелчок.

Удалить точку отсечки

Удаляет линию точки отсечения.Этот параметр доступен только в том случае, если вы щелкните правой кнопкой мыши существующую точку отсечения.

Количество показов

Показывает или скрывает количество над полосами.

Показать проценты

Показывает или скрывает проценты над полосами.

Подмножество

Создает таблицу данных подмножества на основе текущего выбора.

Образец заливки

Задает образец заливки для столбцов гистограммы.

Параметры красного треугольника для точек отсечки

Красный треугольник Cutpoints содержит следующие параметры:

Заполнение с использованием интервалов одинаковой ширины

Задает начало (смещение) и ширину ячейки. JMP заполняет таблицу до тех пор, пока не пройдут максимально возможные значения. Например, если вы введете смещение = 50 и ширину = 10, а ваше наибольшее значение данных будет 95, вы получите следующие интервалы: 50, 60, 70, 80, 90, 100.

Заполнить с использованием счетчика бункеров

Задает начало, конец и количество бункеров.JMP делит пространство между началом и концом поровну на количество бункеров. Если вы измените количество бункеров, указанная ширина бункера автоматически обновится в окне.

Заполнить с использованием процентилей

Задает процентное значение от 1 до 50. JMP делит диапазон данных на этот квантиль. Например, если вы укажете процентиль 20, вы получите пять интервалов равного веса.

Заполнить с использованием среднего / стандартного отклонения

Определяет точки отсечения бункера, которые должны быть установлены как среднее значение данных плюс первое, второе или третье стандартное отклонение от среднего значения в зависимости от вашего выбора в окне.

Заполнить с помощью Jenks Natural Breaks

Определяет количество ячеек и создает точки разделения ячеек, так что дисперсия внутри каждого ящика минимизируется, а дисперсия между ячейками максимизируется.

Этикетка для ящика

Указывает, отображаются ли метки значений вместо значений данных.

Используйте метки значений

Показывает метку вместо значения, показанного в новом столбце формулы, определяющем ячейки.

Используйте ярлыки диапазонов

Включает в метку нижнее и верхнее значения для каждого диапазона.

Без этикеток

Использует значение нижнего края в качестве метки.

Персонаж

Применяет символьный тип данных. Формула производит метки.

См. Ярлыки значений.

Совет: метки значений рекомендуются на большинстве платформ, многие из которых не поддерживают метки диапазонов.В категориальной платформе вы должны использовать метки значений. На некоторых осях вы можете обнаружить, что метки диапазонов более четко определяют значения, или вы можете попробовать настроить смещение и ширину для оси.

Стиль этикеток ящика

Задает предварительную настройку, которая определяет, как выходные метки значений или символы будут выглядеть в таблице.

низкий-высокий

Определяет метки значений по самой низкой и самой высокой точкам каждой ячейки. Формат - низкий-высокий.

По возрастанию

Определяет метки значений по самой низкой и самой высокой точкам каждой ячейки. Формат - от низкого к высокому.

Низкий, Высокий

Определяет метки значений по самой низкой и самой высокой точкам каждой ячейки. Формат - Низкий, Высокий.

Low-High-1 (целые числа)

Определяет метки значений по самой низкой точке и на единицу меньше самой высокой точки каждой ячейки. Формат: низкий-высокий-1.

от младшего к старшему-1 (целые числа)

Определяет метки значений по самой низкой точке и на единицу меньше самой высокой точки каждой ячейки. Формат - от низкого к высокому-1.

[Low, High) (математический)

Указывает, что нижнее значение входит в диапазон, а верхнее значение - нет. Например, если ваш диапазон составляет [50,60), тогда в корзине будет значение 50, а значение 60 - нет.

Низкая

Определяет метки значений по самой низкой точке каждой ячейки.

Средняя точка

Определяет метки значений по средней точке каждой ячейки.

Целочисленная последовательность

Определяет метки значений последовательностью последовательных целых чисел. Определите начальное целое число в окне Метки целочисленной последовательности.

Прописные буквы по алфавиту

Определяет метки значений как прописные буквы в алфавитном порядке.

Строчные буквы по алфавиту

Определяет метки значений в виде строчных букв в алфавитном порядке.

На заказ

Позволяет вводить собственные метки значений.

Формат столбца

Задает форматирование меток значений. По умолчанию применяется формат столбца. Однако вы можете захотеть переопределить настройку (например, изменить формат на доллар). Этот параметр наиболее полезен, если формат столбца похож на лучший, но вы действительно хотите, чтобы в ваших ячейках не было десятичных знаков. Вместо того, чтобы очищать все метки значений, вы указываете формат.

Гистограмма

Указывает, будут ли отображаться счетчики или проценты над полосами.

Показать Очки

Показывает или скрывает наблюдаемые точки данных под столбцами.

Изменить масштаб оси

Возвращает ось к исходному масштабу.

Отзыв

Заполняет окно «Создать формулу бинирования» последними выполненными вами действиями по биннингу.

Сделать все как X

(отображается, только если выбрано несколько столбцов.) Применяет выбор, сделанный для первого столбца (X), к остальным столбцам в диалоговом окне.

Создание столбцов формул

Создает столбцы формулы и закрывает окно.

Совет. После создания столбца формулы вы можете отредактировать формулу, щелкнув правой кнопкой мыши заголовок столбца и выбрав «Редактировать формулу объединения». При этом снова откроется окно «Создать формулу биннинга». Чтобы обновить столбец формулы биннинга, отредактируйте точки разделения и нажмите «Обновить столбец».

Пример создания формулы биннинга

1. Выберите «Справка»> «Библиотека образцов данных» и откройте файл Big Class.jmp.

2. Выберите столбец высоты.

3. Выберите Столбцы> Утилиты> Создать формулу биннинга.

Вы хотите, чтобы диапазон значений отображался как X-X, поэтому в стиле ярлыка корзины оставьте диапазон, установленный на низкий - высокий.

4. Щелкните красный треугольник Cutpoints и выберите Fill using Equal Width Bins.

5. В открывшемся окне измените смещение на -0,5.

Совет: для целочисленных данных установка смещения на -0,5 помогает устранить неоднозначность значений на краю. В этом примере одна из ячеек охватывает 59,5–64,5, поэтому ясно, что 59 и 65 не включены в эту ячейку.

6. Оставьте ширину равной 5.

7. Щелкните OK.

8. Сохраните настройку «Ярлык ящика» для «Использовать метки значений», чтобы можно было видеть диапазон значений для ящика.

Рис. 4.39. Окно «Завершенное группирование»

9. Щелкните «Создать столбец формулы».

В таблицу данных Big Class.jmp добавляется столбец с названием «Binned по высоте».

10. Чтобы увидеть, как вычисляется формула, щелкните правой кнопкой мыши столбец с разбивкой по высоте и выберите «Формула».

Рисунок 4.40 Формула

Что такое биннинг пикселей в камерах CCD? - Oxford Instruments

ПЗС-матрицы - очень универсальные устройства, и их шаблон считывания можно изменять для достижения различных эффектов.Один из наиболее распространенных эффектов - Binning . Биннинг позволяет объединять заряды от соседних пикселей, и это может дать преимущества в виде более высокой скорости считывания и улучшенного отношения сигнал / шум, хотя и за счет снижения пространственного разрешения.

Однопиксельное считывание против биннинга 2x2

Чтобы понять этот процесс, давайте сравним процесс считывания одиночного пикселя и показанный процесс бининга 2 x 2 . Если мы рассмотрим пятно света, равномерно освещающее четыре пикселя нашей миниатюрной ПЗС-матрицы.ПЗС имеет светочувствительную область всего из четырех пикселей и регистр считывания, изображенный синим цветом в нижней части ПЗС. Световой сигнал индуцирует заряд в 20 электронов в каждом из четырех пикселей, что показано их затенением и числами в правом нижнем углу пикселя.

1. Свет равномерно падает на четыре пикселя и создает заряд 20e в каждом из четырех пикселей.

2. Первая операция - сдвинуть заряд на одну строку вниз. Заряд самых нижних пикселей сдвигается в считывающий регистр.

3. При считывании одного пикселя заряд в считывающем регистре сдвигается вправо в усилитель считывания. В операции группирования заряд снова сдвигается вниз, и заряд из первой строки добавляется к первой строке в регистре считывания.

4. При считывании одного пикселя считывается первый пиксель, в то время как регистр считывания снова сдвигается, чтобы сдвинуть заряд во втором пикселе в усилитель считывания. В операции бинирования суммарный заряд двух правых пикселей сдвигается в усилитель считывания.

5. При считывании одного пикселя следующая строка сдвигается по вертикали в регистр считывания. В операции биннинга регистр считывания снова сдвигается, чтобы суммировать заряд от 4 пикселей в усилителе считывания перед считыванием.

6. В режиме считывания одного пикселя регистр считывания снова сдвигается вправо для считывания следующего пикселя. Операция с бункерами завершена.

7. При считывании одного пикселя регистр считывания снова сдвигается вправо для считывания последнего пикселя.

Важно выделить основные различия в двух схемах считывания. В первом мы достигаем полного пространственного разрешения, предлагаемого датчиком. В примере Binned мы уменьшили шаблон из 4 пикселей до одного пикселя и, следовательно, потеряли пространственное разрешение. Однако операция биннинга требует меньше шагов для считывания показаний датчика и, следовательно, быстрее. Как правило, биннинг 2x2 выполняется в два раза быстрее; это достигается за счет необходимости сдвигать регистр считывания только каждые 2 вертикальных сдвига.Если бы мы использовали биннинг 3x3 или 4x4 на ПЗС, то считывание было бы соответственно в 3 и 4 раза быстрее.

Биннинг-пример также показывает, как биннинг улучшает отношение сигнал / шум . Если предположить, что наш CCD имеет шум считывания 10e. Затем в примере с одним пикселем каждый пиксель считывается с шумом 10e, следовательно, мы получаем отношение сигнал / шум 2: 1 (20e / 10e). Даже если мы впоследствии просуммируем четыре пикселя в компьютере после считывания, отношение сигнал / шум станет 4: 1.При добавлении четырех пикселей мы суммируем сигнал (4 раза по 20e, то есть 80e), и шум добавляется в квадратуре, то есть квадратный корень из суммы шумов в квадрате (квадратный корень из 4 умножить на 10 в квадрате, то есть 20e). В примере с дискретизацией шума нет до тех пор, пока сигнал не будет считан усилителем, поэтому отношение сигнал / шум составляет 8: 1 (80e / 10e), то есть вдвое лучше, чем в режиме считывания одного пикселя.

Спектроскопия

Одним из наиболее распространенных приложений бинирования является спектроскопия .В спектроскопических системах CCD спектральная линия обычно представляет собой изображение щели, сформированной на CCD. Изображение щели обычно имеет высокое соотношение сторон, то есть очень длинное и тонкое и ориентировано перпендикулярно регистру считывания. Теперь сигнал от одной спектральной линии может быть разделен на интервалы для достижения наилучшего отношения сигнал / шум без какого-либо ухудшения спектрального разрешения.

Просмотр серий iKon-XL и iKon Large CCD от Andor

Биннинг

в интеллектуальном анализе данных - GeeksforGeeks

Биннинг данных, ведение - это метод предварительной обработки данных, используемый для минимизации влияния небольших ошибок наблюдения.Исходные значения данных делятся на небольшие интервалы, известные как интервалы, а затем они заменяются общим значением, вычисленным для этого интервала. Это оказывает сглаживающий эффект на входные данные и может также снизить вероятность переобучения в случае небольших наборов данных.

Есть 2 метода разделения данных на интервалы »

  1. Биннинг с одинаковой частотой: интервалы имеют одинаковую частоту.
  2. Группирование с одинаковой шириной: ячейки имеют одинаковую ширину, диапазон каждой ячейки определяется как [min + w], [min + 2w]….[min + nw], где w = (max - min) / (количество ячеек).

Равная частота

  Ввод: [5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215] 
  Выход:
[5, 10, 11, 13]
[15, 35, 50, 55]
[72, 92, 204, 215]
 
 

Равной ширины

  Ввод: [5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215] 
  Выход:
[10, 11, 13, 15, 35, 50, 55, 72]
[92]
[204]
 
 

Код: Реализация техники объединения



def equifreq (arr1, m):

)

n = int ( / м)

для i м):

arr = []

для j дюйм диапазон (i * 1 ) * n):

если j> = 90 469 a:

разрыв

arr = arr + [arr1 [j]]

печать

def Equiwidth (arr1, m):

a = len (arr1)

w макс. (arr1) - min (arr1)) / м)

min1 = 9 мин. arr = []

для i в диапазоне 9046 8 ( 0 , м + 1 ):

arr = arr + [min1 [min1 ] i]

arri = []

для i

темп. = []

для j дюйм arr1:

4 i46r 909 909 909 и j < = arr [i + 1 ]:

темп. + = [j]

arri + = [temp]

arri000

данных = [ 5 , 10 , 11 , 13 , 15 , , 55 , 72 , 92 , 204 , 215 ]

м 3000

0 print
( "бинирование равной частоты" )

equifreq (data, m)

print ( "\ n \ nequal width binning" )

equiwidth (данные, 3 )

1

1 9

Выход: равная частота дискретизации [5, 10, 11, 13] [15, 35, 50, 55] [72, 92, 204, 215] биннинг одинаковой ширины [[10, 11, 13, 15, 35, 50, 55, 72], [92], [204]]

Внимание компьютерщик! Укрепите свои основы с помощью курса Python Programming Foundation и изучите основы.

alexxlab

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *