Будь любезен, тыркни пальчиком хоть в один?

Хуяссе, и сколько ифов в структуре сверточной сети? Или трансформера?

ты слишком сложные коментарии пишешь. Мне это не нравится. Зачем ты так делаешь?

еще скажи что перемножение матриц нельзя написать с помощью if-ов)

Ещё скажи, что if-ы нельзя реализовать нелинейной функцией. 
 
Тогда уж, если мы любую нелинейность за ифы принимаем, жду аналогичного комикса, где эти ифы из человека сыпятся, хули, активация биологических нейронов-то тоже нелинейная.

не, не так. надо апрроксимировать поведение if-ов нелинейной функией, работающей поверх машины тьюринга, реализованной внутри нейросети

Во, вот такой мемасик я б плюсанул)

Понимаешь, я тоже люблю поржать над всякой хуйней, но вот эта шутейка мало того, что была уже давным-давно исполнена в виде известного комикса буквально с тем же панч-лайном, так ещё и была актуальной примерно лет 15 назад, когда основной технологией машинного обучения были экспертные системы и деревья решений. Сейчас, уже много лет как основная технология - нейронные сети, и эта шутка просто бессмысленна. Ну то есть это даже не прикол для даунов, а просто чувак повторил когда-то услышанную фразу, не имеющую отношения к реальности. 
 
Типа знаешь, представь, что там вместо машинного обучения и прочего написано "цифровая электроника", а самая соль шутки, надпись на собачке - "ЛАМПЫ". 
"Нет, ну вы поняли, лампы, да? Вот умора!!!". 
 
И вот смотришь на то, как один за другим чуваки просто повторяют "Лампы! А-ха-ха!" и раз за разом делают вымученные мемчики, которые десятилетия как протухли) 
 
В целом, не парься - ну не нравится, да и хуй с ними. Зато может теперь кто прочтет и подумает "о, бля, так на самом деле это не так?", может заинтересуется темой.

1. В штуке которая результат выодного слоя FC с свёрточной сети сортирует в порядке убывания и выводит наружу топ 10 из них например. 
2 В хард клиппинге есть иф или минимум на ифе т.е. в той где отсечка по 6.0 например. 
3. В проверке того что 3х3 ядро не вышло за границы изображение или в паддинге которое добавляет по пустые поля чтоб 3х3 и более ядро не косячило. 
4. В трансмутации на входе - чтоб преобразовать RGB с каждого пикселя в матрицы R, G, B 
5. В циклах которые проходятся ядром 3х3 и более в начале по Х потом по Y. внутри тоже ты не поверишь юзают циклы. 
6. Во всяких служебных штуках для обучения и проверки и отладки 
Продолжать? 
(если что я имплементировал это гавно как на ардуинке так и в FPGA и своём чипе, т.е. от Kerasa на пайтоне до самого нижнего уровня - топологии кристалла)

Алсо, а где и нахуя вы такие чипы делали? 
Это в РФ? Коммерческие, или просто для себя экспериментировал, без заказа кристаллов? 
 
Интересно, где у нас сейчас этим занимаются и какие результаты.

Блин, ты меня опередил. :(

Я тоже имплементировал. И, раз ты этим тоже занимался, значит, наверное, должен понимать, что все, что ты назвал - это вспомогательный код, который обеспечивает целостность данных - ты сам посмотри, у тебя в каждом пункте "чтоб не косячило", "для проверки", "для отладки". 
Ничего из этого не является частью структуры сети, которая проводит вычисления, это обвязка, чтобы это все можно было безболезненно стыковать с внешним кодом. 
Само вычисление совершенно спокойно реализуется монолитной структурой, в которой только умножение с накоплением и нелинейные функции, в которой информация течет от входов к выходам безо всякого ветвления. 
Ядром, кстати, в циклах проходят только если считать в лоб на CPU, на GPU эти ядра вообще в параллель считаются, ты же сам знаешь, что тебе вообще ничего не мешает хоть по отдельному кристаллу на ядро сделать, лишь бы в выход атомарно данные писались. 
 
Ты при желании можешь взять катушку, накрутить на нее несколько обмоток, чтоб соотношение их витков соответвовало заранее просчитанным коэффициентам, а в качестве нелинейности использовать диод, или какую-нибудь хуйню на операционнике, или нелинейность магнитопровода, и подавать на вход данные синусами разной амплитуды. 
И она точно так же тебе посчитает выходные значения, не только без ифов, но и без кода.

оно без служебного кода заведётся? НЕТ, значит они нужны. 
ну как ты иначе сделаешь циклы и тд? 
будто в GPU нет скрытых if ов хотябы для паддинга циклов и тд? 
 
да даже в коде Verilog было ифов - моё почтение. Оно конечно превращается в сумматор и его знак переноса которым маскируется или управляется цикл но всё же это тот же иф на основе test или jnz после sub counter - основа та же самая, вычесть и проверить знак переноса. 
 
"катушку, накрутить на нее несколько обмоток" - только вот это физически же нереально даже для MNIST сетки (которая распознаёт одну рукописную цифру). Так что предлагаю не теоретизировать там где на практике не применимо.

не страны СНГ. до заказа кристаллов не дошло, только эмуляция на уровне топологий и тд 
там было прикольно то что на 1500фпс сетка работала на частоте меньше чем RGB пиксели поступали. т.к. входной слой сразу считал 3x3 за такт. и вообще вся сеть это один гигансткий конвеер почти в два кадра. ДОХРЕНИЩА DSP ядер было. Латентность овер миллон тактов.

Схуяли это для мниста-то не применимо? 
А первые эксперименты с нейросетями по-твоему на чем делали? Маккалок и Питтс, разработчики ранних моделей перцептрона? У них был вообще аналоговый компьютер, со входом 20х20 пикселей, там где ифы? Я уж не говорю о современных аналогово-цифровых нейропроцессорах. 
Ну камон, я понимаю, когда спорят те, кто в этом не шарят, но ты-то нафига, ты же сам это все знаешь. 
 
И то, что сетка вообще задаётся одной дифференцируемой функцией, за счёт чего, блин, ее и учат - потому что градиенты функции ошибки от выходов ко всем входам текут - то есть у тебя буквально есть выражение для значения каждого выхода как функция от входа и коэффициентов, то есть ты буквально, при желании можешь записать ручками эту формулу и просто подставить числа, безо всяких ифов. 
 
Понятно же, что такие шутейки - это "а-ха-ха, вы это называете ИИ, а там все просто ифами расписано" - и люди это читают и думают, что реально сети информацию обрабатывают через кучи ифов. 
В то время к мой поинт был в том, что в реальности вычисления проводит такая вот хитровыебанная функция, которую при большом желании можно записать просто в виде математического выражения, и которая, как правило, вообще будет дифференцируемой, а ифы там это все только окаймляют, потому что люди же не ебанутые, чтобы проверки данных и прочую стандартную хуйню без ифов реализовывать.

То, что это дрочь - это само собой) Но ты-то вот суть понимаешь, а многие делающие такие мемы - нет. И проблема не в мемах, конечно, а в том, что вот эта суть, "работает чисто на математике" - она важна, чтобы понимать, что такое современнное машинное обучение и не нести потом хуйню про него, а эта настрявшая в зубах шутейка про ифы ещё больше людей с толку с сбивает.

и вообще то я не утверждал что нейронка работает на базе офов - она работает только на математике, в задумке и смысле нейронки нет никаких ветвлений да. 
Но без скрытых неявных ифов в реальном мире её реализовать тот ещё дроч и очень очень мало реально.

нахуя? - стартап хотел попробовать в железо. в основном для всяких скоростных станков

Ну вон я ниже писал - на реле понятно, что это не особо нужно, хотя и прикольно. 
Но вон чуваки делают на кристалле аналоговую сетку. Я не думаю, что они дрочатся "чтоб ифов не было", не в том же суть. Просто они все эти проверки данных, видимо, выносят туда, где от ифов отказываться не надо, выше уровнем, а внизу оставляют аналоговую херню, которая эту функцию считает. 
Они подробностями не делились, но я думаю, там тупо большое входное поле, типа в твоём примере больше 5х5, и они по центру размещают актуальные входные данные, остальное оставляя нулем - чисто в той части их пайплайна, в которой это можно без дрочки делать. 
Так как ниже хуйня аналоговая, ей похуй, 5х5 ты считаешь или 512х512, там же нейроны аппаратные, а не цифровой конвейер из умножителей и регистров. 
Считай, у них на нижнем уровне реализована аппаратная свёртка с большим входным полем, а вспомогательный код (и вспомогательные цифровые блоки) снаружи смотрит за тем, чтобы размещать и забирать результаты с правильным смещением.

А, не СНГ. Эх, блядь... 
 
Я тут видел (как раз к слову об аналоговых сетях и отсутствии ифов), что чуваки из одного стартапа реализовали нейропроцессор на кастомных транзисторах вместо нейронов. Они взяли мосфеты и заюзали их не в ключевом режиме - ну то есть, представляешь флешку, да? Где заряд под затвором транзистор отпирает? 
Вот они типа такого сделали, только там не просто "есть заряд/нет заряда", а с возможность транзистор "приоткрыть" на нужную величину, то есть появилась возможность сразу нейроны и связи между ними с коэффициентами сделать на кристалле, без DSP. 
Учить на них, конечно, нельзя, но инфиренс, по их словам, богический - из-за того, что это аналоговая хуйня, а не эмуляция через dsp, они сверхмало жрут. 
 
Это у Veritasium было на канале, кажется.

&gt;Схуяли это для мниста-то не применимо? 
разрешаю, делай, а потом продай, вот тогда и поговорим 
а то можно до запаха горелой кожи надрачивать на всякие компы на реле, или в майнкрафте. Да прикольно но нехрена не практично. Но принципиально невозможно добиться дешевизны и технологичности. 
 
Поинт понятен. 
Я с ним полностью согласен что это гигантская функция. 
Но как её записать с учётом краёв? ;) 
Помоги пожалуйста мне дурачку. давай начнём с простого - свёртка матрицы 5х5 ядром 3х3 с шагом 1 и 1 по ху, коэф 1,2,3, 4... 9 для простоты. без RELU и прочих хард-софт клипингов. Просто такую тривиальную свёртку можешь расписать без ифов даже математических с учётом краёв и заполняющего нулями паддинга? 
(просто на работе тебе дают модель, говорят портировать и оптимизировать и дрючить будут чтоб выход был равен эталону бит в бит, солой в слой, ебись как хошь)

ну капец просто... бесит ебать... в нейронке больше суммирования и умножения чем условий.

﻿■••.statistics.... / it humor :: geek :: ai

■••.statistics.... / it humor :: geek :: ai