ouvrir

Une bibliothèque standard pour le traitement d'images. Le traitement d'image est intéressant. Je veux faire AR VR. La fonction AR est certainement une extension, donc la méthode d'installation est différente. Je dois construire à partir de zéro. De plus, il est gênant que les paramètres soient différents pour chaque fonction d'extension. Par conséquent, je vais l'omettre cette fois.

Cet échantillon unitaire est un atout payant. La précision est médiocre car les parties telles que les yeux sont estimées par la cascade porc + d'ouverture. スクリーンショット 2017-03-24 9.18.54.png

Détection de rectangle スクリーンショット 2020-05-29 22.28.34.png

https://github.com/shibatch/rectdetect https://www.youtube.com/watch?v=HpaY0HOomAI https://www.youtube.com/watch?v=BLJEYui0XcY

Détecté en mouvement

https://shibata.naist.jp/~n-sibata/software/baum/ https://www.youtube.com/watch?v=KtO5TxG4T0M

vidéos openencv http://miyamotok0105.hatenablog.com/entry/2017/03/12/182056

Environnement d'exploitation Opencv

mac linux gagner (je vais omettre cette fois.)

environnement de langage opencv

Je pense que cela fonctionne dans plus de langues, mais je vais me concentrer sur ce qui suit. Je peux l'écrire en langage c, mais dans mon cas, j'ai dû utiliser le compilateur g ++. Cependant, il est possible d'utiliser la source écrite en langage c.

C http://opencv.jp/opencv-2svn/c/ http://opencv.jp/opencv-2svn_org/c/ C++ http://opencv.jp/opencv-2svn/cpp/ http://opencv.jp/opencv-2svn_org/cpp/ python http://opencv.jp/opencv-2svn/py/ http://opencv.jp/opencv-2svn_org/py/

Avec opencv2 et opencv3

http://tatsyblog.sakura.ne.jp/wordpress/programming/cpp/662/

Ce domaine semble avoir changé. cv::imread cv::cvtColor cv::TermCriteria cv::VideoCapture::get cv::PCA

Environnement de développement Python

Installation de Python (mac, linux)

J'ai noté la plus courte car il y avait beaucoup de grandes humeurs. Pour ceux qui sont python, c'est le plus court à saisir avec conda. Je n'ai pas écrit sur conda ici. Si vous voulez construire à partir de zéro, vous devriez le faire lorsque vous avez un peu de temps.

Pour conda

conda install -c menpo opencv=2.4.11
or
conda install -c menpo opencv3=3.1.0

Pour construire

Ça prend beaucoup de temps.

git clone https://github.com/Itseez/opencv.git
cd opencv
mkdir build
cd build
cmake ..
make -j4 or make -j8
sudo make install

J'ai joué avec les options quand j'étais malade d'azur.

cmake -D WITH_OPENMP=ON -D CMAKE_BUILD_TYPE=RELEASE -D BUILD_opencv_python2=Off  -D BUILD_opencv_python3=On -D PYTHON2_EXECUTABLE="" -D PYTHON2_INCLUDE_DIR="" -D PYTHON2_LIBRARY="" -D PYTHON2_PACKAGES_PATH="" -D OPENCV_FORCE_PYTHON_LIBS=On -D PYTHON3_PACKAGES_PATH=$PYTHON3_PACKAGES_PATH -D CMAKE_INSTALL_PREFIX=$LOCAL_PREFIX -D WITH_CUDA=Off -D BUILD_opencv_photo=OFF -D BUILD_opencv_shape=OFF -D BUILD_opencv_video=OFF -D ENABLE_NEON=OFF -D WITH_DC1394=ON -D WITH_FFMPEG=OFF ..

Désinstaller Python

Si cela ne fonctionne pas, je peux le mettre et l'effacer plusieurs fois. Dans certains cas, plusieurs versions se chevauchaient ou, dans certains cas, il était préférable de toutes les effacer une fois. Veuillez noter que la version peut être obsolète.

Pour conda

S'il y en a beaucoup, effacez-les tous
conda uninstall -c menpo opencv=2.4.11
conda uninstall opencv
conda uninstall opencv3
Vérifiez si tout a disparu
conda list | grep opencv

Pour construire

sudo make uninstall

Essayez de courir avec Python

`Environnement d'exploitation que vous essayez`


pyenv
anaconda
python2.7
mac

Légende de la caméra

Dans le cas d'un ordinateur équipé d'un appareil photo, votre visage apparaîtra soudainement. Si vous n'avez pas de numpy, entrez-le.

pip install numpy

`sample.py`


# -*- coding: utf-8 -*-
import numpy as np
import cv2

cap = cv2.VideoCapture(0)

while(True):
    # Capture frame-by-frame
    ret, frame = cap.read()

    # Our operations on the frame come here
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # Display the resulting frame
    cv2.imshow('frame',gray)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# When everything done, release the capture
cap.release()
cv2.destroyAllWindows()

Fonctionnalités de type Haar

Découpez une partie de l'image et calculez la différence locale de luminosité. Classez les catégories en fonction de leurs caractéristiques.

Vidéo de l'image de l'algorithme. Vous pouvez le voir en le regardant. https://vimeo.com/12774628

Obtenez xml de git et spécifiez. https://github.com/opencv/opencv/blob/master/data/haarcascades

Nom du fichier	Contenu
haarcascade_eye.xml	yeux
haarcascade_eye_tree_eyeglasses.xml	lunettes
haarcascade_frontalcatface.xml	Visage de chat (avant)
haarcascade_frontalcatface_extended.xml	Visage de chat (avant)
haarcascade_frontalface_alt.xml	Face (avant)
haarcascade_frontalface_alt2.xml	Face (avant)
haarcascade_frontalface_alt_tree.xml	Face (avant)
haarcascade_frontalface_default.xml	Face (avant)
haarcascade_fullbody.xml	tout le corps
haarcascade_lefteye_2splits.xml	œil gauche
haarcascade_licence_plate_rus_16stages.xml	Plaque d'immatriculation russe (entière)
haarcascade_lowerbody.xml	Bas du corps
haarcascade_profileface.xml	Visage (photo d'épreuve)
haarcascade_righteye_2splits.xml	œil droit
haarcascade_russian_plate_number.xml	Plaque d'immatriculation russe (numéro)
haarcascade_smile.xml	Sourire
haarcascade_upperbody.xml	haut du corps

`sample.py`


#python2
import cv2
import sys

cascPath = sys.argv[1]
faceCascade = cv2.CascadeClassifier(cascPath)

video_capture = cv2.VideoCapture(0)

while True:
    # Capture frame-by-frame
    ret, frame = video_capture.read()

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.1,
        minNeighbors=5,
        minSize=(30, 30),
        flags=cv2.CASCADE_SCALE_IMAGE
    )

    # Draw a rectangle around the faces
    for (x, y, w, h) in faces:
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)

    # Display the resulting frame
    cv2.imshow('Video', frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# When everything is done, release the capture
video_capture.release()
cv2.destroyAllWindows()

Correspondance de modèle

Comparez les deux images pour voir si elles sont similaires. Une correspondance presque parfaite est requise, mais une certaine précision est obtenue. Si cela ne fonctionne pas, voir ↓.

http://answers.opencv.org/question/187096/why-opencv-matchtemplate-api-not-detect-all-occurrence-of-image/

En plus de cela, il existe une méthode pour extraire le montant de la caractéristique et spécifier l'emplacement.

Le jumelage combiné à l'apprentissage profond est également intéressant en tant que domaine de recherche.

https://arxiv.org/pdf/1705.08593.pdf https://ricardodeazambuja.com/deep_learning/2017/03/05/easy-peasy_conv_deep_learning_two/ https://github.com/sunsided/convolution-template-matching https://www.jstage.jst.go.jp/article/transinf/E100.D/1/E100.D_2016EDP7233/_pdf http://cs231n.stanford.edu/reports/2017/pdfs/817.pdf

Fonctionnalités LBP

Les caractéristiques sont calculées à partir de l'histogramme. https://pebbie.wordpress.com/2011/11/10/local-binary-pattern-in-opencv-python/

`sample.py`


import cv
 
def calc_lbp(im):
    """
    calculate LBP (Local Binary Pattern) image N8 neighborhood
    """
    sz = cv.GetSize(im)
    gr = cv.CreateImage(sz, 8, 1)
    lbp = cv.CreateImage(sz, 8, 1)
     
    #convert to grayscale
    cv.CvtColor(im, gr, cv.CV_BGR2GRAY)
 
    LBPMASK = [(0,-1),(1,-1),(1,0),(1,1),(0,1),(-1,-1),(-1,0),(-1,1)]
     
    for y in xrange(1, sz[1]-2):
        for x in xrange(1, sz[0]-2):
            n = 0
            gv = gr[y,x]
            for i in xrange(len(LBPMASK)):
                m = LBPMASK[i]
                if gr[y+m[1], x+m[0]]>gv:
                    n += 1 << i
            lbp[y,x] = n
             
    return lbp
 
if __name__ == '__main__':
    im = cv.LoadImage('jalan2.jpg')
 
    lbpim = calc_lbp(im)
    cv.ShowImage('lbp', lbpim)
 
    key = cv.WaitKey(0)

Fonctionnalités HOG

Calcul des caractéristiques basé sur la distribution de la luminosité dans la direction du dégradé.

`sample.py`


 import cv2
 converter = cv2.HOGDescriptor()
 img = cv2.imread('test.png')
 hog = hog.compute(img)

Créer un classificateur en cascade

opencv_createsamples Créez l'image correcte dans un fichier vectoriel. Il est écrit qu'il est bon d'avoir plus de 7 000 images correctes et 3 000 images incorrectes ou plus, mais cela semble être le cas. http://kivantium.hateblo.jp/entry/2015/05/13/153122 https://www.pro-s.co.jp/engineerblog/opencv/post_6397.html

opencv_createsamples -info train.dat -vec train.vec -num 1000

opencv_traincascade Apprentissage automatique avec des fonctionnalités de type Haar, des fonctionnalités LBP ou des fonctionnalités HOG. Expiration d'un fichier xml. Après cela, vous pouvez lire xml et l'utiliser.

opencv_traincascade -data cascade/ -vec train.vec -bg bg.dat -numPos 900 -numNeg 1000 -featureType LBP -mode ALL

Lire la vidéo

Pour la vidéo, j'ai recherché la vidéo qui me plaisait, converti le format en mp4 avec ffmpeg et abaissé le cadre. http://qiita.com/miyamotok0105/items/6de05e5a13e7ffd456fc

`sample.py`


# -*- coding: utf-8 -*-
import numpy as np
import cv2


cap = cv2.VideoCapture('sample.mp4')
fps = 15
size = (640,480)
cap.set(3, size[0])  # Width
cap.set(4, size[1])  # Heigh
cap.set(5, fps)   # FPS

while(cap.isOpened()):
    ret, frame = cap.read()

    # gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    cv2.imshow('frame',frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Exemple d'utilisation de VideoWriter

La spécification du chargement vidéo OpenCV est que "les dernières images sont nouvellement chargées dans le flux une par une".

# -*- coding: utf-8 -*-
#!/usr/bin/python
import cv2
import time
 
class Camera():
    # Constructor...
    def __init__(self):
 
        self.cap = cv2.VideoCapture(0)  # Prepare the camera...
        

        print("Camera warming up ...")
        time.sleep(1)
        # if self.cap.isOpened(): 
        #     print(self.cap.get(3))
        #     print(self.cap.get(4))

        w     = int(self.cap.get(3))         # Frame width...
        h     = int(self.cap.get(4))         # Frame hight...
        fps   = 20.0                    # Frames per second...
        resolution = (w, h)             # Frame size/resolution...

        # Prepare Capture
        self.ret, self.frame = self.cap.read()
 
        # Prepare output window...
        self.winName = "Motion Indicator"
        cv2.namedWindow(self.winName, cv2.WINDOW_AUTOSIZE)
 
        # Read three images first...
        self.prev_frame     = cv2.cvtColor(self.cap.read()[1],cv2.COLOR_RGB2GRAY)
        self.current_frame  = cv2.cvtColor(self.cap.read()[1],cv2.COLOR_RGB2GRAY)
        self.next_frame     = cv2.cvtColor(self.cap.read()[1],cv2.COLOR_RGB2GRAY)
 
        # Define the codec and create VideoWriter object
        self.fourcc = cv2.VideoWriter_fourcc(*'H264')     # You also can use (*'XVID')
        self.out = cv2.VideoWriter('output.avi',self.fourcc, fps, (w, h), True)
        
    
    # Frame generation for Browser streaming wiht Flask...  
    def get_frame(self):
        self.frames = open("stream.jpg ", 'w+')
        s, img = self.cap.read()
        if s:   # frame captures without errors...
            cv2.imwrite("stream.jpg ", img)  # Save image...
        return self.frames.read()
        
            
    def diffImg(self, tprev, tc, tnex):
        # Generate the 'difference' from the 3 captured images...
        Im1 = cv2.absdiff(tnex, tc)
        Im2 = cv2.absdiff(tc, tprev)
        return cv2.bitwise_and(Im1, Im2)
 
    def captureVideo(self):
        # Read in a new frame...
        self.ret, self.frame = self.cap.read()
        # Image manipulations come here...
                # This line displays the image resulting from calculating the difference between
                # consecutive images...
        diffe = self.diffImg(self.prev_frame, self.current_frame, self.next_frame)
        cv2.imshow(self.winName,diffe)
        
        # Put images in the right order...
        self.prev_frame     = self.current_frame
        self.current_frame  = self.next_frame
        self.next_frame     = cv2.cvtColor(self.frame, cv2.COLOR_RGB2GRAY)
        return()
 
    def saveVideo(self):
        # Write the frame...
        self.out.write(self.frame)
        return()
 
    def __del__(self):
        self.cap.release()
        cv2.destroyAllWindows()
        self.out.release()
        print("Camera disabled and all output windows closed...")
        return()
 
def main():
    # Create a camera instance...
    cam1 = Camera()
 
    while(True):
        # Display the resulting frames...
        cam1.captureVideo()    # Live stream of video on screen...
        cam1.saveVideo()       # Save video to file 'output.avi'...
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    return()
 
if __name__=='__main__':
    main()

Vérifier avec un navigateur

Vous pouvez créer un serveur pour vérifier l'état en utilisant ce qui suit, principalement lorsque vous exécutez le serveur opencv plus http dans un terminal tel que Raspeye. C'est le plus court à exécuter en arrière-plan à l'aide de la commande screen ou de la commande tmux, mais vous pouvez également le placer sur nginx ou apache. Personnellement, apache est pour les débutants.

Exemple utilisant BaseHTTPServer et SocketServer

#!/usr/bin/python
'''
	Author: 
	A Simple mjpg stream http server
	use python2

	python simple_mjeg_streamer_...py

	then see down
	http://127.0.0.1:8080/cam.mjpg
'''
import cv2
from PIL import Image
import threading
from BaseHTTPServer import BaseHTTPRequestHandler,HTTPServer
from SocketServer import ThreadingMixIn
import StringIO

import time
capture=None

class CamHandler(BaseHTTPRequestHandler):
	def do_GET(self):
		if self.path.endswith('.mjpg'):
			self.send_response(200)
			self.send_header('Content-type','multipart/x-mixed-replace; boundary=--jpgboundary')
			self.end_headers()
			while True:
				try:
					rc,img = capture.read()
					if not rc:
						continue
					imgRGB=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
					jpg = Image.fromarray(imgRGB)
					tmpFile = StringIO.StringIO()
					jpg.save(tmpFile,'JPEG')
					self.wfile.write("--jpgboundary")
					self.send_header('Content-type','image/jpeg')
					self.send_header('Content-length',str(tmpFile.len))
					self.end_headers()
					jpg.save(self.wfile,'JPEG')
					time.sleep(0.05)
				except KeyboardInterrupt:
					break
			return
		if self.path.endswith('.html'):
			self.send_response(200)
			self.send_header('Content-type','text/html')
			self.end_headers()
			self.wfile.write('<html><head></head><body>')
			self.wfile.write('<img src="http://127.0.0.1:8080/cam.mjpg"/>')
			self.wfile.write('</body></html>')
			return


class ThreadedHTTPServer(ThreadingMixIn, HTTPServer):
	"""Handle requests in a separate thread."""

def main():
	global capture
	capture = cv2.VideoCapture(0)
	# capture.set(cv2.cv.CV_CAP_PROP_FRAME_WIDTH, 320); 
	# capture.set(cv2.cv.CV_CAP_PROP_FRAME_HEIGHT, 240);
	# capture.set(cv2.cv.CV_CAP_PROP_SATURATION,0.2);
	global img
	try:
		server = ThreadedHTTPServer(('localhost', 8080), CamHandler)
		print("server started")
		server.serve_forever()
	except KeyboardInterrupt:
		capture.release()
		server.socket.close()

if __name__ == '__main__':
	main()

Exemple utilisant flask

Stockez index.html dans le dossier des modèles. Utilisez la structure de flacon habituelle.

`index.html`


<html>
  <head>
    <title>Video Streaming Demonstration</title>
  </head>
  <body>
    <h1>Video Streaming Demonstration</h1>
    <img src="{{ url_for('video_feed') }}">
  </body>
</html>

# -*- coding: utf-8 -*-

#python2

from flask import Flask, render_template, Response
#from camera import VideoCamera
from time import time
from PIL import Image
import cv2
import numpy as np

class Camera(object):
	def __init__(self, cap):
		rc,img = cap.read()

	def get_frame(self):
		self.frames = open("stream.jpg ", 'w+')
		s, img = cap.read()
		if s:	# frame captures without errors...
			cv2.imwrite("stream.jpg ", img)	# Save image...
		return self.frames.read()


cap=cv2.VideoCapture(0)
imagen = cap.read()
app = Flask(__name__)

@app.route('/')
def index():
	return render_template('index.html')

def gen(camera):
	while True:
		frame = camera.get_frame()
		yield (b'--frame\r\n'
               b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n')

@app.route('/video_feed')
def video_feed():
    return Response(gen(Camera(cap)),
                    mimetype='multipart/x-mixed-replace; boundary=frame')

if __name__ == '__main__':
	app.run(host='0.0.0.0', port=8080, debug=True, threaded=False)

Transférer du navigateur au navigateur

Une bibliothèque qui facilite l'utilisation de p2p. Les clients peuvent communiquer entre eux sans avoir besoin d'un serveur. Dans le détail, il semble qu'il y ait des cas où il peut être connecté et des cas où il ne peut pas être connecté, mais cette fois je n'irai pas trop loin. C'est intéressant car il y a beaucoup d'échantillons.

WebRTC https://webrtc.github.io/samples/ https://tech-sketch.jp/2014/07/webrtcpeerjs1.html

Préférences C ++

Installation C ++ (mac)

brew tap homebrew/science/
brew update
brew install opencv3 --with-contrib --with-python
brew install pkg-config

Installé ci-dessous /usr/local/Celler/opencv3

cd /usr/local/Cellar/opencv3/3.1.0_4/lib/pkgconfig
sudo cp opencv.pc /usr/local/lib/pkgconfig/opencv.pc

Copiez opencv.pc sous pkgconfig.

Afficher l'image

`python`


#include <stdio.h>
#include <opencv2/opencv.hpp>
//g++ `pkg-config --cflags opencv` `pkg-config --libs opencv` 001.cpp -o 001
using namespace cv;

int main(int argc, char** argv ) {
    Mat image;
    image = imread("../../img/hari.jpeg ", 1 );
    if ( !image.data ) {
        printf("No image data \n");
        return -1;
    }
    namedWindow("Display Image", WINDOW_AUTOSIZE );
    imshow("Display Image", image);
    waitKey(0);
    return 0;
}

g++ `pkg-config --cflags opencv` `pkg-config --libs opencv` 001.cpp -o 001

# Feuille de calcul OpenCV 2.2 (C ++) C'est pour vous faire savoir quel type de fonction il a.

Classes importantes dans OpenCV

--Modèle de classe de point dimensionnel à 2 points --Modèle de classe de points 3D Point3 --Taille Taille (largeur, hauteur) Modèle de classe

Modèle de classe de vecteur court Vec --Matx petit modèle de classe de matrice -Vecteur à 4 éléments
Rectangle rectangle --Range Plage représentée par une valeur entière --Mat distribution dense bidimensionnelle ou multidimensionnelle (peut stocker des matrices, des images, des histogrammes, des descripteurs de caractéristiques, des volumes boxel, etc.) --SparseMat Tableau fragmenté multidimensionnel --Ptr modèle de classe de pointeur intelligent

Les bases de la matrice

Créer une matrice

Mat image(240, 320, CV 8UC3);

(Re) placement de la matrice déclarée

image.create(480, 640, CV 8UC3);

Initialiser la matrice avec des constantes

Mat A33(3, 3, CV 32F, Scalar(5));
Mat B33(3, 3, CV 32F); B33 = Scalar(5);
Mat C33 = Mat::ones(3, 3, CV 32F)*5.;
Mat D33 = Mat::zeros(3, 3, CV 32F) + 5.;

Initialiser la matrice avec une valeur spécifique

double a = CV PI/3;
Mat A22 = (Mat <float>(2, 2) <<
cos(a), -sin(a), sin(a), cos(a));
float B22data[] = {cos(a), -sin(a), sin(a), cos(a)};
Mat B22 = Mat(2, 2, CV 32F, B22data).clone();

Initialiser la matrice avec des nombres aléatoires

randu(image, Scalar(0), Scalar(256)); //Distribution uniforme
randn(image, Scalar(128), Scalar(10)); //distribution normale

Convertir les matrices et autres structures les unes aux autres

(Aucune copie de données)

Mat image alias = image;
float* Idata=new float[480*640*3];
Mat I(480, 640, CV 32FC3, Idata);
vector<Point> iptvec(10);
Mat iP(iptvec); // iP – 10x1 CV 32SC2 matrix
IplImage* oldC0 = cvCreateImage(cvSize(320,240),16,1);
Mat newC = cvarrToMat(oldC0);
IplImage oldC1 = newC; CvMat oldC2 = newC;

... (avec copie des données)

Mat newC2 = cvarrToMat(oldC0).clone();
vector<Point2f> ptvec = Mat <Point2f>(iP);

Accéder aux éléments de la matrice

A33.at<float>(i,j) = A33.at<float>(j,i)+1;
Mat dyImage(image.size(), image.type());
for(int y = 1; y < image.rows-1; y++) {
    Vec3b* prevRow = image.ptr<Vec3b>(y-1);
    Vec3b* nextRow = image.ptr<Vec3b>(y+1);
    for(int x = 0; y < image.cols; x++)
        for(int c = 0; c < 3; c++)
            dyImage.at<Vec3b>(y,x)[c] = saturate cast<uchar>(nextRow[x][c] - prevRow[x][c]);
}
Mat <Vec3b>::iterator it = image.begin<Vec3b>(),
itEnd = image.end<Vec3b>();
for(; it != itEnd; ++it)
    (*it)[1] ^= 255;

Fonctionnement de la matrice: copie, lecture aléatoire, sous-matrice

--src.copyTo (dst) Copier dans une autre matrice --src.convertTo (dst, type, scale, shift) Mise à l'échelle et conversion vers un autre type de données --m.clone () Copie profonde de la matrice --m.reshape (nch, rétrécit) Modifie les dimensions de la matrice et le nombre de canaux sans copier les données --m.row (i), m.col (i) Lignes et colonnes de la matrice

m.rowRange(Range(i1,i2)) m.colRange (Range (j1, j2)) Matrice lignes et colonnes (spécification de plage) --m.diag (i) Eléments diagonaux de la matrice --m (Range (i1, i2), Range (j1, j2)), m (roi) sous-matrice --m.repeat (ny, nx) Crée une grande matrice à partir d'une petite matrice --flip (src, dst, dir) Inverse l'ordre des lignes (ou colonnes) dans une matrice --split (...) Matrice multicanal fractionnée pour chaque canal --merge (...) Créer une matrice multicanal à partir de la matrice pour chaque canal --mixChannels (...) Types généraux de split () et merge () --randShuffle (...) Mélange au hasard les éléments de la matrice

Exemple 1. Lisser le ROI de l'image

Mat imgroi = image(Rect(10, 20, 100, 100));
GaussianBlur(imgroi, imgroi, Size(5, 5), 1.2, 1.2);

Exemple 2. Algorithme d'algèbre linéaire

m.row(i) += m.row(j)*alpha;

Exemple 3. Copier le ROI de l'image sur une autre image lors de la conversion

Rect r(1, 1, 10, 20);
Mat dstroi = dst(Rect(0,10,r.width,r.height));
src(r).convertTo(dstroi, dstroi.type(), 1, 0);

Opération de matrice simple

De nombreuses opérations d'arithmétique matricielle, logiques et autres traitements courants dans OpenCV Est implémenté. Par exemple • add(), subtract(), multiply(), divide(), absdiff(), bitwise and(), bitwise or(), bitwise xor(), max(), min(), compare()

Somme, différence, multiplication pour chaque élément ... Une opération équivalente à comparer deux matrices ou comparer une matrice et un scalaire.

Exemple. Fonction de synthèse alpha:

void alphaCompose(const Mat& rgba1, const Mat& rgba2, Mat& rgba dest)
{
    Mat a1(rgba1.size(), rgba1.type()), ra1;
    Mat a2(rgba2.size(), rgba2.type());
    int mixch[]={3, 0, 3, 1, 3, 2, 3, 3};
    mixChannels(&rgba1, 1, &a1, 1, mixch, 4);
    mixChannels(&rgba2, 1, &a2, 1, mixch, 4);
    subtract(Scalar::all(255), a1, ra1);
    bitwise or(a1, Scalar(0,0,0,255), a1);
    bitwise or(a2, Scalar(0,0,0,255), a2);
    multiply(a2, ra1, a2, 1./255);
    multiply(a1, rgba1, a1, 1./255);
    multiply(a2, rgba2, a2, 1./255);
    add(a1, a2, rgba dest);
}

• sum(), mean(), meanStdDev(), norm(), countNonZero(),minMaxLoc(),

Diverses statistiques des éléments de la matrice. • exp(), log(), pow(), sqrt(), cartToPolar(), polarToCart()
Fonction arithmétique classique. • scaleAdd(), transpose(), gemm(), invert(), solve(),determinant(), trace() eigen(), SVD,
Fonction algébrique + classe SVD. • dft(), idft(), dct(), idct(),
Transformée de Fourier discrète, transformée en cosinus discrète Il existe également des processus qui peuvent utiliser une notation algébrique plus pratique. Par exemple:

Mat delta = (J.t()*J + lambda*
Mat::eye(J.cols, J.cols, J.type()))

.inv(CV SVD)*(J.t()*err); C'est la pierre angulaire de l'algorithme d'optimisation de Le Levenberg-Marquardt.

Traitement d'image

filtration

--filter2D () Filtre linéaire non séparable --septFilter2D () Filtre linéaire de type séparation --boxFilter (), GaussianBlur (), medianBlur (), bilatéralFilter () Lissage d'images avec des filtres linéaires ou non linéaires --Sobel (), Scharr () Calcul des images différentielles --Laplacien () Calcul laplacien --erode (), dilate () Contraction et expansion de l'image

Exemple. Appliquer un filtre passe-haut 3x3 (Ajoutez 128 au total pour qu'aucune valeur négative ne soit perdue):

filter2D(image, image, image.depth(), (Mat <float>(3,3)<<
-1, -1, -1, -1, 9, -1, -1, -1, -1), Point(1,1), 128);

Transformation géométrique

--resize () Redimensionner l'image --getRectSubPix () Extrait le correctif de l'image --warpAffine () Conversion affine d'images --warpPerspective () Conversion en perspective des images --remap () Conversion d'image à usage général

Optimisation de la carte pour une conversion rapideMaps () remap ()

Exemple. Réduisez l'image à la moitié de la racine:

Mat dst; resize(src, dst, Size(), 1./sqrt(2), 1./sqrt(2));

Diverses conversions d'images

--cvtColor () Convertit l'image en un autre espace colorimétrique --threshold (), adaptivethreshold () Convertit l'image en niveaux de gris en image binaire en utilisant un seuil fixe ou variable --Détection des composants concaténés à l'aide de l'algorithme d'expansion de région floodFill () --integral () Calcul de l'image intégrale --distanceTransform () Construction d'une image de distance ou d'un diagramme en bore pour une image binaire

Reportez-vous aux exemples de Watershed (), de l'algorithme de segmentation d'image à base de marqueurs grabCut () Watershed.cpp et grabcut.cpp.

histogramme

--calcHist () Calculer l'histogramme de l'image --calcBackProject () Rétroprojection de l'histogramme --equalizeHist () Normaliser la luminosité et le contraste de l'image --compareHist () Compare deux histogrammes

Exemple. Calculez l'histogramme de teinte-saturation d'une image:

Mat hsv, H; MatND tempH;
cvtColor(image, hsv, CV BGR2HSV);
int planes[]={0, 1}, hsize[] = {32, 32};
calcHist(&hsv, 1, planes, Mat(), tempH, 2, hsize, 0);
H = tempH;

Contour

Pour la signification et l'utilisation des contours, reportez-vous aux exemples dans contours.cpp et squares.cpp. Entrée / sortie de données Le stockage XML / YAML est une collection (imbriquée) qui peut contenir des valeurs scalaires, des structures et diverses listes.

Écriture de données en YAML (ou XML)

// Le type de fichier est déterminé par l'extension

FileStorage fs("test.yml", FileStorage::WRITE);
fs << "i" << 5 << "r" << 3.1 << "str" << "ABCDEFGH";
fs << "mtx" << Mat::eye(3,3,CV 32F);
fs << "mylist" << "[" << CV PI << "1+1" <<
"{:" << "month" << 12 << "day" << 31 << "year"
<< 1969 << "}" << "]";
fs << "mystruct" << "{" << "x" << 1 << "y" << 2 <<
"width" << 100 << "height" << 200 << "lbp" << "[:";
const uchar arr[] = {0, 1, 1, 0, 1, 1, 0, 1};
fs.writeRaw("u", arr, (int)(sizeof(arr)/sizeof(arr[0])));
fs << "]" << "}";

Valeurs scalaires (entier, nombre à virgule flottante, chaîne), matrice, scalaire à l'aide de l'opérateur << Écriture de valeurs vides et d'autres types de vecteurs STL dans le stockage de fichiers je peux Lire les données

//Le type de fichier est déterminé par le contenu
FileStorage fs("test.yml", FileStorage::READ);
int i1 = (int)fs["i"]; double r1 = (double)fs["r"];
string str1 = (string)fs["str"];
Mat M; fs["mtx"] >> M;
FileNode tl = fs["mylist"];
CV Assert(tl.type() == FileNode::SEQ && tl.size() == 3);
double tl0 = (double)tl[0]; string tl1 = (string)tl[1];
int m = (int)tl[2]["month"], d = (int)tl[2]["day"];
int year = (int)tl[2]["year"];
FileNode tm = fs["mystruct"];
Rect r; r.x = (int)tm["x"], r.y = (int)tm["y"];
r.width = (int)tm["width"], r.height = (int)tm["height"];
int lbp val = 0;
FileNodeIterator it = tm["lbp"].begin();
for(int k = 0; k < 8; k++, ++it)
lbp val |= ((int)*it) << k;

Lisez la valeur scalaire à l'aide de l'opérateur de conversion FileNode. Procession Les autres types sont lus à l'aide de l'opérateur >>. Lors de la lecture de la liste Utilisez FileNodeIterator. Écriture et lecture d'images raster

imwrite("myimage.jpg ", image);
Mat image color copy = imread("myimage.jpg ", 1);
Mat image grayscale copy = imread("myimage.jpg ", 0);

Formats de lecture / écriture pour ces fonctions: BMP (.bmp), JPEG (.jpg, .jpeg), TIFF (.tif, .tiff), PNG (.png), PBM/PGM/PPM (.p? m), Sun Raster (.sr), JPEG 2000 (.jp2). Chaque format est Prend en charge les images 8 bits, 1 ou 3 canaux. 1 canal Prend également en charge les formats (PNG, JPEG 2000) prenant en charge les images 16 bits Il y a. Charger des images à partir de fichiers vidéo et de caméras

VideoCapture cap;
if(argc > 1) cap.open(string(argv[1])); else cap.open(0);
Mat frame; namedWindow("video", 1);
for(;;) {
    cap >> frame; if(!frame.data) break;
    imshow("video", frame); if(waitKey(30) >= 0) break;
}

Interface graphique simple (module highgui)

--nameWindow (winname, flags) Crée une fenêtre highgui nommée --destroyWindow (winname) détruit la fenêtre spécifiée --imshow (winname, mtx) Afficher l'image dans la fenêtre --waitKey (delay) Attend que la touche soit enfoncée pendant le temps spécifié (ou pour toujours). L'événement est traité pendant le temps d'attente. Appelez cette fonction plusieurs fois par seconde N'oublie pas. --createTrackbar (...) Ajoute une barre de suivi (curseur) à la fenêtre spécifiée. --setMouseCallback (...) Définit le rappel pour les clics de souris et les mouvements dans la fenêtre spécifiée. Pour savoir comment utiliser les fonctions GUI, consultez camshiftdemo.cpp et OpenCV. Voir des exemples.

Calibrage de la caméra, estimation de la posture, estimation de la profondeur

--calibrateCamera () Calibrez la caméra en utilisant plusieurs images du motif de calibrage. --findChessboardCorners () Détecte les points caractéristiques sur le modèle d'étalonnage en damier. --solvPnP () Trouvez l'orientation de l'objet d'origine à partir du résultat de la projection des points caractéristiques. --stericalCalibrate () Étalonne la caméra stéréo. --stereoRectify () Effectue la parallélisation des images de caméra stéréo calibrées. --initUndistortRectifyMap () Calcule la carte de parallélisation (pour remap ()) pour chaque caméra stéréo. --StereoBM, StereoSGBM Un moteur de recherche de points de correspondance stéréo fonctionnant sur des paires stéréo parallélisées. --reprojectImageTo3D () Convertit la carte de disparité en un groupe de points 3D. --findHomography () Trouver la transformation de perspective optimale entre des ensembles de points bidimensionnels.

Les échantillons calibration.cpp et stereo calib.cpp peuvent être utilisés pour calibrer la caméra. Utilisez l'exemple stéréo match.cpp pour obtenir une carte de disparité et un groupe de points 3D.

Détection d'objets

--matchTemplate Recherche la mappe de correspondance pour le modèle d'entrée. --CascadeClassifier Une cascade de classificateurs boostants qui utilise les fonctionnalités Haar et LBP proposées par Viola. Voir facesetect.cpp.

Proposition de HOGDescriptor N.Dalal qui utilise les fonctionnalités HOG C'est un détecteur de corps. Voir peopledetect.cpp S'il vous plaît.

Page anxieuse

Envoyer la vidéo au serveur avec le nœud https://github.com/na2hiro/webrtc-distribution Accélérez le streaming opencv http://nobutobook.blogspot.jp/2016/10/python-opencv.html face tracking https://01.org/developerjourney/face-tracking https://realpython.com/blog/python/face-detection-in-python-using-a-webcam/ http://manmade2.com/simple-home-surveillance-with-opencv-python-and-raspberry-pi/ Python live browser surveillance with motion detection https://github.com/Arri/Py_WebSurveillance streamming https://svds.com/streaming-video-analysis-python/ motion track https://github.com/svetlichnaya/Motion-Tracking Conversion de RVB en couleur de couleur basse https://henrydangprg.com/2016/06/26/color-detection-in-python-with-opencv/

référence

https://www.pro-s.co.jp/engineerblog/opencv/post_6231.html http://qiita.com/hitomatagi/items/04b1b26c1bc2e8081427 http://derivecv.tumblr.com/post/73561473978 http://opencv.jp/opencv-2svn/opencv_cheatsheet.pdf Autour de l'environnement C ++ http://www2.meijo-u.ac.jp/~kohara/cms/technicalreport/opencv_intall4mac http://purple-apple.hatenadiary.jp/entry/2017/02/05/195109

Déplaçons un peu OpenCv. mac ou linux

ouvrir

Environnement d'exploitation Opencv

environnement de langage opencv

Avec opencv2 et opencv3

Environnement de développement Python

Installation de Python (mac, linux)

Pour conda

Pour construire

Désinstaller Python

Pour conda

Pour construire

Essayez de courir avec Python

Environnement d'exploitation que vous essayez

Légende de la caméra

sample.py

Fonctionnalités de type Haar

sample.py

Correspondance de modèle

Fonctionnalités LBP

sample.py

Fonctionnalités HOG

sample.py

Créer un classificateur en cascade

Lire la vidéo

sample.py

Exemple d'utilisation de VideoWriter

Vérifier avec un navigateur

Exemple utilisant BaseHTTPServer et SocketServer

Exemple utilisant flask

index.html

Transférer du navigateur au navigateur

Préférences C ++

Installation C ++ (mac)

Afficher l'image

python

Classes importantes dans OpenCV

Les bases de la matrice

Créer une matrice

(Re) placement de la matrice déclarée

Initialiser la matrice avec des constantes

Initialiser la matrice avec une valeur spécifique

Initialiser la matrice avec des nombres aléatoires

Convertir les matrices et autres structures les unes aux autres

... (avec copie des données)

Accéder aux éléments de la matrice

Fonctionnement de la matrice: copie, lecture aléatoire, sous-matrice

Opération de matrice simple

Traitement d'image

filtration

Transformation géométrique

Diverses conversions d'images

histogramme

Contour

Écriture de données en YAML (ou XML)

Interface graphique simple (module highgui)

Calibrage de la caméra, estimation de la posture, estimation de la profondeur

Détection d'objets

Page anxieuse

référence

`Environnement d'exploitation que vous essayez`

`sample.py`

`sample.py`

`sample.py`

`sample.py`

`sample.py`

`index.html`

`python`